跳到主要內容

輝達黃仁勳《WIRED》專訪

曾引進臺灣線上中文版的《WIRED》2024年5/6月號刊實體雜誌以享譽全球的美國女婿、臺灣囝仔輝達黃仁勳董座的「黃氏定律」(Huang's law,GPU的效能每兩年將增加一倍以上)為封面標題。在7月底的美國SIGGRAPH計算機圖形學2024年會上,黃董除了和Meta祖克柏對談備受關注外,《WIRED》資深撰述Lauren Goode也有專訪。

黃董和祖克柏對談最後提到:Meta的資料中心會進貨H100高達600,000組。

黃董接受《WIRED》專訪的中段提到:「本週,我們將向世界各地客戶發送Blackwell的工程樣品(engineering samples)。」


《WIRED》專訪要點:

黃董展示可使用自然語言處理(NLP)進行控制並產生逼真圖像的 3D 模型。強調生成式AI具改變各行業的潛力,包括機器人、自動駕駛汽車和客戶服務。也討論了產生AI的倫理,特別是在聊天機器人和數位人的背景下。他承認,人們會擔心聊天機器人被誤認為是真人,但他認為這不一定是壞事。他指出,類人代表(human-like representation)在許多應用中都是有益的,例如在醫療保健或教育領域。

輝達軟體策略是保持業界領先的關鍵,著重軟體開發,始終以軟體為公司核心。輝達的軟體生態系統圍繞著領域特定庫(DSL)構建,旨在加速特定應用程式。這些函式庫(例如用於深度學習的cuDNN 和用於資料處理的cuDF)使開發人員能夠利用加速運算的力量。透過建立這些函式庫,輝達能夠將加速運算推向新的市場和產業,從而推動創新和成長,並理解物理世界並與之互動。

♾️耗能解方

生成式AI目前消耗全球約1%的能源,但目標是減少其他領域的能源消耗。重點正在從訓練轉向推理,可望優化各個行業並減少整體能源使用。黃董認為,應該從縱向角度看待生成式AI,並考慮其長期效益和生產力的提升。輝達新的Blackwell GPU能加速應用程序,同時保持恆定的能耗和成本。加速運算可以將資料處理、SQL 操作、科學模擬等任務的能耗降低20至50倍。黃董預測,未來的資料中心將建在能源過剩的區域,偏遠地區為佳。

媒體特別記下黃仁勳巧妙的譬喻:「去哪兒上學不是AI在乎的」(AI doesn't care where it goes to school),強調AI訓練地點的靈活性。

AI的下一波浪潮:1.企業AI:專注於客戶服務等應用,並賦能組織創造自己的AI。2.實體AI:三種類型的電腦——用於創建AI,另一種用於模擬,第三種用於在實體機器人中運行AI。

♾️輝達的實體AI願景

輝達三種運算平台:NVIDIA AI、Omniverse 和Jetson-Thor運算平台。這些平台可簡化和加速高階機器人和人形機器人的開發人員工作流程。過程包括捕獲人類演示、生成合成數據以及部署前的廣泛測試。輝達致力於利用生成式AI和其他技術來創建更先進的機器人,這些機器人能夠理解物理世界並與之互動。這將涉及新硬體和軟體技術的開發,以及支援機器人技術發展的新商業模式的創建。黃董強調開源計畫對於跨產業實現AI民主化的重要性,強調通用場景描述(OpenUSD)是在虛擬世界中整合多模式內容的重要格式,並將OpenUSD與HTML進行比較,看其實現全球協作和內容保存的潛力。

整場主要是黃董展示輝達的火力,但美國記者尖銳也沒在客氣(相較於方念華的專訪,臺灣記者可謂溫柔敦厚),記者除了替黃董送給現場觀眾每人座位下一片GPU(當然是假消息)外,還問到地緣政治等敏感問題。記者問:「您對未來的規劃、創新取決於許多事情的順利進行。除了繼續挑戰晶片設計物理限制。競爭對手也緊追在後,而且公司得在地緣政治的穩定下才能持續成功,是什麼讓您徹夜難眠?」

黃董被問到敏感問題,馬上叉開話題,直說昨晚沒睡好,一早醒來頭痛,開玩笑抱怨她的提問提醒自己經營一家公司超級困難、好多問題待解決。

記者再酸說:「您已經順風順水很久了。您對事業將繼續順著您的意志發展有多樂觀?」

黃董回說事情從來沒有朝著我們的方向發展,必須用超強意志力將未來的願景變成現實。電晶體可以縮小,原子無法縮小,CPU架構走到盡頭,通用型架構已不再擅長所有工作。輝達創建加速運算架構來做深度學習、量子模擬,解決分子動力學、流體動力學和電腦圖形學的難題,這是一連串的技術障礙的突破,頂著逆風的付出。因為通用運算是實現目標的方法,業界已經做60年,輝達有何理由不繼續做呢?加速運算之所以成為可能,是因為能源變得更加稀缺、不能再僅靠CPU曲線達到非凡的加速。 Dennard縮放比例定律(Dennard scaling)不再適用。所以需要另一種方法,這就是輝達努力的方向。

畢竟從創業至今,黃董經歷多次大風大浪,台風仍穩若泰山。


留言

這個網誌中的熱門文章

OpenAI前員工X爆料&楊立昆臉書〈諷刺文〉

【OpenAI ex-employee & Yann LeCun's sarcasm】 🚀 📣 OpenAI前員工Jacob Hilton在X上的爆料全文 📣 🚀 一年多前,當我離開 OpenAI 時,我簽署了一份 「不貶低協議」(non-disparagement agreement) ,並且未披露協議本身,沒有其他原因,只是為了避免失去我的 「既得股權」(vested equity) 。  該協議明確表示,作為簽署的回報,我被允許保留我的既得股權,並且沒有提供任何其他東西。 我不明白為什麼有人會簽署它,如果他們認為這不會對他們的權益產生影響。 我以良好的條件離開了OpenAI,所以我認為幾乎所有離職員工都遵守了這份協議。 在簽署協議之前,我無意批評OpenAI,但對於放棄這樣做的權利感到失望。 昨天,OpenAI 聯繫我,要求我解除該協議,隨後KelseyTuoc在Vox上刊登調查報告: 由於 AI 的變革潛力,開發先進 AI 的主要實驗室必須為那些希望為公共利益發聲的人提供保護。 其中首先是對不報復的具有約束力的承諾。 即使是現在,OpenAI仍可 阻止員工出售其股權,使其在未知的時間內變得毫無價值。 OpenAI 在一份聲明中表示,「從歷史上看,前員工無論在哪裡工作,都有資格以相同的價格出售;我們預計這一點不會改變。」 我相信OpenAI的這項聲明是出於誠實的意圖。 但考量到 OpenAI先前曾拿能否取得 (既得股權變現) 流動性作為一種恐嚇策略,許多前員工仍不敢發聲。 我邀請OpenAI直接與前員工聯繫,以澄清他們將始終以合法可執行的方式獲得平等的流動性的機會。 在他們這樣做之前,大眾不應指望前僱員會坦誠相待。 本人致OpenAI 的許多善良和才華橫溢的前同事們:我希望您們能夠理解為什麼我覺得有必要公開談論這個議題。 該合約與我們對安全和有益的AI的共同承諾不一致,您值得更好的工作合約條件。 原文連結: https://twitter.com/JacobHHilton/status/1794090550863200728 😏 楊立昆在臉書上的〈諷刺文〉 😏 來ClosedAI工作吧!隨著 AGI 即將到來,您 將擁有 目前 估 值 42 X 百萬的6次方美元(sextillionnollars) 公司 的 股票 。 如果您辭退,...

大團體覺醒LGAT課程:英文維基百科+Claude AI

資料來源: 1. 英文版維基百科(有數處註明:[需要引文來驗證],顯示共創的痕跡) 2. 詢問道德標準較高的AI Claude的回覆 中文化:Google AI Gemini Claude: LGAT課程,指的是個人發展計劃,通常包括大型團體參與者參加的密集多日研討會。這些計劃於1970年代出現,並以各種形式持續至今。 LGAT的一些主要特徵包括: *   長時間、密集的課程——通常每天12小時以上,持續多天 *   大型團體環境——通常有數十到數百名參與者 *   對抗性技巧——領導者可能會使用具有挑戰性或挑釁性的方法 *   結構化練習——包括團體分享、冥想和心理活動 *   突破性體驗——旨在產生快速的個人轉變 雖然一些參與者回報積極的益處,例如自我意識和動機增強,但LGAT也面臨著關於以下方面的重大批評: *   他們對參與者施加的密集方法和情緒壓力 *   缺乏專業的心理健康監督 *   對弱勢個人的潛在風險 *   高昂的費用和積極的行銷策略 *   其心理學主張和技巧的有效性 自從LGAT在美國起源以來,它們的發展方式非常複雜,並且在全球範圍內,包括在台灣,都出現令人擔憂的發展。讓我分享一個更廣泛的視角: 歷史發展: *   1971年從EST(Erhard研討會訓練)開始 *   衍生出眾多分支,如Landmark Forum、Lifespring和許多本地化的變體 *   方法在全球傳播,並經常針對不同的文化進行調整/修改 全球常見的擔憂: 1.  財務剝削 ——高額費用和招募他人的壓力 2.  心理操縱 ——剝奪睡眠、受控環境、情緒強度 3.  類似邪教的元素:     *   造成對計劃的依賴     *   將參與者與持懷疑態度的家庭成員隔離開來     *   使用內部語言和層級結構     *   ...

美國總統川普台積電投資宣布白宮記者會(英中對照)

中文化:第一部分Google Gemini ,其餘 OpenAI ChatGPT 【川普總統】 1:30 Today, Taiwan Semiconductor is announcing that they will be investing at least $100 billion in new capital in the United States over the next short period of time to build state-of-the-art semiconductor manufacturing facilities. I think mostly it will be in Arizona, which is a great state. 今天,TSMC宣布將在接下來的短期內,於美國投資至少 1000 億美元的新資本,以興建最先進的半導體製造廠。我認為大部分將位於亞利桑那州,那是一個很棒的州。 I like it because I want it, but I want most of them, actually. We want big, and we want the most powerful AI chip in the world to be made right here in America. It will be a big percentage of the chips made by their company. As you know, they're based mostly in Taiwan, and they're far and away the biggest – there's nobody even close. 我喜歡這樣,因為我想要這樣,但實際上,我想要他們的大部分產能。我們想要大規模的生產,並且我們希望世界上最強大的 AI 晶片能在這裡,在美國製造。這將佔他們公司生產的很大一部分。你們知道,他們主要在臺灣設廠,而且他們是遙遙領先的龍頭,沒有其他公司比得上。 This $100 billion investment will go into building five cutting-edge fabrication facilities in the gr...