曾引進臺灣線上中文版的《WIRED》2024年5/6月號刊實體雜誌以享譽全球的美國女婿、臺灣囝仔輝達黃仁勳董座的「黃氏定律」(Huang's law,GPU的效能每兩年將增加一倍以上)為封面標題。在7月底的美國SIGGRAPH計算機圖形學2024年會上,黃董除了和Meta祖克柏對談備受關注外,《WIRED》資深撰述Lauren Goode也有專訪。
黃董和祖克柏對談最後提到:Meta的資料中心會進貨H100高達600,000組。
黃董接受《WIRED》專訪的中段提到:「本週,我們將向世界各地客戶發送Blackwell的工程樣品(engineering samples)。」
《WIRED》專訪要點:
黃董展示可使用自然語言處理(NLP)進行控制並產生逼真圖像的 3D 模型。強調生成式AI具改變各行業的潛力,包括機器人、自動駕駛汽車和客戶服務。也討論了產生AI的倫理,特別是在聊天機器人和數位人的背景下。他承認,人們會擔心聊天機器人被誤認為是真人,但他認為這不一定是壞事。他指出,類人代表(human-like representation)在許多應用中都是有益的,例如在醫療保健或教育領域。
輝達軟體策略是保持業界領先的關鍵,著重軟體開發,始終以軟體為公司核心。輝達的軟體生態系統圍繞著領域特定庫(DSL)構建,旨在加速特定應用程式。這些函式庫(例如用於深度學習的cuDNN 和用於資料處理的cuDF)使開發人員能夠利用加速運算的力量。透過建立這些函式庫,輝達能夠將加速運算推向新的市場和產業,從而推動創新和成長,並理解物理世界並與之互動。
♾️耗能解方
生成式AI目前消耗全球約1%的能源,但目標是減少其他領域的能源消耗。重點正在從訓練轉向推理,可望優化各個行業並減少整體能源使用。黃董認為,應該從縱向角度看待生成式AI,並考慮其長期效益和生產力的提升。輝達新的Blackwell GPU能加速應用程序,同時保持恆定的能耗和成本。加速運算可以將資料處理、SQL 操作、科學模擬等任務的能耗降低20至50倍。黃董預測,未來的資料中心將建在能源過剩的區域,偏遠地區為佳。
媒體特別記下黃仁勳巧妙的譬喻:「去哪兒上學不是AI在乎的」(AI doesn't care where it goes to school),強調AI訓練地點的靈活性。
AI的下一波浪潮:1.企業AI:專注於客戶服務等應用,並賦能組織創造自己的AI。2.實體AI:三種類型的電腦——用於創建AI,另一種用於模擬,第三種用於在實體機器人中運行AI。
♾️輝達的實體AI願景
輝達三種運算平台:NVIDIA AI、Omniverse 和Jetson-Thor運算平台。這些平台可簡化和加速高階機器人和人形機器人的開發人員工作流程。過程包括捕獲人類演示、生成合成數據以及部署前的廣泛測試。輝達致力於利用生成式AI和其他技術來創建更先進的機器人,這些機器人能夠理解物理世界並與之互動。這將涉及新硬體和軟體技術的開發,以及支援機器人技術發展的新商業模式的創建。黃董強調開源計畫對於跨產業實現AI民主化的重要性,強調通用場景描述(OpenUSD)是在虛擬世界中整合多模式內容的重要格式,並將OpenUSD與HTML進行比較,看其實現全球協作和內容保存的潛力。
整場主要是黃董展示輝達的火力,但美國記者尖銳也沒在客氣(相較於方念華的專訪,臺灣記者可謂溫柔敦厚),記者除了替黃董送給現場觀眾每人座位下一片GPU(當然是假消息)外,還問到地緣政治等敏感問題。記者問:「您對未來的規劃、創新取決於許多事情的順利進行。除了繼續挑戰晶片設計物理限制。競爭對手也緊追在後,而且公司得在地緣政治的穩定下才能持續成功,是什麼讓您徹夜難眠?」
黃董被問到敏感問題,馬上叉開話題,直說昨晚沒睡好,一早醒來頭痛,開玩笑抱怨她的提問提醒自己經營一家公司超級困難、好多問題待解決。
記者再酸說:「您已經順風順水很久了。您對事業將繼續順著您的意志發展有多樂觀?」
黃董回說事情從來沒有朝著我們的方向發展,必須用超強意志力將未來的願景變成現實。電晶體可以縮小,原子無法縮小,CPU架構走到盡頭,通用型架構已不再擅長所有工作。輝達創建加速運算架構來做深度學習、量子模擬,解決分子動力學、流體動力學和電腦圖形學的難題,這是一連串的技術障礙的突破,頂著逆風的付出。因為通用運算是實現目標的方法,業界已經做60年,輝達有何理由不繼續做呢?加速運算之所以成為可能,是因為能源變得更加稀缺、不能再僅靠CPU曲線達到非凡的加速。 Dennard縮放比例定律(Dennard scaling)不再適用。所以需要另一種方法,這就是輝達努力的方向。
畢竟從創業至今,黃董經歷多次大風大浪,台風仍穩若泰山。
留言
張貼留言