跳到主要內容

Gwern對AI規模化的觀察（以AI虛擬化身在影片中呈現）

Gwern Branwen因在其網站 gwern.net 上撰寫有關AI、心理學、統計學和技術等廣泛主題的詳細論文和分析而聞名。他對AI安全和發展的討論做出了顯著貢獻，並在促智藥、遺傳學和其他科學主題方面進行了廣泛的研究和寫作。他的著作的特點是深入的研究、廣泛的引用和詳細的方法論部分。

Dwarkesh Patel：你是在2020年時，少數在OpenAI以外，對於規模化（scaling）有詳細實證模型的人之一。我很好奇在當時，是什麼樣的思考過程讓你能夠看到你在規模化假說那篇文章中所描繪的願景？

Gwern Branwen：如果要談我的思想歷程，大概要從2000年代中期說起，那時我正在閱讀Ray Kurzweil的作品。當時他們提出了一個基本的連結主義論點：如果你有足夠的運算能力，就可能發現能與人腦相匹配的神經網路架構。在擁有這樣的運算能力之前，AI基本上看起來是徒勞的。

我覺得這個論點很難令人信服，因為這非常像是一種「蓋好了他們就會來」的進步觀點，我不認為這是正確的。我認為，僅僅因為你擁有某個與人腦相當的超級電腦，就能憑空產生正確的演算法，這想法很荒謬。演算法是非常複雜困難的。它們需要深刻的洞見，至少我是這麼認為的。這似乎需要非常困難的數學。你不能只是買一堆電腦，就期待能從中得到進階的AI。這簡直就像是魔術思維。

所以，我知道這個論點，但我非常懷疑，也沒有太在意。後來，Shane Legg和其他一些人在接下來幾年非常支持這個觀點，這是我對超人類主義、Less Wrong和AI風險產生興趣的一部分。我特別關注Legg的部落格文章，他用更新的數據延伸了Kurzweil和Moravec的趨勢。他做出了非常精確的預測，說我們會在2019年左右得到第一個通用系統，隨著摩爾定律持續發展。然後到2025年，他說我們應該會有具有通用能力的類人系統，到2030年，我們應該會有AGI（通用AI）。

在這過程中，DANNet和AlexNet問世了。當這些出現時，我想：「哇，這對連結主義觀點來說似乎是一個令人印象深刻的成功案例。」但這只是一個孤立的成功案例，還是就像Kurzweil、Moravec和Shane Legg所預測的那樣？就是我們會得到GPU，然後得到更好的演算法，這些就會自然出現？

因此，我開始想這是個值得關注的趨勢。也許這個想法並不像我最初認為的那樣愚蠢。我就持續閱讀深度學習的文獻，一次又一次注意到資料集的規模不斷變大，模型似乎也在不斷變大，GPU的使用也慢慢從一個增加到兩個，最後甚至用到八個。你可以清楚看到神經網路從這些極其小眾的個別使用案例開始，一開始幾乎什麼都做不了，但後來範圍越來越廣。我對自己說：「哇，CNN還有什麼做不到的嗎？」因為我每天都在ArXiv上看到人們把CNN應用到其他領域。

這種漸進的變化一直在背景中影響著我的生活。每隔幾天，就會有新的進展，我就會想：「嗯，也許智慧真的就只是大量的運算能力加上大量的資料再加上大量的參數。」也許Moravec、Legg和Kurzweil是對的。我就記下這點，繼續思考：「嗯，如果這是真的，那將會有很多含意。」

我想這並沒有一個頓悟的時刻。就只是持續觀察這個似乎只有少數人看到的趨勢，可能只有Ilya Sutskever和Jürgen Schmidhuber這樣的人也看到了。我會持續關注並注意到，隨著時間推移，世界越來越像他們所描述的樣子，而不是像我原本認為的那樣，即演算法特別重要，需要深刻的洞見才能做事。他們描述的世界不斷在實現。

然後，GPT-1出現了，我想：「哇，這個無監督的情感神經元是自己在學習，對吧？」這看起來相當驚人。它也有一個非常以運算為中心的觀點：你只要建立Transformer，智慧就會出現。接著GPT-2出現了，我有了一個神聖時刻：你看看它的提示和摘要能力，天啊。我們是不是生活在他們預言的世界裡？

後來GPT-3出現了，那真的是關鍵的測試。這是神經網路歷史上最大規模的擴展之一，從GPT-2到GPT-3。這不像圍棋那樣是一個非常狹窄的特定任務；這真的看起來像是一個關鍵測試，如果規模化是無效的，那麼GPT-3的論文應該會完全令人失望，不會展示任何重要的東西。相反，如果規模化是正確的，你就必然會得到比GPT-2更令人印象深刻的結果。

所以，我打開第一頁，可能是第二頁，我看到了少樣本學習（few-shot learning）的圖表。我們正生活在規模化的世界裡。Legg和Kurzweil是對的。然後，我轉向Twitter，其他人都在說：「噢，這顯示規模化效果很差；甚至不是最先進的。」這讓我非常生氣。我必須把這些都寫下來；網路上有人錯了。


【專有名詞解釋】

- 規模化（scaling）：在AI領域中指增加模型規模、運算能力和數據量

- 連結主義（connectionism）：一種認知科學理論

- CNN：卷積神經網路

- 少樣本學習（few-shot learning）：AI用少量範例學習的能力


標籤：

留言

張貼留言

這個網誌中的熱門文章

OpenAI 執行長最愛科幻小說 《徐徐誘惑》中文化版本

OpenAI 執行長奧特曼最喜歡的科幻小說  《徐徐誘惑》（The Gentle Seduction）是 Marc Stiegler 於 1989 年寫下的短篇（收錄於同名短篇小說集），被譽為「友善AI」敘事的先驅之作，兼顧科技概念與文學韻味。Stiegler 以極其溫柔的筆觸，充滿哲思地藏進了對人性、科技與愛最深的信任。描繪人類如何在科技奇點的浪潮中，既不失本真，又擁抱變遷，不靠恐懼驅動，而以愛、記憶與謹慎的勇氣面對。以簡潔而詩意的筆觸描繪人類與超級智能（或宇宙級智慧）之間充滿溫柔誘惑且不可逆的融合過程，女主角對科技從一開始的抗拒卻漸漸隱隱被吸引的矛盾心理，情感張力強令人心顫。 近乎禪意的科技寓言：「人類」如何在不知不覺中，被未來擁抱、轉化——沒有劇烈的掙扎，沒有悲壯的告別，只有持續的好奇、探索，與一次又一次的索求。意識的擴張、感知的昇華、存在形式的徹底解放，全都匯聚成一曲橫跨銀河的交響。近乎神聖的「意識之歌」，文字將科技、意識、音樂與宇宙存在融為一體。最後從宇宙尺度驟然聚焦於一人一念。女主角完成了一場跨越千年的自我延續，讀者則猶如體驗一場跨越星海的朝聖之旅。 The Gentle Seduction原文出處： https://eyeofmidas.com/scifi/Stiegler_GentleSeduction.pdf 以下為AI中文化的短篇小說，不才double check： ─────※─────※─────※─────※ ─────※─────※─────※─────  他與電腦為伍；她則與樹木為伴，還有那些在山巒側翼紮根綻放的花朵。 她很訝異他竟對自己感興趣。他那麼聰明，而她卻如此……平凡。但他確實有趣——總能說出些新鮮又獨特的話；而且他人很好。 她 25 歲。他年紀較長，快滿 33 了；有時，傑克看起來的確非常蒼老。 有一天，他們在山邊灰濛濛的霧氣中漫步。雷尼爾（Rainier）山腳下的這片森林，在霧中泛著光，滿目是濃郁鮮亮的綠意。就在這一天，他向她講述了未來——那個他正在親手打造的未來。 過去每當他談起未來，眼中總會閃過一絲狂熱。但此刻，他的目光卻異常銳利而專注，彷彿這一次，他真的能將未來看得一清二楚。他說話的語氣，就像在描述眼前小徑上垂掛的一片葉子那般清晰自然——葉脈分明，毋庸置疑。 「妳聽過『奇點』（Singulari...
張貼留言
閱讀完整內容

京晨科技 NUUO

2015年01月30日 京晨科公告營運長異動 ：營運長施錦昌退休 鼎新電腦 官網資料：特助施錦昌提到：「以前未使用ERP系統時，需不斷手動調整資訊，不但人工成本高，錯誤率也高，讓人很難信任報表資料。所以之前在進行一些重大決策時，常常會有擔憂決策錯誤的壓力。但自導入ERP再加EasyFlow之後，此類問題改良許多。」 以下摘編自：《遠見雜誌》2013年2月號/臺大創聯會 (NTUEA)2013年12月25日臉書/《工商時報》2015年01月05日 【京晨科技NUUO Leaders】 董事長 楊文彬 ：台大大氣系，高職念五年、大學念七年畢業，暱稱Killer（殺手） 總經理 黃建峯 （暱稱卡通）、研發副總 黃建山 （暱稱卡弟，意指卡通的弟弟），台大資工系友兄弟檔兩人求學時序：附中、台大、研究所。 曾創業失敗 念大三時，BBCall和黑金剛手機剛竄紅，楊文彬早上在大氣系打工當助理，閒暇時就跑去賣手機，很快就開通訊行，第一個月大賺40萬，短短半年開了五家店，人家喚他「少年楊董」，叱吒一時。但 成功來的太快 ，讓他 志得意滿，到處遊山玩水 ，直到警覺不對，財務已出現漏洞， 被倒帳幾百萬 。「我那時真的非常落魄，出現人生中第一根白髮，還得兼好幾份工、送報還債，但失敗經驗讓我學到 管理 及 財務 的重要，」楊文彬說。 安控門外漢 找到市場利基 2001年楊文彬拿出30萬與好朋友們創業，就是希望 用自己喜歡的方式 燃燒熱情 ，其間創立電腦設計、安控軟體、影像處理、遊戲、網通技術等五家公司。其中最成功的京晨科技 (NUUO Inc.)，利用B2B行銷全球安全監控的高端市場。從創業的第一天起，京晨就非常務實。切入少有頂尖人才想做、卻又年年成長的監控安防產業，加上不閉門造車、積極聆聽市場聲音，這些都是成功的主要原因。     楊文彬是 業務 出身，創業時的第一個想法是要先從產業著手，只要找到對的產業，你才有在裡面的生存空間，就好比釣魚一樣，要釣到魚，前提是那個池塘裡，要有夠多的魚。等到決定市場了，接下來的問題，才是要推出什麼產品，用什麼方式、什麼技術，去做產品，甚至開拓市場。就在這個思考邏輯下，當時的三人小組，在密集開會後，得到一個結論，就是京晨科需要的是 高成長、高毛利 ，但不要太大的產業。要高毛利、高成長，是考量到當時的京...
張貼留言
閱讀完整內容

美國教授史考特·蓋洛威〈美國如何摧毀年輕人的未來〉

【臺灣沒掉隊，美國年輕人也很悶〈美國如何搞砸年輕人的未來〉】 臺灣出版過《世界並不仁慈，但也不會虧待你》的美國紐約大學商學院教授史考特·蓋洛威（Scott Galloway）在HBO談話節目《馬赫脫口秀》直言：「會建議年輕人『追隨熱情』的人，已經超有錢。」他認為重點是要找出自己的才能，投入自己擅長的工作，甚至是無聊的產業，因為你才有機會做到頂尖！「該熱衷於什麼？ 賺很多錢，這樣就可以好好照顧家庭。」 蓋洛威相當有舞台魅力，演說常博得滿堂彩，比方他在TED以〈美國如何搞砸年輕人的未來〉為題，透過豐富的圖表傳達理念，批評美國社會現況，拿出統計數據證明教育、住房和醫療成本不斷上升，而富人和年長者則受益於政府政策和稅制減免，卻不利年輕人。在批評美國政治上，因為選舉制度，老人選出的人更老，更諷掌權者的華盛頓特區是「行屍走肉的死亡之地」。他提出解決方案建議：（1）提高最低工資至每小時25美元。（2）實施負所得稅。（3）改革社會保障，以需要為準而非年齡。（4）學前教育與技職教育的投資和普及。（5）拆分大型科技公司並促進產業競爭。他強調美國政府要將年輕人的身心健康和職涯發展擺在最前面，最後提了個大哉問：「我們真的愛我們的孩子嗎？」 蓋洛威雖貴為名校教授，卻有粗獷外型，且不拘小節常口出不雅詞為年輕人發聲，美國25歲至45歲的人對他的觀點有相當大的共嗚。 在《世界並不仁慈》The Algebra of Happiness（2019年）後，2024年4月出版的新書是The Algebra of Wealth，畢竟要人別追隨熱情，就要更有說服力，「財富的代數」是由四個部分組成的方程式：財富 = 聚焦 +（斯多葛哲學 x 時間 x 多元投資）。 ⓵聚焦「主要是為了賺取收入，而且需要相當數量的收入」。 應該專注於才能而不是熱情，並盡可能提高加薪潛力。 ⓶斯多葛哲學（Stoicism）指的是「過有意識的、節制的生活」在生活和工作都要訂定計劃並遵守紀律。省錢很重要，也關係到品格的強化。透過持續存錢來培養「儲蓄肌肉」。 擁抱毅力，將情緒與財務決策分開。 ⓷時間是「真正的貨幣，是與生俱來的唯一資產。」 現在就可以開始行動，複利需要時間。每多一天都很重要，財富會隨著時間的推移而累積，耐心和持久戰比想賺快錢更切實際。「複利」就像「愛因斯坦的信用卡」—宇宙中最強大的力量。 ⓸多元投資是指了解市場、投資基礎知...
張貼留言
閱讀完整內容