跳到主要內容

發表文章

Gwern對AI規模化的觀察(以AI虛擬化身在影片中呈現)

Gwern Branwen因在其網站 gwern.net 上撰寫有關AI、心理學、統計學和技術等廣泛主題的詳細論文和分析而聞名。他對AI安全和發展的討論做出了顯著貢獻,並在促智藥、遺傳學和其他科學主題方面進行了廣泛的研究和寫作。他的著作的特點是深入的研究、廣泛的引用和詳細的方法論部分。 Dwarkesh Patel:你是在2020年時,少數在OpenAI以外,對於規模化(scaling)有詳細實證模型的人之一。我很好奇在當時,是什麼樣的思考過程讓你能夠看到你在規模化假說那篇文章中所描繪的願景? Gwern Branwen:如果要談我的思想歷程,大概要從2000年代中期說起,那時我正在閱讀Ray Kurzweil的作品。當時他們提出了一個基本的連結主義論點:如果你有足夠的運算能力,就可能發現能與人腦相匹配的神經網路架構。在擁有這樣的運算能力之前,AI基本上看起來是徒勞的。 我覺得這個論點很難令人信服,因為這非常像是一種「蓋好了他們就會來」的進步觀點,我不認為這是正確的。我認為,僅僅因為你擁有某個與人腦相當的超級電腦,就能憑空產生正確的演算法,這想法很荒謬。演算法是非常複雜困難的。它們需要深刻的洞見,至少我是這麼認為的。這似乎需要非常困難的數學。你不能只是買一堆電腦,就期待能從中得到進階的AI。這簡直就像是魔術思維。 所以,我知道這個論點,但我非常懷疑,也沒有太在意。後來,Shane Legg和其他一些人在接下來幾年非常支持這個觀點,這是我對超人類主義、Less Wrong和AI風險產生興趣的一部分。我特別關注Legg的部落格文章,他用更新的數據延伸了Kurzweil和Moravec的趨勢。他做出了非常精確的預測,說我們會在2019年左右得到第一個通用系統,隨著摩爾定律持續發展。然後到2025年,他說我們應該會有具有通用能力的類人系統,到2030年,我們應該會有AGI(通用AI)。 在這過程中,DANNet和AlexNet問世了。當這些出現時,我想:「哇,這對連結主義觀點來說似乎是一個令人印象深刻的成功案例。」但這只是一個孤立的成功案例,還是就像Kurzweil、Moravec和Shane Legg所預測的那樣?就是我們會得到GPU,然後得到更好的演算法,這些就會自然出現? 因此,我開始想這是個值得關注的趨勢。也許這個想法並不像我最初認為的那樣愚蠢。我就持續閱讀深度學習
最近的文章

《正義:一場思辨之旅》桑德爾和《馬斯克傳》艾薩克森對談美大選結果

華特·艾薩克森(Walter Isaacson)透過CNN節目和哈佛大學教授兼政治哲學家麥可·桑德爾(Michael Sandel)共同探討政治極化如何讓川普再次當選。 艾薩克森:選舉結果出來時,我正在重讀《民主的不滿》(Democracy’s Discontent: America in Search of a Public Philosophy )新版,我覺得您的書正是最佳註解。為我們說明一下,您所寫的民主不滿情緒如何在選舉中以兩種方式體現出來。 桑德爾:首先,人們覺得對治理的方式沒有實質的發言權,這其實是一場自治的危機。人們普遍覺得自己的聲音無足輕重。這是一點。其次,人們長期以來感受到社會的道德結構正在瓦解,從家庭到社區再到國家。人們渴望歸屬感、引以為傲感以及團結感。他們感到迷茫。因此,我認為是這次選舉所圍繞的兩個深層不滿的來源,而川普成功呼應這些情緒,同時也與工薪階層,特別是沒有大學學歷的人,對精英的怨懟相連結。   艾薩克森:您提到這些怨懟,並且稱之為「正當的怨懟」(legitimate grievances)。為什麼這麼說?  桑德爾:幾十年來,成功者和失敗者之間的差距越來越大,這毒害了我們的政治並使我們彼此疏遠。這在2016年達到頂點,當時川普首次通過訴諸這些怨懟而當選。我認為它們的形成是因為數十年來,民主黨和共和黨共同推動了一種新自由主義、以市場為導向的全球化項目,這個項目給頂層的人帶來巨大的收益,但讓國家底層的一半人口幾乎陷入工資停滯和工作外移。   因此加劇收入和財富的不平等。但不僅如此,執政的精英——無論是民主黨還是共和黨——對工薪階層說:「如果想在全球經濟中競爭並獲勝,就去上大學。收入取決於學識。只要努力,就可以成功。」他們忽略了這段激勵話語中隱含的侮辱:「如果在新經濟中掙扎,沒拿到學位,那是你的失敗。」這就是隱含的意思。   因此,難怪許多工薪階層不僅在新經濟中感到被剝奪和經濟上受到重壓,還感到被羞辱,被執政的精英看不起。   艾薩克森:但民主黨過去一向是支持普通工薪階層的政黨,為什麼現在被標籤為「看不起別人的精英政黨」? 桑德爾:這是一個重要的問題,因為您說得對,這是個逆轉。傳統上,民主黨自「新政」以來一直是代表民眾對抗權勢的政黨,是工薪階層的政黨。過去,富裕階層往往支持共和黨,擁有大學學歷的人通常投票給共和黨,而沒有大學學歷的工薪階層則

Pete Hegseth赫格塞斯 愛國、敬拜主又傳統保守

「多元包容不會讓美國強大,團結一致才能讓美國強大。」 赫格塞斯生育五個兒子,闔家住在美國鄉村音樂的中心田納西州 2024年6月出版新書《對戰士的戰爭》(The War on Warriors)即登《紐約時報》暢銷書冠軍。 赫格塞斯當初從軍是要打擊極端主義者。但後來,這支同樣的軍隊卻視他為極端分子。二十年前,赫格塞斯從軍時,部隊專注於戰力、能力的提升和不分種族的平等。然而軍方高層卻像整個國家一樣,走向混亂文化和軟弱的深淵。 《對戰士的戰爭》揭露社會深層的機能失調——美國社會已經忘記那些敢於冒險、打破官僚束縛、並勇於動手實幹的男人。這些人才能面對左派假裝不存在的危險。有別於教育、稅務或犯罪問題,這個問題無法逃避。五角大廈只有一座,要麼奪回它,要麼就徹底放棄它。 赫格塞斯揭露出,軍隊內部(尤其是陸軍),已被「覺醒文化」意識形態所滲透,許多部隊和指揮官開始接受「批判性種族理論」(CRT)、多元、平等與包容(DEI)以及性別意識形態。他分享一些故事,講述這些意識形態如何滲透到部隊的戰士精神中,影響士氣、備戰能力,並最終影響軍隊的效能。 赫格塞斯自身經歷是軍隊政治化的見證。在陸軍光榮退役後,他曾試圖重新入伍,但因為身上的基督教紋身(Jerusalem Cross,耶路撒冷十字),被部分軍中人士視為「問題」,而被拒之門外。他還回憶起自己曾被命令停止拜登總統的就職典禮保護任務,最終被告知他不適任。 結合他自身的戰場經驗、憤怒的故事,以及對軍方指揮體系崩解的深刻剖析,本書為拯救美國的戰士、贏得未來的戰爭提出建言。這場對戰士的戰爭必須由正義的一方獲勝,因為當戰爭真正開始時,戰士才是唯一能保護美國的人。本書不僅是個人的經歷,也對軍隊招募危機的全面分析,討論「覺醒」意識形態對軍事備戰的影響,以及美國急需一位能恢復軍隊昔日榮光的新領導人。 🜋🜋🜋🜋🜋🜋🜋🜋🜋🜋  ▍赫格塞斯的中心思想展露 前美國海豹突擊隊和CIA承包商(14年資歷)尚恩·瑞安(Shawn Ryan)專訪節錄: Shawn Ryan Show  https://www.youtube.com/watch?v=DoN5ovwB8s4 01:21:07  中國的戰略威脅 瑞安:中國的海軍現在比我們大得多,他們好像是一年或幾個月就造一艘新航母?我們無法做到這一點。 赫格塞斯:在過去約10~15年,五角大廈在所有對

迷失在截長剩短中,歡迎來到摘要時代

  《Fast Company》全球設計編輯 Mark Wilson 警世文分享,原文: https://www.fastcompany.com/91176348/generative-ai-summarization-the-great-truncation 生成式AI承諾無限的創造、理應釋放我們的創造力。相反的,它成了文化的垃圾壓實機,一切只剩摘要 在生成式AI的早期階段(也就是不到兩年前),我們湧向 ChatGPT,驚嘆於我們可以創造的一切:愚蠢的俳句、莎士比亞十四行詩和美國情境喜劇《歡樂單身派對》(Seinfeld)的場景。生成式AI承諾無限的生產,我們用它來無意識地製作更多媒體,讓事物瞬間存在。但樂趣很快就消失了,新的殺手級功能佔據主導地位:使用生成式AI來壓縮現有的內容並以簡化的形式重述。這不是新的創意時代,而是摘要總結的時代。 人們尚未發揮 AI工具的創造潛力,因此對這樣的發展,很容易就起疑。但也許 AI工具只是回應人類的想望。用數位方式創造的東西越多,人們就越想更快地消化它們。這早在大型語言模型(LLM)之前就開始了。 從部落客開始,他們把冗長的報紙文章嚼成紙漿,只吐出最精華或最聳動的部分。(現在部落格被 Instagram上的圖片和一小段文字取代)不久之後,整個網路也變得更快速、更適合快速瀏覽。YouTube章節和摘要功能,可以輕鬆瀏覽長影片,Google搜尋也能直接帶你進入影片的相關片段。隨著podcast的流行,播放速度控制也應運而生,讓你可以 1.2倍、1.5倍,甚至 3.5倍的速度收聽。在 Spotify上,唱片公司甚至會推出新歌的加速版,完美適合在注意力分散的社群媒體上發送。在 TikTok上,有些創作者更進一步:你可以用幾段兩分鐘的影片片段,瀏覽整部電影的簡介。而 LinkedIn上的最佳貼文?就是一則摘要。 數位工具加速媒體的製作,而網路則加速了內容的傳播。但我們並未真正深入參與這些文章、影片、podcast等等,我們只是快速「啃食」這些「內容」。面對這樣一個充滿無窮無盡的文字、圖片和聲音的 buffet吃到飽餐廳,我們什麼都嘗了一口,卻沒有真正品味到任何東西。 大型語言模型現在已經把這種現象工廠化,快速、低成本,甚至在某些情況下比人類更出色地總結生活的方方面面。根據數據供應商 AlphaSense的資料,2022年,AI 摘要在 3

賀錦麗重數據、有矛盾、缺理念

強尼·哈里斯(Johnny Harris)自己看和團隊製作的兩支影片的風格截然不同,感到訝異,但也如實反映兩位候選人:川普的生活充滿矛盾、醜聞,各種吸引眼球的情節,他的大小事都引人注意;  賀錦麗的生活單純,長年擔任公訴檢察官,一個缺乏戲劇性的職位。   他還坦承內容可能參雜個人偏見,對候選人各有定見,但還是希望這對試圖瞭解兩位候選人,並決定投票的人有所幫助。因為據調查,美國18至29歲選民只有一半會投票,「所以我們的民主被嚴重扭曲,因為並非每個人的聲音都被算進選票。 」  ▍賀錦麗的檢察官職涯 自由派批評她的「進步型檢察官」(Progressive Prosecutor)風格,認為她的職涯建立在維持嚴厲的犯罪政策上,僅偶爾加入一些進步改革。無論評價為何,賀錦麗有進步的價值觀和理想,但她也務實,選擇在她認為可以發揮影響的體系內工作,這意味著維護現狀。但這到底是什麼樣的立場,尤其現在她在全球聚光燈下,沒人知道她真正的立場,因為她似乎言論前後自相矛盾甚或有時言行不一。她如果成為美國總統將會如何施政?  ✪從賀錦麗的過去,無論公私領域,能看出什麼端倪嗎?答案不明確,部分原因是她職涯中,常隨環境和體系調整觀點。換言之,她會在不同的情境下調整立場,這也是外界對她最大的批評。賀錦麗常被批評缺乏一貫的理念,然而她的性格卻顯得一致。 賀錦麗自稱是不同類型的公訴檢察官,是「進步型檢察官」。被問到她對罪犯太軟弱還是太嚴厲?她回:「我認為該問的是,我們在犯罪處理上是否夠聰明?」 在美國,進步派傾向於支持對司法制度的改革,認為現行系統過於嚴苛,囚禁過多罪犯,大多是拉美和非裔男性,多因非暴力犯罪,且被關押的時間也過長。賀錦麗認為,作為一名進步型檢察官要負責重罪犯,同時聚焦於防範犯罪於未然「早期介入能讓監獄為那些該被關押的暴力罪犯騰出空間。」    ✪在整個檢察官職涯中,她非常注重數據。犯罪率是個讓人心驚的話題,無論政治傾向如何,人人都希望感到安全。因此,大眾情緒往往驅動著司法制度的運作方式以及人們對待犯罪的態度。但賀錦麗改變這一點,她透過數據分析來推動更平等、更理性的執法系統,並從數據中探討人們犯罪的原因。她建立公共資料庫、針對警察執法行為的公共數據庫並公布犯罪統計數據。   「分析謀殺案受害者,結果發現94%是中輟生。」「有人告訴我,檢察官不該關注再犯率;還有人說,檢察官不該關注孩子的需求

川普信念養成 細說從頭

擁有595萬訂閱的超級網紅強尼·哈里斯(Johnny Harris)團隊長期出品優質國際關係、外交、史地等影片,因為「這次選舉有一半的年輕人不會去投票」特別製作「川普的真實故事」影片(賀錦麗的在下週推出),呼籲年滿18歲的美國公民「請去登記投票,拿駕照或其他形式的身分證明,在網上大約90秒就能完成,然後你就可以去投票了。」否則「龐大選民群體有一半的聲音根本不會被聽到,這就不是民主了。」影片上架2天,180萬觀看數。 影片以川普自傳《交易的藝術》(The Art of the Deal,1987年出版)和詳實的傳記《揭密川普》(Trump Revealed,2016年出版)為主軸,輔以新聞報導來分析他的信念有5: ㊀ 為求勝,不擇手段(He’ll do anything to WIN) ㊁ 要別人認同,得去爭來(You must FIGHT for recognition) ㊂ 抗爭到底,不論代價為何(FIGHT til the death) ㊃ 人就是吃美好願景這一套(People want to be sold a FANTASY) ㊄ 炫富就是最好的障眼法(GLAM is the greatest distraction) 川普和父親佛瑞德(Frederick Christ Trump Sr.,1905~1999): ⓵藉由二戰後美國政府資助項目,佛瑞德在紐約快速發展期建造經濟型房屋,賺取巨額財富。據說,佛瑞德異常勤奮,他曾說自己之所以成功,是因為能「在一週七個工作天裡擠出九天的工作量」。 ⓶川普小時候被鄰里稱作街區上那位「富家小孩」。 但即便如此,他勤奮的父親還是要求他去送報,教他什麼叫「辛勤工作」。 不過下雨時,父親還是開著凱迪拉克,載他去送報。  ⓷1980年代,川普利用父親公司的人脈關係、資金和聲譽,購入紐約曼哈頓老舊破敗的建築,並進行華麗的翻新。 ⓸1984年《富比士》雜誌正在製作400名美國富翁名單(第1份《富比士400》榜單於1982年發表)。川普主動致電《富比士》記者,假裝自己叫「約翰‧巴倫」,自稱是川普集團的副總裁,並宣稱瞭解川普在家族企業中所佔的比例,以及他多富有「川普的持股超過 90%」。事實上,川普並未擁有父親公司90%的股份。結果這套裝腔作勢的戲碼真的奏效,《富比士》最終發表的富豪榜中,宣稱川普的身價高達1億美元。但事後才知道,當時他的