Altman親自發(fā)博客點(diǎn)贊,這兩大杰出人才是誰(shuí)?
機(jī)器之心報(bào)道
編輯:+0
OpenAI 是一家長(zhǎng)期處于聚光燈下的公司,其中的明星人物我們都耳熟能詳:Sam Altman、Ilya Sutskever、Mira Murati、Dario Amodei、John Schulman……
今天,Altman 則通過(guò)一篇博文特別介紹了兩位居于幕后的核心研究員:Jakub PachockiSzymon Sidor,稱他們?cè)诮Y(jié)合前沿研究與工程實(shí)踐方面解決了諸多難題,對(duì) OpenAI 的發(fā)展至關(guān)重要。
Altman 形容兩人為「完美互補(bǔ)的傳奇搭檔」。Pachocki 作為首席科學(xué)家,負(fù)責(zé)制定公司宏觀的研究路線圖,而 Sidor 則負(fù)責(zé)將這些宏大的愿景付諸實(shí)踐。
博客地址:https://blog.samaltman.com/jakub-and-szymon
以下是 Altman 的博客原文(精簡(jiǎn)版):
近年來(lái),AI 的飛速發(fā)展有目共睹,ChatGPT 的驚艷表現(xiàn)更是將這一切推向了新的高度。我們常常驚嘆于技術(shù)的偉力,卻忽略了其背后閃耀的人類智慧與不懈探索。今天,我想用一分鐘的時(shí)間,向您講述這個(gè)偉大故事中兩位不可或缺的英雄。
在 OpenAI,有兩位杰出的人才:Jakub Pachocki 和 Szymon Sidor。沒(méi)有他們,就沒(méi)有今天的 OpenAI。他們一次次將前沿研究與卓越工程完美結(jié)合,攻克了無(wú)數(shù)看似不可能的難題。
正是他們,在強(qiáng)化學(xué)習(xí)普遍不被看好的情況下,力排眾議,堅(jiān)持規(guī)?;剿髌錆摿?,最終促成了 Dota 項(xiàng)目的輝煌成就。他們構(gòu)建了堅(jiān)實(shí)的基礎(chǔ)設(shè)施,為眾多科學(xué)突破鋪平了道路;他們領(lǐng)導(dǎo)了 GPT-4 的預(yù)訓(xùn)練;他們與 Ilya 和 Lukasz 共同孕育了實(shí)現(xiàn)推理能力突破的早期思想;他們更是在探索全新范式上取得了卓越進(jìn)展。
Jakub Pachocki,我們的首席科學(xué)家,曾以「不知疲倦」來(lái)形容 Szymon,這或許也是他們二人共同的寫(xiě)照。多年來(lái),我親眼見(jiàn)證了這對(duì)傳奇搭檔如何完美互補(bǔ),解決了一個(gè)又一個(gè)難題。他們是 OpenAI 的基石,是推動(dòng) AI 邊界的真正力量。雖然他們未曾站在聚光燈下,但他們的貢獻(xiàn)值得被每一個(gè)人銘記。
左為 Jakub Pachocki,右為 Szymon Sidor。兩人參加OpenAI 的播客節(jié)目 Before AGI 。
Jakub Pachocki
Jakub Pachocki 在青少年時(shí)期專注于競(jìng)爭(zhēng)性編程,曾六次入圍國(guó)際信息學(xué)奧林匹克競(jìng)賽(IOI)決賽,并在 2009 年獲得銀牌。2012 年,他同時(shí)獲得了 Google Code Jam 冠軍和國(guó)際大學(xué)生程序設(shè)計(jì)競(jìng)賽(ICPC)世界總決賽金牌。
據(jù)他本人所述,15 歲時(shí)讀到 Paul Graham 的名作《黑客與畫(huà)家》,深受啟發(fā),這讓他不僅著迷于編程的技術(shù)挑戰(zhàn),更被其作為創(chuàng)造性工具的哲學(xué)所吸引。
Pachocki 的博士論文題為《Graphs and Beyond: Faster Algorithms for High Dimensional Convex Optimization》,專注于為大規(guī)模網(wǎng)絡(luò)和高維數(shù)據(jù)設(shè)計(jì)高效算法,涉及譜圖論和凸優(yōu)化等領(lǐng)域。
盡管這些屬于理論課題,但與 LLM 的工程實(shí)踐緊密相關(guān),因?yàn)楝F(xiàn)代神經(jīng)網(wǎng)絡(luò)的訓(xùn)練本質(zhì)上是復(fù)雜的高維凸優(yōu)化問(wèn)題。他在博士期間積累的理論知識(shí),為他理解和解決神經(jīng)網(wǎng)絡(luò)擴(kuò)展過(guò)程中遇到的工程瓶頸提供了基礎(chǔ)。
在 OpenAI 將「縮放定律」(即模型能力隨計(jì)算、數(shù)據(jù)和參數(shù)規(guī)模的增長(zhǎng)而涌現(xiàn))確立為核心理念時(shí),Pachocki 不僅是該理念的支持者,也具備了在數(shù)學(xué)層面指導(dǎo)其實(shí)施的能力。
他于 2017 年加入 OpenAI,在 OpenAI Five 項(xiàng)目中領(lǐng)導(dǎo)團(tuán)隊(duì),使 AI 在電子競(jìng)技游戲《Dota 2》中擊敗了人類世界冠軍。這一成果增強(qiáng)了公司內(nèi)部對(duì)規(guī)?;?RL 潛力的信心。作為研究總監(jiān),他直接領(lǐng)導(dǎo)了 GPT-4 的開(kāi)發(fā)與預(yù)訓(xùn)練工作。
Jakub Pachocki 還入選了今年的《時(shí)代》雜志百大 AI 人物。
Szymon Sidor
Szymon Sidor 與 Pachocki 畢業(yè)于同一所波蘭精英高中,接受了早期計(jì)算機(jī)科學(xué)訓(xùn)練,隨后在 MIT 獲得電氣工程與計(jì)算機(jī)科學(xué)碩士學(xué)位。
Sidor 2016 年的碩士論文《Reinforcement Learning Approach to Multi-Stage Reasoning in Natural Language Processing》,展現(xiàn)了驚人的前瞻性。
在當(dāng)時(shí),RL 和 NLP 還被視為兩個(gè)相對(duì)獨(dú)立的領(lǐng)域,而 Sidor 已經(jīng)開(kāi)始探索兩者的交叉點(diǎn),使用深度 Q 學(xué)習(xí)等技術(shù)讓智能體理解并執(zhí)行自然語(yǔ)言指令。
這項(xiàng)早期研究,完美契合了 OpenAI 后來(lái)的技術(shù)路線。無(wú)論是用于對(duì)齊 ChatGPT 的「基于人類反饋的強(qiáng)化學(xué)習(xí)」(RLHF),還是當(dāng)前用于訓(xùn)練推理模型的復(fù)雜 RL 框架,都建立在 RL 與 NLP 深度融合的基礎(chǔ)之上。
在 OpenAI,Sidor 的貢獻(xiàn)涉及多個(gè)核心項(xiàng)目。在 OpenAI Five 中,他參與構(gòu)建了大規(guī)模 RL 系統(tǒng)及基礎(chǔ)設(shè)施。在機(jī)器人學(xué)領(lǐng)域,他參與的「學(xué)習(xí)靈巧的掌上操控」項(xiàng)目,實(shí)現(xiàn)了在模擬環(huán)境中訓(xùn)練、在真實(shí)機(jī)械手上「零樣本」遷移的復(fù)雜操作。同時(shí),他也對(duì)提升智能體探索效率與穩(wěn)健性的 RL 核心算法做出了貢獻(xiàn)。
隨著公司戰(zhàn)略重心轉(zhuǎn)向大型語(yǔ)言模型,Sidor 也參與其中。他的名字出現(xiàn)在 GPT-4 技術(shù)報(bào)告中,并且是推理模型系列(如 o1、o3)的關(guān)鍵貢獻(xiàn)者。
OpenAI「宮斗」的關(guān)鍵人物
2023 年 11 月 17 日,OpenAI 董事會(huì)突然宣布解雇 CEO Sam Altman,理由是其「在與董事會(huì)的溝通中未能始終保持坦誠(chéng)」。
這一事件的背后,是公司內(nèi)部早已存在的深刻分歧:一方是以 Altman 為代表,主張加速技術(shù)研發(fā)與商業(yè)化應(yīng)用的「加速派」;另一方則是以時(shí)任首席科學(xué)家 Ilya Sutskever 為首,更強(qiáng)調(diào) AI 安全與審慎發(fā)展的「安全派」。
在 Altman 被罷免后的短短幾小時(shí)內(nèi),危機(jī)迅速升級(jí)。作為對(duì)董事會(huì)決定的直接回應(yīng),時(shí)任研究總監(jiān)的 Jakub Pachocki 和高級(jí)研究員 Szymon Sidor,聯(lián)合 AI 風(fēng)險(xiǎn)評(píng)估負(fù)責(zé)人 Aleksander Madry,毅然向公司提出辭職。
他們的行動(dòng)是后續(xù)員工大規(guī)??棺h的導(dǎo)火索之一:超過(guò) 700 名員工簽署聯(lián)名信,要求原董事會(huì)辭職并迎回 Altman,否則將集體辭職。
巨大的內(nèi)部壓力最終促使董事會(huì)妥協(xié)。在公司高層安撫員工的內(nèi)部備忘錄中,明確提到目標(biāo)是「帶回 Sam、Greg、Jakub、Szymon、Aleksander 以及其他同事」,顯示了他們?cè)诠緝?nèi)的重要性。
為期五天的風(fēng)波以 Altman 的戲劇性回歸和董事會(huì)重組而告終。危機(jī)過(guò)后,OpenAI 的權(quán)力結(jié)構(gòu)發(fā)生變化,Ilya Sutskever 在公司內(nèi)部的影響力減弱,并于 2024 年 5 月正式離職。隨后,Jakub Pachocki 被任命為 OpenAI 的新任首席科學(xué)家。
另一場(chǎng)「發(fā)布會(huì)」
有趣的是,討論兩位主角之外,Altman 的評(píng)論區(qū)全都是 KeepStandardVoice 和 keep4o 的標(biāo)簽。
KeepStandardVoice 源于 OpenAI 宣布將于 2025 年 9 月 9 日(也就是今天)正式退役 ChatGPT 的「標(biāo)準(zhǔn)語(yǔ)音模式」,包括 Cove、Juniper、Ember 和 Breeze 等經(jīng)典語(yǔ)音選項(xiàng)。
這引發(fā)了大量用戶不滿,因?yàn)樵S多人認(rèn)為標(biāo)準(zhǔn)語(yǔ)音更溫暖、自然、更適合日常對(duì)話和情感連接,而新推出的「高級(jí)語(yǔ)音模式」雖然更先進(jìn),但缺乏那種親切感,無(wú)法完全替代。
同時(shí)有用戶表示,對(duì)許多殘障人士來(lái)說(shuō),標(biāo)準(zhǔn)語(yǔ)音是唯一可用的選項(xiàng),移除它只會(huì)制造數(shù)字無(wú)障礙危機(jī)而非進(jìn)步。
同時(shí),OpenAI 推出 GPT-5 模型后,計(jì)劃逐步減少或移除 GPT-4o 的可用性(盡管承諾過(guò)會(huì)長(zhǎng)期支持)。這讓依賴 GPT-4o 的用戶感到失望,遂發(fā)起 keep4o 運(yùn)動(dòng)。
用戶呼吁 OpenAI 永久保留 GPT-4o 作為可選模型,而不是完全淘汰。他們強(qiáng)調(diào),AI 不應(yīng)只追求技術(shù)升級(jí),而忽略了它帶來(lái)的情感價(jià)值。
這兩個(gè)話題在 Reddit、X 及 OpenAI 官方社區(qū)引發(fā)了廣泛討論,社交媒體上還出現(xiàn)了許多抗議海報(bào)。
對(duì)此你有什么看法呢?