OpenAI 正在重組其模型行為（Model Behavior）團(tuán)隊(duì)。據(jù)媒體日前報道，OpenAI 的首席研究官 Mark Chen 透露，大約由14名研究人員組成的模型行為團(tuán)隊(duì)將加入后訓(xùn)練（Post Training）團(tuán)隊(duì)，負(fù)責(zé)在模型完成預(yù)訓(xùn)練后持續(xù)改進(jìn)。

模型行為團(tuán)隊(duì)已經(jīng)成為OpenAI的關(guān)鍵研究小組之一，主要負(fù)責(zé)塑造模型的“性格”。今年8月推出的GPT-5減少了類似“諂媚”“過度迎合用戶”的現(xiàn)象。

但部分用戶強(qiáng)烈不滿GPT-5的性格調(diào)整，認(rèn)為其過于冷淡。最終，OpenAI 重新開放了對 GPT-4o 等舊模型的訪問，并更新 GPT-5，使其回答在保持獨(dú)立性的同時更溫和、友好。

OpenAI近期也在最新研究中討論如何減少大模型幻覺問題，讓模型變得越來越聰明。OpenAI認(rèn)為，大語言模型之所以會產(chǎn)生幻覺，是因?yàn)闃?biāo)準(zhǔn)的訓(xùn)練和評估程序更傾向于對猜測進(jìn)行獎勵，而不是在模型勇于承認(rèn)不確定時給予獎勵。大多數(shù)評估方式只關(guān)注模型答對的比例，鼓勵模型進(jìn)行猜測，而忽略了“承認(rèn)不知道”也是一種合理反應(yīng)。例如，當(dāng)模型被問及某人的生日，如果它隨意猜測一個日期，那么它有1/365的概率猜對，而留空則肯定得零分。大型語言模型本質(zhì)上總是處于“考試模式”，回答問題時似乎只有正確或錯誤，黑色或白色。因此，OpenAI提出了一個簡單的解決方案：對自信的錯誤回答施加更重的懲罰，而對表達(dá)不確定性的行為給予部分分?jǐn)?shù)。