這項(xiàng)由Atla公司Andrei Alexandru、Antonia Calvi、Henry Broomfield等研究人員主導(dǎo)的研究，于2025年1月發(fā)表在arXiv預(yù)印本平臺上（論文編號：arXiv:2501.17195v1），有興趣深入了解的讀者可以通過https://hf.co/AtlaAI/Selene-1-Mini-Llama-3.1-8B訪問模型權(quán)重和相關(guān)資源。
當(dāng)我們想要評判一篇文章寫得好不好，或者比較兩個(gè)回答哪個(gè)更優(yōu)秀時(shí)，通常需要請專業(yè)人士來評分。但現(xiàn)在AI模型越來越多，人工評估既昂貴又耗時(shí)，就像請名廚來品嘗每一道菜一樣不現(xiàn)實(shí)。因此，科學(xué)家們開始讓AI來評判AI，這就像訓(xùn)練一個(gè)機(jī)器人美食評委，專門負(fù)責(zé)品嘗和評分各種AI"烹飪"出來的文本作品。
Atla公司的研究團(tuán)隊(duì)面臨的挑戰(zhàn)是：如何訓(xùn)練出一個(gè)既小巧又強(qiáng)大的AI評判員？現(xiàn)有的評估模型要么太大太笨重，要么評判標(biāo)準(zhǔn)不夠準(zhǔn)確，經(jīng)常出現(xiàn)偏見。就好比一個(gè)美食評委要么過于挑剔只喜歡長篇大論的回答，要么總是偏愛某種特定風(fēng)格，這顯然不是我們想要的公正裁判。
研究團(tuán)隊(duì)的突破在于開發(fā)出了Atla Selene Mini，一個(gè)僅有80億參數(shù)的小型語言模型評估器。雖然個(gè)頭不大，但它在11個(gè)不同的測試基準(zhǔn)上都表現(xiàn)出色，甚至超越了OpenAI的GPT-4o-mini模型。這就像一位經(jīng)驗(yàn)豐富的年輕評委，雖然年紀(jì)不大，但眼光獨(dú)到，判斷準(zhǔn)確，而且工作效率極高。
一、數(shù)據(jù)準(zhǔn)備：精心挑選訓(xùn)練素材
要訓(xùn)練出一個(gè)優(yōu)秀的AI評判員，首先需要大量高質(zhì)量的訓(xùn)練數(shù)據(jù)，就像培養(yǎng)一個(gè)美食評委需要讓他品嘗各種優(yōu)質(zhì)菜品一樣。研究團(tuán)隊(duì)從16個(gè)公開數(shù)據(jù)集中收集了57.7萬個(gè)數(shù)據(jù)點(diǎn)，涵蓋了三種不同的評判任務(wù)。
第一種任務(wù)是對比評判，類似于讓評委比較兩道菜哪個(gè)更好吃。系統(tǒng)會給出兩個(gè)不同的回答，然后判斷哪個(gè)更優(yōu)秀。這種任務(wù)最接近我們?nèi)粘５呐袛鄨鼍?，比如在兩個(gè)客服回復(fù)中選擇更合適的那個(gè)。
第二種任務(wù)是絕對評分，就像給一道菜打分一樣，不是相對比較，而是給出具體的分?jǐn)?shù)，比如從1到5分或1到7分。這種方式能夠提供更細(xì)致的評判信息，告訴我們一個(gè)回答到底有多好或多差。
第三種任務(wù)是分類判斷，相當(dāng)于簡單的是非題，比如判斷一個(gè)回答是否準(zhǔn)確，或者是否包含有害內(nèi)容。這種黑白分明的判斷在很多實(shí)際應(yīng)用中都很重要。
研究團(tuán)隊(duì)特別注意只使用2023年之后發(fā)布的數(shù)據(jù)集，因?yàn)楦绲臄?shù)據(jù)往往質(zhì)量較低，就像用過期食材做菜一樣，難以培養(yǎng)出高水準(zhǔn)的評委。同時(shí)，他們還過濾掉了重復(fù)內(nèi)容、空值以及非拉丁字母的數(shù)據(jù)，確保訓(xùn)練素材的純凈度。
二、創(chuàng)新的訓(xùn)練策略：讓AI學(xué)會既批評又贊揚(yáng)
傳統(tǒng)的訓(xùn)練方法往往只告訴AI什么是好的答案，但Selene Mini的訓(xùn)練更加巧妙。研究團(tuán)隊(duì)采用了一種叫做"對比學(xué)習(xí)"的方法，同時(shí)教會AI識別好答案和壞答案的區(qū)別，就像培養(yǎng)品酒師時(shí)不僅要讓他品嘗好酒，也要嘗試劣質(zhì)酒，這樣才能形成準(zhǔn)確的判斷標(biāo)準(zhǔn)。
具體來說，對于每個(gè)訓(xùn)練樣本，研究團(tuán)隊(duì)會同時(shí)生成兩種評價(jià)：一個(gè)是正確的、高質(zhì)量的評價(jià)（相當(dāng)于"獲選"的答案），另一個(gè)是錯(cuò)誤的、低質(zhì)量的評價(jià)（相當(dāng)于"被拒"的答案）。通過對比這兩種評價(jià)，AI能夠更好地理解什么樣的判斷才是準(zhǔn)確的。
更有趣的是，研究團(tuán)隊(duì)還讓AI學(xué)會了給出詳細(xì)的評價(jià)理由，而不僅僅是簡單的分?jǐn)?shù)或選擇。就像一個(gè)專業(yè)的影評人不僅會給電影打分，還會詳細(xì)解釋為什么給出這個(gè)分?jǐn)?shù)，包括劇情、表演、攝影等各個(gè)方面的分析。這種"鏈?zhǔn)剿伎?的訓(xùn)練方式讓Selene Mini能夠提供更有價(jià)值的反饋。
在訓(xùn)練數(shù)據(jù)的構(gòu)造上，團(tuán)隊(duì)采用了70%詳細(xì)評價(jià)加判斷、30%僅判斷的比例。這種搭配就像讓學(xué)生既要寫詳細(xì)的論述題，也要做簡單的選擇題，兩種形式相互補(bǔ)充，全面提升判斷能力。
三、質(zhì)量控制：嚴(yán)格篩選確保準(zhǔn)確性
為了確保訓(xùn)練數(shù)據(jù)的質(zhì)量，研究團(tuán)隊(duì)實(shí)施了多重篩選機(jī)制。首先，他們使用了ArmoRM這個(gè)專門的獎(jiǎng)勵(lì)模型來為數(shù)據(jù)打分，就像請一位經(jīng)驗(yàn)豐富的老師來預(yù)先篩選考試題目一樣。對于四個(gè)最大的數(shù)據(jù)集，他們設(shè)置了不同的質(zhì)量門檻，只有達(dá)到標(biāo)準(zhǔn)的數(shù)據(jù)才能進(jìn)入最終的訓(xùn)練集合。
在生成對比評價(jià)的過程中，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：有時(shí)候AI生成的評價(jià)內(nèi)容和它給出的最終判斷并不一致，就像一個(gè)人嘴上說著"這道菜很好吃"，但實(shí)際給出的評分卻很低。為了解決這個(gè)問題，他們開發(fā)了一個(gè)一致性檢查器，專門篩選出那些評價(jià)內(nèi)容和最終判斷相匹配的樣本。
這種嚴(yán)格的質(zhì)量控制確保了最終訓(xùn)練出來的模型具有很高的一致性。在實(shí)際測試中，Selene Mini的評價(jià)內(nèi)容和判斷結(jié)果的不一致率僅為0.1%，這意味著它幾乎總是能給出邏輯自洽的評價(jià)。
四、訓(xùn)練過程：巧妙的損失函數(shù)設(shè)計(jì)
在實(shí)際訓(xùn)練過程中，研究團(tuán)隊(duì)使用了一種改進(jìn)的優(yōu)化方法，結(jié)合了兩種不同的學(xué)習(xí)目標(biāo)。第一種目標(biāo)是讓模型更好地區(qū)分好答案和壞答案，增大它們之間的判斷差距。第二種目標(biāo)是提高對好答案的識別準(zhǔn)確度，確保模型能夠準(zhǔn)確識別出高質(zhì)量的內(nèi)容。
這種雙重優(yōu)化策略就像同時(shí)訓(xùn)練一個(gè)學(xué)生的判斷力和記憶力。判斷力幫助他區(qū)分對錯(cuò)，記憶力幫助他記住什么是標(biāo)準(zhǔn)答案。兩者相結(jié)合，造就了Selene Mini出色的評估能力。
訓(xùn)練過程使用了8塊NVIDIA H100顯卡，耗時(shí)16小時(shí)。雖然聽起來時(shí)間不長，但考慮到處理的數(shù)據(jù)量和模型的復(fù)雜度，這個(gè)效率已經(jīng)相當(dāng)不錯(cuò)了。研究團(tuán)隊(duì)通過精心調(diào)節(jié)學(xué)習(xí)率、權(quán)重衰減等參數(shù)，確保模型能夠穩(wěn)定收斂到最佳狀態(tài)。
五、性能表現(xiàn)：全面超越現(xiàn)有模型
在11個(gè)不同的評估基準(zhǔn)上，Selene Mini展現(xiàn)出了令人印象深刻的性能。這些基準(zhǔn)涵蓋了從學(xué)術(shù)寫作評估到代碼質(zhì)量判斷的各個(gè)方面，就像讓一個(gè)評委去評判不同類型的比賽，從烹飪大賽到音樂演出都要涉及。
在整體性能上，Selene Mini以75.6%的平均得分位居榜首，超過了之前最好的小型評估模型SFR-LlaMA-3.1-8B-Judge的74.9%，也超過了OpenAI的GPT-4o-mini的74.3%。更令人驚訝的是，在某些特定任務(wù)上，比如RewardBench這個(gè)專門測試獎(jiǎng)勵(lì)模型的基準(zhǔn)測試中，Selene Mini甚至超過了體型更大的GPT-4o模型。
在絕對評分任務(wù)上，Selene Mini表現(xiàn)特別出色，平均得分達(dá)到64.8%，略高于GPT-4o-mini的64.0%。這種任務(wù)在實(shí)際應(yīng)用中非常重要，因?yàn)樗芴峁┚唧w的質(zhì)量分?jǐn)?shù)，而不僅僅是相對比較的結(jié)果。研究團(tuán)隊(duì)通過用戶調(diào)研發(fā)現(xiàn)，在實(shí)際商業(yè)應(yīng)用中，絕對評分比相對比較更受歡迎，因?yàn)樗軌蛱峁└?xì)致的質(zhì)量信息。
六、實(shí)際應(yīng)用驗(yàn)證：真實(shí)場景下的表現(xiàn)
為了驗(yàn)證Selene Mini在實(shí)際應(yīng)用中的表現(xiàn)，研究團(tuán)隊(duì)特意選擇了兩個(gè)專業(yè)領(lǐng)域的數(shù)據(jù)集進(jìn)行測試：醫(yī)療和金融。這就像讓一個(gè)通用評委去判斷專業(yè)領(lǐng)域的內(nèi)容，看看他是否具備跨領(lǐng)域的判斷能力。
在醫(yī)療領(lǐng)域，研究團(tuán)隊(duì)使用了CRAFT-MD數(shù)據(jù)集，這是一個(gè)專門評估醫(yī)療AI對話質(zhì)量的基準(zhǔn)。該數(shù)據(jù)集包含了臨床AI與患者AI之間的對話，由醫(yī)療專家進(jìn)行標(biāo)注。測試內(nèi)容包括三個(gè)方面：是否能夠得出最可能的診斷、是否涵蓋了相關(guān)的病史信息、以及患者是否使用了醫(yī)療術(shù)語。
結(jié)果顯示，Selene Mini在這些醫(yī)療評估任務(wù)上比基礎(chǔ)模型Llama 3.1 8B Instruct有顯著提升。特別是在醫(yī)療術(shù)語使用判斷上，準(zhǔn)確率從79%提升到92%，在診斷可能性評估上從51%提升到62%。這種提升表明，經(jīng)過專門訓(xùn)練的評估模型確實(shí)能夠更好地理解和判斷專業(yè)領(lǐng)域的內(nèi)容。
在金融領(lǐng)域，研究團(tuán)隊(duì)使用了FinanceBench數(shù)據(jù)集，該數(shù)據(jù)集包含了關(guān)于上市公司的問題及相應(yīng)答案，并標(biāo)注了答案是否包含虛假信息。Selene Mini在這個(gè)任務(wù)上的準(zhǔn)確率達(dá)到71.7%，明顯高于基礎(chǔ)模型的66.4%。這種改進(jìn)對于金融信息的準(zhǔn)確性評估具有重要意義，因?yàn)榻鹑陬I(lǐng)域的錯(cuò)誤信息可能導(dǎo)致嚴(yán)重的經(jīng)濟(jì)損失。
七、穩(wěn)定性測試：不同提示格式下的表現(xiàn)
一個(gè)優(yōu)秀的評估模型應(yīng)該能夠適應(yīng)各種不同的提示格式，而不是只對特定格式的輸入敏感。為了測試這種穩(wěn)定性，研究團(tuán)隊(duì)設(shè)計(jì)了六種不同的提示格式：原始格式、Markdown格式、JSON格式、PrePair格式、簡化說明格式等。
這種測試就像讓一個(gè)評委適應(yīng)不同的比賽規(guī)則和評分表格，看他是否能夠在各種情況下都保持一致的判斷標(biāo)準(zhǔn)。結(jié)果表明，Selene Mini在所有格式下都保持了穩(wěn)定的性能表現(xiàn)，性能波動(dòng)很小。這種穩(wěn)定性對于實(shí)際應(yīng)用來說非常重要，因?yàn)椴煌挠脩艨赡軙褂貌煌奶崾痉绞健?/p>
相比之下，基礎(chǔ)模型在不同格式下的性能差異較大，這表明專門的訓(xùn)練確實(shí)提高了模型的格式適應(yīng)能力。這種改進(jìn)使得Selene Mini能夠更好地服務(wù)于各種實(shí)際應(yīng)用場景，不需要用戶嚴(yán)格按照特定格式編寫提示。
八、社區(qū)競技場：群眾智慧的驗(yàn)證
研究團(tuán)隊(duì)還開發(fā)了一個(gè)叫做Judge Arena的社區(qū)平臺，讓普通用戶可以對不同的評估模型進(jìn)行頭對頭比較。這個(gè)平臺的工作原理就像網(wǎng)上的投票系統(tǒng)，用戶可以看到兩個(gè)不同模型給出的評價(jià)，然后選擇他們認(rèn)為更好的那個(gè)。
在這個(gè)平臺上，Selene Mini展現(xiàn)出了令人驚喜的表現(xiàn)。截至2025年1月22日的數(shù)據(jù)顯示，Selene Mini在與25個(gè)其他評估模型的比較中排名第一，甚至超過了Claude 3.5 Sonnet、Prometheus 7B v2和Llama 3.1 405B Instruct等知名模型。
這種社區(qū)驗(yàn)證具有特殊的意義，因?yàn)樗从沉苏鎸?shí)用戶的偏好和判斷。不同于實(shí)驗(yàn)室環(huán)境中的基準(zhǔn)測試，這種眾包評估更接近模型在實(shí)際使用中會遇到的情況。用戶的選擇往往基于直覺和實(shí)用性，這為模型性能提供了另一個(gè)維度的驗(yàn)證。
九、開源策略：推動(dòng)社區(qū)發(fā)展
研究團(tuán)隊(duì)決定將Selene Mini的完整權(quán)重開源，通過HuggingFace和Ollama兩個(gè)平臺提供下載。這種開源策略體現(xiàn)了研究團(tuán)隊(duì)推動(dòng)AI評估技術(shù)普及的愿望，就像將一個(gè)優(yōu)秀的工具免費(fèi)分享給所有需要的人。
開源不僅降低了使用門檻，也為研究社區(qū)提供了進(jìn)一步改進(jìn)和優(yōu)化的基礎(chǔ)。其他研究者可以基于Selene Mini進(jìn)行二次開發(fā)，或者將其技術(shù)應(yīng)用到特定的領(lǐng)域中。這種開放合作的模式有助于整個(gè)AI評估領(lǐng)域的快速發(fā)展。
同時(shí)，開源也意味著透明性。研究團(tuán)隊(duì)公開了模型的訓(xùn)練方法、數(shù)據(jù)處理流程和性能表現(xiàn)，這使得其他研究者可以驗(yàn)證和復(fù)現(xiàn)這些結(jié)果，促進(jìn)了科學(xué)研究的可信度和可重復(fù)性。
十、技術(shù)創(chuàng)新點(diǎn)：數(shù)據(jù)質(zhì)量的重要性
這項(xiàng)研究的一個(gè)重要發(fā)現(xiàn)是，對于評估模型來說，數(shù)據(jù)質(zhì)量比模型規(guī)模更為重要。Selene Mini雖然只有80億參數(shù)，規(guī)模相對較小，但通過精心策劃的數(shù)據(jù)和訓(xùn)練策略，它能夠在性能上超越許多更大的模型。
這種發(fā)現(xiàn)挑戰(zhàn)了"越大越好"的傳統(tǒng)觀念，表明在AI模型開發(fā)中，聰明的方法往往比蠻力更有效。就像一個(gè)技藝精湛的小餐廳可能比豪華大酒店做出更美味的菜品一樣，關(guān)鍵在于對細(xì)節(jié)的關(guān)注和對質(zhì)量的把控。
研究團(tuán)隊(duì)在數(shù)據(jù)篩選上投入了大量精力，從原始數(shù)據(jù)的質(zhì)量篩選到合成數(shù)據(jù)的一致性檢查，每一個(gè)環(huán)節(jié)都經(jīng)過精心設(shè)計(jì)。這種對數(shù)據(jù)質(zhì)量的重視為整個(gè)AI評估領(lǐng)域提供了重要的參考和啟示。
十一、未來展望：應(yīng)對新挑戰(zhàn)
研究團(tuán)隊(duì)在論文中指出，AI評估領(lǐng)域面臨著兩個(gè)重要的發(fā)展趨勢。首先是基于智能體的系統(tǒng)越來越普及，這些系統(tǒng)不僅能生成文本，還能調(diào)用各種工具和API，創(chuàng)造出更復(fù)雜、更實(shí)用的AI應(yīng)用。其次是推理時(shí)計(jì)算的興起，即模型在生成回答時(shí)會進(jìn)行額外的推理步驟，以提供更高質(zhì)量的輸出。
這兩個(gè)趨勢為評估帶來了新的挑戰(zhàn)。傳統(tǒng)的評估方法主要關(guān)注最終輸出的質(zhì)量，但對于這些新型系統(tǒng)，可能需要評估整個(gè)推理過程、工具使用的合理性以及多步驟操作的邏輯性。這就像從評判一道菜的味道擴(kuò)展到評判整個(gè)烹飪過程，包括食材選擇、烹飪技巧和擺盤藝術(shù)。
未來的評估模型需要具備更全面的判斷能力，不僅要能評估語言輸出，還要能理解和評價(jià)復(fù)雜的推理鏈條和工具使用策略。Selene Mini作為一個(gè)強(qiáng)大而高效的基礎(chǔ)模型，為這些未來發(fā)展提供了良好的起點(diǎn)。
說到底，Atla公司的這項(xiàng)研究證明了一個(gè)重要觀點(diǎn)：在AI評估這個(gè)日益重要的領(lǐng)域，創(chuàng)新的方法和對質(zhì)量的關(guān)注比單純的規(guī)模擴(kuò)大更有價(jià)值。Selene Mini以其出色的性能、高效的運(yùn)行和開源的理念，為整個(gè)AI社區(qū)提供了一個(gè)強(qiáng)大而實(shí)用的工具。
對于普通用戶而言，這意味著他們很快就能享受到更準(zhǔn)確、更一致的AI評估服務(wù)，無論是在工作中需要評判文檔質(zhì)量，還是在學(xué)習(xí)中需要獲得作業(yè)反饋。對于開發(fā)者來說，Selene Mini提供了一個(gè)可靠的基礎(chǔ)，可以在其基礎(chǔ)上構(gòu)建更專業(yè)的評估系統(tǒng)。
隨著AI技術(shù)的不斷發(fā)展，準(zhǔn)確而高效的評估將變得越來越重要。Selene Mini的成功不僅是技術(shù)上的突破，更代表了一種以質(zhì)量為導(dǎo)向、以開放合作為理念的研究方式。這種方式或許會成為未來AI研發(fā)的重要參考，推動(dòng)整個(gè)行業(yè)向更高質(zhì)量、更負(fù)責(zé)任的方向發(fā)展。
Q&A
Q1：Atla Selene Mini和GPT-4o-mini相比有什么優(yōu)勢？
A：Selene Mini在整體性能上超過GPT-4o-mini，平均得分75.6%對74.3%，特別是在絕對評分任務(wù)上表現(xiàn)更出色。更重要的是，Selene Mini是完全開源的，用戶可以免費(fèi)使用并根據(jù)需要進(jìn)行定制，而且模型更小，運(yùn)行效率更高。
Q2：普通用戶如何使用Selene Mini來評估文本質(zhì)量？
A：用戶可以通過HuggingFace（https://hf.co/AtlaAI/Selene-1-Mini-Llama-3.1-8B）或Ollama平臺下載使用Selene Mini。它能夠?qū)ξ谋具M(jìn)行打分評估，比較不同回答的質(zhì)量，并提供詳細(xì)的評價(jià)理由，適合用于文檔質(zhì)量檢查、作業(yè)評估、客服回復(fù)優(yōu)化等場景。
Q3：Selene Mini在專業(yè)領(lǐng)域比如醫(yī)療和金融方面的評估準(zhǔn)確嗎？
A：測試顯示Selene Mini在專業(yè)領(lǐng)域表現(xiàn)出色。在醫(yī)療領(lǐng)域的CRAFT-MD數(shù)據(jù)集上，醫(yī)療術(shù)語使用判斷準(zhǔn)確率達(dá)到92%，診斷可能性評估準(zhǔn)確率62%；在金融領(lǐng)域的FinanceBench數(shù)據(jù)集上準(zhǔn)確率達(dá)到71.7%，都明顯超過基礎(chǔ)模型的表現(xiàn)。