這項由騰訊混元團隊與中科院自動化所聯(lián)合進行的研究發(fā)表于2025年8月28日的arXiv預(yù)印本平臺，論文編號為arXiv:2508.21113v1。有興趣深入了解的讀者可以通過GitHub（https://github.com/yannqi/R-4B）或Hugging Face（https://huggingface.co/YannQi/R-4B）獲取相關(guān)代碼和模型。

想象一下這樣的場景：當有人問你"今天天氣怎么樣"時，你會直接回答"晴天"，不需要費腦筋思考。但如果有人問你"如何解決氣候變化問題"，你就會仔細思考，權(quán)衡各種因素后給出答案。這就是人類智能的一個重要特征——我們能夠根據(jù)問題的復(fù)雜程度自動調(diào)整思考的深度。

然而，現(xiàn)有的AI模型卻存在一個有趣的問題。那些具備"思考"能力的AI模型總是習(xí)慣性地"想太多"。即使面對最簡單的問題，比如識別一張圖片中的物體，它們也會啟動復(fù)雜的推理過程，就像用大炮打蚊子一樣浪費資源。而那些不具備思考能力的模型則完全相反，面對復(fù)雜問題時顯得力不從心。

正是在這樣的背景下，騰訊混元團隊開發(fā)出了一個名為R-4B的多模態(tài)大語言模型。這個模型的神奇之處在于，它學(xué)會了像人類一樣"看情況辦事"——遇到簡單問題時快速直接回答，遇到復(fù)雜問題時啟動深度思考模式。這種能力被研究團隊稱為"自動思考"（auto-thinking）。

R-4B模型在25個具有挑戰(zhàn)性的基準測試中取得了最先進的性能表現(xiàn)。更令人印象深刻的是，盡管R-4B只有4B個參數(shù)，但在推理密集型任務(wù)上的表現(xiàn)卻能與參數(shù)量達到16B的大型模型相媲美，同時計算成本卻大大降低。這就好比一個中學(xué)生在某些數(shù)學(xué)競賽中能夠與大學(xué)生平分秋色，而且解題速度還更快。

一、AI模型的"思考"革命

在深入了解R-4B之前，我們需要先理解什么是AI模型的"思考"能力。傳統(tǒng)的AI模型就像一個訓(xùn)練有素的服務(wù)員，聽到顧客的問題后立即給出標準答案。而具備思考能力的AI模型更像一個經(jīng)驗豐富的顧問，它會先在內(nèi)心權(quán)衡各種可能性，考慮不同的角度，然后給出經(jīng)過深思熟慮的建議。

這種思考過程在技術(shù)上通過特殊的標記來實現(xiàn)。當模型需要思考時，它會在""標簽之間進行內(nèi)部推理，這個過程包含詳細的步驟分析、反思和探索替代方案。隨后，模型會在這個思考基礎(chǔ)上生成簡潔明確的最終答案。

"和"

舉個具體例子，當面對一道復(fù)雜的數(shù)學(xué)題時，具備思考能力的模型會在思考標簽內(nèi)寫下："讓我分析一下這個圖形的規(guī)律，首先觀察第一行的模式，然后看第二行，接著找出它們之間的聯(lián)系..."經(jīng)過這番內(nèi)在推理后，它才給出最終答案："選擇D"。

這種思考能力確實顯著提升了AI在復(fù)雜推理任務(wù)上的表現(xiàn)，特別是在數(shù)學(xué)解題和科學(xué)圖表解釋等需要多步推理的任務(wù)中。但問題也隨之而來：對于那些本來就很簡單的問題，比如"這道菜叫什么名字"，啟動復(fù)雜的思考過程就顯得多此一舉了。

二、雙模式退火：讓AI同時掌握兩種"說話方式"

面對這個問題，研究團隊提出了一個創(chuàng)新的解決方案：雙模式退火（Bi-mode Annealing）。這個概念聽起來很專業(yè)，但本質(zhì)上就是教會AI模型同時掌握兩種不同的"說話方式"。

可以把這個過程比作培養(yǎng)一個多才多藝的演員。這個演員既要能演深沉的悲劇角色（對應(yīng)思考模式），也要能演輕松的喜劇角色（對應(yīng)非思考模式）。為了實現(xiàn)這個目標，研究團隊精心設(shè)計了一套訓(xùn)練方案。

首先，他們構(gòu)建了一個包含1637萬個訓(xùn)練樣本的龐大數(shù)據(jù)集，涵蓋了通用、數(shù)學(xué)、編程、圖表、文字識別、定位、描述、知識和純文本等九個不同領(lǐng)域。這些數(shù)據(jù)被精心分為兩類：需要復(fù)雜推理的問題和可以直接回答的問題。

分類的過程采用了兩種巧妙的策略。對于那些有標準答案的客觀問題，比如數(shù)學(xué)題或選擇題，研究團隊使用了一種叫做"離線困難樣本挖掘"的方法。簡單來說，就是讓一個強大的AI模型嘗試回答這些問題8次，如果8次都答錯了，說明這個問題確實很難，需要啟動思考模式；如果能輕松答對，則歸為簡單問題。

對于那些沒有標準答案的主觀問題，比如創(chuàng)意寫作或開放式問答，研究團隊則使用現(xiàn)有的強大模型來評估問題的復(fù)雜程度。這就像請一位經(jīng)驗豐富的老師來判斷哪些作文題目需要學(xué)生深思熟慮，哪些可以即興發(fā)揮。

在數(shù)據(jù)準備就緒后，訓(xùn)練過程采用了一種特殊的格式。對于需要思考的問題，模型學(xué)會了先在""標簽內(nèi)進行詳細分析，然后給出答案。對于簡單問題，模型則學(xué)會了使用空的思考標簽""直接給出答案。這樣做的好處是保持了格式的一致性，同時讓模型能夠靈活切換兩種模式。

推理步驟

通過這種雙模式退火訓(xùn)練，R-4B模型同時獲得了兩種能力：既能進行深度推理，也能快速直接回答。這為后續(xù)的自動思考能力打下了堅實基礎(chǔ)。

三、智能決策的關(guān)鍵：雙模式策略優(yōu)化

僅僅掌握兩種"說話方式"還不夠，關(guān)鍵是要知道什么時候該用哪一種。這就像一個廚師不僅要會做各種菜，更要知道什么場合該上什么菜一樣。為了解決這個問題，研究團隊開發(fā)了一種叫做雙模式策略優(yōu)化（Bi-mode Policy Optimization，簡稱BPO）的強化學(xué)習(xí)方法。

在傳統(tǒng)的強化學(xué)習(xí)中，AI模型會通過試錯來學(xué)習(xí)最優(yōu)策略。但這種方法在自動思考場景中容易出現(xiàn)"偏科"現(xiàn)象：模型可能會過度偏向某一種模式，要么總是思考，要么從不思考。這就像一個學(xué)生要么過度緊張把簡單題也搞得很復(fù)雜，要么過度放松連難題也草草了事。

BPO的創(chuàng)新之處在于強制平衡。對于每一個輸入問題，系統(tǒng)都會生成兩組回答：一組使用思考模式，一組使用非思考模式。然后通過比較這兩組回答的質(zhì)量，讓模型學(xué)會在什么情況下應(yīng)該選擇哪種模式。

這個過程的技術(shù)實現(xiàn)相當巧妙。研究團隊使用特殊的觸發(fā)詞來控制生成過程：添加"

"會強制模型進入思考模式，而添加"

"則讓模型直接回答。通過同時生成兩種回答并比較它們的效果，模型逐漸學(xué)會了自主判斷什么時候需要思考。

令人驚喜的是，雖然這個強化學(xué)習(xí)過程主要使用數(shù)學(xué)問題的數(shù)據(jù)進行訓(xùn)練，但模型學(xué)到的判斷能力卻能很好地推廣到其他領(lǐng)域。這就像學(xué)會了騎自行車的人很容易掌握騎摩托車一樣，基礎(chǔ)的平衡感和判斷力是相通的。

在訓(xùn)練過程中，研究團隊觀察到了一個有趣的現(xiàn)象。對于推理密集型的任務(wù)，比如數(shù)學(xué)推理和邏輯推理，模型的思考觸發(fā)率迅速上升并穩(wěn)定在高水平。而對于相對簡單的任務(wù)，比如文字識別，思考觸發(fā)率則保持在較低水平。這表明模型確實學(xué)會了根據(jù)問題復(fù)雜程度來調(diào)整自己的行為。

四、令人矚目的實驗成果

R-4B模型在各種基準測試中的表現(xiàn)令人印象深刻。在通用視覺問答任務(wù)中，模型展現(xiàn)出了全面而優(yōu)異的能力。在MMMU這個具有挑戰(zhàn)性的多學(xué)科基準測試中，R-4B-RL（經(jīng)過強化學(xué)習(xí)訓(xùn)練的版本）獲得了68.1%的最高分，超越了所有其他模型。在MMStar測試中，R-4B-RL以73.1%的成績位居第二，與最佳模型的差距微乎其微。

更值得關(guān)注的是模型在復(fù)雜推理任務(wù)上的突出表現(xiàn)。在MathVerse-vision數(shù)學(xué)視覺推理任務(wù)中，R-4B-Base和R-4B-RL分別獲得了65.0%和64.9%的成績，大幅超越其他競爭對手。類似的優(yōu)勢在OlympiadBench奧數(shù)基準測試中也得到了體現(xiàn)，R-4B-RL以49.6%的成績遙遙領(lǐng)先。

特別值得一提的是模型的計算效率。通過分析不同模式下的輸出長度，研究團隊發(fā)現(xiàn)R-4B確實學(xué)會了智能調(diào)節(jié)。在相對簡單的OCRBench文字識別任務(wù)中，自動思考模式平均只產(chǎn)生66個詞符，與非思考模式的57個詞符相當，但遠少于完整思考模式的394個詞符。與此同時，在性能上自動思考模式達到了83.6%的準確率，與非思考模式持平，甚至略超思考模式的82.6%。

在復(fù)雜的數(shù)學(xué)推理任務(wù)中，情況則完全不同。在MathVista數(shù)學(xué)視覺推理和WeMath數(shù)學(xué)問題測試中，自動思考模式的輸出長度分別達到996和1278個詞符，接近完整思考模式的水平。同時，性能也顯著提升，在MathVista上達到78.0%，在WeMath上達到52.8%，遠超非思考模式的71.5%和46.6%。

這些數(shù)據(jù)清楚地表明，R-4B確實學(xué)會了根據(jù)任務(wù)復(fù)雜程度智能調(diào)整計算資源的分配，在保證性能的前提下大幅提升了效率。

五、深度分析：訓(xùn)練過程的關(guān)鍵發(fā)現(xiàn)

通過對訓(xùn)練過程的深入分析，研究團隊獲得了許多有價值的洞察。首先，在雙模式退火階段，數(shù)據(jù)組合策略的選擇至關(guān)重要。實驗表明，混合推理數(shù)據(jù)和非推理數(shù)據(jù)的策略效果最佳，平均性能達到69.5%，顯著優(yōu)于僅使用推理數(shù)據(jù)的65.4%和分階段訓(xùn)練的66.9%。這說明讓模型同時學(xué)習(xí)兩種能力比分別學(xué)習(xí)更有效。

在強化學(xué)習(xí)階段，思考觸發(fā)率的變化過程揭示了模型的學(xué)習(xí)規(guī)律。對于推理密集型任務(wù)，模型的思考觸發(fā)率在訓(xùn)練初期快速上升，然后穩(wěn)定在較高水平。相比之下，對于非推理任務(wù)，觸發(fā)率的增長則相對緩慢且幅度較小。這個過程反映了強化學(xué)習(xí)機制的有效性：模型通過嘗試不同策略并根據(jù)反饋調(diào)整，逐漸找到了最優(yōu)的行為模式。

更重要的是，強化學(xué)習(xí)不僅提升了模型的自動思考能力，還同時增強了其在兩種模式下的表現(xiàn)。在非思考模式下，R-4B-RL相比R-4B-Base的平均準確率從42.0%提升到49.9%。在思考模式下，準確率也從56.1%提升到58.1%。這種全面的性能提升表明，強化學(xué)習(xí)過程不僅優(yōu)化了模式選擇策略，還提高了模型的整體能力。

研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：傳統(tǒng)的強化學(xué)習(xí)方法（如GRPO）在這種場景下容易出現(xiàn)"思考偏好困境"。模型在訓(xùn)練過程中會逐漸偏向某一種模式，導(dǎo)致另一種模式的使用頻率和質(zhì)量下降。而BPO通過強制生成雙模式回答有效避免了這個問題，確保了兩種模式的平衡發(fā)展。

六、技術(shù)創(chuàng)新的深層意義

R-4B的技術(shù)創(chuàng)新不僅僅體現(xiàn)在性能提升上，更重要的是它代表了AI發(fā)展的一個重要方向：從"一刀切"的處理方式轉(zhuǎn)向個性化的智能決策。這種轉(zhuǎn)變具有深遠的意義。

首先，從計算資源的角度來看，R-4B展示了如何在不犧牲性能的前提下大幅提升效率。在云計算時代，這種效率提升直接轉(zhuǎn)化為成本節(jié)約和環(huán)境友好。一個能夠智能調(diào)節(jié)計算強度的AI系統(tǒng)，在大規(guī)模應(yīng)用時將產(chǎn)生顯著的經(jīng)濟效益。

其次，從用戶體驗的角度來看，R-4B的自適應(yīng)能力意味著更快的響應(yīng)速度和更合適的回答深度。用戶不再需要在速度和質(zhì)量之間做出取舍，系統(tǒng)會自動為不同類型的問題提供最適合的處理方式。

更深層次上，R-4B的成功驗證了一個重要的技術(shù)理念：AI系統(tǒng)應(yīng)該具備元認知能力，即"知道自己知道什么，不知道什么"的能力。這種能力讓AI能夠更好地評估任務(wù)難度，選擇合適的處理策略，這是向通用人工智能邁進的重要一步。

雙模式退火和BPO方法的提出，也為其他AI研究提供了新的思路。這些方法展示了如何通過巧妙的訓(xùn)練策略讓單一模型掌握多種能力，而不需要設(shè)計復(fù)雜的架構(gòu)或使用大量的計算資源。

七、廣闊的應(yīng)用前景

R-4B的技術(shù)突破為眾多實際應(yīng)用場景打開了新的可能性。在教育領(lǐng)域，這種自適應(yīng)AI可以根據(jù)問題的難易程度提供不同深度的解答。對于基礎(chǔ)問題，系統(tǒng)會給出簡潔明了的答案；對于復(fù)雜問題，則會展示詳細的解題思路，幫助學(xué)生理解推理過程。

在客服和咨詢服務(wù)中，R-4B的自適應(yīng)能力同樣具有重要價值。對于常見問題，系統(tǒng)可以快速給出標準答案；對于復(fù)雜的技術(shù)咨詢或投訴處理，系統(tǒng)則會調(diào)用更深入的推理能力，提供個性化的解決方案。

在科研和分析工作中，這種技術(shù)能夠顯著提升效率。研究人員可以使用同一個系統(tǒng)來處理各種類型的任務(wù)：從簡單的數(shù)據(jù)查詢到復(fù)雜的假設(shè)驗證，系統(tǒng)都會自動調(diào)整處理深度，既保證了準確性又提高了效率。

醫(yī)療診斷是另一個潛在的應(yīng)用領(lǐng)域。AI系統(tǒng)可以對明顯的常見癥狀快速給出建議，而對于復(fù)雜的罕見病例則啟動深度分析模式，綜合考慮各種可能性后給出診斷意見。這種差異化處理既提高了診斷效率，也確保了復(fù)雜病例的準確性。

在內(nèi)容創(chuàng)作和新聞編輯領(lǐng)域，R-4B的技術(shù)也能發(fā)揮重要作用。對于事實性信息的整理，系統(tǒng)可以快速完成；對于深度分析文章或創(chuàng)意內(nèi)容，系統(tǒng)則會投入更多計算資源進行思考和創(chuàng)作。

八、面向未來的技術(shù)展望

雖然R-4B已經(jīng)取得了令人矚目的成果，但這只是自適應(yīng)AI發(fā)展的起點。研究團隊在論文中也指出了一些待解決的問題和未來的研究方向。

目前的自動思考機制主要基于問題的表面特征來判斷復(fù)雜程度，未來可以發(fā)展更加精細的評估方法。比如，系統(tǒng)可以考慮用戶的背景知識水平、問題的具體領(lǐng)域特點、甚至用戶的時間偏好等因素來決定回答的深度。

另一個重要的研究方向是多模態(tài)推理能力的進一步增強。R-4B主要處理文本和圖像信息，未來的系統(tǒng)可以擴展到音頻、視頻等更多模態(tài)，并且能夠在多模態(tài)之間進行更復(fù)雜的交互推理。

模型的可解釋性也是一個重要方向。雖然R-4B能夠自動選擇思考模式，但用戶往往希望了解系統(tǒng)為什么做出這樣的選擇。未來的系統(tǒng)可以提供更加透明的決策過程解釋，讓用戶更好地理解和信任AI的判斷。

個性化適應(yīng)是另一個有前景的方向。不同的用戶對回答的深度和風(fēng)格有不同的偏好，未來的系統(tǒng)可以學(xué)習(xí)用戶的個人特點，為每個用戶提供定制化的交互體驗。

跨語言和跨文化的適應(yīng)能力也需要進一步發(fā)展。目前的研究主要集中在英文和中文，未來需要驗證這種自適應(yīng)機制在其他語言和文化背景下的有效性。

在技術(shù)層面，如何進一步降低模型的參數(shù)量和計算需求，同時保持甚至提升性能，仍然是一個重要的研究課題。這對于在移動設(shè)備和邊緣計算環(huán)境中部署這類系統(tǒng)至關(guān)重要。

說到底，R-4B代表的不僅僅是一個技術(shù)突破，更是AI發(fā)展理念的重要轉(zhuǎn)變。從追求單一維度的性能最大化，轉(zhuǎn)向追求效率、性能和用戶體驗的綜合優(yōu)化，這種轉(zhuǎn)變將深刻影響未來AI系統(tǒng)的設(shè)計思路。

騰訊混元團隊通過這項研究，不僅為學(xué)術(shù)界貢獻了新的技術(shù)方法，也為產(chǎn)業(yè)應(yīng)用提供了實用的解決方案。隨著相關(guān)代碼和模型的開源發(fā)布，這項技術(shù)將能夠惠及更廣泛的研究者和開發(fā)者，推動整個領(lǐng)域的進步。

未來，我們有理由期待看到更多類似的自適應(yīng)AI系統(tǒng)出現(xiàn)在我們的日常生活中，它們不僅能夠解決我們的問題，還能以最合適的方式解決問題。這樣的AI系統(tǒng)將更像是我們的智能助手，而不僅僅是工具，它們懂得在什么時候該快速響應(yīng)，什么時候需要深思熟慮，真正實現(xiàn)了技術(shù)與人性需求的完美結(jié)合。

Q&A

Q1：R-4B的自動思考功能是如何工作的？

A：R-4B就像一個聰明的學(xué)生，會根據(jù)題目的難易程度自動調(diào)整解題方式。遇到簡單問題時直接回答，遇到復(fù)雜問題時會先在內(nèi)心進行詳細推理（在標簽內(nèi)），然后給出經(jīng)過深思熟慮的答案。這個判斷過程是通過雙模式策略優(yōu)化訓(xùn)練出來的，讓模型學(xué)會了什么時候該"想"什么時候該"說"。

Q2：為什么R-4B比其他AI模型更高效？

A：傳統(tǒng)的思考型AI就像總是用大炮打蚊子，即使面對最簡單的問題也要啟動復(fù)雜推理。R-4B則學(xué)會了"看人下菜碟"，簡單問題用66個詞快速回答，復(fù)雜問題用1200多個詞深度分析。這樣既保證了準確性，又大大節(jié)省了計算資源，就像一個會省油的司機，市區(qū)慢開高速快跑。

Q3：R-4B的技術(shù)突破對普通人有什么意義？

A：R-4B讓AI變得更像人類助手。以后你問AI簡單問題時會立即得到答案，問復(fù)雜問題時會得到詳細的分析過程。這意味著更快的響應(yīng)速度、更低的使用成本、更好的用戶體驗。比如在線客服能瞬間回答常見問題，教育軟件能根據(jù)題目難度提供不同深度的講解，讓AI服務(wù)更貼合實際需求。