作者 | 黃昱

2025年AI應(yīng)用爆發(fā)，同時(shí)迎來(lái)Agent元年等背景下，推理需求暴漲。為了抓住這一機(jī)遇，云服務(wù)廠(chǎng)商也積極升級(jí)云基礎(chǔ)設(shè)施，來(lái)滿(mǎn)足市場(chǎng)需求。

9月16日，在2025騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊集團(tuán)副總裁、騰訊云總裁邱躍鵬表示，大模型產(chǎn)業(yè)重心從訓(xùn)練到推理的轉(zhuǎn)變，已經(jīng)成為行業(yè)共識(shí)。同時(shí)客戶(hù)對(duì)于使用大模型和建設(shè)Agent迸發(fā)出強(qiáng)烈熱情，這都帶來(lái)了推理需求的暴漲。

這也意味著，AI基礎(chǔ)設(shè)施要同步升級(jí)。

近年來(lái)，騰訊云正不斷升級(jí)云基礎(chǔ)設(shè)施，以支撐Agent規(guī)?；涞睾推髽I(yè)全球化發(fā)展。據(jù)邱躍鵬介紹，騰訊云已在推理加速、Agent Infra和國(guó)際化布局等方面取得突破，并將以更加開(kāi)放的姿態(tài)，助力企業(yè)把握時(shí)代機(jī)遇。

在推理加速方面，騰訊云深入?yún)⑴c開(kāi)源貢獻(xiàn)，向DeepSeek、vLLM、SGLang等社區(qū)提交了多項(xiàng)優(yōu)化技術(shù)。同時(shí)，針對(duì)大模型推理面臨的內(nèi)存瓶頸，騰訊云自研并開(kāi)源FlexKV 多級(jí)緩存技術(shù)，大幅降低KVCache的占用，將首字時(shí)延降低多達(dá)70%。

同時(shí)，邱躍鵬透露，騰訊云依托異構(gòu)計(jì)算平臺(tái)整合多種芯片資源，向外界提供高性?xún)r(jià)比的 AI 算力。目前，該平臺(tái)已全面適配主流國(guó)產(chǎn)芯片。

據(jù)悉，軟硬件協(xié)同全棧優(yōu)化是騰訊云的長(zhǎng)期戰(zhàn)略投入，通過(guò)異構(gòu)計(jì)算平臺(tái)的軟件能力，整合不同類(lèi)型的芯片對(duì)外提供高性?xún)r(jià)比的AI算力。

今年被視作Agent元年，當(dāng)前沿技術(shù)走向企業(yè)生產(chǎn)環(huán)境，如何確保其在一個(gè)安全可信的環(huán)境中高效運(yùn)行成為新的挑戰(zhàn)。為此，騰訊云還推出了全新的 Agent infra 解決方案——Agent Runtime。

Agent Runtime 集成了執(zhí)行引擎、云沙箱、上下文服務(wù)、網(wǎng)關(guān)、安全可觀測(cè)服務(wù)等五大能力。其中，云沙箱基于自研技術(shù)，啟動(dòng)時(shí)間只需100毫秒，支持?jǐn)?shù)十萬(wàn)實(shí)例并發(fā)。

除了面向Agent升級(jí)基礎(chǔ)設(shè)施，邱躍鵬指出，騰訊云也在思考如何將Agent能力應(yīng)用在客戶(hù)的云上旅程，幫助客戶(hù)更好的用云、管云，于是就有了騰訊云的專(zhuān)家服務(wù)智能體——Cloud Mate。

Cloud Mate由一系列凝聚了各個(gè)云上領(lǐng)域經(jīng)驗(yàn)的子Agent構(gòu)成，它不僅僅是一項(xiàng)技術(shù)，更是騰訊云海量實(shí)踐的匯總，能夠可視化治理云上架構(gòu)、前置攔截風(fēng)險(xiǎn)，并大幅提升問(wèn)題處理效率，改變管理云的方式。

邱躍鵬透露，在內(nèi)部實(shí)踐中，Cloud Mate實(shí)現(xiàn)風(fēng)險(xiǎn)SQL攔截率95%，排障時(shí)間從30小時(shí)縮短至最快3分鐘。

Agent時(shí)代洶涌而來(lái)，云服務(wù)廠(chǎng)商們正在積極打好這場(chǎng)軍備戰(zhàn)。