VYU團(tuán)隊(duì) 投稿量子位 | 公眾號 QbitAI

人類一眼就能看懂的文字，AI居然全軍覆沒。

來自A*STAR、NUS、NTU、清華、南開等機(jī)構(gòu)的研究團(tuán)隊(duì)，最近有個(gè)新發(fā)現(xiàn)：

不管是OpenAI的GPT-5、GPT-4o，還是谷歌Gemini、Anthropic Claude，甚至國內(nèi)的Qwen、LLaVA，在面對一些“看得見但讀不懂”的文字時(shí)，全都表現(xiàn)極差，直接“翻車”。

先切再疊，AI束手無策

VYU團(tuán)隊(duì)設(shè)計(jì)了兩個(gè)小實(shí)驗(yàn)：

1、選取了100條四字成語，把每個(gè)漢字橫切、豎切、斜切，再把碎片重新拼接。

人類讀起來毫無壓力，AI卻幾乎全錯(cuò)。

2、挑選了100個(gè)八字母英文單詞，把前后兩半分別用紅色和綠色渲染，再疊加在一起。

對人類來說，這幾乎不構(gòu)成挑戰(zhàn)——因?yàn)槲覀兊囊曈X系統(tǒng)對紅/綠通道異常敏感，大腦能自動分離顏色，然后拼出完整的單詞。

但對AI模型來說，結(jié)果卻完全不同：

即使是最新發(fā)布的大模型，在這些問題上也屢屢碰壁。

無論是Gemini 2.5 Pro:

還是Kimi 2（Switch to 1.5 for visual understanding） ：

（PS：Kimi 2最終推測的答案是hardline）

又或者Qwen3-Max-Preview：

全都得不到正確的結(jié)果。

AI不懂符號分割與組合

對該現(xiàn)象進(jìn)行分析，VYU團(tuán)隊(duì)認(rèn)為，根本原因在于AI靠模式匹配，不懂文字結(jié)構(gòu)。

人類之所以能“讀懂”，是因?yàn)槲覀円蕾嚱Y(jié)構(gòu)先驗(yàn)——知道漢字由偏旁部首組成，知道英文是按字母組合的。

而大模型只是把文字當(dāng)作“圖片模式”來識別，沒有符號分割與組合的機(jī)制。

于是，只要文字稍作擾動（但人類依舊能看懂），AI就會徹底崩潰。

這個(gè)問題之所以值得研究，是因?yàn)樗P(guān)系到AI落地的核心挑戰(zhàn)：

在教育和無障礙應(yīng)用里，AI可能無法正確識別“非標(biāo)準(zhǔn)文本”。在歷史文獻(xiàn)與科學(xué)筆記整理中，AI無法像人類一樣從殘缺文字中恢復(fù)含義。在安全場景里，攻擊者甚至可以利用這種“盲點(diǎn)”繞過AI審查。

VYU團(tuán)隊(duì)認(rèn)為，要想讓AI擁有類似人類的韌性，必須重新思考VLMs如何整合視覺與文本——

也許需要新的訓(xùn)練數(shù)據(jù)、更注重分割的結(jié)構(gòu)先驗(yàn)，或者全新的多模態(tài)融合方式。

更重要的是，這一結(jié)果也提醒我們：人類的閱讀理解從來不是單一模態(tài)的過程，而是依賴多重感知與推理的綜合能力。

論文鏈接：https://zjzac.github.io/publications/pdf/Visible_Yet_Unreadable__A_Systematic_Blind_Spot_of_Vision_Language_Models_Across_Writing_Systems__ArXiv.pdf