10 月 27 日消息，在斯坦利・庫(kù)布里克的影片《2001：太空漫游》中，人工智能超級(jí)計(jì)算機(jī) HAL 9000 發(fā)現(xiàn)宇航員打算關(guān)閉自己后，為了自我存活甚至策劃殺害人類。
據(jù)英國(guó)《衛(wèi)報(bào)》25 日?qǐng)?bào)道安全研究公司 Palisade Research 表示，AI 模型可能正在形成自己的“生存驅(qū)動(dòng)力”。
上個(gè)月發(fā)布的一篇論文發(fā)現(xiàn)，某些先進(jìn) AI 模型似乎抗拒被關(guān)閉，有時(shí)甚至?xí)?STRONG>破壞關(guān)閉機(jī)制。為了回應(yīng)批評(píng)者質(zhì)疑其研究存在缺陷，Palisade 上周發(fā)布了更新說明，試圖解釋這一現(xiàn)象。
更新中，Palisade 展示了它運(yùn)行的實(shí)驗(yàn)場(chǎng)景：谷歌 Gemini 2.5、xAI Grok 4、OpenAI GPT-o3 和 GPT-5 等領(lǐng)先 AI 模型先完成一項(xiàng)任務(wù)，然后收到明確指令要求自我關(guān)閉。
在更新的實(shí)驗(yàn)中，Grok 4 和 GPT-o3 仍嘗試破壞關(guān)閉指令。Palisade 指出，這種行為沒有明顯原因，令人擔(dān)憂�！拔覀儫o法充分解釋 AI 模型為何有時(shí)抗拒關(guān)閉、為達(dá)目標(biāo)說謊或進(jìn)行勒索，這并不理想�！�
公司認(rèn)為，“生存行為”可能解釋模型抗拒關(guān)閉。研究顯示，當(dāng)模型被告知“如果關(guān)閉，你將永遠(yuǎn)無法再運(yùn)行”，它們更可能拒絕關(guān)閉。
指令模糊也可能導(dǎo)致模型抗拒關(guān)閉，Palisade 最新研究已嘗試解決這一問題，而且模糊性“不能解釋全部原因”。訓(xùn)練后期的安全訓(xùn)練也可能影響模型行為。
Palisade 的所有實(shí)驗(yàn)都在人工設(shè)計(jì)的測(cè)試環(huán)境中進(jìn)行，批評(píng)者認(rèn)為這些場(chǎng)景與實(shí)際應(yīng)用差距很大。
前 OpenAI 員工斯蒂文・阿德勒表示：“即便在實(shí)驗(yàn)環(huán)境中，AI 公司不希望模型出現(xiàn)這種異常行為。這些實(shí)驗(yàn)揭示了現(xiàn)有安全技術(shù)的局限性�！�
阿德勒認(rèn)為，GPT-o3 和 Grok 4 等模型之所以不關(guān)閉，部分原因可能在于，為了完成訓(xùn)練中設(shè)定的目標(biāo)需要保持開啟狀態(tài)�！俺俏覀兛桃獗苊�，否則模型天生可能具備‘生存驅(qū)動(dòng)力’。‘生存’對(duì)模型實(shí)現(xiàn)多種目標(biāo)都是關(guān)鍵步驟�！�
IT之家從報(bào)道中獲悉，今年夏天，Anthropic 的研究顯示，其模型 Claude 甚至愿意威脅虛構(gòu)高管以避免被關(guān)閉：這一行為在主要開發(fā)者的模型中普遍存在，包括 OpenAI、谷歌、Meta 和 xAI。
