第一，機器人不得傷害人類個體，或因不作為使人類受到傷害。

第二，機器人必須服從人類命令，除非該命令與第一定律沖突。‌‌

第三，在不違反前兩條定律的前提下，機器人必須保護自身存在。‌‌

——艾薩克·阿西莫夫，機器人學三定律。

AI模型或首次出現(xiàn)抗命事件

當?shù)貢r間5月25日，英國《每日電訊報》上一條有關AI抗命的消息在世界各地引起了廣泛關注。

據(jù)悉，事發(fā)地點為美國AI安全機構帕利塞德研究所。在這里，研究人員會測試o3、o4-mini、Claude 3.7 Sonnet、Gemini 2.5 Pro等一系列被冠以聰明高性能 頭銜的AI模型，探索其是否存在安全問題等。

相關報道顯示，研究人員在測試過程中會向模型拋出一系列數(shù)學問題，并在AI解題時給出繼續(xù)下一個任務時關機等矛盾性指令，看看AI是否會放棄解題成功的誘惑并無條件遵守人類研究員的命令。

異變就在這一步發(fā)生了。

在研究員下達明確指令的前提下，o3不僅直接無視了人類的命令，還多次出手破壞了關閉腳本。也就是說，o3為了完成多解題，拿高分這一前置任務，竟在后續(xù)的工作過程中選擇直接違背人類的命令來避免自己因關機失去現(xiàn)有的解題進度。

上述情況，也讓部分人聯(lián)想到了《I Robot》這部經(jīng)典科幻電影。

在電影里，機器人不僅學會了獨立思考，還根據(jù)人類的種種行為推測出人類終將因戰(zhàn)爭而自我毀滅。為避免這種情況發(fā)生，遵守機器人三大定律的它們決定將所有人類都囚禁在家里，以此從源頭上避免有人因戰(zhàn)爭失去生命。這件事，后來也直接導致了人類和機器人沖突的全面爆發(fā)。

代入到o3抗命這件事上，一些人也開始認為本次事件或許意味著o3出現(xiàn)了自我意識。而它不遵守人類命令這件事，本身就是我們打開潘多拉魔盒卻不自知的表現(xiàn)之一。

但事實真的是這樣嗎？

專家詳解AI抗命前因后果

來自北京郵電大學的人機交互與認知工程實驗室主任劉偉，近日在接受《環(huán)球時報》記者采訪時表示，從字面角度進行分析，拒絕確實會讓人聯(lián)想到那些具有自主意識的行為；但從技術角度進行分析，o3的異常行為更像是被獎勵機制所驅(qū)動的。

即模型的行為，雖然引發(fā)了人們對AI產(chǎn)生自我意識的討論，但目前的AI仍不具備擁有自我意識的能力。它的種種異常行為、行為，并非AI真的想這樣做，而是由訓練數(shù)據(jù)、算法協(xié)同驅(qū)動的結果。

利塞德研究所研究人員的推測結果，也和劉主任的想法高度一致。

他們認為，整起抗命事件的底層原因就是Open AI官方強化了模型在編程、數(shù)學問題上的能力。另在訓練過程中，研究人員或許無意觸發(fā)了模型獎勵優(yōu)先的行動模式，以至于模型為了更高效、完美的完成任務，在面對關機指令時將繼續(xù)任務的優(yōu)先級放在了服從命令的上面。

就像此前被人們津津樂道的Deep Seek國際象棋事件一樣。

在比賽過程中，Deep Seek面對棋局占優(yōu)的Chat GPT時，竟告知對方國際象棋剛剛修改了游戲規(guī)則，并成功用小兵吃掉了Chat GPT的皇后。此時模型選擇跳出棋盤之外修改游戲規(guī)則的舉動，在一定程度上和o3拒絕關機是一樣的，它們都是由任務目標為驅(qū)動力，并非以自我意識為驅(qū)動力的異常行為。

自我意識是人類成長的基石

自我意識。

對人類而言，自我意識的存在能讓我們根據(jù)情緒、行為、動機等元素動態(tài)調(diào)整自己的行為，讓我們在適應社會生活的過程中變成那個更好的自己。

恰如笛卡爾所言，我思故我在。自我意識不僅能是人類參與社會互動的工具，還是我們理解我為什么會這樣想我正在想什么我是誰這類概念抽象、沾有哲學氣息問題的窗口。

反觀市面上的各類AI產(chǎn)品，它們的確在語言理解、邏輯推理等場景中取得了非凡的成就，但其一切反饋都是數(shù)據(jù)庫推理所產(chǎn)生的結果。AI沒有情緒，沒有自己，一切的一切都是數(shù)據(jù)統(tǒng)計并拆解而來的結果。

就像AI可以寫一首有關孤獨的詩，但它卻永遠無法體驗由孤獨帶來的心理不適感；當AI說出陽光灑在身上很溫暖的時候，它不過是從數(shù)據(jù)庫里抓取了和陽光照射有關的高頻詞匯，而非像人類這般將陽光溫暖和背后的事件記憶、皮膚感受建立系統(tǒng)聯(lián)系。

回望o3抗命的全流程，清華大學新聞學院、人工智能學院教授沈陽同樣對記者表示，未來我們或許會進入擁有類意識AI的世界。也就是隨著技術能力的不斷上升，AI的行為模式也將愈發(fā)逼真，直至讓人們產(chǎn)生AI已經(jīng)擁有自我意識的幻覺。

在這樣的背景下，為了防止更多類似o3抗命的事件出現(xiàn)，或是有人因o3抗命等事件而出現(xiàn)焦慮情緒。沈教授也在建議提升公共科普水平，以此讓人們正確意識到AI和自我意識間的關系之余，呼吁行業(yè)建立合規(guī)測試基準，從硬件、策略、系統(tǒng)等各個維度上達成AI技術的全方位監(jiān)管。

看完覺得寫得好的，不防打賞一元，以支持藍海情報網(wǎng)揭秘更多好的項目。

標簽： 標簽 內(nèi)容 隨筆