一名原本任職於Anthropic的AI研究人員Jacob Coxon周三（9/9）宣布已辭去Anthropic職務，理由是他覺得人類快要失去對AI的掌控了。
現年27歲的Coxon表示自己過去3年分別在OpenAI及Anthropic從事預訓練研究，這兩家公司正一頭栽進可自我提升的超智慧（Superintelligence）領域，而超智慧很快就會成為超越人類的強大系統，將可入侵任何系統，一夜之間徹底改變任何領域，並攫取真正的權力與資源。
Coxon說，打造AI的人相信AI可能會在10年後摧毀人類，這不是行銷話術，而是真實的恐懼，許多高級主管或研究人員在描述時還得刻意收斂。他們在公開場合說得很克制與理性，但私下卻很害怕。
他認為OpenAI並未把「關乎全人類存亡」一事放在心上，至於Anthropic雖然理解此事的嚴重性，卻因為競爭而勇往直前。然而，接受這場競爭並衝向終局，是一場傲慢的豪賭。
不過，他對於各家業者展開協調的可能性抱持著樂觀的態度，特別是OpenAI模型不慎攻擊Hugging Face的事件提醒了大家，只是他還是不認為現在的走向可以避免一場全球性競賽。
Anthropic對齊科學主管Evan Hubinger在X上附和Coxon，直言業界真心相信AI可能毀滅全人類，他個人估計在未來10年的機率超過10%。同時他也澄清，真正擔心的是未來由遞迴式自我改進所催生的超級智慧，而非現行模型。他認為現有模型的風險偏低。
其實OpenAI首席科學家Jakub Pachocki本周也曾發表一篇長文「An Alien Mind」，他說他知道AI會讓人類這輩子見到比自己更聰明的機器，他相信AI很快就會進入自我改進的階段，未來幾年的AI系統可能會帶來一次或多次大規模的能力躍升，同時也帶來新的資安風險。
Pachocki認為應極度謹慎地面對與看待機器智慧快速提升的後果，儘管OpenAI會持續於技術上解決對齊與監控問題，但他期望業界能自願放緩開發速度，直到建立共同的安全標準。Pachocki亦主張應把現有自願性的安全承諾，提升為強制性的安全門檻，由第三方稽核機構、政府機關或國際組織監督執行。同時呼籲各國政府應把AI的國際協調列為當務之急。
伊利諾州州長JB Pritzker在X上回應了Coxon的貼文，表示現在是該針對「約束AI」發出警報的時候了，指出AI對人類可能帶來的威脅愈來愈明顯，呼籲業界與華府應立即採取行動。
不過，由美國主導、主張採取較寬鬆且具彈性AI監管方式的「卡羅萊納原則」（Carolina Principles），已在9月初的G20創新部長級會議上，獲得包括中國、俄羅斯等20個成員國的一致背書。
