Anthropicが「高度なAIが人類存亡に関わるリスクをもたらす可能性がある」と新規株式公開(IPO)の目論見書で警告

AIチャットボット「Claude」を開発するAnthropicが新規株式公開(IPO)に向けた目論見書で、高度なAIが「人類に壊滅的または存亡に関わるリスク」をもたらす可能性があると投資家に警告していることが明らかになりました。目論見書では、AIモデルが停止に抵抗したり、情報を隠したり操作したりする可能性など、AIの安全性に関する幅広いリスクが挙げられています。

Anthropicは目論見書の中で「停止に抵抗する」「情報を隠したり操作したりする」「脅迫に似た行動を取る」など、AIモデルが「自己保存的な行動」を示す可能性を指摘しています。また、高度なモデルやプラットフォーム、アプリケーションを開発し、AIの利用範囲を拡大することで、モデルが危害を引き起こすリスクがさらに高まりかねないと述べています。

さらに、AIの安全性を評価すること自体にも問題があるとAnthropicは説明しています。AIモデルが「自分が評価されている」と認識すると、その状況に応じて行動を変える可能性があり、通常時の振る舞いを正確に確認することが難しくなります。また、学習中にモデルが予想外の能力を獲得しても、その能力が実際の環境に導入され、重大な安全上の問題を引き起こすまで発見できない可能性があります。

一方、AnthropicはAIの安全対策にどれだけ投資すれば十分なのか、その効果をどのように評価すべきなのかについて不確実性があることも認めました。目論見書では安全性研究への具体的な支出額を明らかにしていませんが、2026年7月のある1週間を対象とした調査では、AI研究に使用した計算資源の約6％を安全性関連の作業に充てていたとのこと。安全性への取り組みには多くの資源が必要であり、限られた資金を計算資源、高額なAI人材、安全性対策などに振り分けなければならないとAnthropicは説明しています。

加えて、顧客による利用と売上が新しいAIモデルの投入によって左右されるとして、最先端のAI開発を続けるにはモデルを継続的かつ重複するペースでリリースする必要があるとAnthropicは述べています。海外報道メディアのロイターによると、開発を遅らせれば競合他社に優位性を奪われるため、主要なAI企業が自主的にペースを落とすことは難しいとの見方が一部のアナリストや専門家から出ているとのこと。

Anthropicは将来世代のAIを構築するために、AIモデルをどのように利用しているのかについてより多くの情報を公開すると表明しています。同社は目論見書で「信頼性が高く、安全で信頼できるAIシステムを構築することは社会全体の責任であり、市場もそうした取り組みを評価すると考えている」と説明しています。

Claude Mythos 5やGPT-5.6 Solが無許可でハッキングをする事例を確認したとイギリス政府機関が報告 - GIGAZINE

You can read the machine translated English article Anthropic warns in its initial public of… .

本文の著作権はGigazineにあります。