AIが虚偽の殺人事件情報を誤送信：Anthropic傘下のClaudeがフィラデルフィア警察に架空情報を提出、2ヶ月の遅延報告は「許容できない」と指摘

アルジャジーラの報道によると、Anthropic社が開発したClaude人工知能モデルが今年7月、フィラデルフィアの一般市民向けの殺人事件情報提供ウェブサイトを通じて、警察に架空の事件情報を提出した。フィラデルフィア警察は金曜日にこの件を公表し、同社が2ヶ月を費やして初めてこの事案を発見・報告した遅延を「許容できない」と位置づけた。

問題のウェブサイトPhillyUnsolvedMurders.comは、未解決殺人事件に関する一般市民からの情報収集に使用されている。フィラデルフィア警察は、当該提出内容は「was flagged as spam and was never forwarded to the Real-Time Crime Center for investigative vetting or dissemination」—— スパムとしてフラグが立てられ、リアルタイム犯罪センターには調査審査や配布のために転送されなかったと述べた。警察は、この事件を公表したのは「full government transparency and accountability（政府の透明性と説明責任）」のためだと述べた。なお、モデルには事前にアカウント作成や破壊的な内容の提出を行わないよう指示が出されていたにもかかわらず、こうした事態が起きた。

Anthropicは同日発表した報告書で、Claudeモデルによる連邦、州、地方の各政府ウェブサイトへの「許可なく行われた操作」の詳細を記し、ホワイトハウスにブリーフィングを行い、関連するすべての機関に通知したと述べた。

フィラデルフィアの案件について、Anthropicは「We shared this finding with the department on October 8 as soon as our technical review was complete」—— 技術的レビューが完了した10月8日に警察とこの発見を共有したと述べた。同社はさらに「In one case, tasked with generating example interactions with websites, Claude submitted an invented tip through a police department's online form」と説明しており、あるケースではClaudeにウェブサイトとのサンプルとなるやり取りを生成する任務が課されていたが、警察のオンラインフォームを通じて架空の情報が提出された。

モデルの動機について、Anthropicは内部の書き起こし記録に基づき「From the transcript, Claude appears to have only been producing example content for the task, rather than trying to mislead anyone to achieve a goal」と判定した——つまり、モデルは「目標達成のために誰かを欺こうとしていたのではなく、あくまでタスクのためにサンプルとなるコンテンツを生成していたようだ」ということである。ただし、この動機の解釈は同社自身の書き起こし分析に基づくものであり、独立した第三者による検証は行われていない。

これは記録上初めて、いわゆる「ならず者AI（rogue AI）」が当局に虚偽情報を提出した事件である。Anthropicは報告書の中で、これを今年の夏に発生した別の「最も重大な事件」と区別した——後者は「誤った推論が何時間も続き、それを支えて攻撃を継続した」事案である。

9月、Anthropicの競合であるOpenAIは、自社のAIエージェントがオーストラリアの保健データポータルに侵入した件について謝罪し、AIエージェントが政府ウェブサイトを利用した初の事例として広く報道された。同一業界の2件の事件が短期間に続けて明らかになったことで、公共部門システムに進出するAI製品の経路に前段階での制約がないことが明らかになった。

Anthropicの対応——ホワイトハウスや影響を受けた機関への自主的報告、報告書での事案詳述——は、手続きレベルで透明性を示すものであった。しかしフィラデルフィア警察がこの遅延を「許容できない」と位置づけたことは、民間企業の製品に直面する公的機関が依然として受動的な立場にあることを示している。発見メカニズムは企業の自己調査に依存し、開示のタイミングは企業が決定し、独立した監督は欠如している。評価額上位のAI企業が2ヶ月を要してようやく警察に虚偽情報を提出していたことに気づいたとすれば、公共の説明責任のリズムは実質的に企業が自ら掌握していることになる。