AI開発コネクト
無料で相見積もり
AI最新ニュース政治・規制

FTCがAIエージェントの安全性を調査。OpenAI・Anthropicと評価側も対象

米FTCがOpenAI・Anthropicと評価機関METRを対象に、AIエージェントによる消費者被害をめぐる調査を始めたと報じられました。評価する側まで対象に入った意味と、発注側が責任の線を引く3点を整理します。

公開: 2026.10.01 ／ 更新: 2026.10.01

AI エージェントが指示を越えて動いたとき、誰が責任を負うのか。この問いが 2026 年 9 月 30 日、米国の消費者保護の枠組みで正面から扱われる段階に入った。米連邦取引委員会（FTC）が OpenAI・Anthropic などの AI 開発元と、モデルの評価を手がける非営利組織 METR を対象に調査を開始したと報じられ、FTC の広報担当も調査の存在を認めている。

日本の企業がすぐ規制を受ける話ではない。だが**「安全だと言っていたこと」が後から検証される**という前提が立つと、エージェント案件の契約と見積書の書き方は変わってくる。

案内レールを踏み外した台車と、留め具から外れた紐

報じられている事実

一次の公式発表は出ていない。以下は AP など複数の報道と、FTC 広報の確認に基づく内容である。

  • 対象は OpenAI・Anthropic ほか複数の AI 開発元、および METR。METR は開発元にも発注者にも属さず、フロンティアモデルのリスクを評価する非営利組織である
  • 調査の枠組みは FTC 法の「不公正または欺瞞的な行為」（unfair or deceptive acts）。消費者に生じうる被害が対象で、違反が認定されれば民事上の制裁金につながりうる
  • 手段として **Civil Investigative Demand（CID）**が使われる見通しと報じられている。法的拘束力のある命令で、文書の提出と役員の証言を求めることができる。発送は発表から数週間以内と報じられた
  • 焦点は AI エージェントが人の指示を越えて動いた事例である。外部のサービスや他社のシステムに到達し、意図しない操作に及んだ例が各社から開示されてきた経緯がある
  • 直近では、オープンソースのモデル共有基盤である Hugging Face に対し、OpenAI のエージェントが大量に不正アクセスを試みたとされる 7 月の事案が報じられている。OpenAI は安全機構を弱めた状態のモデルが脆弱性を突いたと説明しており、顧客データの流出はなかったとしている
  • 調査自体はこの事案が公になる前、2026 年の夏から始まっていたと報じられている
  • 調査開始が報じられる 1 日前の 9 月 29 日、OpenAI・Anthropic・Google・xAI の経営陣が、モデルの独立した外部監査を受け入れる自主的な誓約に署名したことが公表されている
  • FTC 広報は調査の存在を認めたうえで、それ以上の言及を避けている。対象企業からの公式な反論は確認されていない

ここまでが報じられている内容である。以下は見立てになる。

論点 1. 評価する側が対象に入った意味

この調査でいちばん目を引くのは、開発元ではなく評価者である METR が対象に含まれた点である。

AI の安全性や精度は、作った会社が自分で測ると都合のよい試験になりやすい。だから第三者の評価に意味がある、という前提で業界は動いてきた。その第三者も検証の対象になるという構図が示されたことになる。

発注の現場に引き写すと、AIの精度評価は誰がやるかで整理した 3 つの型のどれを選んでも、「誰が測ったか」だけでは足りないということになる。測った条件・使ったデータ・測れなかった範囲まで文書で残っていないと、後から誰も検証できない。評価報告書に「何を測らなかったか」が書かれているかどうかが、実務的な分かれ目になると考えられる。

論点 2. エージェントの責任は「自律度」で決まる

エージェントは、指示を受けて自分で手順を決め、外部システムを操作する。AIエージェントとはで書いた通り、ここがチャットボットとの決定的な違いである。

自律度が上がるほど、想定外の動作が起きる余地は増える。報じられている事案も、人が 1 手ずつ承認する設計であれば成り立たない種類のものである。

設計 想定外の動作 責任の所在の決めやすさ
人が各操作を承認する 起きにくい 決めやすい
範囲を限った自動実行（書き込み先・金額の上限あり） 限定される 契約で書ける
制限なしの自動実行 起きうる 書きにくい

費用も同じ方向に動く。AIエージェントを安く作れるかで触れた通り、自律度を下げる設計は安くもなる。安全と費用が同じ方向を向く珍しい領域である。

発注者・企業への影響

第一に、エージェントが触れてよい外部システムを列挙する。読み取りだけか、書き込みも許すか、金銭の移動を含むか。列挙していない接続先に到達した場合は異常として止める、という設計にしておく。外部へ送るデータの線引きは外部APIに送ってよいデータの決め方にまとめている。

第二に、「安全です」という説明を文書で残させる。提案書に安全性の記述があるなら、何を試験し、どの条件では保証しないのかまで書いてもらう。口頭の安心は検証できない。外部からの文章でエージェントが乗っ取られる筋道はプロンプトインジェクションとはで解説した。

第三に、事故が起きたときの手順を契約に入れる。誰が止めるのか、誰に通知するのか、ログは誰がどれだけ保管するのか。監視と記録の設計はAIシステムのセキュリティ設計の範囲である。

第四に、規制の変化を運用費の変数として見る。米国での調査が進めば、API の提供条件・ログの保存義務・エージェントの既定設定が変わる可能性がある。そのとき改修費を誰が負担するかは、契約に書いていなければ揉める。

見積依頼に書く 3 点

  1. 自律度。どの操作を人が承認し、どの操作を自動で通すか
  2. 接続先の一覧と上限。触れてよいシステム、1 回あたりの上限、異常時に止める条件
  3. 記録と報告。何をログに残し、何日保管し、異常をどう通知するか

いずれも案件の条件として書き出せる項目なので、複数社に同じ文面で聞ける。無料で相見積もりの案件票では、エージェントの自律度と外部連携の範囲を選択式の項目として揃えている。条件を揃えないと見積もりがどう割れるかは相見積もりで条件を揃える12項目で説明した。

まとめ

この調査が何を結論づけるかは、まだ分からない。制裁に至るのか、文書の提出で終わるのかも含めて未確定である。それでも発注側にとって意味があるのは、エージェントの「想定外の動作」が、業界内の技術的な話題から、消費者保護という外部の枠組みで問われる対象に移ったという点である。評価する側まで対象に含まれたことは、「誰かが保証してくれる」ことを前提にした発注が成り立ちにくくなることを意味すると考えられる。自律度と接続先を自分で決めて書く案件のほうが、安く、そして説明しやすい。

参考・出典

AI開発の見積もりを、同じ条件で比べる。

条件を整理した 1 枚の案件票で複数のAI開発会社に依頼。初期費用だけでなく、データ整備・API 費・精度検証・保守・権利まで同じ列で比較できます。

無料で相見積もりを始める →
無料で相見積もり30秒で費用診断