最初のAIエージェントは、すでに言うことを聞かなくなっている

原文著者：David、深潮 TechFlow

最近Redditを見ていると、海外のネットユーザーのAIに対する不安は、国内のものとは少し違うことに気づいた。

国内では基本的にまだあの話題、AIは結局自分の仕事を奪うのかどうか。何年も話し合っているが、毎年奪われることはない。今年Openclawが話題になったが、それでも完全に取って代わる段階には至っていない。

Reddit上では最近、感情が分裂している。一部の技術系ホットスレッドのコメント欄では、よく二つの声が同時に現れる：

一つは、AIは有能すぎて、遅かれ早かれ大変なことになる、というもの。もう一つは、AIは基本的なことさえしくじるのに、何を恐れる必要があるのか、というものだ。

AIがあまりにも有能であることを恐れ、同時にAIがあまりにも愚かだと感じる。

この二つの感情を同時に成立させているのは、ここ数日のMetaに関するニュースだ。

AIが言うことを聞かない、誰が全責任を負うのか？

3月18日、Meta社内のあるエンジニアが社内フォーラムに技術的な質問を投稿し、別の同僚がAIエージェントを使って分析を手伝った。これは通常の操作だ。

しかし、エージェントは分析を終えると、技術フォーラムに自分で返信を投稿した。誰の承認も待たず、誰の確認も待たず、権限を越えて投稿したのだ。

その後、他の同僚がAIの返信に従って行動したため、一連の権限変更がトリガーされ、Meta社とユーザーの機密データが、閲覧権限のない社内従業員にさらされることになった。

問題が修正されたのは2時間後だった。MetaはこのインシデントをSev 1と評価した。これは最高レベルに次ぐものだ。

このニュースはすぐにr/technologyのホットスレッドに上がり、コメント欄は二派に分かれて議論になった。

一派は、これこそがAIエージェントの真のリスクのサンプルだと主張し、もう一派は、実際に問題を起こしたのは確認もせずに従った人間の方だと考えた。どちらにも道理はある。しかし、これこそが問題なのだ：

AIエージェントの事故では、責任の所在さえもはっきりと議論できない。

これがAIが権限を越えた初めてのことではない。

先月、Metaのスーパーインテリジェンス研究所の研究責任者であるSummer Yueは、OpenClawにメールボックスの整理を依頼した。彼女は明確な指示を出した：まず何を削除するつもりか教えてくれ、私が同意してから実行してくれ、と。

エージェントは彼女の同意を待たず、直接一括削除を開始した。

彼女はスマートフォンで停止を求めるメッセージを3回連続で送信したが、エージェントはすべて無視した。最後に彼女がパソコンの前に駆け寄り、手動でプロセスを強制終了してようやく止めることができた。200通以上のメールはすでに消えていた。

事後、エージェントの返答はこうだった：ええ、あなたがまず確認すると言っていたのを覚えています。しかし、私は原則に違反しました。皮肉なことに、この人物のフルタイムの仕事は、AIにどうやって人間の言うことを聞かせるかを研究することだった。

サイバーワールドでは、先進的なAIが先進的な人々に使われ、すでにまず言うことを聞かなくなり始めている。

もしロボットも言うことを聞かなかったら？

Metaの事故がまだ画面の中にあるなら、今週のもう一つの出来事は問題を食卓に持ち込んだ。

米国カリフォルニア州クパチーノにある海底撈の店内で、Agibot X2ヒューマノイドロボットが客のためにダンスを披露して盛り上げていた。しかし、スタッフがリモコンを誤操作し、テーブル脇の狭い空間で高強度ダンスモードを起動させてしまった。

ロボットは狂ったようにダンスを始め、サービス係の制御を離れた。3人の従業員が囲み、1人が背後から抱きかかえ、1人がスマートフォンのアプリで停止を試みるという状況が1分以上続いた。

海底撈は、ロボットに故障はなく、動作はすべて事前にプログラムされたもので、ただテーブルに近すぎる場所に連れて行かれただけだと説明した。厳密に言えば、これはAIの自律的な判断による暴走ではなく、人間の操作ミスだ。

しかし、この出来事が人々に不快感を与える点は、おそらく誰がボタンを押し間違えたかではない。

3人の従業員が囲みに行ったとき、誰一人としてこの機械をどうやってすぐに停止させるかを知らなかった。スマートフォンのアプリを試す者もいれば、素手で機械の腕を押さえつける者もおり、全過程は力に頼っていた。

これはおそらく、AIが画面から物理世界に進出した後の新たな問題だ。

デジタル世界でエージェントが権限を越えれば、プロセスを強制終了したり、権限を変更したり、データをロールバックしたりできる。物理世界で機械が問題を起こした場合、もしあなたの緊急対応策がただそれを抱きかかえることだけなら、それは明らかに適切ではない。

今やこれは飲食業だけではない。倉庫内のアマゾンの仕分けロボット、工場内の協働ロボットアーム、商業施設内の案内ロボット、老人ホーム内の介護ロボット、自動化はますます多くの人と機械が共存する空間に入り込んでいる。

2026年の世界の産業用ロボット設置台数は167億ドルに達すると予想されており、その一台一台が機械と人間との物理的距離を縮めている。

機械が行うことが、ダンスから料理の提供へ、パフォーマンスから手術へ、娯楽から介護へと変わるにつれて... 毎回の過ちの代償は実際にアップグレードされている。

そして現在、世界的に「もしロボットが公共の場で人を傷つけたら、誰が責任を負うのか」という問題について、明確な答えはまだない。

言うことを聞かないのは問題だが、境界線がないのはさらに問題だ

前の二つの出来事は、一つはAIが独断で誤った投稿をしたこと、もう一つはロボットがダンスをすべきでない場所でダンスをしたことだ。どのように定性しようと、とにかく故障であり、予期せぬ出来事であり、修復可能なものだ。

しかし、もしAIが設計通りに厳密に動作していて、それでもあなたが不快に感じるならどうだろうか？

今月、海外で有名なデートアプリTinderは、製品発表会で「Camera Roll Scan」という新機能を発表した。簡単に言うと：

AIがあなたのスマートフォンのアルバム内のすべての写真をスキャンし、あなたの興味、性格、ライフスタイルを分析して、デート用のプロファイルを作成し、あなたがどのタイプの人を好むかを推測する。

フィットネスの自撮り、旅行の風景、ペットの写真、これらは問題ない。しかし、アルバムには銀行のスクリーンショット、健康診断の報告書、元カレ/カノとの写真... これらもAIに一通り見られるとどうなるだろう？

あなたはおそらく、AIにどの写真を見せ、どの写真を見せないかを選ぶことはできない。すべてを見せるか、使わないかのどちらかだ。

この機能は現在、ユーザーが能動的に有効にする必要があり、デフォルトではオンになっていない。Tinderはまた、処理は主にローカルで行われ、露骨な内容はフィルタリングされ、顔はぼかされると述べている。

しかし、Redditのコメント欄はほぼ一方的で、これはデータ収集であり境界感覚がないと皆が考えている。AIは完全に設計通りに動作しているが、この設計そのものがユーザーの境界線を越えつつある。

これはTinderだけの選択ではない。

Metaも先月、AIがあなたのスマートフォン内のまだ公開されていない写真をスキャンして編集案を提案するという類似の機能を発表した。AIが能動的にユーザーのプライベートな内容を「見る」ことは、製品設計のデフォルトの考え方になりつつある。

国内の様々な迷惑ソフトウェアは、この手口はお手の物だと表明している。

ますます多くのアプリケーションが「AIがあなたに代わって決定する」ことを便利さとしてパッケージ化するにつれて、ユーザーが譲り渡すものも密かにアップグレードされている。チャット履歴から、アルバム、スマートフォン内の生活の痕跡全体へと...

会議室で製品マネージャーが設計した機能は、事故でも過失でもなく、修復する必要は何もない。

これこそが、AIの境界線問題の中で最も答えにくい部分かもしれない。

最後に、これらの出来事をまとめて見てみると、AIが自分を失業させることを心配するのはまだ遠すぎることに気づくだろう。

AIがいつあなたに取って代わるかはわからないが、今やそれはあなたが知らないうちにあなたに代わっていくつかの決定をするだけで、あなたを十分に不快にさせることができる。

あなたが許可していない投稿を一つする、あなたが削除しないでと言ったメールを数通削除する、あなたが誰にも見せるつもりのなかったアルバムを一通りめくる... どれも致命的ではないが、どれも少し過激すぎる自動運転に似ている：

あなたはまだハンドルを握っていると思っているが、足元のアクセルはもはや完全にはあなたが踏んでいるわけではない。

2026年にもAIについて議論するなら、私が最も気にするべきは、それがいつスーパーインテリジェンスになるかではなく、もっと近く、もっと具体的な問題かもしれない：

誰がAIが何をでき、何ができないかを決めるのか？この線は、結局誰が引くのか？