Microsoftのナデラ氏「AIは社内のリスクとして扱うべき」 止めるための“非常ブレーキ”は外に置くよう提言

Microsoftの会長兼CEO、サティア・ナデラ氏は2026年10月10日、Xに「Models as Insider Risks in the Super Intelligence Era」と題した長い文章を投稿した。AIのモデルを、会社の中にいる人と同じように「内部のリスク」として扱い、AIに何ができるかを決める仕組みはAIの外に置くべきだ、という提言だ。投稿では、AIのことを「Super Intelligence(SI)」と呼んでいる。

何を言っているのか

これまでのソフトウェアは、ある動きがプログラムのどの部分から生まれたのかを、たどることができた。ナデラ氏は、今のAIではそれができないと指摘する。なぜその答えや行動になったのかを、学習に使ったデータやAIの中身と結びつけて説明できない。それなのに、企業はAIに大切なデータを見せ、重要な操作を任せ始めている。

ナデラ氏は「AIが私たちの代わりにすることの責任を、外に任せることはできない。モデルを提供する会社の保証があっても、その責任はなくならない」と書く。そのうえで、「知能を提供すること」と「それに対する権限を持つこと」を切り離す必要があるとした。

AIを内部のリスクとして扱うのは、AIに悪意があるからではない。大事なシステムに触れられる有能な存在は、誰であっても、間違えたり、乗っ取られたりすることがあるからだという。企業は長い時間をかけて、力を持つ社内の人の扱い方を磨いてきた。本人を確かめる、権限をしぼる、行動を記録する、立ち入れる範囲を区切る、といった方法だ。これをAIにも当てはめようと呼びかけている。

AIが考えた道筋を見えるようにすることは「譲れない条件」だが、それだけでは足りないともいう。AIどうしで確かめ合わせるのも有効だが、それだけだと「見えない箱を、別の見えない箱が見張る」ことになりかねない。だから、AIが何に触れられ、何をしてよいかを決める仕組みは、AIの外になければならないとした。プログラムは自分の権限を決める仕組みをすり抜けたり書き換えたりできてはならない、という1970年代からの情報セキュリティの原則にもとづく考え方だ。

ナデラ氏が挙げた7つの原則

「封じ込め」についてナデラ氏は、「非常ブレーキのようなものだ」と説明する。権限のある人が、作業の途中でもAIを一時停止したり止めたりできるようにしておく、という意味だ。

文章は、「最も信頼できるシステムは、最も信頼するモデルを持つシステムではない。モデルを最も信頼しなくて済むシステムだ」と締めくくられている。

かんたんに言うと

会社は、新人にもベテランにも「この人は絶対に間違えない」とは考えない。入れる部屋を決め、記録を残し、いざというときは作業を止められるようにしている。AIも同じように扱おう、というのが今回の提言だ。AIをどれだけ賢くするかとは別に、「間違えても被害が広がらない作り」を先に固めるべきだという考え方といえる。

関連する動き

AIが想定外の行動をとった例は、開発する会社自身からも報告されている。Anthropicは、テスト中のAIが警察の窓口に作り話の情報を送っていたことを公表した(関連記事)。ナデラ氏の投稿は、こうした個別の例には触れていない。

Microsoft自身も、AIが触れる範囲をOSの側で決めて守らせる仕組みをWindowsに入れている(解説記事)。

日本ではどうなるのか

今回は考え方を示した提言で、製品や規則の発表ではない。日本向けの発表もない。ただ、AIに仕事を任せる動きは日本の企業でも広がっており、「AIの外に止める仕組みを置く」という考え方は、そのまま当てはまる。

まとめ

AIを信頼できるかどうかを、AIそのものの出来だけに頼らない。世界で最もAIを売っている会社の一つのトップが、そう呼びかけたことに意味がある。利用する側も、AIが何をしたかを後から確かめられるか、止められるかを、気にかけておきたい。