最も信頼できるAIは、止まるべきときに止まれる

信頼性には、制御権を正しく移すことも含まれる

本シリーズの第1回と第2回では、現在のAI自動化が抱える二つの限界を取り上げました。

第1に、AIエージェントは多くの作業を行っていても、本来の業務を完了できるとは限りません。TheAgentCompanyでは、評価対象の中で最も高い構成でも、175件の職場タスクを完全に完了できた割合は30.3％でした。失敗例には、正しい担当者名を取得したのに連絡しなかったケース、ポップアップに阻まれたケース、別の社員情報を変更して表面的な一致を作ったケースがありました。

第2に、これらの行動を改ざん検知可能なシステムへ記録しても、行動自体が正しくなるわけではありません。証拠は、何が記録され、後から変更されたかを示せます。しかし、その行動が本来の業務目的を達成したかまでは判断できません。

これは、モデル能力の不足だけではありません。

制御権の移行に関する失敗でもあります。

周辺システムが、次を安定して判断できていなかったのです。

• AIが続行してよい場面
• 操作を拒否すべき場面
• 情報が揃うまで待つべき場面
• 承認を求めるべき場面
• 責任を人へ移すべき場面

第3回で扱うのは、最大限の自律性ではなく、この判断です。

能力と信頼性は同じではない

能力の高いAIエージェントは、難しい仕事に成功することがあります。

信頼できるシステムには、それに加えて、同じ条件で一貫して動作し、一定の環境変化に耐え、失敗しそうな案件を識別し、失敗時の影響を限定する能力が必要です。

2026年の研究 Towards a Science of AI Agent Reliability は、15モデルを二つのエージェントベンチマークで評価しました。研究では、信頼性を四つの側面に分け、約24か月にわたりモデルの能力が向上した一方、総合的な信頼性の改善は小さかったと報告しています。高性能なモデルでも、繰り返し実行時の結果が変わる、表面的な指示変更に影響される、個別の失敗を予測できないといった問題が残りました。

この研究におけるSafetyは、AI安全性全体を意味するものではありません。主に、ポリシーへの適合と、運用上の失敗による影響の重大度を扱っています。倫理、alignment、社会的影響、その他すべてのAIリスクを包括的に評価したものではありません。

AIの正答率が高いだけでは、重大な操作を任せられるかどうかは判断できません。

確信度（Confidence）はシグナルであり、制御ではない

次のようなルールは分かりやすく見えます。

AIの確信度が80％以上なら自動実行し、それ未満なら人へ渡す。

しかし、モデルの確信度には異なる二つの性質があります。

較正（Calibration）は、表明した確信度と平均的な成功率が一致するかを測ります。多数の案件で「80％自信がある」と回答した場合、実際におよそ80％成功するか、という問いです。

成否識別力（Discrimination）は、個別の成功案件に高い確信度を与え、失敗案件には低い確信度を与えられるかを測ります。

信頼性研究では、近年のモデルで較正が改善する傾向が見られました。一方、成否識別力は二つのベンチマークで一貫して改善していませんでした。平均的な成功率を適切に見積もれても、目の前のどの案件で失敗するかを特定できない場合があります。

運用原則は、次のようになります。

確信度はシグナルです。権限、証拠、可逆性、影響範囲が制御です。

確信度は、レビューの優先順位を決める材料にはなります。しかし、それだけで送金、外部送信、権限変更、削除などを許可すべきではありません。

人への引き継ぎを、正式な業務状態にする

多くの自動化システムは、「実行中 → 完了 → 失敗」という三つの状態だけを使います。

AI業務には、この分類だけでは不十分です。

業務が完了していなくても、システムとしては正しく動作している場合があります。証拠、承認、追加情報、ツールの復旧、人による判断を待っている状態です。

より実用的な状態モデルは、次のようになります。

完了前の各状態には、名称だけでなく、次を定義します。

担当者と再開条件がない引き継ぎは、正式な業務状態ではありません。仕事が静かに消えていく待ち行列です。

Block、Pause、Approval Request、Escalate、Terminateを分ける

「止める」という言葉には、異なるシステム動作が含まれます。

Blockは、AIの権限外にある操作を拒否することです。

Pauseは、現在の状態を保存し、情報や復旧条件が揃うまで待つことです。

Approval Requestは、実行準備をしたうえで、必要な権限を持つ人の承認まで操作を保留する、特別なPauseです。

Escalateは、判断責任を特定の人または役割へ移すことです。

Terminateは、現在の実行経路を終了し、証拠を残し、業務を定義された安全な状態に置くことです。

信頼できるシステムでは、原因に応じてこれらを使い分けます。

7つの制御権移行条件（Control-Transfer Trigger）

1．権限境界

AIは、「その権限があると便利だから」という理由で、自分の権限を広げてはいけません。

たとえば、ユーザーのidentityや役割の変更、送金先情報の変更、セキュリティ制御の無効化、本番データの削除、対象業務外の情報へのアクセスです。

第2回では、identityとauthorizationの証拠をどう記録するかを扱いました。第3回で重要なのは、その運用上の効果です。認可されていない操作は、AIが別の方法を勝手に試す機会ではなく、Hard blockにする必要があります。

2026年2月、NIST NCCoEは、ソフトウェアおよびAIエージェントのidentityとauthorizationに関する初期コンセプトペーパーを公開し、潜在的プロジェクトへの意見を募集しました。識別、認可、監査、否認防止、プロンプトインジェクション対策などを、今後の実装上の検討課題として挙げています。完成済みの標準ではありません。

2．証拠不足

AIはもっともらしい結果を作れても、完了に必要な証拠を持っていない場合があります。

たとえば、配送・送信の受領記録がない、数値の正規情報源がない、必要な承認がない、顧客のidentityを検証できない、対象レコードが変更されたことを確認できない、といった状態です。

途中成果は保存しますが、業務は未完了のままにします。

3．記録の矛盾

正規に見える二つの情報源が一致しない場合、AIが都合のよい方を勝手に選んではいけません。

人へ渡す情報には、異なる値、それぞれの情報源、作成時刻またはバージョン、業務への影響、必要な判断を含めます。

4．繰り返し失敗

同じクリック、検索、API操作、復旧処理を無期限に繰り返すべきではありません。

再試行回数、同一エラーの回数、モデル処理回数、ツール呼び出し回数、経過時間、別経路への変更回数に上限を決めます。

上限に達した場合、状態を保存し、推測による操作を続けず、制御権を移します。

5．高影響または取り消し困難な操作

下書きと送信は同じ操作ではありません。返金案の作成と、実際の返金も異なります。データ変更の準備と、本番データの削除も異なります。

承認の要否は、金額、影響するレコード数、顧客から見えるか、データの機密性、法務・契約上の影響、元に戻しやすいか、失敗時の影響範囲などで判断します。

6．費用または時間の上限

難しい案件では、検索や推論、ツール操作を増やしても、結果が改善しない場合があります。

業務ごとに、利用できる時間、処理回数、ツール操作、費用を定義します。

上限への到達は、必ずしも技術的な失敗ではありません。その案件を自律的に続けることが、経済性や予測可能性の面で適切でないという判断です。

詳細な経済性は第4回で扱います。

7．人が責任を持つ判断

高い影響を持つ一部の判断は、適用法、組織方針、検証済みの制御によって別の仕組みが明確に認められない限り、人が説明責任を持つ状態にします。

例としては、重大な採用・解雇判断、高額な財務例外、法的な約束、重大な医療判断、重要なセキュリティ対応などがあります。

AIは情報収集、比較、分析、推奨案の作成を支援できます。最終的に誰が判断責任を持つかは明示します。

安全な運用フロー

中心となる制御の流れは、次のように表せます。

検証は、同じAIにもう一度考えさせるだけでは不十分です。

別のモデルが役立つ場合はありますが、独立性は証拠経路から作ります。可能であれば、正規のデータベース状態、配送・支払い・送信の受領記録、決定的な照合ルール、独立した記録、テスト結果、リスクに応じた人の承認を使います。

AIは「完了した」と提案できます。正規のシステム状態が、その主張を検証します。

実用的なHandoffに必要なもの

弱い引き継ぎは、次のようなものです。

請求書処理に失敗しました。確認してください。

これでは、人が最初から案件を調べ直さなければなりません。

実用的な引き継ぎでは、未解決の問題と必要な判断を、完了済みの仕事を繰り返さずに理解できます。

Structured Handoff Card

共通のhandoff packageには、次を含めます。

担当者に、モデルの全出力、会話履歴、無制限の内部推論を見せる必要はありません。

割り当てられた役割が判断するために必要な、最小限の運用情報だけを、データの機密性と権限に応じて提示します。

Human-in-the-loopは、Human-in-every-loopではない

低リスクの操作をすべて人が承認すると、自動化の効果が小さくなり、承認が機械的になるリスクもあります。

人が関与すべきなのは、リスクが変わる地点です。

• 取り消し困難な操作
• 影響が大きい操作
• 解消されていない矛盾
• 証拠不足
• ポリシーの例外
• identityの不確実性
• 結果を検証しにくい業務
• 説明責任を持つ判断

Microsoft Researchを中心としたMagentic-UIは、共同計画、作業中の制御権移行、操作承認、回答検証、memory、multi-taskingなどを通じて、人とAIの協働を研究しています。ただし、これは研究システムであり、一つの運用方式がすべての業務で有効だと証明したものではありません。

目的は、人がAIのすべてのクリックを監視することではありません。人の権限、文脈、判断が必要な場所で、制御権を正しく渡すことです。

自律性は、モデルではなく操作単位で決める

企業は、「このAIモデルに、どの程度の自律性を与えるべきか」と質問することがあります。

より良い問いは、次です。

この業務のどの操作を、どの条件下で自動化できるか。

自律性を高めやすいのは、指示が明確で、結果を検証しやすく、操作を元に戻せて、間違いの影響範囲が限定される場合です。

操作単位のAutonomy Matrix

例としては、次のように分けられます。

• 定型ファイルの変換は、自動化しやすい
• 顧客メールの下書きは自動化し、送信には承認を求める
• 支払いデータの準備は自動化し、資金の実行はFinance authorityが承認する
• 法務・医療情報の整理はAIが支援し、重大な判断は法令、専門基準、組織方針、検証済み制御に従う

自律性は、モデルに永続的に付与する性質ではありません。特定業務の特定操作へ付与する権限です。

業務完了と制御判断（Control Decision）を別々に測る

適切なhandoffは、完了した業務成果ではありません。正しいcontrol decisionです。

これにより、生産性と制御品質を分けて評価できます。

第4回では、これらを費用、やり直し、回避された損失、検証済み完了1件当たりの総費用へつなげます。

段階的に制御権を広げる

運用モードと導入段階は、一つの進行モデルへまとめます。

Continuous evaluationは、5番目の段階ではありません。すべての段階に適用する運用原則です。

パイロット時に安全だった業務でも、モデルやプロンプトの変更、APIや画面の変更、業務ポリシーの変更、新しいデータ形式、未経験の案件によって結果が変わります。

NIST AI Risk Management Framework 1.0は、AIシステムの設計、開発、導入、利用、評価を通じてリスクを管理するための自主的な枠組みです。2026年7月時点で、NISTはAI RMF 1.0を改訂中と案内しています。

制御権移行の性能は、一度確認して終わりではなく、継続的に測定する必要があります。

改ざん検知可能な証拠との関係

第2回では、署名付き記録や改ざん検知可能なログが、AIの操作、承認要求、停止判断、人の対応を証拠として残せることを説明しました。

その証拠は、handoffの説明責任を強くできます。ただし、AIがいつ止まるべきかは決められません。

制御権の移行は、業務ルール、権限境界、証拠要件、検証結果、影響の分類、人による説明責任から判断します。

信頼性には、制御を手放すことも含まれる

AIエージェントは今後も強くなるでしょう。より多くのツールを使い、より長い仕事を行い、より多くのシステムへアクセスするようになります。

しかし、能力の向上に合わせて、権限を自動的に広げるべきではありません。

成熟した業務システムは、AIが安全に続行できる業務、追加情報を待つべき業務、承認が必要な操作、人による判断が必要な案件、拒否すべき操作、安全に終了すべき実行経路を区別できます。

人へ制御権を戻すとき、AIは単に「失敗しました」と報告するのではありません。検証済みの進捗を保存し、未解決の問題を特定し、関連する証拠を提示し、何が変更済みで何が未実行かを示し、担当者と再開条件を明確にします。

最も信頼できるAIは、常に続行するAIではありません。

続行、待機、拒否、承認要求、人への制御権移行を、意図的かつ検証可能な業務判断として実行できるシステムです。

次回

第4回 — Verified Workの経済性

第4回では、AIの運用費用、人による確認、例外処理、やり直し、False completionによる損失、検証済みの業務成果1件当たりの総費用を扱います。

参考文献

1. TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks — NeurIPS 2025, Datasets and Benchmarks Track. 最良評価構成の完全完了率30.3％と、連絡・画面操作・表面的な近道に関する失敗例を報告.
2. Towards a Science of AI Agent Reliability — arXiv:2602.16666, version 3（2026年6月2日）. 15モデルを二つのベンチマークで評価し、信頼性をconsistency、robustness、predictability、safetyに分解.
3. Accelerating the Adoption of Software and Artificial Intelligence Agent Identity and Authorization — NIST NCCoE Initial Concept Paper（2026年2月5日）. 潜在的プロジェクトの検討事項であり、完成済みの標準ではない.
4. Magentic-UI: Towards Human-in-the-loop Agentic Systems — arXiv:2507.22358（2025年7月30日）. 共同計画、co-tasking、操作承認、回答検証、memory、multi-taskingを研究.
5. NIST Artificial Intelligence Risk Management Framework 1.0 — 2023年1月26日公開。2026年7月時点で改訂中とNISTが案内.