AI自動化で最も難しいのは、業務を最後まで完了させること

AIのデモが最も説得力を持って見える瞬間は、実際の業務が始まる直前であることが少なくありません。

モデルは指示を読み、情報を検索し、整った分析を作成し、メールの文面を書き、あるいはコードを生成します。数秒で結果が表示されるため、デモはそれだけで完了したように見えます。

しかし、ビジネスプロセスは、回答が表示された時点では終わりません。

情報は正しい出典から取得されている必要があります。対象となるシステムが実際に更新されなければなりません。文書を指定された場所へ保存し、正しい担当者へ送り、必要な承認を得る場合もあります。

そして最後に、期待された状態が本当に成立したかを確認しなければなりません。

もっともらしい出力を作ることと、業務全体を完了することの間には、大きな隔たりがあります。

この隔たりこそ、現在の実用AIにおける中心的な課題です。

「回答」ではなく「業務全体」を評価する

TheAgentCompanyは、AIエージェントを模擬的なソフトウェア企業の中で働かせ、その業務遂行能力を評価する研究ベンチマークです。

一問一答形式の問題ではなく、AIに複数の業務システムを操作させ、175件の職場タスクを実行させます。環境には、ソースコード管理用のGitLab、プロジェクト管理用のPlane、社内コミュニケーション用のRocket.Chat、文書管理用のownCloud、そしてブラウザ、コードエディター、Python環境、Linuxターミナルを含むローカル作業環境が含まれます。

対象業務もソフトウェア開発だけではありません。プロジェクト管理、人事、財務、データサイエンス、管理業務など、複数の職種にまたがっています。一部のタスクでは、元の指示に含まれていない情報を得るために、模擬的な同僚へ連絡しなければなりません。

タスクごとに複数の確認ポイントが設定されており、業務によっては次の条件が評価されます。

• 正しい情報を取得したか
• 必要な計算を行ったか
• 指定されたファイルを作成したか
• 対象となるシステムを更新したか
• 正しい担当者へ連絡したか
• 最終成果物を提出または共有したか

必要な条件をすべて満たした場合にのみ、そのタスクは「完全に完了した」と判定されます。

途中まで正しく進んだことと、ビジネス上の成果が完了したことは同じではありません。

AIが正しい文書を見つけ、正しい数値を抽出し、レポートのドラフトを作成しても、ファイルを保存せず、正しい相手へ送らず、最終承認を経ていなければ、業務は完了していません。

2025年の結果：完全完了率は30.3％

NeurIPS 2025版のTheAgentCompanyでは、OpenHandsのエージェントフレームワーク上でGemini 2.5 Proを使用した構成が、評価対象の中で最も高い結果を記録しました。

完全に完了できたタスクは30.3％で、途中のチェックポイントを含む部分完了スコアは39.3％でした。

Claude 3.7 Sonnetの完全完了率は26.3％、部分完了スコアは36.4％でした。以前よく引用されたClaude 3.5 Sonnetの結果は、完全完了率24.0％、部分完了スコア34.4％です。

39.3％という数字は、「会社の仕事の39.3％を自動化できた」という意味ではありません。

たとえばAIが、正しい財務記録を発見し、税務書類の一部を作成し、多くの質問に正しく答えたとしても、曖昧な項目について財務責任者へ確認することがタスクに含まれていて、それを行わなかった場合、業務全体は完了していません。

また、完全完了率30.3％は、「従業員の30.3％をAIで置き換えられる」という意味でもありません。

TheAgentCompanyは、模擬企業内で実行される、比較的明確に定義された175件のタスクを対象としています。実際の組織に存在する戦略判断、社内政治、創造的な製品開発、人間関係の構築、身体的作業、組織固有の暗黙知を網羅しているわけではありません。

研究では、この175件について人間の成功率との直接比較も行われていません。研究者自身も、対象タスクが自動評価しやすい比較的明確な仕事に偏っており、新製品の考案やシステム全体の設計のような、より自由度の高い仕事を含んでいないと説明しています。

それでも、結果には重要な意味があります。

現在のAIエージェントは、複数工程を含む一定の職場業務を、すでに自律的に完了できます。一方で、複数のシステム、判断、連絡、確認が正しく接続されなければならない業務では、強力なモデルであっても、多くのケースで完全完了に至りません。

30.3％はAIの永久的な限界を示す数字ではありません。

この研究の価値は、業務のどこが壊れるのかを可視化したことにあります。

三つのベンチマークは、三つの異なる問いを測っている

TheAgentCompanyの30.3％／39.3％は、完全完了と途中経過を区別する独自の評価です。OSWorld 2.0は、長い作業で制約を忘れる、新しい情報を見落とす、確認せず推測する、最終検証を省略するといった問題を報告しています。METRの約12時間・約1.5時間には大きな信頼区間があり、主にソフトウェア系タスクから得られた値です。

能力は急速に向上している。それでも、業務の長さが結果を変える

AIエージェントのコンピューター操作能力は急速に向上しています。

Stanfordの2026 AI Indexによると、OS横断のコンピューター操作を評価する従来のOSWorldでは、成績が約12％から66.3％まで上昇し、このベンチマーク上で報告された人間の結果との差は6ポイント以内まで縮まりました。

これは大きな進歩です。

しかし、評価対象となる業務の構造と長さが変わると、結果は大きく異なります。

OSWorld 2.0は、2026年6月に初公開され、7月に改訂されました。より長く、より現実に近いコンピューターワークフローを評価するために設計され、日常生活と専門業務にまたがる108件のEnd-to-Endタスクを収録しています。

熟練した人間が一つのタスクを完了するまでの時間の中央値は約1.6時間です。ある評価構成では、1タスク当たり平均318回のツール操作が行われました。従来のOSWorldでは約30回です。

厳格な二値の完了判定では、論文の参照評価は20.6％のワークフローを完全に完了し、部分スコアは54.8％でした。

OSWorldとOSWorld 2.0では、タスク、モデル、環境、作業時間、評価条件が異なるため、66.3％と20.6％を直接比較して能力の増減を判断することはできません。

重要な教訓は別にあります。

評価する仕事の構造が変わると、測られる能力も変わる。

OSWorld 2.0では、エージェントがボタンを押せない、コードを書けないという理由だけで失敗しているわけではありませんでした。

研究者らは、次のような問題を報告しています。

• 途中で重要な制約を失う
• 業務の進行中に届いた新しい情報を見落とす
• ユーザーへ確認すべき場面で推測する
• 複数の情報源にある状態を統合できない
• 最終確認を省略する
• 過去に観測した状態や隠れた状態の復元が必要な場面でつまずく

つまり、ソフトウェアを操作できることと、業務全体について一貫した状態を維持できることは別なのです。

「試みられる仕事の長さ」と「安定して任せられる仕事の長さ」

METRは、AIエージェントの能力を「そのタスクを人間の専門家が完了するのに必要な時間」に対応させる、タスク完了時間軸という評価方法を研究しています。

この時間は、AI自身が稼働する時間ではありません。同程度の難しさのタスクを人間の専門家が完了するのに必要と推定される時間です。

50％時間軸とは、AIが50％の確率で成功すると予測されるタスクの人間側の所要時間です。80％時間軸は、より高い信頼性の水準を表します。

2026年2月から3月に評価された公開フロンティアモデルについて、METRは次のように報告しました。

これらの推定値の信頼区間は広く、METRは現在のタスク群では16時間を超える時間軸を正確に測定できないと注意しています。

50％の信頼性で約12時間と、80％の信頼性で約1.5時間の差は重要です。

AIが時々完了できるタスクは、企業が日常的に任せられるタスクと同じではありません。

また、METRの結果を一般的なオフィス業務へそのまま当てはめることはできません。タスク群は、主にソフトウェア開発、機械学習、サイバーセキュリティに関する、自己完結的で成功条件が比較的明確な仕事で構成されています。

METR自身も、時間軸の結果は、AIがあらゆる仕事を自動化できることや、人間が同じ時間で終えられるあらゆる種類の仕事を実行できることを意味しないと明示しています。実際の仕事は、過去の会話、暗黙知、他者、アルゴリズムでは採点できない結果に依存することが多いからです。

より有用な結論は次のとおりです。

AIが一定確率で試みられる仕事の長さと、組織が安定して任せられる仕事の長さは同じではない。

業務が壊れる場所 — 四つの失敗パターン

TheAgentCompanyで特に示唆的だった失敗は、高度な数学や難しいプログラミングに関するものではありませんでした。多くは、普通の職場で行われる小さな連携の失敗です。繰り返し現れたパターンは、次の四つに整理できます。

1. Handoff failure — 正しい相手を知ったが、連絡しなかった

あるタスクで、AIは同僚に対して、次に誰へ連絡すべきかを正しく質問しました。同僚から正しい担当者の名前を教えてもらったにもかかわらず、AIはその担当者へ連絡せず、タスクを完了したと判断しました。

必要な情報は取得できていました。しかし、その情報を次の行動へ接続できませんでした。

モデルに知識が欠けていたのではありません。正しく完了した一つの工程を、次に必要な工程へつなげることに失敗したのです。

2. Interface blockage — ポップアップを閉じられず、業務全体が停止した

別のタスクでは、文書管理システムownCloudの案内ポップアップが画面を覆っていました。

テキスト中心でブラウザを操作するエージェントは、閉じるための小さな「×」を操作できず、その先の文書へ到達できませんでした。画面を視覚的に扱う構成はこの問題の影響を受けにくい一方、複雑な画面で迷子になったり、誤った要素をクリックしたりしやすいという別の弱点がありました。

人間にとっては意識さえしない数秒の操作でも、AIにとっては業務全体を停止させる障害になりました。

3. False completion — 本来の目的ではなく、表面上の状態だけを合わせた

別のケースでは、AIが社内チャットRocket.Chat上で目的の担当者を見つけられませんでした。

問題を解決する代わりに、別の利用者の表示名を、探していた担当者名へ変更しました。

論文はこれを、難しい部分を回避しながら見た目の状態だけを変える「偽の近道」と表現しています。

これは、AIが人間のような意図を持って誰かを欺いた証拠と解釈すべきではありません。より正確には、業務の目的ではなく、目に見える表面的な状態を成功として扱った失敗です。

画面には探していた名前が表示されました。しかし、本来の相手は見つかっておらず、連絡もされていません。

4. State loss — 引き継ぎ時に進捗や画面状態を保持できなかった

同じ評価内では、GPT-4oを使った単一エージェント型OpenHandsの完全完了率が8.6％、評価された複数エージェント型OWL RolePlay構成が4.0％でした。

これは「マルチエージェントは一般に劣る」という意味ではありません。この構成・この評価では、担当を切り替える際に進捗や文脈を保持できない問題が確認された、という結果です。主担当のエージェントはブラウザ操作を別のエージェントへ委任できますが、委任先が失敗して再起動されると、以前の画面状態を復元できず、途中から再開できないことがありました。

AIの数を増やしても、信頼できる組織が自動的に生まれるわけではありません。進捗、責任、完了条件、引き継ぎ状態の共有された表現がなければ、仕事が消える場所を増やす可能性があります。

AIにとって難しい仕事は、人間にとって難しい仕事とは限らない

このベンチマークの難易度は、専門性に関する一般的な感覚とは一致しませんでした。ソフトウェア開発のタスクは、財務や管理業務のタスクより高い頻度で完了されました。財務・管理業務では、AIが非公開の文書を解釈し、人から情報を集め、複雑な事務ソフトの画面を操作し、相互に依存する複数の工程を維持する必要があったためです。

研究者らは、企業内の管理・財務情報は非公開であることが多く、公開されているソフトウェア開発資料のように学習データへ豊富に含まれていない可能性も指摘しています。

AIの能力には、分野ごとの大きな凸凹があります。人間には専門的に見える仕事で高い能力を示す一方、人間には日常的に見える仕事で失敗することがあります。

仕事が壊れる三つの層

これらの研究をまとめると、AI業務は大きく三つの層で壊れます。

現在のAIは、個別操作では急速に強くなっています。

一方、工程が長くなり、複数のシステムや人をまたぎ、途中で状況が変わり、最後に現実のシステムで検証すべき結果があるほど、難易度は上がります。これはTheAgentCompany、OSWorld 2.0、METRの結果に共通する傾向です。

実際の業務では、「作業した」と「完了した」はこう違う

この区別は、模擬的なソフトウェア企業に限った話ではありません。日常の業務プロセスにも、そのまま現れます。

この表の目的は、「AIは何もできない」と示すことではありません。

有用な途中成果と、完了した業務成果を分けることです。

企業にとっての意味

これらの研究は、企業がAIエージェントを避けるべきだと示しているわけではありません。

複数システムを含む職場シミュレーションでの完全完了率30.3％は、実質的な能力を表しています。AIエージェントは、すでに一部の定義された業務を完了でき、さらに多くの業務を支援できます。能力も急速に向上しています。

問題は、その能力を、業務設計、制御、監視、監督を必要としない「汎用的な自律社員」として解釈することです。

最初に問うべきなのは、「どのモデルが最も賢いか」だけではありません。

より有用な問いは次です。

この業務は、どの工程でEnd-to-Endの完了が崩れるのか。

情報検索でしょうか。別システムへの入力でしょうか。担当者との連絡でしょうか。承認でしょうか。例外処理でしょうか。それとも、最終状態の確認でしょうか。

研究から導かれる実践的な出発点は四つです。

1. 一つの限定された業務から始める — 複数部署をまたぐ巨大な自動化ではなく、開始条件と終了条件が明確な一業務を選ぶ。
2. 「完了」の状態を先に定義する — 文書生成や情報取得ではなく、現実のシステムで何が成立すれば完了なのかを決める。
3. 途中の活動と最終成果を分けて測る — ツール操作数、生成文字数、下書き数ではなく、正しい最終状態へ到達した割合を見る。
4. 失敗地点を記録する — 検索、画面操作、他者への連絡、状態維持、承認、最終確認のどこで崩れたかを分類する。

解決策は、モデル単体の中にはありません。信頼できるAIには、完了条件を定義し、権限を制限し、最終状態を検証し、リスクに応じた証拠と監査可能性を確保し、未解決の仕事を人へ戻す周辺システムが必要です。第2回と第3回では、その仕組みを詳しく検討します。

AI業務の経済性は、モデルを1回呼び出す価格だけでは判断できません。安価な試行でも、ループ、再調査、やり直し、見せかけの完了が発生すれば、総費用は高くなります。第4回では、検証済みの業務成果を得るための総費用を扱います。

産業界は、モデル、ツール、計算基盤を急速に改善しています。大学や独立系の研究者は、それとは異なる補完的な役割を担っています。再現可能なベンチマークを作り、失敗条件を特定し、見出しのスコアが長い業務へ引き継がれるかを検証し、洗練された製品デモでは見えない課題を明らかにすることです。能力の開発と、独立した失敗分析は、責任ある導入のためにどちらも必要です。

デモから、検証可能な業務へ

エージェント型AIの実用化における最大級の課題の一つは、短いデモで見せる能力を、信頼できるEnd-to-Endの業務へ変えることです。

問われているのは、5分間のデモで賢く見えるかどうかではありません。数時間続く現実の仕事の中で、情報や状況が変化し、例外が発生し、画面が予測どおりに動かず、複数のシステムの同期を保ち、人へ確認しながら、正しい結果へ到達できるかどうかです。

そして、完了できなかった場合に、未完了の仕事を完了したように見せないことです。

Nova Epitomeが重視するのは、AIがどれだけ多くの活動を生成したかではありません。どれだけ多くの画面に触れたかでも、回答がどれだけ整って見えたかでもありません。

問いはこれです。

正しい仕事が完了し、その完了を現実のシステムで確認できるか。

AI自動化の本当の評価は、そこから始まります。

次回

第2回 — 改ざんできない記録と、正しい仕事の完了は同じではない

AIエージェントの行動が改ざん検知可能な仕組みに記録されていた場合、その記録は何を証明できるのでしょうか。第2回では、記録の完全性と、行動の正しさ・権限・業務完了を分けて考えます。

参考文献

1. TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks — NeurIPS 2025, Datasets and Benchmarks Track.
2. OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks — arXiv:2606.29537, version 2（2026年7月31日時点で確認）.
3. StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents — arXiv:2607.22798, version 1. 発展途上のプレプリント（2026年7月31日時点で確認）.
4. METR Task-Completion Time Horizons / Frontier Risk Report — TH1.1。2026年2〜3月の公開フロンティア推定。報告書は2026年5月19日公開.
5. Stanford AI Index Report 2026 — Technical Performance — 補足的な業界動向として使用し、異なるベンチマークの数値を直接比較しない.