Anthropicが400,000セッションを分析。負けたのはエンジニアだった

Anthropicは400,000件のClaude Codeセッションを分類器で1件ずつ評価し、コーディングエージェントで実際に成功しているのは誰なのかを調べました。検証済み成功率が最も高かったグループは、ソフトウェアエンジニアではありません。マネージャーです。研究に登場する上位10の職種グループはすべて、開発者から7ポイント以内に収まっています。つまり、コードを書かない人たちが、それを本業とする人たちとほぼ同じ割合で、動くコードを世に出しているのです。

「コードが書けないから、こういうツールは自分には向いていない」と思ったことがあるなら、この研究はその正反対を告げています。コードが書けるかどうかは、成功する人と失敗する人をもはや分けておらず、研究は何がそれを分けるのかを正確に示しています。

研究のすべての数字の読み方を変える定義が3つあります。まずサンプルです。2025年10月から2026年4月にかけて記録された、235,000人による400,000件の対話型セッション。Claude Codeはターミナル上で動くAnthropicのコーディングエージェントで、やりたいことを普通の言葉で書けば、ファイルを読み、コードを書き、コマンドを自律的に実行します。

Anthropicの誰かがこれらの会話を手作業で読んだわけではありません。同社自身のモデルを基盤とする分類器がすべてのセッションを自動で評価し、その評価はテレメトリー、つまりコミット、コード変更、テスト結果と突き合わせて検証されました。コードを変更するセッションでは、分類器とテレメトリーの一致率は90%を超えています。

次に成功の定義です。研究は2種類の成功を追跡しており、この違いが以降のすべてを支えます。「判定成功」は、目標が達成されたと分類器が判断したという意味です。「検証済み成功」はより厳しく、テストの通過、コミット、あるいはユーザーによる明示的な確認といった証拠を必要とします。以下のすべての数字はこの高いバーを使っており、これはかなり厳しい基準です。有用なセッションの多くは、正式な証拠なしに終わるからです。

3つ目は専門性そのものです。分類器は肩書きや経歴を一切見ません。セッション内での振る舞いを読み、初心者からエキスパートまでの5段階で評価します。使う信号は3つだけ。指示がどれだけ正確か、エージェントに何の検証を求めるか、そして双方が互いを訂正するかどうかです。レベルが測るのはそのセッションで扱う問題への理解度なので、同じ人が朝は自分の専門分野でエキスパート、夜は新しいテーマで初心者になることもあります。

初心者は一文で見分けられます。ドメイン知識が織り込まれていない、汎用的な指示です。エキスパートは文脈を詰め込んだプロンプトを書き、同じエージェントがはるかに多くの自律的な仕事で応えます。ここでのアクションとは、ファイルを読む、関数を書く、コマンドを実行するといった、エージェントの具体的な一手のことです。

指標	初心者	エキスパート
プロンプトあたりのエージェントアクション数	約5	約12
プロンプトあたりの成果物の語数	約600	約3,200
検証済み成功率	15%	28-33%（中級以上）
セッションが崩れた時の離脱率	19%	5-7%（初心者以外全体）
トラブルセッションを検証済み成功に転換した割合	4%	15%

同じツール、同じサブスクリプションで、成果物は5倍。変わった変数はキーボードの前にいる人だけです。

最も重要なのは次の点です。伸びのほぼすべては初心者と中級の間で起きており、中級とエキスパートの差はわずかです。成功率を2倍にするためにエキスパートになる必要はありません。初心者であることをやめればいいのです。

最も残酷な差は、セッションがうまくいかなくなった時に現れます。エージェントがエラーとテスト失敗の渦に沈み始めた時、初心者は19%の割合でセッションを放棄しますが、それ以外は5-7%です。踏みとどまった人の中でも、初心者がトラブルセッションを検証済み成功に転換できるのは4%だけで、エキスパートは15%を転換します。救われるセッションはほぼ4倍。理由はただ一つ、エージェントが沈むのを眺めるのではなく、軌道修正できるだけの問題理解があるからです。レベルの差は、すべてが順調な時には見えません。最初のつまずきで現れます。

Anthropicの言うドメイン専門性とは、解こうとしている問題を根本まで理解していることです。コードを生み出すセッションにおいて、職種間の差は小さく、安定しています。

グループ	検証済み成功	部分的成功
ソフトウェア職	34%	89%
その他すべての職種	29%	88%

差は5ポイント。この差は研究の7か月間、両グループが改善を続ける中で広がりも縮まりもしませんでした。目標が少なくとも部分的に達成された「部分的成功」では、両グループは並んでいます。

研究はドメイン専門性がどこで効くのかも示しています。典型的なセッションでは、人間が計画の意思決定（何を作るか）の約70%を担い、実行の意思決定（どう書くか）は約20%しか担いません。分担は最初から決まっています。あなたが「何を」を決め、エージェントが「どうやって」を担うのです。自分のプロダクトが何をすべきかを正確に知っているマネージャーは、エージェントの成果物を一行も書けなくても、最も重要なレバーを握っています。マネージャーがランキングの頂点に立つのはそのためです。

観察された7か月間の利用状況も、重心の移動を裏付けています。

タスク種別	研究開始時	研究終了時
デバッグ	セッションの33%	19%
ソフトウェアの実行	14%	21%
データ分析と文書作成	基準値	ほぼ2倍

人々はもはやコードの修理だけにエージェントを使っているのではなく、仕事そのものを回すために使っています。同じ期間に、エージェントに任される平均的なタスクの推定価値は27%成長しました。

自律性も、あなたの役割を同じように捉え直させます。典型的なセッションで人間とエージェントの往復は約4回だけで、1プロンプトが平均約10アクションを引き起こします。極端な例では、1つのプロンプトが100を超えるアクションを引き起こすこともあります。1つの指示で、エージェントが午後まるごと分の仕事を一人でこなすのです。あなたが持ち込むものはセッションあたり数文に収まり、だからこそその正確さがこれほど重くなります。発言の機会が4回しかないなら、一文一文が勝負です。

誰にでも分かるタスクでこの差を再現しました。小さなウェブサイトにお問い合わせフォームを追加する、というものです。

初心者版は、私たちの半数がいまだに打っているプロンプトです。9語、文脈なし、基準なし。エージェントはサイトがどこにあるのか、フォームが何を集めるのか、メッセージがどこに届くのかを知りません。そのため、それらの決定をすべて代わりに下し、あなたはその選択を最後に知ることになります。私たちの実行では、フォームはトップページに置かれ、誰も頼んでいない電話番号フィールドが発明され、送信先は存在しないメールアドレスに配線されました。どれもバグではありません。エージェントはリクエストの穴を推測で埋め、その推測の一つひとつが間違う機会だったのです。これが測定された初心者パターンです。少ないアクション、短い成果物、そして検証済み成功はおよそ7分の1の確率。

エキスパート版は、プロンプトに一行のコードも書かずに同じタスクをこなします。どこに（aboutページ）、何を（正確な3つのフィールド）、何を使って（既存の送信ルート）、そして何より完了をどう証明するか（テストを実行し、ブラウザでフォームを見せる）を伝えます。この情報のどれ一つとして、コードが書けることを必要としません。必要なのは自分のサイト、自分のニーズ、自分の基準、つまり自分のドメインを知っていることです。あとはエージェントが引き受けます。ページを読み、フォームを追加し、ルートを配線し、バリデーションを書き、テストを実行する。これが研究の言う12アクションの連鎖で、引き金はプロンプトの正確さであって、書き手の技術的才能ではありません。

エキスパート版プロンプトを書くのにかかった時間は、初心者版より約30秒長いだけでした。そしてその30秒が、エージェントが推測する機会をすべて取り除いたのです。実演全体は一文に収まります。リクエストがドメインを運ぶ時、同じツールは5倍生産的になる。

1つ目の習慣は、エージェントが間違って推測する前に、あなたしか知らない文脈を渡すことです。分類器はこれを指示の正確さと呼びます。すべてのリクエストは、どこで作業するか、何を使うか、完了が何を意味するかを伝えるべきです。長文は要りません。3文で十分で、コードに限らずどんな仕事にも通用します。対象読者、制約、ゴールラインを含むマーケティングのプロンプトも、同じ3ブロックを満たします。どれかのブロックが埋められないなら、それは曖昧さがエージェント側ではなくあなた側にあるという合図であり、セッションを始める前に解消する価値があります。

2つ目の習慣は、最後に証拠を要求することです。分類器の2つ目の信号です。プロンプトの最後は検証可能な完了条件で締めてください。テストを実行して、結果を見せて、ページが読み込まれるか確認して。証拠を求めないエージェントは検証不能な仕事を渡してきます。そして研究が示すのは、それこそが判定成功と検証済み成功を分けるものだということです。その証拠はあなたを守るものでもあります。背後のコードが読めなくても、仕事にサインオフできるようになるからです。

3つ目の習慣は、壊れ始めた時にループに留まることです。エージェントの返答を読み直し、間違っていれば訂正し、最初の失敗でセッションを閉じないこと。初心者は出力を受け身に受け入れ、詰まった瞬間に他の全員の約4倍の割合で離脱します。しかし、まさにそこでレベルが報われるのです。問題を自分の言葉で説明し直し、期待と一致しない箇所を指摘すること、それがエージェントの訂正であり、分類器の3つ目の信号です。良い訂正の形はこうです。何が起きているか、何を期待していたか、どこを見るべきか。ここでも一行のコードも要らず、必要なのはギャップの正直な描写だけです。

3つの習慣は付箋に収まります。文脈を渡す、証拠を要求する、ループに留まる。どれもコーディングの学習を必要とせず、3つ合わせて15%から30%の成功率の開きをカバーします。

エキスパートであっても、検証済み成功は28-33%で頭打ちです。3セッションに2つは目標達成の確かな証拠なしに終わり、せいぜい部分的成功止まりで、そちらは90%を超えます。レベルを上げれば勝率は2倍になりますが、エージェントが無謬になるわけではありません。

マネージャーのランキングにも独自の注意書きが必要です。Anthropicは測定バイアスの可能性を指摘しています。検証済み成功にはユーザーの明示的な確認も含まれ、仕事が検証済みだとはっきり確認するのはマネージャーの反射だからです。加えて、この研究が測定しているのはClaude Codeのセッションであり、ターミナルツールのユーザー層はもともと平均より意欲的です。同じ数字がChatGPTや他のツールで成り立つ保証はどこにもありません。小数点ではなく、全体の傾きを持ち帰ってください。正確さは報われ、証拠は報われ、そして誰も3分の1の確実性を超えられない、と。

コードが書けなくても飛び込むべきか。研究はグループごとに答えています。自分の仕事、つまりドメイン、顧客、良い結果とは何かを知り尽くしているなら、答えはイエスです。あなたは意思決定のうち重要な半分、計画の半分をまさに持ち込むことになります。しかし、まだ理解していないテーマに踏み込むなら、エージェントはその空白を埋めてくれません。私たちのお問い合わせフォームが間違ったページに置かれたように、推測で詰め込むだけです。

持ち帰りは一つの決断に収まります。コードが書けないことをハンディキャップとして扱うのをやめ、問題への知識をあなたの本当の資本として扱い始めること。分類器が評価するのはあなたが誰かではなく、セッションの中でどう働くかであり、それは早ければ次のセッションから変えられます。リクエストに自分の文脈を入れて書き、要求する証拠で締め、詰まったら閉じる代わりに言い換える。コードが書けなくても、スタート地点の勝率は他の全員と同じです。研究はそれを400,000セッションで証明したばかりです。