AIDiveTL;DR
- Anthropic 評估了 235,000 人產生的 400,000 個 Claude Code 工作階段，發現經過驗證的成功率最高的是管理者，而不是軟體工程師。
- 會寫程式幾乎沒有加分：在產出程式碼的工作階段中，軟體職類的驗證成功率是 34%，其他所有職類是 29%，兩組的部分成功率幾乎持平，分別是 89% 和 88%。
- 真正拉開結果的是使用者的熟練程度。新手每個提示約觸發 5 個代理動作、產出 600 字，驗證成功率 15%；專家則是 12 個動作、3,200 字，驗證成功率 28% 到 33%。
- 幾乎所有進步都來自三個習慣：在提示中放入自己的脈絡、用可驗證的證據收尾、工作階段出狀況時留在裡面繼續修正，而不是直接關掉。
- 對所有人來說天花板都很低：就算是專家，也最多只有三分之一的工作階段通過驗證，而管理者排第一，可能有一部分是測量上的假象。
來源怎麼說
這項研究是用分類器評估 400,000 個互動式 Claude Code 工作階段，來自 235,000 人，紀錄時間為 2025 年 10 月到 2026 年 4 月 s1。沒有人讀過對話內容。由建立在 Sonnet 4.6 上的分類器替每個工作階段評分，評分再與遙測資料交叉比對，也就是 commit、程式碼變更和測試結果；在有修改程式碼的工作階段中，分類器與遙測資料的一致率超過 90% s1。Claude Code 本身是終端機裡的代理，你用平常的語言提出需求，它就會讀取檔案、撰寫程式碼並執行指令 s2。
三個定義決定了每個數字該怎麼讀。驗證成功（verified success）是指分類器找到目標已達成的明確證據，包括測試通過或使用者明確確認。部分成功（partial success）是指目標至少部分達成。熟練程度不是職稱：分類器根據使用者在工作階段內的行為，從新手到專家分成五級，依據三個訊號：指令的精確度、使用者要求代理驗證什麼，以及使用者是否糾正代理 s1。
職業的結果是最大的看點。在產出程式碼的工作階段中，軟體職類的驗證成功率是 34%，其他人是 29%，這五個百分點的差距在七個月內都很穩定，同時兩組都在進步 s1。在部分成功率上兩組持平，89% 對 88% s1。人數最多的十個職業群組，全都落在與開發者相差七個百分點以內，而管理群組排在最上面 s1。Anthropic 為真正有影響的預測因子取的名字是領域專業：深入了解你正在解決的問題。
分工解釋了原因。在典型的工作階段中，人類做了約 70% 的規劃決策（要做什麼），但只做了 20% 的執行決策（怎麼寫）s1。清楚知道產品該做什麼的管理者，握有最重要的那一半。同樣的轉變也出現在人們使用代理的方式上：七個月內，除錯工作階段的占比從 33% 降到 19%，執行軟體從 14% 升到 21%，資料分析和文件撰寫幾乎翻倍，而交給代理的平均任務，其估計價值上升了 27% s1。
自主性讓每一句話都更有份量。典型的工作階段只有大約四次使用者與代理之間的來回，每個提示平均觸發約十個動作，單一提示有時會觸發超過一百個動作 s1。當你只能說四次話，每一句的精確度幾乎就是你的全部貢獻。
實用的數字都在熟練度階梯上。新手寫的是不含領域知識的通用指令；每個提示觸發約 5 個代理動作，回傳約 600 字的成果，驗證成功率最高只有 15% s1。專家寫的是充滿脈絡的提示；同一個代理串起 12 個動作，每道指令產出 3,200 字，驗證成功率落在 28% 到 33% 之間 s1。同樣的工具、同樣的訂閱，交付的成果約五倍、成功率兩倍，唯一的變數就是鍵盤前的人。這些進步幾乎都落在新手到中階之間，而下面的三個習慣正是在處理這一步。
這些習慣對應分類器的三個訊號。指令精確度：說明要在哪裡動手、用什麼，以及完成的結果長什麼樣子。驗證：用可檢查的條件結束提示，例如跑測試、給我看渲染結果、確認頁面能載入；研究發現，這正是區分「被判定成功」與「被驗證成功」的關鍵 s1。糾正：新手被動接受輸出，一出問題就放棄的頻率是其他使用者的四倍；而用自己的話重新說明問題，正是第三個訊號所測量的 s1。這三項都不需要你寫任何一行程式碼。
研究本身就說明了它的限制。就算是專家，也只有 28% 到 33% 的工作階段通過驗證，所以三個工作階段中有兩個結束時沒有目標已達成的明確證據，最好的情況是部分成功，而這個比率確實超過 90% s1。管理者的排名可能有測量偏差：驗證成功包含使用者的明確確認，而清楚表示接受成果正是管理者的習慣 s1。而且樣本是 Claude Code 使用者，這是一群本來就比一般人更積極的命令列族群，所以無法保證在其他工具上會得到相同數字 s1。關於新手技巧的社群討論串，是從另一個方向做的合理性檢查：大家給新手的建議與三個訊號相符，給脈絡、要求檢查、持續引導 s3。
結論：研究支持什麼
| 說法 | 狀態 | 依據 |
|---|---|---|
| 要讓代理產出能用的程式碼，你得會寫程式 | 略過 | 驗證 34% 對 29%，部分 89% 對 88%，管理者排第一 s1 |
| 在提示中放入自己的脈絡有回報 | 保留 | 新手與專家之間，5 對 12 個動作，每個提示 600 對 3,200 字 s1 |
| 用證明條件結束提示有回報 | 保留 | 驗證是分類器的三個訊號之一，區分被判定成功與被驗證成功 s1 |
| 失敗後留在工作階段裡有回報 | 保留 | 新手放棄的頻率高出四倍；糾正是第三個訊號 s1 |
| 達到專家等級就能讓代理變得可靠 | 略過 | 專家仍然只有 28 到 33% 的工作階段通過驗證 s1 |
| 管理者比工程師更擅長這件事 | 謹慎嘗試 | 可能有偏差：驗證成功包含使用者的明確確認 s1 |
| 這些數字適用於其他 AI 工具 | 略過 | 樣本只有 Claude Code 使用者 s1 |
週一就做
- 拿你最後一次送給代理的提示，用三個區塊重寫：要在哪裡動手、用什麼（既有的檔案、路由、資料集或文件），以及完成長什麼樣子。
- 這週每個提示的結尾都加上證明子句：跑測試、開啟頁面、檢查每個連結都能連通、給我看 diff。
- 工作階段出錯時，在關掉之前先寫一次糾正：發生了什麼、你預期什麼、該看哪裡。記錄下一輪修好的頻率。
- 寫下關於你專案只有你知道的三件事（受眾、限制、絕對不能改的東西），貼在下一次工作階段的最上面。
- 用同樣的三個區塊，讓代理處理一件非程式碼的工作，例如電子報草稿或定價文案改寫，並與你平常的做法比較結果。
- 連續五個工作階段記錄結果：驗證、部分，或什麼都沒有。拿去和研究中新手 15%、專家 28 到 33% 的區間比較。
- 如果提示中的某個區塊因為你不知道答案而一直空著，在啟動工作階段之前，而不是之後，先向同事或文件把它弄清楚。
延伸閱讀
- 引用任何數字之前，先讀方法論章節：分類器是 Sonnet 4.6，與遙測資料交叉比對，在有修改程式碼的工作階段中一致率超過 90% s1。
- 各等級每個提示的動作數圖表，是新手到專家躍升最清楚的畫面，從 5 到 12 個動作、600 到 3,200 字 s1。
- 任務組成章節顯示，七個月內除錯從 33% 降到 19%，執行軟體從 14% 升到 21%；當有人說代理只能用來修 bug 時，這是很好的反駁依據 s1。
- 規劃 70% 對執行 20% 的分工，是在團隊討論誰該來駕馭代理時值得帶上桌的數字 s1。
- 在簡報中使用管理者的結果之前，重讀關於驗證成功與使用者明確確認的偏差說明 s1。
- 想了解代理在終端機裡實際怎麼運作、會讀取、寫入和執行什麼，從產品頁面開始 s2。
- 新手技巧討論串是新手交流具體提示習慣的地方；帶著三個訊號去讀，並依每條建議對應哪個訊號來分類 s3。
來源
- How AI use changes with expertise: lessons from 400,000 Claude Code sessions, Anthropic。為什麼值得讀：這份資料包的每個數字都來自這裡，而方法論和偏差說明會改變標題數字的讀法。
- Claude Code, Anthropic。為什麼值得讀：研究所測量的代理，以及它在終端機工作階段中能做什麼。
- Beginner Claude Code tips (community discussion), Reddit r/ClaudeAI。為什麼值得讀：可以拿來對照研究三個訊號的實務者建議。
FAQ
這項研究是說非工程師和開發者一樣強嗎？
不完全是。開發者在驗證成功率上維持五個百分點的領先，34% 對 29%，而且七個月內都很穩定。研究指出這個領先幅度很小，而使用者在工作階段內的熟練程度，比職稱更能預測結果。
什麼算驗證成功？
目標已達成的明確證據：測試通過、分類器能從遙測資料確認的可運作結果，或使用者的明確確認。最後一項就是管理者的結果可能帶有偏差的原因。
不學寫程式也能升一級嗎？
可以。分類器評分的是指令精確度、你要求代理驗證什麼，以及你是否糾正它。這三項描述的都是你的問題和你的標準，而不是程式碼。
為什麼連專家的天花板也這麼低？
研究只有在有證據時才把工作階段算作通過驗證。專家的驗證率達到 28% 到 33%，但部分成功率超過 90%，所以大多數工作階段都有交付東西；缺少的是它已經完成的證明。