Anthropic ने 400,000 AI सेशन जांचे। कोडर हार गए

Anthropic ने एक classifier से 400,000 Claude Code सेशन एक-एक करके ग्रेड करवाए, यह पता लगाने के लिए कि कोडिंग agent के साथ असल में कौन सफल होता है। सबसे अच्छी verified success दर वाला ग्रुप सॉफ्टवेयर इंजीनियर नहीं है। वह मैनेजर हैं। स्टडी के दस सबसे बड़े पेशेवर ग्रुप verified success में डेवलपर्स से सात पॉइंट के दायरे में ही बैठते हैं, यानी जो लोग कोड नहीं लिखते, वे भी लगभग उसी दर से चलने वाला कोड शिप कर रहे हैं जिस दर से पेशेवर डेवलपर करते हैं।

अगर आपने कभी खुद से कहा है कि ये टूल आपके लिए नहीं हैं क्योंकि आपको कोडिंग नहीं आती, तो यह स्टडी ठीक उल्टी बात कहती है। कोडिंग आना अब सफल और असफल लोगों को अलग नहीं करता, और स्टडी साफ बताती है कि असल फर्क किस चीज़ से पड़ता है।

तीन परिभाषाएँ तय करती हैं कि स्टडी का हर आँकड़ा कैसे पढ़ा जाए। पहले सैंपल: 400,000 इंटरैक्टिव सेशन, 235,000 लोगों से, अक्टूबर 2025 से अप्रैल 2026 के बीच रिकॉर्ड किए गए। Claude Code टर्मिनल में रहने वाला Anthropic का कोडिंग agent है: आप सादी भाषा में लिखते हैं कि आपको क्या चाहिए, और वह खुद आपकी फ़ाइलें पढ़ता है, कोड लिखता है और कमांड चलाता है।

Anthropic में किसी ने वे बातचीत हाथ से नहीं पढ़ीं। उनके अपने एक मॉडल पर बना classifier हर सेशन को अपने आप ग्रेड करता गया, और उसके ग्रेड टेलीमेट्री से जाँचे गए, यानी commits, कोड में बदलाव और टेस्ट के नतीजे। कोड बदलने वाले सेशन पर classifier और टेलीमेट्री 90 प्रतिशत से ज़्यादा बार सहमत होते हैं।

दूसरी परिभाषा success की, क्योंकि स्टडी दो तरह की success गिनती है और यही फर्क आगे की हर बात की बुनियाद है। Judged success का मतलब है कि classifier को लगता है कि बताया गया लक्ष्य पूरा हुआ। Verified success ज़्यादा सख्त है: उसे सबूत चाहिए, जैसे पास होते टेस्ट, कोई commit, या यूज़र की साफ पुष्टि। नीचे का हर आँकड़ा इसी ऊँचे पैमाने पर है, और यह पैमाना कड़ा है, क्योंकि बहुत सारे काम के सेशन बिना औपचारिक सबूत के खत्म होते हैं।

तीसरी परिभाषा खुद expertise की। Classifier आपका जॉब टाइटल या रिज़्यूमे कभी नहीं देखता। वह सेशन के अंदर आपका व्यवहार पढ़ता है और उसे novice से expert तक पाँच लेवल के स्केल पर ग्रेड करता है, सिर्फ तीन संकेतों के आधार पर: आपके निर्देश कितने सटीक हैं, आप agent से क्या verify करवाते हैं, और आप दोनों में से कोई एक-दूसरे को सुधारता है या नहीं। आपका लेवल उस सेशन की समस्या पर आपकी पकड़ मापता है, इसलिए एक ही इंसान सुबह अपने पेशे में expert और रात को किसी नए विषय पर novice हो सकता है।

Novice एक वाक्य में पहचाना जा सकता है: बिना किसी डोमेन जानकारी वाले सामान्य निर्देश। Expert context से भरे prompt लिखता है, और वही agent कहीं ज़्यादा स्वतंत्र काम करके लौटाता है। यहाँ एक एक्शन agent की एक ठोस हरकत है, जैसे फ़ाइल पढ़ना, फ़ंक्शन लिखना या कोई कमांड चलाना।

मेट्रिक	Novice	Expert
प्रति prompt agent एक्शन	~5	~12
प्रति prompt डिलीवर हुए काम के शब्द	~600	~3,200
Verified success दर	15%	28 से 33% (intermediate और ऊपर)
सेशन बिगड़ने पर छोड़ने की दर	19%	5 से 7% (सभी गैर-novice)
मुश्किल सेशन जो verified success बने	4%	15%

यानी उसी टूल से, उसी सब्सक्रिप्शन पर, पाँच गुना ज़्यादा डिलीवर हुआ काम। बदला हुआ इकलौता वेरिएबल कीबोर्ड पर बैठा इंसान है।

सबसे अहम बारीकी यह है: लगभग पूरा फायदा novice और intermediate के बीच होता है, और intermediate और expert के बीच का फासला मामूली है। अपनी success दर दोगुनी करने के लिए आपको expert बनने की ज़रूरत नहीं है। आपको novice रहना छोड़ने की ज़रूरत है।

सबसे क्रूर फासला तब दिखता है जब सेशन बिगड़ता है। जब agent गलतियों और टूटते टेस्ट में उलझ जाता है, तो novice 19 प्रतिशत बार सेशन छोड़ देते हैं, बाकी सबके 5 से 7 प्रतिशत के मुकाबले। और जो डटे रहते हैं, उनमें novice ऐसे मुश्किल सेशन में से सिर्फ 4 प्रतिशत को verified success में बदल पाते हैं, जबकि expert 15 प्रतिशत को। यानी लगभग चार गुना ज़्यादा सेशन बचाए गए, सिर्फ इसलिए कि वह इंसान समस्या को इतना समझता है कि डूबते agent को देखते रहने के बजाय उसे नई दिशा दे सके। लेवल का फर्क तब नहीं दिखता जब सब ठीक चल रहा हो। वह पहली अड़चन पर दिखता है।

Anthropic की भाषा में डोमेन एक्सपर्टीज़ का मतलब है उस समस्या को जड़ तक समझना जिसे आप हल कर रहे हैं। कोड बनाने वाले सेशन पर पेशों के बीच का फासला छोटा और स्थिर है:

ग्रुप	Verified success	Partial success
सॉफ्टवेयर पेशे	34%	89%
बाकी सभी पेशे	29%	88%

पाँच पॉइंट का फर्क, जो स्टडी के सात महीनों में न बढ़ा और न घटा, जबकि दोनों ग्रुप सुधरते रहे। Partial success में, जहाँ लक्ष्य कम से कम आंशिक रूप से पूरा हुआ, दोनों ग्रुप बराबरी पर हैं।

स्टडी यह भी दिखाती है कि डोमेन एक्सपर्टीज़ काम कहाँ करती है। एक आम सेशन में इंसान लगभग 70 प्रतिशत प्लानिंग फैसले लेता है (क्या बनाना है) लेकिन सिर्फ 20 प्रतिशत एग्ज़िक्यूशन फैसले (उसे कैसे लिखना है)। बँटवारा पहले से मौजूद है: आप 'क्या' तय करते हैं, और agent 'कैसे' सँभालता है। जिस मैनेजर को ठीक-ठीक पता है कि उसके प्रोडक्ट को क्या करना चाहिए, वह वही लीवर थामे है जो गिना जाता है, भले ही वह agent के बनाए कोड की एक लाइन न लिख सके। इसीलिए मैनेजर रैंकिंग में सबसे ऊपर पहुँचते हैं।

देखे गए सात महीनों का इस्तेमाल भी पुष्टि करता है कि गुरुत्व का केंद्र खिसक रहा है:

टास्क का प्रकार	स्टडी की शुरुआत	स्टडी का अंत
डीबगिंग	सेशन का 33%	19%
सॉफ्टवेयर चलाना	14%	21%
डेटा एनालिसिस और डॉक्यूमेंट लेखन	आधार स्तर	लगभग दोगुना

लोग अब agent का इस्तेमाल सिर्फ कोड सुधारने के लिए नहीं कर रहे; वे उससे अपना काम चलवा रहे हैं। इसी अवधि में agent को सौंपे गए औसत टास्क की अनुमानित वैल्यू 27 प्रतिशत बढ़ी।

Autonomy आपकी भूमिका को उसी तरह नए सिरे से परिभाषित करती है। एक आम सेशन में इंसान और agent के बीच सिर्फ करीब चार आदान-प्रदान होते हैं, और हर prompt औसतन लगभग दस एक्शन शुरू करता है। चरम पर, एक अकेला prompt कभी-कभी सौ से ज़्यादा एक्शन छेड़ देता है: एक निर्देश, और agent एक पूरी दोपहर के बराबर अकेले काम करता है। आपकी तरफ से जो जाता है वह प्रति सेशन कुछ वाक्यों में समा जाता है, और ठीक इसीलिए उनकी सटीकता इतनी भारी पड़ती है। जब आप सिर्फ चार बार बोलते हैं, तो हर वाक्य गिना जाता है।

हमने यह फर्क एक ऐसे टास्क पर दोहराया जिसे हर कोई समझता है: एक छोटी वेबसाइट में contact form जोड़ना।

पहले novice वर्ज़न, वही prompt जो हममें से आधे आज भी लिखते हैं: नौ शब्द, कोई context नहीं, कोई कसौटी नहीं। Agent को नहीं पता कि साइट कहाँ है, form में क्या भरा जाएगा, या मैसेज कहाँ जाएँगे, इसलिए वह ये सारे फैसले आपकी जगह खुद लेता है, और आपको उसकी पसंद आखिर में पता चलती है। हमारे रन में उसने form होमपेज पर रख दिया, एक ऐसा phone फ़ील्ड गढ़ दिया जो किसी ने माँगा नहीं था, और सबमिशन एक ऐसे ईमेल पते से जोड़ दिए जो मौजूद ही नहीं है। इनमें से कुछ भी bug नहीं है। Agent ने अनुरोध के खाली हिस्से अंदाज़ों से भर दिए, और हर अंदाज़ा गलत होने का एक मौका था। यही मापा गया novice पैटर्न है: कम एक्शन, छोटा नतीजा, और verified success का मोटे तौर पर सात में से एक मौका।

Expert वर्ज़न वही टास्क prompt में एक भी लाइन कोड के बिना सँभालता है। वह बताता है कि कहाँ काम करना है (about पेज), क्या बनाना है (तीन सटीक फ़ील्ड), किससे बनाना है (पहले से मौजूद send route), और सबसे बढ़कर, पूरा होने का सबूत कैसे देना है (टेस्ट चलाओ और form को browser में दिखाओ)। इस जानकारी के किसी हिस्से के लिए कोडिंग आना ज़रूरी नहीं है। ज़रूरी है अपनी साइट, अपनी ज़रूरत और अपने पैमाने को जानना, यानी अपना डोमेन। बाकी agent सँभाल लेता है: वह पेज पढ़ता है, form जोड़ता है, route जोड़ता है, validation लिखता है और टेस्ट चलाता है। यही स्टडी की 12 एक्शन वाली चेन है, जो prompt की सटीकता से चली, उसके लेखक की तकनीकी प्रतिभा से नहीं।

Expert prompt लिखने में novice वाले से करीब तीस सेकंड ज़्यादा लगे, और उन तीस सेकंड ने agent से अंदाज़ा लगाने का हर मौका छीन लिया। पूरा प्रदर्शन एक वाक्य में समा जाता है: वही टूल पाँच गुना ज़्यादा productive हो जाता है जब अनुरोध में डोमेन शामिल हो।

पहली आदत है वह context देना जो सिर्फ आप जानते हैं, इससे पहले कि agent उसे गलत अंदाज़े से भरे। Classifier इसे instruction precision कहता है। हर अनुरोध में होना चाहिए कि कहाँ काम करना है, किसके साथ, और पूरा हुआ काम कैसा दिखता है। तीन वाक्य काफी हैं, और यह हर काम पर लागू होता है, सिर्फ कोड पर नहीं: ऑडियंस, constraints और फिनिश लाइन वाला एक marketing prompt भी वही तीन खाने भरता है। अगर आप कोई खाना भर नहीं पा रहे, तो यही संकेत है कि धुंधलापन आपकी तरफ है, agent की तरफ नहीं, और सेशन शुरू करने से पहले उसे साफ करना बेहतर है।

दूसरी आदत है अंत में सबूत माँगना, classifier का दूसरा संकेत। अपने prompt का अंत एक जाँचने लायक शर्त से करें: टेस्ट चलाओ, नतीजा दिखाओ, चेक करो कि पेज लोड होता है। जिस agent से आप कोई सबूत नहीं माँगते, वह आपको बिना जाँचा हुआ काम थमा देगा, और स्टडी दिखाती है कि यही चीज़ judged success को verified success से अलग करती है। यह सबूत आपकी हिफाज़त भी करता है, क्योंकि इसके सहारे आप पीछे का कोड पढ़े बिना काम पर मुहर लगा सकते हैं।

तीसरी आदत है चीज़ें टूटने लगें तो loop में बने रहना। Agent जो लौटाए उसे दोबारा पढ़ें, गलत हो तो सुधारें, और पहली नाकामी पर सेशन बंद न करें। Novice आउटपुट चुपचाप स्वीकार कर लेते हैं और अटकते ही बाकी सबसे करीब चार गुना ज़्यादा बार छोड़ देते हैं, जबकि लेवल का असली फायदा ठीक यहीं मिलता है। समस्या को अपने शब्दों में फिर समझाना और यह बताना कि नतीजा आपकी उम्मीद से कहाँ मेल नहीं खाता, यही agent को सुधारना है, classifier का तीसरा संकेत। एक अच्छे सुधार की बनावट: क्या हो रहा है, क्या उम्मीद थी, कहाँ देखना है। अब भी कोड की एक लाइन नहीं, बस फासले का ईमानदार बयान।

तीनों आदतें एक sticky note पर समा जाती हैं: अपना context दो, सबूत माँगो, loop में बने रहो। किसी के लिए कोडिंग सीखनी नहीं पड़ती, और मिलकर ये 15 और 30 प्रतिशत success के बीच का पूरा फासला ढँक लेती हैं।

Expert के लिए भी verified success 28 से 33 प्रतिशत पर रुक जाती है। तीन में से दो सेशन बिना इस ठोस सबूत के खत्म होते हैं कि लक्ष्य पूरा हुआ, ज़्यादा से ज़्यादा partial success के साथ, जो ज़रूर 90 प्रतिशत के ऊपर चढ़ती है। लेवल बढ़ाना आपके odds दोगुने करता है; agent को अचूक नहीं बनाता।

मैनेजरों की रैंकिंग पर अपनी अलग सावधानी बनती है। Anthropic मानता है कि measurement bias संभव है, क्योंकि verified success में यूज़र की साफ पुष्टि भी गिनी जाती है, और काम validated है यह साफ कहना मैनेजर की आदत है। ऊपर से, स्टडी Claude Code सेशन मापती है, एक टर्मिनल टूल जिसकी ऑडियंस औसत से ज़्यादा motivated है, इसलिए कोई गारंटी नहीं कि यही आँकड़े ChatGPT या किसी और टूल में भी मिलें। दशमलव नहीं, ढलान याद रखिए: सटीकता का फल मिलता है, सबूत का फल मिलता है, और एक-तिहाई पक्केपन के पार कोई नहीं जाता।

तो क्या कोडिंग न आने पर भी कूद पड़ें? स्टडी ग्रुप के हिसाब से जवाब देती है। अगर आप अपना काम अंदर तक जानते हैं (अपना डोमेन, अपने ग्राहक, अच्छे नतीजे का मतलब), तो हाँ। आप फैसलों का ठीक वही आधा हिस्सा ला रहे हैं जो गिना जाता है, प्लानिंग वाला आधा। लेकिन अगर आप ऐसे विषय में घुस रहे हैं जिसे आप अभी समझते नहीं, तो agent वह खालीपन नहीं भरेगा; वह उसे अंदाज़ों से ठूँस देगा, जैसे हमारा contact form गलत पेज पर जा गिरा।

सार एक फैसले में समा जाता है: कोड न आने को कमी मानना बंद कीजिए, और समस्या की अपनी समझ को अपनी असली पूँजी मानना शुरू कीजिए। Classifier यह ग्रेड नहीं करता कि आप कौन हैं; वह ग्रेड करता है कि आप सेशन के अंदर कैसे काम करते हैं, और यह आपके अगले ही सेशन से बदल सकता है। अनुरोध में अपना context लिखिए, अंत में अपनी माँगी हुई proof रखिए, और अटक जाए तो बंद करने के बजाय दोबारा समझाइए। अगर आपको कोडिंग नहीं आती, तो आप बाकी सबके बराबर odds से शुरू करते हैं। स्टडी ने यह 400,000 सेशन पर साबित कर दिया है।