AIDive

मैंने 4th Claude Code agent पर Anthropic का fold test चलाया

AIDive द्वारा · प्रकाशित

कोडिंग एजेंट

तीन subagent files जो आज भी काम की हैं

Claude Code की subagent file एक Markdown file होती है, जो एक ऐसा helper define करती है जिसका अपना fresh context होता है। Anthropic कहता है कि subagents कम इस्तेमाल करो, और कुछ चुनिंदा मामलों में उन्हें रखने की सलाह देता है, एक test के साथ। हमने वे files लिखीं जो उसके हिसाब से अब भी रखने लायक हैं, हर file को एक असली repo पर चलाया, और उसका fold test एक और agent पर चलाया। Setup: Claude Code 2.1.294 और Opus 5.5, runs 2026-11-08 को, एक छोटी TypeScript invoicing API पर और Hono repo पर।

पेंच यह है कि लोकप्रिय सलाह कहती है "अपने subagents delete कर दो", जबकि Anthropic का article उन्हें खास मामलों के लिए रखता है और एक test भी देता है। हमने वह test उस agent पर चलाया जो हर collection में मिलता है, यानी test writer। Skill में fold करने पर उसने बारह के बारह runs पास किए। तीन files बचती हैं: एक read-only scout, एक read-only reviewer जिसने green change को पास किया और फिर भी एक ऐसा जोखिम बताया जिसके बारे में किसी ने पूछा ही नहीं था, और एक isolated builder जिसने repo की अपनी अलग copy में पूरा feature बना दिया जबकि main session अपना काम करता रहा।

Subagent file क्या है, और Anthropic का test

Subagent एक ऐसा helper है जिसका अपना fresh context होता है। बड़े repo में आपका session जो कुछ पढ़ता है वह सब उसके context में रहता है, जो उसकी working memory है, और वह भरती जाती है। Subagent उस colleague की तरह काम करता है जिसे एक ticket मिलता है, वह आधा codebase पढ़ता है और एक छोटा note वापस भेज देता है।

आप अपने .claude folder के अंदर एक agents folder बनाते हैं, और हर subagent उसमें एक Markdown file होता है। सबसे ऊपर आप एक name लिखते हैं और एक description जो बताती है कि इसे कब इस्तेमाल करना है। बस यही दो fields ज़रूरी हैं। Description दिखने से ज़्यादा मायने रखती है, क्योंकि Claude यही पढ़कर तय करता है कि helper को बुलाना है या नहीं। जब हमने agents command टाइप किया, तो Claude Code ने बताया कि wizard हटा दिया गया है, इसलिए file खुद लिखनी पड़ती है या Claude से लिखवानी पड़ती है। Format के लिए sub-agents documentation देखें।

Anthropic की applied AI team ने subagents को वापस main agent में fold करने पर एक article लिखा है, जो उनके platform के लिए है। वह subagents को तीन मामलों में रखता है: आपका context फूल जाए, आपको fresh contexts में parallel काम चाहिए जिन्हें बाद में फेंका जा सके, या आपका agent सही tools नहीं चुन पाता। बाकी सब कुछ आमतौर पर एक skill बन सकता है, यानी वही instructions जो ज़रूरत पड़ने पर आपके main session में load हो जाते हैं। Test यह है: एक छोटा eval बनाओ, subagent को fold करो, और subagent को तभी रखो जब folded version का score बदतर आए।

Subagent की कीमत यह है कि वह अंधा शुरू होता है। उसे सिर्फ़ वही पता होता है जो आप उसके prompt में डालते हैं, और हर handoff में कोई detail छूट सकती है। इसलिए कोई भी file लिखने से पहले उस case का नाम लें जिसका वह जवाब है।

चौथे agent पर Anthropic का fold test

Fold test Anthropic का तरीका है यह तय करने का कि कोई subagent अपनी file के लायक है या नहीं। यह एक eval पर चलता है, यानी tasks का एक तय set जिसे आप हर बार एक ही तरह चलाते हैं, और एक pass rule जो आप पहले से चुन लेते हैं। हमने इसे test writer पर लगाया, वह agent जिसे लगभग हर कोई जोड़ता है क्योंकि हर collection में एक आता है। यह एक subagent है जो किसी module के लिए tests लिखता है, आपके source को कभी नहीं छूता, और suite को तब तक चलाता है जब तक वह green न हो जाए।

तरीका: agent file को जैसी है वैसी रखो, वही instructions एक skill में copy करो, और हर task को agent के साथ एक से ज़्यादा बार चलाओ। फिर agent file को किनारे हटाओ और वही tasks skill के साथ दोबारा चलाओ। अगर test file के ख़िलाफ़ जाता है तो कुछ नहीं खोता, क्योंकि आप सिर्फ़ instructions को हिला रहे हैं।

हमने इसे अपनी छोटी invoicing API पर चलाया, हर module के लिए एक prompt के साथ, जैसे "router के लिए tests जोड़ो"। छह tasks, हर variant के दो-दो runs। Pass rule पहले से तय था: suite green होनी चाहिए, कोई source file नहीं बदलनी चाहिए, और नए tests को एक planted bug पकड़ना चाहिए। Planted bug code में एक छोटा सा बदलाव है जिसे पुराने tests ने नहीं पकड़ा था, इसलिए अच्छा नया test उस पर fail होना चाहिए।

Variant Invoke हुआ Pass औसत cost औसत wall time
Subagent 12/12 11/12 $0.410 72 s
Skill में fold किया हुआ 12/12 12/12 $0.262 36 s

Subagent एक बार चूका। Router पर उसने ऐसा test command चलाने की कोशिश की जिसकी हमारे project settings ने इजाज़त नहीं दी थी, इसलिए उसके नए tests किसी ने चलाए ही नहीं और उनमें से एक red था। Folded version में लगभग आधा समय लगा, क्योंकि main session पहले से repo जानता था और उसे किसी helper को शुरू से brief नहीं करना पड़ा। Folded test writer जल्दी जवाब देता है और हर request पर कम खर्च करता है, और आप कुछ नहीं खोते। Anthropic का sibling article कहता है कि कई agents वाले setups आमतौर पर एक अकेले agent से काफ़ी ज़्यादा tokens जलाते हैं, और हमारे runs भी उसी तरफ़ इशारा करते हैं।

Test writer fold test में फेल होता है, क्योंकि fold करने पर वह कम खर्च में कम से कम उतना ही अच्छा काम करता है। सीमा यह है कि यह एक repo पर हर तरफ़ बारह runs का छोटा eval है, और चूक आंशिक रूप से हमारी permissions की वजह से थी। इसे अपने repo पर चलाएं और हर उस run को पढ़ें जो पलट जाए। हमने skill लिखी, दोनों versions चलाए, और agent file हट गई, क्योंकि folded version कभी बदतर score नहीं लाया।

पहली file: read-only scout

Scout एक subagent है जो सिर्फ़ पढ़ और खोज सकता है, और सबूत के साथ कुछ पंक्तियाँ लौटाता है। इसके बिना, जिस सवाल के लिए कई files पढ़नी हों, उसमें आपका main session उन सबको खुद पढ़ता है और हर पंक्ति को बाद में भी ढोता रहता है।

आप इसे सिर्फ़ read और search tools देते हैं, और कुछ नहीं, इसलिए यह कोई file edit नहीं कर सकता और अपने helpers भी शुरू नहीं कर सकता। आप इसे Haiku पर रखते हैं, जो Anthropic का छोटा और सस्ता model है, क्योंकि पढ़ने और खोजने के लिए आपके सबसे अच्छे model की ज़रूरत नहीं। आप एक return contract भी लिखते हैं, यानी जवाब का वह ढाँचा जो आप चाहते हैं: पहले जवाब, फिर उसे साबित करने वाली file और line, फिर यह कि क्या नहीं मिला। Description में आप Claude को बताते हैं कि इसे उन सवालों के लिए इस्तेमाल करे जिनमें कई files पढ़नी पड़ें, हर सवाल के लिए एक scout, parallel में।

हमने Hono को clone किया, जो एक बड़ा open source web framework है, और पूछा कि उसके सत्ताईस built-in middleware किसी request को कैसे reject करते हैं, इसका audit करो। हमने audit एक बार inline चलाया, बिना किसी agent के, और फिर parallel scouts के साथ, जिनमें हर एक को folders का एक हिस्सा मिला। दोनों तरीकों ने वही जवाब दिया, उसी middleware और उन्हीं status codes तक। हर तरीके के दो-दो runs:

Measure Inline, run 1 / run 2 Scouts, run 1 / run 2
अंत में main context (tokens) 45,868 / 47,476 30,505 / 33,937
Cost $0.457 / $0.433 $0.267 / $0.344

Scouts के साथ main session अंत में लगभग एक तिहाई हल्का रहा, क्योंकि उसने हर file की जगह उनके छोटे notes पढ़े। जब आप उसी session में काम जारी रखते हैं तो यह जगह मायने रखती है: आपका अगला task कम कचरे के साथ और कम भूलने के साथ शुरू होता है। Scouts सस्ते model पर चले, इसलिए पूरे run का खर्च कम रहा। यही वह keep case है जो Anthropic बताता है: बड़ा पढ़ना ऐसी जगह होता है जिसे आप फेंक सकते हैं, और आपके session में अगले काम के लिए जगह बची रहती है।

अब सीमा। जिन छोटे सवालों में बस कुछ files चाहिए थीं, वहाँ scouts ने लगभग कुछ नहीं बचाया। dev.to पर एक benchmark में आम searches पर यही मिला: fan out करने से कुछ ज़्यादा नहीं मिला और खर्च बहुत बढ़ गया। Main session ने भी scouts का जवाब आगे बढ़ा दिया, बिना खुद files खोले, इसलिए उन पर अमल करने से पहले proof lines जाँच लें। Scout तब भेजें जब पढ़ना बड़ा हो और उसके बाद आपके session के पास और काम हो, और झटपट lookup के लिए इसे छोड़ दें।

दूसरी file: read-only reviewer

Reviewer एक subagent है जिसकी नज़र ताज़ा है और जो सिर्फ़ पढ़ सकता है। जब आपके tests green हों, तो ऐसा change merge कर देने का मन करता है जिसे किसी ने पढ़ा नहीं, और जिस session ने change लिखा है वही उसे परखने के लिए सबसे बुरा है, क्योंकि वह अपनी ही योजना पर पहले से यकीन करता है। Reviewer को spec और diff दिखता है, यानी वह सूची जिसमें change की जोड़ी और हटाई गई lines होती हैं।

आप इसे सिर्फ़ read और search tools देते हैं। Edit और write छोड़ देते हैं, ताकि यह जो पाए उसे ठीक न कर सके, और agent tool छोड़ देते हैं, ताकि यह helpers शुरू न कर सके। Anthropic के docs भी यही कहते हैं: reviewer को read-only रखने के लिए agent tool को छोड़ दो। फिर आप जवाब का ढाँचा file में लिखते हैं: एक verdict, pass या fail, फिर हर finding उसकी file, उसकी line और quoted code के साथ, फिर यह कि वह क्या साबित नहीं कर सका। एक और नियम इसे ईमानदार रखता है: कोई style टिप्पणी नहीं और quoted line के बिना कोई finding नहीं, ताकि हर finding के साथ एक ऐसी line हो जिसे आप खुद खोलकर जाँच सकें।

हमने इसे एक असली change दिया, हमारे builder का लिखा open invoices का spreadsheet export, spec और पूरे diff के साथ। यह उन्नीस सेकंड में लौटा, एक pass और एक ऐसे customer record के बारे में एक low finding के साथ जो शायद मौजूद न हो। "जो यह साबित नहीं कर सका" वाले हिस्से में उसने दो चीज़ें बताईं जिनके बारे में किसी ने पूछा नहीं था। बराबर चिह्न से शुरू होने वाला customer name spreadsheet में formula की तरह चल सकता है, और rows को text की तरह sort किया गया था, जो तभी काम करता है जब तक invoice numbers की लंबाई एक जैसी रहे। यानी reviewer ने green change को pass किया और फिर भी एक जोखिम बताया, और यह एक भी file छुए बिना किया।

हमने हर बात खुद जाँची। कोई चीज़ customer को delete नहीं करती, इसलिए missing-record वाली finding हो ही नहीं सकती, लेकिन formula का जोखिम और sort ठीक करने लायक हैं। सीमा यह है कि reviewer सिर्फ़ वही जानता है जो वह पढ़ सकता है, इसलिए बाकी को वह unproven चिह्नित करता है, और आप हर finding पर अमल करने से पहले खुद जाँचते हैं। Reviewer को build के बाद और merge से पहले चलाएं, और उसकी unproven सूची को उतने ही ध्यान से पढ़ें जितने ध्यान से उसके verdict को।

तीसरी file: isolated builder

Builder एक subagent है जो अपने worktree में code लिखता है, यानी आपके repo की दूसरी copy, अपनी branch पर, अपने folder में। यह उस काम के लिए ठीक बैठता है जो अपने आप में पूरा हो और जिसके बनते समय आपका session रुकना नहीं चाहिए।

आप isolation field को worktree पर सेट करते हैं, और Claude Code उसके लिए वह copy बनाता है और अगर कुछ नहीं बदला तो उसे साफ़ कर देता है। आप एक turn cap भी लगाते हैं, ताकि जो builder गोल-गोल घूम रहा हो वह रुक जाए और जो उसके पास है उसे partial चिह्नित करके सौंप दे। Cap के बिना, अटका हुआ builder उसी failing test पर turns खर्च करता रह सकता है और आप बेकार इंतज़ार करते रहते हैं। Instructions में आप उसे कहते हैं कि अपनी branch report करे, tests और type check तब तक चलाए जब तक दोनों पास न हों, और commit करे।

हमने अपने builder से open invoices का spreadsheet export माँगा, जिसमें customer names में commas और quotes हो सकते हैं, tests समेत। वह background में चला गया, और जब वह काम कर रहा था तब हमने main session से एक अलग सवाल पूछा: कौन से invoices void किए जा सकते हैं, और वह नियम कहाँ रहता है। Main session ने code की सटीक line के साथ जवाब दिया, और builder कभी उसके रास्ते में नहीं आया। Builder लगभग डेढ़ मिनट में लौटा, अपनी branch पर एक commit और चौदह नए tests के साथ, जो सब पास थे। हमारी main branch तब तक नहीं बदली जब तक हमने merge करना नहीं चुना। हमने merge तभी किया जब reviewer ने इसे पास कर दिया, और main बस builder के commit तक आगे खिसक गई, बिना किसी merge commit के। आपको builder का काम हमेशा एक branch के रूप में दिखता है जिसे आप पढ़ सकते हैं, test कर सकते हैं और merge कर सकते हैं, या फेंक सकते हैं।

Fan out करने पर एक article नियम को एक पंक्ति में रखता है: पढ़ने के लिए fan out करो, लिखने के लिए अकेले रहो। सीमा यह है कि worktree आपकी default branch से शुरू होता है, उस जगह से नहीं जहाँ आप हैं, इसलिए जो काम आपने commit नहीं किया वह उसमें नहीं होता। इसे कभी ऐसे code पर न भेजें जिसे आपका main session edit कर रहा है, और कभी एक साथ लिखने वाले builders का पूरा दल न चलाएं। Builder को एक ऐसा हिस्सा दें जो अपने आप में पूरा हो, काम करते रहें, और review के बाद merge करें।

निष्कर्ष: तीन files और एक test

Anthropic कहता है कि subagents कम इस्तेमाल करो, और वह सही है, लेकिन तीन files फिर भी अपनी जगह कमाती हैं, हर एक ऐसे कारण से जिसका आप नाम ले सकते हैं। Scout बड़े पढ़ने को आपके main session से बाहर रखता है। Reviewer आपको ताज़ा नज़र देता है जो सिर्फ़ पढ़ सकती है। Builder repo की अपनी copy में एक अलग हिस्सा लिखता है। वह कारण हर file की description में लिखें, क्योंकि Claude यही पढ़कर तय करता है कि उसे बुलाना है या नहीं। अगर आप कारण को एक वाक्य में नहीं लिख सकते, तो आमतौर पर यह संकेत है कि वह agent एक skill होना चाहिए।

Test writer ने skill के रूप में बराबर अच्छा काम किया, इसलिए उसकी file हट गई, और शायद आपकी भी हट सकती है। झटपट सवाल के लिए, उस code के लिए जिसे आपका session पहले से edit कर रहा है, और ऐसे किसी भी persona के लिए subagent छोड़ दें जिसके होने का कोई context कारण नहीं है। इन मामलों में helper आपसे एक briefing, एक इंतज़ार और एक handoff की कीमत लेता है, और ऐसा कुछ नहीं देता जो आपका session खुद न कर सके। Agent teams, यानी एक-दूसरे को message करने वाले sessions, एक अलग चीज़ हैं, और यहाँ किसी को उनकी ज़रूरत नहीं है।

एक ही नियम है, वही जो Anthropic ने लिखा: किसी भी नए agent को file देने से पहले उसे skill में fold करो, दोनों चलाओ, और file को तभी रखो जब skill का score बदतर आए।

मुफ़्त संसाधन

स्रोत

अक्सर पूछे जाने वाले सवाल

Claude Code subagents के लिए Anthropic का fold test क्या है?
आप एक छोटा eval बनाते हैं, subagent के instructions को एक skill में fold करते हैं, दोनों versions के साथ वही tasks चलाते हैं, और subagent को तभी रखते हैं जब folded version का score बदतर आए। Anthropic subagents को तीन मामलों में रखता है: context bloat, फेंके जा सकने वाले contexts में parallel काम, और ऐसा agent जो सही tools नहीं चुन पाता।
क्या मुझे अपने Claude Code test writer subagent को skill में fold कर देना चाहिए?
शायद हाँ। हमारे test में folded skill ने औसतन $0.262 और 36 s पर 12/12 runs पास किए, जबकि subagent ने $0.410 और 72 s पर 11/12 पास किए। यह एक repo पर छोटा eval है, इसलिए इसे अपने repo पर चलाएं।
Claude Code का scout subagent क्या है?
एक read-only subagent, जिसके पास सिर्फ़ read और search tools होते हैं, आमतौर पर Haiku पर, जो कई files पढ़ता है और जवाब, सबूत की lines और जो नहीं मिला वह लौटाता है। Hono के 27-middleware audit पर उसने main context को inline के 45,868 और 47,476 tokens की जगह 30,505 और 33,937 पर रखा।
Claude Code का reviewer subagent read-only कैसे बनाएं?
उसे सिर्फ़ read और search tools दें और edit, write और agent tool छोड़ दें, ताकि वह कुछ ठीक न कर सके और helpers शुरू न कर सके। जवाब का ढाँचा file में लिखें: एक verdict, file, line और quoted code के साथ findings, और जो वह साबित नहीं कर सका।
Claude Code subagent के लिए isolation worktree क्या करता है?
Claude Code builder को repo की उसकी अपनी copy उसकी अपनी branch पर देता है और कुछ न बदलने पर उसे साफ़ कर देता है। Worktree आपकी default branch से शुरू होता है, इसलिए uncommitted काम उसमें नहीं होता। Turn cap जोड़ें ताकि अटका हुआ builder रुक जाए और partial काम report करे।
मुझे Claude Code subagent कब इस्तेमाल नहीं करना चाहिए?
झटपट सवाल के लिए, उस code के लिए जिसे आपका session पहले से edit कर रहा है, और ऐसे persona के लिए जिसके होने का कोई context कारण नहीं है, इसे छोड़ दें। तब helper एक briefing, एक इंतज़ार और एक handoff की कीमत लेता है। छोटे सवालों पर हमारे scouts ने लगभग कुछ नहीं बचाया।

मिलते-जुलते वीडियो