AIDiveGiriş: aynı kontroller, iki kat sayaç, beş sınır
Ultracode, Claude Code'a yazdığınız tek bir isteği bir ajan ekibine çeviren anahtar kelime ya da düğmedir. Aynı şartnameyle yapılan eşli bir testte iki koşu da aynı gizli kontrolleri geçti, ancak ultracode koşusu oturum sayacının iki katından fazlasını harcadı. Sebep daha akıllı bir model değil: harness'in araya soktuğu tek bir cümle ve kapattığı üç koruma.
Bu yazı dört konuyu ele alıyor:
- plan sayacından okunan eşli test;
- birkaç eşli koşuda token çarpanı;
- bir ekibin 66 gizlenmiş hatayı bulurken tek bir ajanın 14 bulduğu tek tür iş;
- bir koşu haftanızı yemeden önce onu sınırlayan beş ayar, bunlardan biri koşuyu kullanım limitinin kendisinde durdurur.
Ultracode neyi açar: kelime, düğme, ajanlardan oluşan bir workflow
Ultracode iki anahtardır. Bir istemin içine ultracode yazmak, oturumun effort düzeyine dokunmadan o tek görevi workflow olarak çalıştırır. /effort komutuyla düğmeyi açmak ise Claude'un her önemli görev için bir workflow planlamasını sağlar, yani tek bir istek art arda birkaç workflow'a dönüşebilir.
Workflow, Claude'un kendisi için yazdığı bir betiktir; bu betik bir ajan ekibini aşamalar halinde çalıştırır. Birkaç dosyalık, özensiz promise yönetimi olan küçük bir sandbox'ta (salt okunur inceleme istendi) Claude dosyaları taradı, "unhandled promise audit" adını verdiği bir workflow başlattı ve istem kutusunun altında bir görev satırı belirdi: ilerleme çubuğu, ajan sayısı, geçen süre ve artan bir token toplamı. /workflows komutu her ajan için kendi token sayısıyla birlikte bir satır listeler ve duraklatmak, durdurmak ya da yeniden başlatmak için tuşlar sunar.
O koşuda her bulucu, doğrulayıcılar henüz başlamadan yaklaşık 45.000 token okumuştu, üstelik ortada yalnızca birkaç satır kod vardı.
Her oturum ayrıca bir boyut yönergesi taşır; Claude'a altında kalması tavsiye edilen ajan sayısıdır:
| Boyut yönergesi | Önerilen ajan sayısı |
|---|---|
| küçük (Pro'da varsayılan) | 5'ten az |
| orta | 10'dan az |
Her ajan, konuşmanızın üstüne kendi isteklerini gönderir. Bir workflow hiçbir zaman tek bir fatura değildir; ajan başına bir faturadır ve sayaç hepsini sayar.
Eşli test: aynı 136 kontrol, yüzde 8'e karşı 18, ve hiç durmuyor
Bir geliştirici maliyeti en üst abonelik planında temiz bir kurulumla ölçtü: küçük bir hesap tablosu uygulaması için aynı şartname, aynı effort'ta aynı model, bir sade koşu ve bir ultracode koşusu. İkisi de gizli kontrollerle, yani modelin hiç görmediği testlerle puanlandı. İkisi de 136'nın hepsini geçti.
| Koşu | Bitiş | Kullanılan oturum limiti | Geçen kontrol |
|---|---|---|---|
| Sade | kendiliğinden, 25 dk | % 8 | 136 / 136 |
| Ultracode | 76. dakikada saat tarafından kesildi, hâlâ kontrol ediyordu | % 18 | 136 / 136 |
Ultracode koşusunun içinde Claude, tek işi bir ekibi çalıştırmak olan bir betik yazdı: sayılan 12 ajan, test edenler, birkaç hakem ve daha sonra sayfayı bozmaya çalışan "breaker"lar. Bir breaker, formül çubuğunda gerçek bir hata buldu: başka bir hücreye tıkladıktan sonra çubuk eski metni göstermeye devam ediyordu.
Dakika başına bakıldığında ultracode koşusu limiti sade koşu kadar hızlı, ortalamada biraz daha yavaş tüketti. Daha hızlı yanmadı; ama durmadı. Ultracode Claude'u daha akıllı yapmaz, Claude'a kontrol ettirir ve her kontrolün parasını siz ödersiniz. Bu, küçük bir şartnamede tek bir çifttir ve ikinci koşu saatle kesildi, ama şekil net: aynı cevap, oturum penceresinin iki katından fazlası ve fazladan geçen sürenin tamamı kontrole gitti.
Neden pahalı: tek cümle ve kapatılmış üç koruma
Model aynı. Değişen, harness'in modele verdiği metin; harness, Claude Code'un kendisi, araçları ve modelin etrafındaki talimatlardır.
Ultracode açıkken Claude Code, herhangi bir workflow yazmadan önce bir başvuru metni yükler. Bu metin modele her önemli görev için varsayılan olarak bir workflow çalıştırmasını söyler ve faturayı açıklayan cümleyi içerir: "The goal is the most exhaustive, correct answer you can produce, and token cost is not a constraint." Bu, harness'in kendi metnidir ve herkese açık bir GitHub issue'su aynı satırları alıntılar.
Üç koruma aynı anda kapanır:
- Bir koşu çok fazla ajan planladığında normalde çıkan büyük workflow uyarısı görünmez.
- Oturumun aynı anda çalışabilecek ajan sayısı sınırı, Claude'un başlattığı ajanlar için uygulanmaz.
- Auto modunda ilk başlatma onaya sunulmaz.
Boyut yönergesi bir tavsiyedir, üst sınır değil: sandbox'ta küçük (5'ten az ajan) olarak ayarlandığında bile ultracode koşusu 9 ajan başlattı. Adil olmak gerekirse, o cümle modelin yine de tartabileceği bir varsayılandır ve çok büyük işler için korumalar bilerek devre dışı bırakılmıştır. Cevap tek satıra sığar: ultracode modeli değiştirmez, talimatları "her şey için bir ekip ve maliyet bir kısıt değil" haline getirir.
Çarpan: üç çift, effort merdiveni, 30 katlık çift
İkinci bir geliştirici, Pro planında incelemeye benzer betiklerle tek ajan ve workflow çiftlerini birkaç kez çalıştırdı ve her birinden önce ve sonra kullanım sayacını okudu.
| Ölçü | Tek ajan | Workflow |
|---|---|---|
| Bir inceleme betiğinde token | yaklaşık 115.000 | 972.000 |
| Çiftler genelinde token çarpanı | 1x | kabaca aynı bulgular için en fazla 18x |
| Sayaç hareketi | 1x | en fazla 3x |
| Duvar saati süresi | neredeyse aynı | neredeyse aynı |
Workflow daha hızlı bitmedi; aynı süre beklerken daha fazla harcadı. Paralelliğin karşılığını verdiği tek yer, bağımsız araştırma işlerinden oluşan bir gruptu: ajanlar daha hızlı bitirdi, yine de iki kattan fazla token karşılığında.
Üçüncü bir test, API fiyatlarıyla her effort düzeyinde birkaç küçük uygulama üretti. Merdivenin her basamağı faturayı kabaca ikiye katladı ve ultracode, max'in maliyetinin birkaç katına ulaştı, üstelik hiçbir zaman en iyi sonucu vermedi. Token'ların çoğu ucuz olan önbellek okumalarıydı; çıktı token'larının küçük dilimi ise maliyetin neredeyse yarısını oluşturdu.
Bir çift daha, bir şehir sahnesi: tek bir ajan birkaç dolarlık API fiyatına yaklaşık bir saat sürdü. Ultracode koşusu günün büyük bölümünü aldı, düzinelerce alt ajan kullandı ve maliyeti yaklaşık 30 kat oldu.
Bunlar tam sayı sayaç okumaları, API fiyatlarıyla sıfırdan uygulamalar ve tek bir şehir sahnesi; yani hiçbiri tek başına bir sonuç tablosu değil. Birlikte bakıldığında örüntü her seferinde aynı: iş bağımsız parçalara bölünmüyorsa, dağıtım daha iyi bir cevap değil, kontrol ve kapsam satın alır.
Dağıtımın karşılığını verdiği yer: yargıç olarak test paketi ve tek satırlık kural
Bazı işler gerçekten bu biçimdedir: bir göç, bir denetim, bir kod tabanı taraması.
Bun, Claude Code'da yaklaşık 50 dinamik workflow ile 11 gün boyunca kesintisiz çalışarak Zig'den Rust'a yeniden yazıldı. Bu, yarım milyon satırı aşan Zig kodu demek; başlangıçtan, aynı günlerde tüm platformlarda test paketinin tamamının geçmesine kadar. İşi başarılı kılan ajan sayısı değil, yargıçtı: kimsenin fikrine bakmadan geçti ya da kaldı diyen kocaman bir mevcut test paketi.
Anthropic'in hata avı da aynı şeyi gösteriyor. Büyük bir kod tabanına yetmiş hata yerleştirildi ve tek bir ajan birkaç kez çalıştırıldı.
| Ajan | 70 hatadan bulunan |
|---|---|
| Tek ajan (3 koşu) | 14, 15, 27 |
| Workflow (3 koşu) | her koşuda 66 |
Bir uyarı: bu test Claude Code'da değil, API ürünü olan Claude Managed Agents üzerinde çalıştı ve maliyet açıklanmadı.
Lansman konusu (thread) bildirilen diğer kazanımları da ekliyor ve hepsi birbirine benziyor: bir kural dosyasına göre inceleme, bütün bir kod tabanını çevirme, bir yığın taranmış sayfayı temizleme. Lansman blogu bunu açıkça söylüyor: geleneksel kodlama görevlerinin çoğu beş kişilik bir inceleme heyetine ihtiyaç duymaz.
Kural şu: yalnızca çıktıyı bir test paketi ya da bir kural kümesi yargılıyorsa ve iş bağımsız parçalara bölünüyorsa dağıtın. Geri kalan her şey sade, high ile çalışır. Eşli testi yapan kişi bunu kendi sözleriyle söyledi: kontrol etmenin işin kendisi olduğu işler için saklayın, örneğin yüzlerce dosyayı kapsayan bir göç.
Bir koşuyu sınırlayan beş ayar
Her sınır, zaten bildiğiniz bir yerde duruyor.
| # | Ayar | Nerede | Etki |
|---|---|---|---|
| 1 | workflowSizeGuideline: "small" |
/config içinde Dynamic workflow size altında ya da settings.json |
tavsiye (5'ten az ajan), ayrıca büyük workflow uyarı eşiğini düşürür |
| 2 | CLAUDE_CODE_WORKFLOW_MAX_CONCURRENT_AGENTS |
ortam değişkeni, başlatmadan önce export edilir | varsayılan olarak aynı anda 16 ajana kadar; 4'e ayarlanırsa gerisi kuyruğa girer, koşuyu öldürmeden yanmayı yavaşlatır |
| 3 | CLAUDE_CODE_WORKFLOW_SUBAGENT_MODEL |
ortam değişkeni | diğer alt ajanlar kendi modelini korurken, her workflow ajanını seçtiğiniz tek bir modelde çalıştırır; daha ucuz bir model kontrolü de ucuzlatır |
| 4 | ultracode anahtar kelimesi, asla düğme değil |
istemin içinde; asla ayarlardaki ultracode anahtarı değil |
anahtar kelime tek bir görevi workflow olarak çalıştırıp durur; düğme ise kapatılana kadar kalıcı yapar |
| 5 | autoContinueAtUsageLimit |
ayarlar | açık: limite ulaşan bir koşu duraklar, sıfırlanmayı bekler ve birden fazla kez devam eder; kapalı: ajanlar duvarda başarısız olur ve koşu orada biter |
Bunlara üç alışkanlık eşlik eder. Lansman blogu, istemde yazılan bir bütçenin, örneğin "use 10k tokens" ifadesinin, sınırı belirlediğini söylüyor. Her koşudan sonra /usage, yakın kullanımın ne kadarının alt ajanlara ve workflow'lara gittiğini gösterir ve bunlar baskın olduğunda uyarır. Bir koşu sürerken yanlış görünüyorsa, /workflows paneli ve x tuşu onu durdurur; o ana kadar yapılan iş genellikle korunur.
Bunların hiçbiri bir ajanı ucuzlatmaz. Bir koşunun kaç ajan harcayabileceğini ve ne kadar süre harcamaya devam edebileceğini sınırlar.
Kontrolden çıkan koşu, sınırlar ve hüküm
Herkese açık bir rapor, bir haftanın nasıl yok olduğunu gösteriyor. En büyük plandaki, model tarafından yazılmış bir betik bir saatten kısa sürede 221 ajan başlattı. İlk oturum limiti hatasından sonra betik dağıtmaya devam etti ve sonraki birkaç dakikada 189 ajan daha başladı. Raporu açanın kendi tablosu, duvara varmadan önce aşamalar boyunca on milyonlarca token sayıyor.
| Aşama | Token, önbellek dahil |
|---|---|
| Ground | 11.063.801 |
| Find | 35.885.272 |
| Merge | 516.226 |
| Toplam | 47.465.299 |
Suçlu, üretilen betikteki tek bir satırdı: ajan hiçbir şey döndürmezse ham listeyi kullan ve devam et diyen bir geri dönüş. Birleştirme başarısız oldu ve koşu devam etti. O sürüm, kullanım limitinde duraklamadan önceki bir sürümdü ve raporu açan kişi, o token'ların başarısız ajanlardan gelmediğini söylüyor. Bir eşzamanlılık tavanı o koşuyu seyreltirdi ve auto-continue'nun kapalı olması onu duvarda bitirirdi.
Hüküm: aynı görevde, aynı kontroller geçilerek, ultracode sade bir koşunun sayacının iki katından fazlasını aldı. Daha akıllı olduğu için değil; araya sokulan cümle ve bıraktığı korumalar yüzünden. Çıktıyı bir test paketi ya da bir kural kümesi yargılıyorsa ve parçalar birbirini beklemiyorsa karşılığını verir. Başka her yerde onu yazarsınız ve kontrol için ödersiniz. Beş ayar bir koşunun harcayabileceğini sınırlar: boyut yönergesi, eşzamanlılık tavanı, workflow modeli, düğme yerine anahtar kelime ve limitte durma.
