AIDive

Video paketi

Ultracode sınır kiti: beş ayar, bir dağıtım kontrol listesi ve ölçülen çiftler

11 dk okuma

TL;DR ve hüküm

  • Ultracode, Claude Code'u daha akıllı yapmaz. Modele söylenenleri değiştirir ve üç korumayı kaldırır; böylece bir koşu daha fazla harcar ve daha geç durur.
  • Kural: yalnızca çıktıyı bir test paketi ya da bir kural kümesi yargılıyorsa ve iş bağımsız parçalara bölünüyorsa dağıtın. Geri kalan her şeyi sade, high ile çalıştırın.
  • Beş ayar bir koşuyu sınırlar: small olarak ayarlanmış workflow boyut yönergesi, 4'lük bir eşzamanlı ajan tavanı, her workflow ajanı için daha ucuz tek bir model, düğme yerine anahtar kelime ve kullanım limitinde auto-continue'nun kapatılması.
  • Sınırları taşıyan iki dosya settings.json ve ultracode-caps.sh. Kontrol listesi when-to-fan-out.md. Ölçülen çiftler paired-runs.csv içinde.
  • Boyut yönergesi bir tavsiyedir, üst sınır değil. Kendi koşumuzda 5'ten az ajan diyordu ve koşu 9 kullandı.

Kaynaklar ne diyor

Anahtar kelime ve düğme. Bir istemde ultracode yazmak, o tek görevi bir workflow'a dahil eder. Kendi sözlerinizle, örneğin "use a workflow" diye istemek de aynı katılım anlamına gelir s1. Anahtar kelime, -p ile verilen bir istemde, damgasız Agent SDK girdisinde ya da zamanlanmış bir görevde hiçbir şey yapmaz s1. Düğme farklıdır. Ultracode açıkken Claude her önemli görev için bir workflow planlar ve tek bir istek art arda birkaç workflow'a dönüşebilir s1. Dokümanlar ayrıca, ultracode açık bir oturumun aynı işte kapalı olduğundan daha çabuk bir oturum ya da haftalık limite ulaştığını ekliyor s1.

Araya sokulan cümle. Ultracode açıkken workflow yazım başvurusu şunu söyler: "author and run a workflow for every substantive task by default. The goal is the most exhaustive, correct answer you can produce" ve "token cost is not a constraint." Aynı metin, "Ultracode overrides the workflow size guideline" başlıklı herkese açık bir issue'da alıntılanıyor s8. Bir dizideki her workflow kendi ajan bütçesini alır; yani 15 ajanlık dört aşama 60 ajan eder, oysa hiçbir tek workflow yönergeyi aşmaz s8.

Üç koruma. Ultracode üç kontrolü kapatır. Large workflow uyarısı görünmez. Oturumun eşzamanlı alt ajan sınırı, Claude'un Agent aracıyla başlattığı alt ajanlar için uygulanmaz. Auto izin modunda ilk workflow başlatmasını onaylamanız istenmez s1.

Boyut yönergesi. Small 5'ten az ajan, medium 10'dan az, large 50'den az demektir. Varsayılan medium'dur; v2.1.271 ve sonrasındaki Pro planında ise small. Claude Code bunu modele bir üst sınır değil tavsiye olarak gönderir, dolayısıyla başka bir ölçek isteyen bir istem yine de onu geçersiz kılar s1. Sert sınırlar varsayılan olarak 16 eşzamanlı ajan ve koşu başına 1.000 ajandır. Büyük workflow uyarısı 25 ajanın ya da öngörülen 1,5 milyon token'ın üzerinde çıkar ve yalnızca uyarır s1.

Kendi koşumuz. Anahtar kelimeyi, iki dosya ve 16 satır koddan oluşan bir sandbox'ta, boyut yönergesi small iken yazdık ve salt okunur bir inceleme istedik. Koşu 9 ajan kullandı: 2 bulucu ve 7 doğrulayıcı. Her bulucu yaklaşık 45,2k token okudu. Aynı istemle sade bir koşu yapmadık, dolayısıyla kendi eşli rakamımız yok.

Eşli test. 200 dolarlık bir planda bir geliştirici aynı şartnameyi bir sade koşuya ve bir ultracode koşusuna verdi. İkisi de 136/136 gizli kontrolü geçti. Sade koşu 25 dakikada, 5 saatlik limitin % 8'inde bitti. Ultracode koşusu 76. dakikada, % 18 gitmişken kesildi ve her biri 9 ve 3 ajanlık iki ekipte 12 ajan kullandı, 1.000 değil. Dakika başına yanma yaklaşık eşitti: sadece durmadı s3.

Pro planında üç çift daha. Tek ajana karşı workflow, aynı bulgular: 115k'ya karşı 972k token, 52k'ya karşı 936k ve 102k'ya karşı 683k. /usage sayacı 4'e karşı 12, 7'ye karşı 12 ve 4'e karşı 8 puan hareket etti; yazar bunu kabaca iki kat kota, en fazla üç kat diye özetliyor. Opus plan betiğinde duvar saati süresi 173 sn'ye karşı 178 sn idi. Dört bağımsız araştırma işinde paralel, 2,3 kat token karşılığında 1,6 kat daha hızlıydı s4.

30 katlık çift. xhigh'da tek bir ajan, API fiyatlarıyla yaklaşık 18 dolara 1 sa 13 dk sürdü. Max ile ultracode, 40 alt ajanla 9 sa 14 dk sürdü ve yaklaşık 554 dolar tuttu. Her biri tek koşu, API liste fiyatları, abonelikte faturalanmadı s11.

Bir çift neye benzer. Herkese açık bir test deposunda aynı görev üzerinde tek ajana karşı workflow çifti var. Tek ajan 181.646 token kullandı, workflow 1.326.703. API fiyatıyla maliyet 0,2678 dolara karşı 1,3744 dolardı. Duvar saati süresi 43 sn'ye karşı 80 sn, oturum sayacı ise +0'a karşı +12 puan hareket etti s22. Bu tek bir çift, o yüzden onu bir yasa olarak değil bir şekil olarak okuyun. Dokümanlar alt ajanları ve workflow'ları bir token etkeni olarak listeliyor: bir workflow'un başlattığı her ajan, ana konuşmanın isteklerinin üstüne kendi isteklerini gönderir s5. Anthropic'in araştırma ekibi, bir ajan için sohbete göre yaklaşık 4 kat, çok ajanlı bir sistem için yaklaşık 15 kat fazla token ölçtü s20.

Karşılığını verdiği yer: Bun. Bun, 11 gün boyunca kesintisiz çalışan yaklaşık 50 dinamik workflow ile Zig'den Rust'a yeniden yazıldı. Kaynak 535.496 satır Zig'di ve port, başlangıçtan tüm platformlarda test paketinin % 100'ünün geçmesine 11 günde ulaştı s19. Yargıç, mevcut bir test paketiydi.

Karşılığını verdiği yer: hata avı. Anthropic, 116k satırlık bir kod tabanına 70 hata yerleştirdi. 3 koşuda tek bir ajan 14, 15 ve 27 buldu. Bir workflow 3 koşusunun her birinde 66 buldu s24. Bu test Claude Code'da değil, API ürünü olan Managed Agents üzerinde çalıştı. Anthropic bunun için bir maliyet vermedi ve kapsamı dar bir görevle başlamayı öneriyor s24. Lansman blogu, geleneksel kodlama görevlerinin çoğunun 5 kişilik bir inceleme heyetine ihtiyaç duymadığını söylüyor s2.

Kontrolden çıkan koşu. Max 20x planında model tarafından yazılmış bir betik 51 dakikada 221 ajan başlattı. İlk oturum limiti hatasından sonra 189 ajan daha başlatıldı. Raporu açanın tablosu, önbellek dahil 47.465.299 token sayıyor s7. Raporu açandan iki not: sonradan başlayan 189 ajanın kayıtlı bir model yanıtı yoktu ve bir birleştirme hiçbir şey döndürmediğinde betiğin geri dönüşü dağıtmaya devam etti. O koşu, kullanım limitinde duraklamadan önceki v2.1.266 sürümündeydi s7. İkinci bir herkese açık rapor, 56 ve 104 ajanlık, 1.472.855 ve 1.752.360 token'lık iki workflow'u anlatıyor; 160 ajanın 92'si oturum limitiyle başarısız oldu s21. Raporu açan, ultracode'un kullanıcı etkinleştirmeden raporlandığını söylüyor.

Kaldıraçlar. CLAUDE_CODE_WORKFLOW_MAX_CONCURRENT_AGENTS 1 ile 256 arasında bir değer alır ve v2.1.269 gerektirir s10. CLAUDE_CODE_WORKFLOW_SUBAGENT_MODEL, diğer alt ajanlar kendi modelini korurken her workflow ajanını tek bir modelde çalıştırır, v2.1.296'dan itibaren s18. autoContinueAtUsageLimit açıkken, limite ulaşan bir koşu duraklar ve sıfırlanmada devam eder, en fazla iki bekleme; üçüncüde ajan başarısız olur. Kapalıyken etkilenen ajanlar duvarda başarısız olur s1. Lansman blogu, istemdeki bir bütçenin, örneğin "use 10k tokens" ifadesinin, sınırı belirlediğini söylüyor s2. /workflows görünümü her ajanın token kullanımını gösterir ve x koşuyu durdurur s1. /usage, yakın kullanımın % 10'unu ya da daha fazlasını oluşturan davranışları işaretler ve v2.1.299 workflow'lar için uyarılar ekledi s5 s18.

Sınır kiti

Ayar bloğu. 1. sınır boyut yönergesi, 4. sınır ultracode değerinin false tutulması, böylece tek giriş yolu anahtar kelime olur, 5. sınır ise auto-continue'nun kapalı olması. Bunu .claude/settings.json ya da herhangi bir ayar dosyasına koyun. workflowSizeGuideline anahtarı v2.1.219'dan itibaren her ayar dosyasında çalışır s1.

settings.json

{
  "workflowSizeGuideline": "small",
  "ultracode": false,
  "autoContinueAtUsageLimit": false
}

settings.json on GitHub

Ortam satırları. 2. ve 3. sınırlar. Yer tutucuyu, workflow ajanlarınızın çalışmasını istediğiniz modelin tam kimliğiyle değiştirin.

ultracode-caps.sh

#!/usr/bin/env bash
# Source this file before you launch Claude Code: `source ultracode-caps.sh && claude`.
# These two lines are caps 2 and 3 of the five. Caps 1, 4 and 5 live in settings.json.

# Cap 2: at most 4 workflow agents run at once. The default is 16 (fewer on a machine
# with few CPUs). Accepted values are 1 to 256. Needs Claude Code v2.1.269 or later.
export CLAUDE_CODE_WORKFLOW_MAX_CONCURRENT_AGENTS=4

# Cap 3: run every workflow agent on one cheaper model, while your other subagents
# keep theirs. Replace the placeholder with the full model id you want to pay for.
# Needs Claude Code v2.1.296 or later.
export CLAUDE_CODE_WORKFLOW_SUBAGENT_MODEL="<your-cheaper-model-id>"

# Optional kill switch for a shared machine: no workflows at all.
# export CLAUDE_CODE_DISABLE_WORKFLOWS=1

ultracode-caps.sh on GitHub

Anahtar kelimeyi yazmadan önce çalıştıracağınız kontrol listesi.

when-to-fan-out.md

# When to fan out: the two-condition checklist

Fan out (use the ultracode keyword in one prompt) only if both answers are yes.

1. Does a test suite or a rule set judge the output?
   - [ ] A suite that already exists and says pass or fail without anyone's opinion.
   - [ ] Or a written rule file the output is reviewed against.
2. Does the job split into independent pieces?
   - [ ] No piece waits on the result of another piece.
   - [ ] Each piece can be checked on its own.

If either answer is no, run plain at high effort. A plain run costs one bill. A
workflow costs one bill per agent.

Jobs that usually pass both tests:
- A port or migration across many files with a test suite as the judge.
- A review of a whole codebase against a rule file.
- A translation of many files with the same prompt.
- A cleanup pass over a pile of similar documents.

Jobs that usually fail one of them:
- A small feature, a bug fix, a refactor of one module.
- Anything where "good" is a matter of taste.
- A chain of steps where each one needs the previous result.

Before you start:
- [ ] Run a slice first (one folder, ten files) and read the token total.
- [ ] Put a budget in the prompt, for example "use 10k tokens".
- [ ] Open /workflows and watch per-agent tokens. Press x to stop.
- [ ] After the run, open /usage and read the share that went to workflows.

when-to-fan-out.md on GitHub

Kaynaklardan ölçülen çiftler ve vakalar, her biri bir satırda, kaynak kimliğiyle.

paired-runs.csv

source_id,run,measure,baseline,workflow_or_fanout,note
s22,rebuild-your-claude-md pair (rep 2),tokens,181646,1326703,"all four usage fields summed, 14 agent transcripts on the workflow side"
s22,rebuild-your-claude-md pair (rep 2),API cost in USD,0.2678,1.3744,single agent vs workflow
s22,rebuild-your-claude-md pair (rep 2),wall time in seconds,43,80,single agent vs workflow
s22,rebuild-your-claude-md pair (rep 2),session meter points,+0,+12,"/usage before to after: 17% to 17% vs 19% to 31%"
s24,70 planted bugs in 116k lines,bugs found,"14, 15 and 27 (3 runs)","66 in each of 3 runs","Managed Agents, not Claude Code; no cost given"
s19,Bun port from Zig to Rust,test suite passing,,100%,"about 50 dynamic workflows, 11 days, 535,496 lines of Zig"
s6,fixed worker and gate files,tokens for workflow execution and monitoring,100%,about 20%,"self-reported, no plan stated; runs 5 to 6 hours down to 20 to 40 minutes"
s7,runaway run on Max 20x,agents started,,221,"51 minutes; 189 started after the first session-limit error; 47,465,299 tokens including cache"
s21,ultracode reported on without the user enabling it,agents started,,"56 and 104","1,472,855 and 1,752,360 tokens; 92 of 160 agents failed with the session limit"
s20,multi-agent research system,tokens vs a chat,about 4x for an agent,about 15x for multi-agent,Anthropic's own data
s3,same spec on a $200 plan,hidden checks passed,136/136,136/136,"both runs perfect"
s3,same spec on a $200 plan,time and 5-hour limit used,"25 min, 8%","76 min (cut off), 18%","12 agents in two teams (9 and 3)"
s4,Opus plan script,tokens,115k,972k,"Pro plan; /usage 4 vs 12 points; 173 s vs 178 s"
s4,compact script,tokens,52k,936k,"Pro plan; /usage 7 vs 12 points"
s4,Claude.md script,tokens,102k,683k,"Pro plan; /usage 4 vs 8 points"
s4,four independent research jobs,time and tokens,"102 s, about 33k","about 64 s, 76k","parallel 1.6x faster for 2.3x tokens"
s11,Cybercity,time and API cost,"1 h 13 m, about $18 (1 agent)","9 h 14 m, about $554 (40 subagents)","xhigh vs max with ultracode; one run each; API list prices"

paired-runs.csv on GitHub

Kit hakkında iki not. ultracode anahtarı yalnızca oturumları normalde düğme açık başlatacaksanız önem taşır; false tutmak, her dağıtımı tek bir istemde verdiğiniz bir karar yapar. Workflow'ları tamamen kapatmak anahtar kelimeyi ve düğmeyi kaldırır: ~/.claude/settings.json içine "disableWorkflows": true yazın s1.

Pazartesi bunu yapın

  • settings.json dosyasını proje ayarlarınıza kopyalayın ve /config içinde boyut yönergesinin small göründüğünü kontrol edin.
  • ultracode-caps.sh dosyasını, Claude Code'u başlattığınız kabukta, yer tutucu yerine gerçek bir model kimliğiyle source edin.
  • /effort içinde ultracode düğmesinin kapalı olduğunu kontrol edin ve dağıtım istediğinizde tek bir istemde anahtar kelimeyi kullanın.
  • Herhangi bir dağıtımdan önce when-to-fan-out.md içindeki iki soruyu yanıtlayın. Cevaplardan biri hayırsa, sade high ile çalıştırın.
  • Önce bir dilim çalıştırın ve işi genişletmeden önce /workflows içindeki token toplamını okuyun.
  • İstemde bir bütçe belirtin, örneğin "use 10k tokens".
  • İlk koşuda /workflows açık kalsın ve ajan sayısı beklediğinizin üstüne çıkarsa x tuşuna basın.
  • Koşudan sonra /usage açın ve workflow'lara giden payı not edin.

Daha ileri

Çalışanı ve kapıyı modele yazdırmak yerine siz sabitleyin. Bir Hacker News gönderisi, workflow yürütme ve izleme için token harcamasının eskisinin yaklaşık % 20'sine indiğini, 5 ila 6 saat süren workflow'ların artık 20 ila 40 dakika sürdüğünü bildiriyor. Bu kendi beyanı ve bir plan belirtmiyor s6. Yöntemin iki parçası var. Bir workflow-worker ajan dosyası planın bir parçasını alır ve yalnızca kendi parçası için test yazıp çalıştırmaya yetecek sıkı izinler taşır. Bir workflow-gate ajan dosyası paralel ajanların sonuçlarını alır ve seri kontroller iki hedefli bir Makefile'a taşınır: make workflow-serial-gate git ağacını kontrol eder ve değişenler için testleri çalıştırır, make workflow-final-gate her şey için temiz testleri çalıştırır s6. Karmaşık planlarda eskiden 10 dakika süren kapı kontrolü, aynı gönderiye göre artık bir saniye sürüyor. O % 20, plan oluşturmayı ya da uygulamayı değil, yürütme ve izlemeyi kapsıyor. Denemek için iki ajan dosyasını bir kez yazın, depoda tutun ve workflow isteminizi onlara yönlendirin.

Güvenmeden önce kontrolden çıkan koşu raporunu okuyun. Issue, aşama başına bir tablo ve fazladan 189 ajanın ardındaki tek örüntüyü gösteriyor: bir birleştirme ajanı hiçbir şey döndürmediğinde betik ham listeye geri dönüp devam ediyor s7. Modelden, başarısız bir ajanda duran betikler isteyin. İzlemediğiniz her koşuda auto-continue'yu kapalı tutun.

Yönergenin neden kaybettiğini bilin. Issue 92631, yönerge metnini ultracode cümlesinin yanında gösteriyor ve ikisi çeliştiğinde ikincinin neden kazandığını anlatıyor s8. Sert bir tavan istiyorsanız, eşzamanlılık değişkeni aynı anda kaç ajanın çalışacağını, istemdeki bütçe ise ne harcayacaklarını sınırlar.

Geniş işler için lansman konusunu kullanın. En keskin ilk gün itirazı lansman konusunda, "an exciting new way to burn up as many tokens as possible" ve "Quantity of output is not the issue right now. Quality is." gibi yorumlarla duruyor s9. Orada bildirilen kazanımlar aynı şekli paylaşıyor: bir kural dosyasına göre inceleme, bir kod tabanının çevirisi, taranmış sayfaların temizliği.

Managed Agents farklı bir ürün. 70 hatalık test, yalnızca API'de bulunan Managed Agents dinamik workflow'larını kullandı. API üzerinde geliştiriyorsanız, Anthropic'in önerdiği gibi dar kapsamlı bir görevle başlayın s24. Claude Code ayarları buraya taşınmaz.

Neye güvenmemeli. Plan ya da sayı içermeyen kota anekdotları ikinci elden bilgidir. Bir yorumcu 6 ajanın 4 saatlik bir kotayı yediğini, bir başkası ise neredeyse 2 milyar token'lık bir portun, yorumcunun kendi klonu üzerinden başka bir sağlayıcının ucuz modeliyle 20 dolara mal olduğunu bildiriyor s23 s9. İkisi de bir plan üzerinde Claude Code'un ölçümü değil. Bir sayı, notlarınıza ancak plan, model, sürüm ve görevle birlikte geliyorsa girer.

SSS

Anahtar kelime düğme kadar pahalı mı? Hayır. Anahtar kelime tek bir görevi workflow olarak çalıştırır. Düğme her önemli görev için bir workflow planlar, böylece tek bir istek birkaçına dönüşebilir s1. İkisi de konuşmanızın üstüne harcar, çünkü her ajan kendi isteklerini gönderir s5.

Boyut yönergesini small yapmak bir koşuyu 4 ajanla sınırlar mı? Hayır. Bu, modele gönderilen bir tavsiyedir ve bir istem ya da ultracode cümlesi onu geçersiz kılabilir s1 s8. Bizim koşumuzda 5'ten az diyordu ve koşu 9 kullandı. Sert sınırlar eşzamanlılık değişkeni ve sizin kendi durdurmanızdır.

Bir koşu kullanım limitime ulaşınca ne olur? autoContinueAtUsageLimit açıkken, etkileşimli bir claude.ai oturumu koşuyu duraklatır ve sıfırlanmada devam eder, en fazla iki bekleme, v2.1.271'den itibaren. Daha eski sürümler etkilenen ajanları başarısız kılar s1. Kapalıyken ajanlar limitte başarısız olur ve koşu orada biter.

Workflow ajanları için neden daha ucuz bir model? Bir workflow'un çoğu kontroldür ve her ajan kendi isteklerini gönderir. CLAUDE_CODE_WORKFLOW_SUBAGENT_MODEL tüm workflow ajanlarını tek bir modele koyar ve diğer alt ajanlarınıza dokunmaz s18. Güvenmeden önce sonucu bir dilim üzerinde kontrol edin.

Ultracode'u yine de kullanabilir miyim? Evet, kontrol listesindeki iki soruyu da geçen işler için. Bun'un portunun yargıcı eksiksiz bir test paketiydi s19. Küçük bir özellik ya da hata düzeltmesi için varsayılan, high ile sade bir koşudur.

Dosyalar