AIDiveMở đầu: cùng bài kiểm tra, gấp đôi đồng hồ, năm cách chặn
Ultracode là từ khóa, hoặc công tắc, biến một yêu cầu bạn gõ vào Claude Code thành cả một đội agent. Trong một bài test ghép cặp với cùng một đặc tả, cả hai lần chạy đều qua cùng các bài kiểm tra ẩn, và lần chạy ultracode tốn hơn gấp đôi đồng hồ phiên. Lý do không phải model thông minh hơn: đó là một câu mà harness chèn vào và ba lớp bảo vệ mà nó tắt đi.
Bài viết này bàn bốn việc:
- bài test ghép cặp, đọc trên đồng hồ của gói;
- hệ số nhân token qua thêm nhiều cặp khác;
- loại công việc duy nhất mà một đội tìm ra 66 lỗi gài sẵn trong khi một agent đơn chỉ tìm ra 14;
- năm cài đặt chặn một lần chạy trước khi nó ngốn hết cả tuần của bạn, trong đó có một cài đặt dừng nó đúng tại giới hạn sử dụng.
Ultracode bật cái gì: từ khóa, công tắc, một workflow gồm các agent
Ultracode là hai công tắc. Gõ ultracode trong một prompt sẽ chạy riêng tác vụ đó như một workflow mà không đụng đến mức effort của phiên. Bật công tắc qua lệnh /effort khiến Claude lên kế hoạch một workflow cho mọi tác vụ đáng kể, nên một yêu cầu có thể biến thành nhiều workflow nối tiếp nhau.
Workflow là một script Claude tự viết cho mình; script đó chạy một đội agent theo từng pha. Trên một sandbox nhỏ (vài tệp xử lý promise cẩu thả, yêu cầu review chỉ đọc), Claude khảo sát các tệp, tỏa ra một workflow đặt tên "unhandled promise audit", và một dòng tác vụ hiện dưới ô prompt với thanh tiến độ, số agent, thời gian trôi qua và tổng token đang nhảy. Lệnh /workflows liệt kê mỗi agent một dòng với số token riêng, cùng các phím để tạm dừng, dừng hoặc chạy lại.
Ở lần chạy đó, mỗi finder đã đọc khoảng 45.000 token trước cả khi các verifier bắt đầu, chỉ cho vài dòng code.
Mỗi phiên còn mang một hướng dẫn kích cỡ, tức số agent mà Claude được khuyên không vượt quá:
| Hướng dẫn kích cỡ | Số agent được khuyên |
|---|---|
| small (mặc định trên Pro) | dưới 5 |
| medium | dưới 10 |
Mỗi agent gửi request riêng của nó, cộng thêm lên trên cuộc trò chuyện của bạn. Một workflow không bao giờ là một hóa đơn; nó là một hóa đơn cho mỗi agent, và đồng hồ đếm hết tất cả.
Bài test ghép cặp: cùng 136 bài kiểm tra, 8 phần trăm so với 18, và nó không bao giờ dừng
Một lập trình viên đo chi phí trên gói thuê bao cao nhất với thiết lập sạch: cùng một đặc tả cho một ứng dụng bảng tính nhỏ, cùng model ở cùng mức effort, một lần chạy thường và một lần chạy ultracode. Cả hai được chấm bằng các bài kiểm tra ẩn, những test mà model không bao giờ thấy. Cả hai đều qua đủ 136.
| Lần chạy | Kết thúc | Giới hạn phiên đã dùng | Bài kiểm tra qua |
|---|---|---|---|
| Thường | tự xong, 25 phút | 8 % | 136 / 136 |
| Ultracode | bị đồng hồ cắt ở phút 76, vẫn đang kiểm tra | 18 % | 136 / 136 |
Trong lần chạy ultracode, Claude viết một script chỉ có một việc là điều hành một đội: 12 agent được đếm, gồm tester, vài giám khảo, và về sau là vài "breaker" có nhiệm vụ phá trang. Một breaker đã tìm ra một lỗi thật ở thanh công thức, thanh này cứ hiện văn bản cũ sau khi bấm sang ô khác.
Tính theo phút, lần chạy ultracode dùng hết giới hạn gần bằng lần chạy thường, trung bình chậm hơn một chút. Nó không đốt nhanh hơn; nó chỉ không dừng. Ultracode không làm Claude thông minh hơn, nó làm Claude kiểm tra, và bạn trả tiền cho từng lần kiểm tra. Đây là một cặp trên một đặc tả nhỏ, và lần chạy thứ hai bị cắt bởi đồng hồ, nhưng hình dạng thì rõ: cùng đáp án, hơn gấp đôi cửa sổ phiên, và thời gian thêm ra toàn là để kiểm tra.
Vì sao tốn: một câu và ba lớp bảo vệ bị tắt
Model vẫn là model đó. Thứ thay đổi là đoạn văn bản mà harness đưa cho nó; harness ở đây là chính Claude Code, các công cụ của nó và các chỉ dẫn quanh model.
Khi ultracode bật, Claude Code nạp một tài liệu tham chiếu trước khi viết bất kỳ workflow nào. Văn bản đó bảo model chạy một workflow cho mọi tác vụ đáng kể theo mặc định, và nó chứa câu giải thích hóa đơn: "The goal is the most exhaustive, correct answer you can produce, and token cost is not a constraint." Đó là văn bản của chính harness, và một issue công khai trên GitHub trích đúng những dòng này.
Ba lớp bảo vệ tắt cùng lúc:
- Cảnh báo workflow lớn, vốn bình thường nổ ra khi một lần chạy lên lịch quá nhiều agent, không xuất hiện.
- Giới hạn của phiên về số agent được chạy cùng lúc không được áp dụng cho các agent mà Claude tạo ra.
- Ở chế độ auto, lần khởi chạy đầu tiên không bao giờ được đưa ra để duyệt.
Hướng dẫn kích cỡ là lời khuyên, không phải mức trần: đặt là small (dưới 5 agent) trên sandbox, lần chạy ultracode vẫn tạo ra 9. Công bằng mà nói, câu đó là một mặc định mà model vẫn có thể cân nhắc, và các lớp bảo vệ bị bỏ có chủ đích cho những việc rất lớn. Câu trả lời gói trong một dòng: ultracode không đổi model, nó đổi chỉ dẫn thành "một đội cho mọi thứ, và chi phí không phải là ràng buộc".
Hệ số nhân: ba cặp, bậc thang effort, cặp 30x
Một lập trình viên thứ hai chạy nhiều cặp agent đơn so với workflow trên gói Pro, các script kiểu review, đọc đồng hồ sử dụng trước và sau mỗi lần.
| Phép đo | Agent đơn | Workflow |
|---|---|---|
| Token trên một script review | khoảng 115.000 | 972.000 |
| Hệ số nhân token qua các cặp | 1x | tới 18x, cho gần như cùng kết quả tìm được |
| Mức dịch chuyển của đồng hồ | 1x | tới 3x |
| Thời gian thực | gần như giống nhau | gần như giống nhau |
Workflow không xong nhanh hơn; nó tiêu nhiều hơn trong khi bạn chờ bằng nhau. Chỗ duy nhất song song có lời là một loạt việc nghiên cứu độc lập, nơi các agent xong nhanh hơn, vẫn với hơn gấp đôi số token.
Một bài test thứ ba dựng vài ứng dụng nhỏ ở mọi mức effort, tính theo giá API. Mỗi bậc đi lên làm hóa đơn tăng gần gấp đôi, và ultracode rơi vào mức gấp nhiều lần chi phí của max mà chưa bao giờ đứng đầu. Phần lớn token đó là cache read, loại rẻ; phần nhỏ xíu token đầu ra lại chiếm gần một nửa chi phí.
Thêm một cặp nữa, một cảnh thành phố: một agent đơn mất khoảng một giờ cho vài đô la giá API. Lần chạy ultracode mất gần cả ngày, hàng chục subagent, và khoảng 30 lần chi phí.
Đây là các số đọc nguyên trên đồng hồ, ứng dụng làm từ đầu theo giá API và một cảnh thành phố, nên không số nào tự nó là bảng điểm. Gộp lại, mẫu hình lần nào cũng giống nhau: việc tỏa ra mua được sự kiểm tra và độ phủ, không mua được đáp án tốt hơn, trừ khi công việc tách được thành các phần độc lập.
Khi nào tỏa agent có lời: bộ test làm giám khảo, và quy tắc một dòng
Có những việc đúng là hình dạng này: một cuộc migration, một đợt audit, một lượt quét khắp codebase.
Bun được viết lại từ Zig sang Rust với khoảng 50 workflow động trong Claude Code, chạy liên tục 11 ngày. Đó là hơn nửa triệu dòng Zig, từ lúc bắt đầu đến khi toàn bộ bộ test qua trên mọi nền tảng trong chính những ngày đó. Điều làm nó thành công không phải số agent mà là giám khảo: một bộ test khổng lồ có sẵn nói đạt hay không đạt mà không cần ý kiến của ai.
Vụ săn lỗi của Anthropic cho thấy điều tương tự. Bảy mươi lỗi được gài vào một codebase lớn và một agent đơn chạy nhiều lần.
| Agent | Số lỗi tìm được trên 70 |
|---|---|
| Agent đơn (3 lần chạy) | 14, 15, 27 |
| Workflow (3 lần chạy) | 66 mỗi lần |
Một lưu ý: bài test đó chạy trên Claude Managed Agents, sản phẩm API, không phải Claude Code, và không có số liệu chi phí.
Chuỗi bài ra mắt còn kể thêm các thành tích khác, và chúng đều giống nhau: review theo một tệp quy tắc, dịch cả một codebase, dọn một chồng trang quét. Blog ra mắt nói thẳng: hầu hết các tác vụ code truyền thống không cần một hội đồng năm người review.
Quy tắc: chỉ tỏa agent khi có bộ test hoặc bộ quy tắc chấm kết quả, và công việc tách được thành các phần độc lập. Mọi thứ còn lại chạy thường, ở mức high. Người làm bài test ghép cặp cũng nói như vậy bằng lời của mình: để dành cho những việc mà kiểm tra chính là công việc, như một cuộc migration qua hàng trăm tệp.
Năm cài đặt chặn một lần chạy
Mỗi mức trần nằm ở một chỗ bạn đã quen.
| # | Cài đặt | Ở đâu | Tác dụng |
|---|---|---|---|
| 1 | workflowSizeGuideline: "small" |
/config mục Dynamic workflow size, hoặc settings.json |
lời khuyên (dưới 5 agent), đồng thời hạ ngưỡng cảnh báo workflow lớn |
| 2 | CLAUDE_CODE_WORKFLOW_MAX_CONCURRENT_AGENTS |
biến môi trường, export trước khi khởi chạy | mặc định tới 16 agent cùng lúc; đặt là 4 thì phần còn lại xếp hàng, làm chậm tốc độ đốt mà không giết lần chạy |
| 3 | CLAUDE_CODE_WORKFLOW_SUBAGENT_MODEL |
biến môi trường | chạy mọi agent của workflow trên một model bạn chọn trong khi các subagent khác giữ model của chúng; model rẻ hơn làm việc kiểm tra rẻ hơn |
| 4 | từ khóa ultracode, không bao giờ là công tắc |
trong prompt; không bao giờ là khóa ultracode trong settings |
từ khóa chạy một tác vụ rồi dừng; công tắc làm nó thành thường trực cho đến khi tắt |
| 5 | autoContinueAtUsageLimit |
settings | bật: lần chạy chạm giới hạn sẽ tạm dừng, chờ reset rồi chạy tiếp, có thể nhiều lần; tắt: các agent thất bại tại bức tường và lần chạy kết thúc ở đó |
Ba thói quen đi kèm. Blog ra mắt nói rằng một ngân sách viết trong prompt, như "use 10k tokens", sẽ đặt mức trần. Sau mỗi lần chạy, /usage cho thấy phần sử dụng gần đây dành cho subagent và workflow, kèm cảnh báo khi chúng chiếm phần lớn. Nếu một lần chạy trông sai trong khi đang chạy, khung /workflows và phím x sẽ dừng nó, và phần việc đã làm thường được giữ lại.
Không cái nào làm một agent rẻ đi. Chúng chặn số agent mà một lần chạy có thể tiêu, và thời gian nó có thể tiếp tục tiêu.
Lần chạy mất kiểm soát, các giới hạn và kết luận
Một báo cáo công khai cho thấy một tuần có thể biến mất thế nào. Một script do model viết, trên gói lớn nhất, khởi động 221 agent trong chưa đầy một giờ. Sau lỗi giới hạn phiên đầu tiên, script vẫn tiếp tục điều phối, và 189 agent nữa chạy trong vài phút kế tiếp. Bảng của chính người báo cáo đếm hàng chục triệu token qua các pha trước khi chạm bức tường.
| Pha | Token, gồm cache |
|---|---|
| Ground | 11.063.801 |
| Find | 35.885.272 |
| Merge | 516.226 |
| Tổng | 47.465.299 |
Thủ phạm là một dòng trong script được sinh ra, một fallback nói rằng: nếu agent không trả về gì, dùng danh sách thô và đi tiếp. Bước merge thất bại và lần chạy vẫn tiếp tục. Phiên bản đó có trước cơ chế tạm dừng tại giới hạn sử dụng, và người báo cáo nói số token đó không đến từ các agent thất bại. Một mức trần đồng thời sẽ làm loãng lần chạy đó, và tắt auto-continue sẽ kết thúc nó tại bức tường.
Kết luận: trên cùng một tác vụ, với cùng các bài kiểm tra đã qua, ultracode tốn hơn gấp đôi đồng hồ của một lần chạy thường. Không phải vì nó thông minh hơn, mà vì câu được chèn vào và các lớp bảo vệ nó bỏ đi. Nó có lời khi bộ test hoặc bộ quy tắc chấm kết quả và các phần không phải chờ nhau. Ở mọi chỗ khác, bạn gõ nó và trả tiền cho việc kiểm tra. Năm cài đặt chặn những gì một lần chạy có thể tiêu: hướng dẫn kích cỡ, mức trần đồng thời, model của workflow, từ khóa thay vì công tắc, và điểm dừng tại giới hạn.
