AIDiveCon số không ai kiểm chứng
Everything Claude Code, thường được viết tắt là ECC, là một repository cấu hình Claude Code do Affaan Mustafa phát hành sau khi anh thắng một hackathon của Anthropic và ra mắt một sản phẩm được xây dựng hoàn toàn bằng agent. Hiện nó có khoảng 250,000 sao trên GitHub.
Các con số được trích dẫn về nó không khớp nhau, và chính sự lệch nhau đó lại đáng để ý. Video đưa ECC đến với đông đảo người xem, đăng bốn ngày trước lần đo này, đếm được 64 agent và 262 skill. Còn README của chính repository, vào ngày chúng tôi clone nó, ghi 68 agent và 286 skill.
| Nguồn | Agent | Skill |
|---|---|---|
| Video được chia sẻ rộng rãi | 64 | 262 |
| README của repo, hôm nay | 68 | 286 |
Đó không phải hai con số đối chọi nhau. Đó là những con số cũ hơn. Repository thay đổi nhanh hơn các video làm về nó, và đó là thước đo hợp lý cho giá trị của bất kỳ con số đơn lẻ nào. Câu hỏi nằm bên dưới là câu đã được đặt ra thẳng thắn trên Reddit và chưa bao giờ thực sự được trả lời: không phải ECC có ấn tượng hay không, mà là nó có đáng cài hay không.
ECC thực chất là gì
ECC tự mô tả mình là một hệ thống tối ưu hiệu năng agent harness bao trùm skill, instinct, bộ nhớ, bảo mật và phát triển ưu tiên nghiên cứu. README của nó nén vòng lặp mà nó cài đặt vào bảy từ: lập kế hoạch, kiểm thử, triển khai, rà soát, xác minh, ghi nhớ, cải thiện. Cài nó một lần và đó trở thành cách agent của bạn làm việc.
Đếm trên một bản clone mới, repository chứa:
| Thành phần | Số lượng |
|---|---|
| Agent | 68 |
| Skill | 286 |
| Slash command | 94 |
| File rule | 122 |
| Hook (tất cả trong một file) | 23 |
README mô tả toàn bộ chỗ đó dài 2,200 dòng. Riêng thư mục tài liệu đã là 15 MB, được dịch sang 22 ngôn ngữ. Clone toàn bộ repository kéo về 88 MB. Nó cũng không chỉ dành riêng cho Claude Code: ECC kèm theo cấu hình cho 19 agent và trình soạn thảo khác nhau, từ Codex và Cursor đến Zed và Kimi.
Đây là một khối lượng công việc thực sự, và giấy phép là MIT, nghĩa là mọi phần trong đó đều là của bạn để sao chép. Vấn đề chỉ bắt đầu khi bạn cài tất cả.
Hóa đơn context
Phần thân của một skill chỉ được đọc khi skill đó được kích hoạt. Tuy nhiên tên và mô tả của nó nằm trong context của bạn ngay từ token đầu tiên của mỗi phiên. Điều đó cũng đúng với mọi subagent. Phần metadata ấy là cái giá vé vào cửa, và đó chính là phần mà các video giới thiệu repository bỏ qua.
Đo trên bản clone mới:
| Cái gì được nạp mỗi phiên | Kích thước | Số token ước tính |
|---|---|---|
| 286 tên skill + mô tả | 85,000 ký tự | 21,000 |
| 68 mô tả subagent | 20,000 ký tự | 5,000 |
| File hướng dẫn của chính repo | — | 1,000 |
| Tổng context thường trực | — | ~27,000 |
So với một context window 200,000 token, một bản cài đầy đủ chiếm khoảng 14 phần trăm trước khi bạn gõ một chữ. Mười bốn phần trăm nghe có vẻ chịu được, cho đến khi bạn nhớ ra những gì cùng chia sẻ cửa sổ đó: file của bạn, diff của bạn, kết quả tool của bạn, và chính cuộc hội thoại. Mỗi skill bạn sẽ không bao giờ gọi đến đều đang cạnh tranh với đoạn code bạn thực sự đang làm việc trên đó.
Repository biết điều này. Chính README của nó có câu "optimize the context window, persist everything else", rồi lại đóng gói 286 skill. Trong thread Reddit hỏi đúng câu hỏi này, câu trả lời được vote cao nhất nói rằng lượng token của các mô tả là không đáng kể. Hai mươi mốt nghìn token không phải là không đáng kể.
Hai lưu ý thành thật. Ở đây token được ước tính theo bốn ký tự mỗi token, nên con số thực tế sẽ dao động theo bộ tokenizer. Và không điều nào trong số này nói rằng các skill đó dở. Nó nói rằng chúng không miễn phí, và phần lớn chúng không phải của bạn.
Giữ lại một và hai: trình quét và khối settings
Hai phần đầu tiên đáng lấy thậm chí không cần cài repository.
AgentShield là một công cụ kiểm tra bảo mật cho cấu hình agent. Nó đi kèm bên trong ECC và cũng tồn tại trên npm như một package riêng, nơi nó có 5,500 lượt tải trong một tuần. Một lệnh trỏ nó vào một thư mục; nó rà soát các file agent, các hook, các server, các quyền và các secret của bạn, và nó nhận các flag về định dạng đầu ra, ngưỡng mức độ nghiêm trọng, và các bản vá tự động an toàn. README của nó giải thích lý do nó tồn tại bằng những con số từ tháng Một: 12 phần trăm của một marketplace skill agent hóa ra là độc hại, tức 341 skill trên 2,800, và một vụ rò rỉ đã làm lộ 1,5 triệu API token. Đó là những tuyên bố của package, không phải số đo của chúng tôi.
Giới hạn của nó là một cái mốc thời gian. AgentShield được phát hành lần cuối vào tháng Ba trong khi bản thân repository được cập nhật một ngày trước lần đo của chúng tôi, và README của nó vẫn mô tả hệ sinh thái ở mức 42,000 sao so với 250,000 hôm nay. Trình quét đi sau thứ mà nó đi kèm sáu tháng.
Khối settings không tốn gì để thử. README công bố bốn thay đổi:
| Thiết lập | Thay đổi |
|---|---|
| Model mặc định | Đặt thành Sonnet |
| Ngân sách suy nghĩ | Từ 32,000 xuống 10,000 |
| Ngưỡng compaction | Từ 95 phần trăm xuống 50 phần trăm |
| Subagent | Đẩy sang model rẻ nhất |
README tuyên bố giảm khoảng 60 phần trăm chi phí model và 70 phần trăm chi phí suy nghĩ ẩn. Đó là con số của họ, không phải của chúng tôi, và chúng mô tả một sự đánh đổi: một model mặc định nhỏ hơn và subagent rẻ sẽ khiến bạn trả giá ở những lần rà soát khó.
Giữ lại ba: instinct
Instinct là ý tưởng duy nhất trong repository này mà chúng tôi chưa thấy ở nơi khác. Một instinct là một hành vi học được nhỏ đi kèm điểm tin cậy. Không phải một rule bạn viết ra, mà là một khuôn mẫu hệ thống nhận thấy bạn lặp lại rồi ghi lại giúp bạn.
Phiên bản đầu tiên chỉ quan sát ở cuối một phiên. Phiên bản hiện tại quan sát trước và sau mỗi lần gọi tool, và đó là lý do nó bắt được bất cứ điều gì. Mỗi instinct mang một trọng số từ 0,3 đến 0,9, và phần phân tích chạy trong một agent nền trên model rẻ, nên nó không ngốn context chính của bạn để làm việc đó.
Phiên bản 2.1 đưa instinct về phạm vi dự án, nên các khuôn mẫu React của bạn ở lại trong dự án React. Từ mà chính repository dùng cho thứ vừa được sửa là contamination, tức nhiễm chéo. Khi cùng một instinct xuất hiện ở hai dự án khác nhau, nó được nâng lên phạm vi toàn cục: hệ thống quyết định điều gì là phổ quát bằng cách quan sát, thay vì hỏi bạn.
Đây không phải một thứ làm cho có. Công cụ đằng sau nó dài 2,200 dòng với sáu lệnh, và con đường nó mô tả đi từ instinct đến cụm rồi đến một skill thực thụ. Instinct cũng có thể mang đi được: xuất thư viện của bạn ra, đưa cho một người trong nhóm, và họ nhập nó vào, đây là câu trả lời hợp lý đầu tiên chúng tôi thấy cho việc đưa một người mới làm quen với một bộ cấu hình agent.
Điều kiện đi kèm là hook runtime. Tất cả những thứ này đều chạy trên nó, và hook runtime chính là phần của repository mà bạn buộc phải chủ động đồng ý bật lên. Từ chối các hook thì bạn không có instinct. Một điểm tin cậy cũng chỉ là một suy đoán heuristic, không phải một phép đo.
Giữ lại bốn và năm: chỉ lấy thứ bạn cần
Phần giữ lại thứ tư là ba skill tính toán context thay vì tiêu nó: một context budget, một trình tư vấn compaction, và một trình tư vấn ngân sách token. Cái repository lấy của bạn 14 phần trăm cũng đi kèm chính những công cụ để nhìn thấy điều đó. Riêng quy tắc compaction đã đáng lấy: compact sau khi nghiên cứu và trước khi bạn triển khai, sau một cột mốc, sau khi gỡ lỗi, sau khi một hướng tiếp cận thất bại, và không bao giờ giữa lúc đang triển khai, nơi bạn sẽ mất các đường dẫn file và trạng thái dở dang.
Phần giữ lại thứ năm là trình cài đặt, thứ khiến bốn phần kia trở nên với tới được. Nó có bảy profile, và profile nhỏ nhất nói ngay trong phần mô tả của mình rằng nó bỏ hoàn toàn hook runtime ra ngoài. Bạn cũng có thể bỏ qua các profile và gọi tên từng skill bạn muốn, và có một trình tư vấn nhận một câu mô tả bình thường về công việc của bạn rồi trả về các thành phần phù hợp, kèm bản xem trước trước khi bất cứ thứ gì được ghi xuống đĩa. Trình cài đặt cũng từ chối đoán về các hook: bất kỳ lần cài nào sẽ đưa hook runtime lên máy bạn đều dừng lại, in ra những gì các hook đó có thể làm, và chờ bạn trả lời có hoặc không.
Cài theo cách đó thì hóa đơn không còn là 14 phần trăm mà chỉ còn một phần nhỏ của nó. Chúng tôi không đưa ra con số cho phần nhỏ đó, vì chúng tôi không đo mọi tổ hợp. Tuy nhiên mức sàn là thành thật: ngay cả profile nhỏ nhất vẫn mang theo các agent và các rule, nên tự tay gọi tên từng skill là cách duy nhất để chỉ trả cho đúng những gì bạn dùng.
Cái gì nên để lại trong repo
68 agent nguyên bộ. Chúng tốn khoảng 5,000 token context thường trực, và phần lớn trong số đó là trình rà soát ngôn ngữ và trình sửa build cho C++, C#, Django và Kotlin, cho những stack bạn không viết. Hãy lấy hai cái khớp với công việc của bạn. Cả bộ không phải là một gói bán kèm.
94 slash command. Chính README đã coi chúng là tạm thời, gọi chúng là những điểm vào tiện lợi trong khi repository chuyển sang một bề mặt ưu tiên skill, và có hẳn một thư mục chứa những lệnh đã nghỉ hưu. Command cũng là thứ dễ tự viết nhất trong hệ sinh thái này.
File hook. Mọi hook trong bộ cấu hình này nằm trong một file duy nhất: 291 dòng, 40 KB, 23 hook, trong đó 8 cái chạy trước mỗi lần gọi tool và 7 cái chạy mỗi khi agent dừng. Phần code không nằm trong một script bạn có thể mở ra đọc. Mỗi hook bị nén vào một dòng, tổng cộng 33,000 ký tự, với dòng đơn dài nhất lên tới 2,000 ký tự.
Hãy công bằng: các mô tả bên cạnh chúng đọc được và một số thì hay. Có một hook chặn agent sửa file cấu hình linter của bạn và nói rõ lý do, hướng agent đi sửa code thay vì làm yếu các quy tắc. Đó là một hook đáng có. Vấn đề không nằm ở ý định. Code là công khai và giấy phép là MIT. Vấn đề là ý định lại là phần duy nhất bạn đọc được, và chính repository nói điều đó trước: hook chạy lệnh shell, và bạn nên coi chúng là cấu hình có thể thực thi.
Phần dằn tàu. Cấu hình cho 19 harness và 15 MB tài liệu bằng 22 ngôn ngữ, cho một công cụ bạn chạy bằng một ngôn ngữ, ở một nơi.
Phán quyết
Hãy vơ lấy nó, đừng cài nó. Năm phần sống sót qua đợt kiểm toán là trình quét, khối settings, hệ thống instinct, ba skill đếm context của bạn, và trình cài đặt giúp bạn lấy bốn thứ đầu mà không phải rước phần còn lại.
Con số quyết định là 27,000 token context thường trực cho một bản cài đầy đủ, so với một cửa sổ 200,000. Giấy phép khiến cuộc vơ vét này là chính đáng: nó là MIT, và sao chép năm thư mục ra khỏi repository này là cách dùng đã được dự tính, không phải một cách lách.
Trên Reddit người ta cứ hỏi nên chọn Superpowers hay ECC. Chúng không cùng một loại. Một bên là kỷ luật về cách agent làm việc; bên kia là một thùng phụ tùng, và câu trả lời cho một thùng phụ tùng là lấy phụ tùng.
Hai giới hạn cho tất cả những điều trên. Mọi thứ ở đây được đo trên phiên bản 2.2.1; repository được cập nhật một ngày trước đó, và nó có 110 pull request đang mở chờ xử lý, nên nó vẫn đang chuyển động. Và không điều nào trong số này đo được liệu các skill có làm câu trả lời tốt hơn hay không. Nó đo cái giá bạn phải trả để sở hữu chúng. Đó là hai câu hỏi khác nhau, và chỉ một trong hai vừa vặn với một video.
