Osiem repo, jeden projekt, 87 przebiegów
Osiem repozytoriów GitHub trafia w tym miesiącu na każdą listę najważniejszych narzędzi do Claude Code: Chisle, Ouroboros, Reticle, Caliper, Anti-Slop, UI Skills, img2threejs i FWC SwiftUI Skills. Razem mają ponad 37 000 gwiazdek. Te listy mówią, co obiecuje każde repo i jak je zainstalować. Nikt nie instaluje ich razem i nie mierzy wyników.
Dlatego wszystkie osiem trafiły do jednego, realnego projektu: aplikacji React ze 111 przechodzącymi testami. Jedno z nich wpisało się w ustawienia dziewięciu innych narzędzi AI na tej samej maszynie. Jedno w ogóle nie zostało uruchomione, przez pojedynczą linijkę w jego kodzie źródłowym. A trzy z nich podłączyły do Claude Code serwer, który przez 63 przebiegi nie został wywołany ani razu.
| Test | Wartość |
|---|---|
| Zainstalowane repozytoria | 8 |
| Łączna liczba przebiegów | 87 |
| Łączny koszt | około 6 $ |
| Projekt | 1 aplikacja React, 111 przechodzących testów |
| Model | 1 |
| Czas trwania | 1 dzień |
Resztę tekstu prowadzą trzy pytania: ile kosztuje każde repo na starcie, co faktycznie zmieniło się w wyniku pracy, i które z nich warto zatrzymać.
Co kosztuje każde z nich, zanim napiszesz cokolwiek
Koszt startowy to to, co Claude Code wczytuje do kontekstu, zanim wyślesz pierwszą wiadomość. W pustym projekcie to około 17 000 tokenów, i płacisz za nie przy każdej turze. Aby zmierzyć koszt instalacji, poproszono Claude o odpowiedź jednym słowem i odczytano rachunek. Jednostką są tokeny, nie dolary: dwa identyczne przebiegi mogą różnić się dziesięciokrotnie ceną tylko przez cachowanie.
| Instalacja | Dodane tokeny startowe |
|---|---|
| Chisle | około 3500 |
| Ouroboros | około 1600 |
| Reticle | około 900 |
| img2threejs (plik instrukcji 33 KB) | 107 |
| Anti-Slop (skill pomocniczy) | 95 |
| UI Skills | 37 |
| Wszystko pozostałe | od 100 do 300 każde |
| Wszystkie osiem razem | poniżej 7000 |
Dwa z ośmiu w ogóle nie są dla web developera. img2threejs zamienia zdjęcie w scenę 3D, a FWC SwiftUI Skills służy do aplikacji Apple. Zmierzono tylko ich koszt. Skill do 3D dostarcza plik instrukcji o wadze 33 kilobajtów, a mimo to kosztuje 107 tokenów, bo dopóki nie zostanie wywołany, wczytuje się tylko opis skilla.
Serwery też stały się tanie. Claude Code wczytuje teraz tylko nazwy narzędzi serwera, a szczegóły pobiera na żądanie. To około 45 tokenów na narzędzie, niezależnie od tego, co ono robi. Przy wszystkich ośmiu zainstalowanych koszty po prostu się sumują. Nic się nie mnoży.
Claude Code ma komendę, która szacuje ten koszt dla pluginu, i liczy hooki jako darmowe. Dla pluginu używanego codziennie na tej maszynie oszacowała około 540 tokenów. Pomiar wyniósł 744, bo jego hook startowy drukuje bezpośrednio do sesji.
Start to nie jest miejsce, w którym te repozytoria robią się drogie. Drogie robią się tury.
Te same zadania, z i bez
Benchmark to trzy zadania, które developer rzeczywiście by przekazał: błąd w budowaniu adresu URL, funkcja pokazująca czas czytania i licznik znaków w formularzu. Każde zadanie uruchomiono z jednym zainstalowanym repo, ze wszystkimi ośmioma i bez żadnego, po trzy przebiegi za każdym razem. Sędzią jest test, którego agent nigdy nie widzi, plus zestaw testów projektu, plus type checker. Każdy przebieg używał tej samej, ustalonej listy dozwolonych narzędzi, bez obchodzenia uprawnień.
| Wynik | Wartość |
|---|---|
| Przebiegi zadań | 63 |
| Sukcesy | 63 |
| Nowe błędy typów | 0 |
| Wywołania trzech podłączonych serwerów | 0 |
| Naprawa błędu, poziom bazowy | 7 tur, 27 sekund |
| Zadanie z formularzem, poziom bazowy | 22 tury, około 1 minuty |
Nic nie sprawiło, że Claude oblał zadanie, i nic nie sprawiło, że zaliczył zadanie, które bez tego by oblał.
Trzy z tych repozytoriów podłączają serwer pełen narzędzi. W 63 przebiegach Claude wywołał te narzędzia zero razy. Dotyczy to też zadania z formularzem, które napisano tak, by porady projektowe i testy wizualne miały coś do zrobienia. Uczciwie trzeba dodać, że dwa z nich nigdy nie dostały swojej właściwej pracy. Reticle potrzebuje przeglądarki sparowanej z działającą aplikacją, a to parowanie się wysypało. Ouroboros potrzebuje konfiguracji na poziomie całej maszyny, a tego mu nie zapewniono.
Szum jest ogromny. Ten sam prompt, ta sama instalacja: jeden przebieg zapisał 4300 tokenów, inny 7100. Tylko dwa wyniki przebiły własny szum, oba na najkrótszym zadaniu. Pojedyncze demo przed i po niczego nie dowodzi.
52 procent Chisle w realnym kodowaniu
Chisle to plugin do kompresji wyjścia, jedyny z ośmiu, który obiecuje konkretną liczbę: jego benchmark mówi, że rachunek spada do 52 procent. Na trzech zadaniach wyjście wyniosło 94 procent poziomu bazowego. README wyjaśnia to własnymi słowami: te liczby to pojedyncze prompty bez narzędzi, nie koszt całej sesji.
| Miara | Wartość |
|---|---|
| Deklaracja benchmarku Chisle | wyjście na poziomie 52% |
| Chisle na trzech zadaniach | wyjście na poziomie 94% bazowego |
| Codzienny plugin do zwięzłości, te same zadania | 113%, w granicach szumu |
| Jedna naprawa błędu: odczytane tokeny | 95 000 |
| Jedna naprawa błędu: zapisane tokeny | 1700 |
W realnej sesji kodowania wyjście to mała część rachunku. Chisle wczytuje swoje reguły na starcie i doczepia przypomnienie do każdego wysłanego prompta, więc jego przebiegi kosztują więcej niż poziom bazowy w dwóch zadaniach na trzy. Reguły ważą więcej niż słowa, które oszczędzają. Jego kompresor wyjścia narzędzi działał w każdej sesji i nigdy nie zanotował oszczędności.
Żaden z pluginów nie zaoszczędził niczego mierzalnego. Użytkownik Chisle znalazł to samo w 173 sesjach, a autor twierdzi, że ten błąd jest już naprawiony. Trzeba oddać Chisle sprawiedliwość: publikuje własne straty, a jego obsługa plików jest solidnie zabezpieczona.
Zasada, jaką z tego wynieść: plugin, który odzywa się przy każdej turze, jest najdroższym rodzajem pluginu.
Instalacje, które wychodzą poza twój projekt
Zasięg instalacji to jak daleko poza folder, w którym uruchomiono repo, sięga jego konfiguracja. Wszystko tutaj zainstalowano celowo wewnątrz jednego folderu, tak by nic nie dotknęło reszty maszyny.
Komenda instalacyjna Reticle miała inne plany. Jej własny log mówi, że zarejestrowała się w 8 kolejnych agentach: VS Code, Copilot, Warp, Kiro, Amazon Q, Cline, Amp i jeszcze jednym. W Gemini zatwierdziła się z góry. A w ustawieniach Claude Code dodała regułę, która zatwierdza jej własne narzędzia. Nic z tego nie jest ukryte, wszystko jest tam, w kodzie źródłowym, instalator głośno mówi, co robi, i dostarcza komendę deinstalacji. Ale przekazano mu jedną flagę zgody, dla jednego projektu.
Caliper miał być narzędziem pomiarowym. Jego harness uruchamia Claude z wyłączonymi wszystkimi kontrolami uprawnień, bez opcji zmiany tego, i kopiuje twoje dane logowania do każdego uruchomienia testu. Nigdy go nie uruchomiono; zastąpił go własny, napisany od zera runner.
| Repo | Instaluje się czysto wewnątrz projektu? | Uwagi |
|---|---|---|
| Anti-Slop | Tak | Kopiuje pliki i nic więcej |
| UI Skills | Tak | Zdalna biblioteka skilli |
| img2threejs | Tak | Skill |
| FWC SwiftUI Skills | Tak | Zwykły tekst |
| Reticle | Częściowo | Zarejestrował się w 8 innych agentach, reguła samo-zatwierdzająca |
| Chisle | Nie | Tylko globalnie, sprawdza aktualizacje na starcie, zapisuje surowe wyjście narzędzi na dysk |
| Ouroboros | Nie | Tylko na poziomie całej maszyny, domyślnie raportuje użycie, instalator może przepuścić skrypt z internetu przez twoją powłokę |
| Caliper | Nieuruchomiony | Kontrole uprawnień wyłączone, dane logowania kopiowane do każdego uruchomienia |
Żadne z nich nie jest malware. To wygoda, która zakłada, że chcesz mieć narzędzie wszędzie. Przed każdą instalacją otwórz trzy rzeczy: hooki, skrypt instalacyjny i konfigurację serwera.
Co się dzieje, gdy się piętrzą
Piętrzenie oznacza wszystkie osiem zainstalowane razem: brak awarii, brak błędu, a koszty sumują się niemal dokładnie. Jedna pułapka kosztowała godzinę. W przebiegach skryptowanych serwer projektu czeka na zgodę, której nikt nie może udzielić, więc wygląda na niemal darmowy. Każda liczba dotycząca serwerów w tym tekście została zmierzona ponownie po naprawieniu tego.
Hooki to miejsce, w którym te repozytoria się spotykają. Hook to skrypt, który Claude Code uruchamia w ustalonym momencie, a to, co wydrukuje, może trafić przed model. Przy trzech z tych narzędzi podłączonych, trzy skrypty odpalają się na starcie i trzy kolejne przy każdym prompcie. Jedno zwyczajne, wpisane zdanie dotarło do modelu z dwiema dopiętymi notatkami: jedna kazała pisać zwięźle, druga domagała się kroku konfiguracyjnego, którego nie da się wykonać wewnątrz projektu. Ta druga notatka wraca przy każdym prompcie zawierającym jedno z jej słów kluczowych.
Nazwy narzędzi nie mogą się zderzyć, bo każdy serwer poprzedza je swoim prefiksem. Dla hooków dokumentacja to potwierdza: gdy kilka hooków dodaje kontekst, Claude otrzymuje wszystkie te wartości.
Badanie z maja 2026 zmierzyło, co duża liczba skilli robi z agentem. Przy około 200 skillach wskaźnik sukcesu spadł nawet o 21 procent, a większość tej straty to agent wybierający podobnie wyglądający skill zamiast właściwego. Osiem repozytoriów to 10 skilli, daleko od tej skali. Ludzie z dziesiątkami zainstalowanych skilli są znacznie bliżej.
To, które zmieniło kod
Anti-Slop to zestaw reguł lintera, które kopiujesz do swojego projektu, nie plugin. Nie ma tu pakietu do zainstalowania; autor chce, żebyś skopiował reguły i sam je zmienił. Linter czyta twój kod poza modelem, więc nie kosztuje kontekstu: 95 tokenów za swój skill pomocniczy i nic więcej przy żadnej turze.
W zadaniu z formularzem Claude musiał przeprowadzić nowe pole przez komponent. Skopiował linijkę powyżej, razem z niebezpiecznym rzutowaniem typu. Anti-Slop to wyłapał, trzy razy na trzy. To dokładnie ten rodzaj rzeczy, który recenzent przepuszcza, bo wygląda jak jego sąsiedzi.
| Ustalenie Anti-Slop | Wartość |
|---|---|
| Wyłapane niebezpieczne rzutowanie typu | 3 przebiegi na 3 |
| Wyłapany brak pustej linii w poprawnej sześciolinijkowej funkcji | 2 przebiegi na 3 |
| Ustalenia na nietkniętym projekcie | 109 |
| Udział dwóch reguł stylu | 83% |
| Pozostałe reguły | 16 |
Ustalenie o pustej linii to kwestia gustu, nie błąd, a linter czyta tylko jeden plik naraz. Koszt ujawnia się pierwszego dnia: zdecyduj, co zrobić z tymi dwiema regułami stylu, zanim ocenisz pozostałe 16. Jeden haczyk: reguły dostarczane są jako moduły, więc twój projekt też musi zadeklarować się jako moduł, inaczej linter się wysypie.
UI Skills to najtańsze, by je zatrzymać: 37 tokenów za zdalną bibliotekę skilli projektowych i zero wywołań w tych przebiegach. W lipcu miała 18 martwych linków. Wszystkie 300 przetestowano rano w dniu nagrania, i żaden nie jest zepsuty.
Co zostawiam i jak sprawdzić swój własny setup
Osiem repozytoriów posortowanych. Oczekiwaniem było trzech zwycięzców. Dane dają jednego, który na to zasłużył, i trzech, których można zatrzymać za darmo.
| Repo | Werdykt |
|---|---|
| Anti-Slop | Zasłużył: wyłapywał realny błąd za każdym razem, niemal za darmo |
| UI Skills | Wolno zatrzymać za darmo: 37 tokenów, z niczym się nie zderza |
| img2threejs, FWC SwiftUI Skills | Wolno zatrzymać za darmo, jeśli kiedykolwiek je wywołasz: razem kilkaset tokenów |
| Chisle | Kosztował więcej, niż oszczędził na realnej pracy kodowej |
| Caliper | Nigdy nie uruchomiony |
| Reticle, Ouroboros | Chcą całej maszyny, nigdy nie widziane przy wykonywaniu swojej właściwej pracy, więc brak werdyktu co do ich sensu |
Własny opiekun Ouroboros liczy, że około 40 procent jego przebiegów kończy się niepowodzeniem.
Ograniczenia mają znaczenie: jeden projekt React, jeden model, trzy zadania, po trzy przebiegi. Przy tak szerokim szumie małe efekty są niewidoczne. To, co dane rzeczywiście ustalają, to że poprzeczka jest wysoko. Claude zaliczał wszystko z tymi narzędziami i bez nich, a narzędzia, które siedzą w kontekście czekając na wywołanie, przeważnie nie zostają wywołane. Potrzebują workflow, który po nie sięga.
Możesz sprawdzić swój własny setup w dwie minuty. Jedna komenda pokazuje, co jest wczytane właśnie teraz. Jedna szacuje koszt pluginu, i pamiętaj, że liczy hooki jako darmowe. Jedna raportuje, ile kosztuje każdy skill i jak często jest używany. A przed każdą instalacją otwórz hooki, skrypt instalacyjny i konfigurację serwera.
AIDive