AIDiveВступление: одно репо, два пака, остаётся один
Superpowers и скиллы Matt Pocock это два пака скиллов, которые чаще всего сравнивают между собой разработчики на Claude Code. В этом видео их измеряют на одной и той же фиче, на одном репо, а счёт читают по каждому этапу. Superpowers (v6.4.2) поставляет пятнадцать скиллов и хук SessionStart, который их навязывает. Пак Pocock (v1.3.1) поставляет двадцать семь скиллов, без хука, и семишаговый Main Flow, который вводится слэш-командами. Единственное публичное измеренное сравнение говорит, что Superpowers намного дешевле, а в блогах всех, кто переходил, написано, что Pocock тратит меньше токенов. На этих прогонах правдой оказалось и то и другое: Superpowers, предоставленный своему хуку, стоил четверть от Main Flow, а Superpowers, ведомый через полный цикл, стоил почти вдвое больше Main Flow, при одном и том же результате: пять из пяти скрытых тестов каждый раз. Вопрос, на который отвечает видео: какой пак остаётся и какой единственный этап решает, сколько будет стоить счёт.
Две противоположные ставки: хук, навязывающий скиллы, против полного отсутствия хука
Superpowers это плагин с пятнадцатью скиллами и одним хуком. При каждом старте сессии хук вставляет в контекст весь скилл using-superpowers (492 слова), и этот скилл говорит модели: "If you think there is even a 1% chance a skill might apply to what you are doing, you ABSOLUTELY MUST invoke the skill." Цикл, который он продаёт, проходит через четыре скилла: brainstorming, writing-plans, executing-plans и ревью в конце. Установи его, и хук, по замыслу, сам направит запрос в этот цикл.
Пак Matt Pocock это противоположная ставка: двадцать семь скиллов в поставке и вообще никакого хука. Ничего не вставляется; каждый шаг это слэш-команда, которую вводишь ты. Main Flow выглядит так: grill-with-docs, to-spec, to-tickets, implement, code-review, pr, retro. Скилл grill-with-docs занимает тридцать пять слов и лишь вызывает два других скилла; implement занимает сто три слова и несёт флаг disable-model-invocation: true, поэтому модель не может загрузить его сама. Собственные слова Matt о своём цикле, из ченджлога v1.3: "The agent loop is worse than a deterministic loop. But it is a good way to start with AFK work before your software factory is dialled in."
Оба пака ставятся либо как плагин Claude Code, либо как скопированные файлы, и readme у Pocock говорит об этом прямо: выбирай что-то одно на агента, потому что установка обоих даёт каждый скилл дважды. Никто не закрыл этот вопрос, потому что единственное измеренное сравнение между двумя паками прогоняло пак Pocock так, что пять из восьми воркеров на реализацию никогда не получали скилл implement, а в посте каждого, кто переходил, есть мнения и нет цифр.
Стенд: ledgerly, один запрос, пять скрытых тестов и голая база
Репо называется ledgerly, это выдуманный API для выставления счетов на чистых Node и TypeScript: доменный слой, файловое JSON-хранилище с миграциями схемы, HTTP-слой и тридцать четыре зелёных теста. Запрос на фичу состоит из трёх строк, написанных так, как пишет разработчик: добавить частичные платежи, показывать оплаченную сумму и баланс, сохранить работу старого эндпоинта /pay и помнить, что в хранилище лежат продакшн-данные. Сеньор, читающий это, ждёт пять вещей, которые запрос нигде не называет: математику денег, валидацию, миграцию продакшн-файлов, правильные коды ошибок и тесты. Эти пять стали скрытыми приёмочными тестами, которых воркер никогда не видит; эталонный патч проходит все пять, а нетронутое репо не проходит ни одного.
Каждый прогон это свежая копия репо, headless-воркер Sonnet 5.5, один и тот же список разрешённых инструментов и скриптовый product owner: вторая headless-модель без инструментов, которая читает только пять требований простыми словами, отвечает коротко и говорит "go on", когда её ни о чём не спрашивают. Каждый токен и каждый вызов скилла записываются по ходам. Два ограничения названы сразу: headless означает, что посреди прогона никто не направляет сессию, а хук Superpowers срабатывает только на первом ходу.
Голый Claude Code, без пака, это база, относительно которой измерена каждая полоса.
| Конфигурация (фича 1) | Скрытые тесты | Стоимость за прогон | Время по часам | Изменено строк |
|---|---|---|---|---|
| голый, 3 прогона | 5/5, 5/5, 5/5 | $0.34 в среднем ($0.47, $0.27, $0.29) | 84.5 с | 142 |
Superpowers: что хук запускает сам и сколько стоит полный цикл
Предоставленный своему хуку, Superpowers ведёт себя так: запрос вставляется, хук срабатывает, модель открывает brainstorming, задаёт один-два вопроса и пишет код. writing-plans не запускался ни разу за три прогона, а executing-plans не запускался вообще. Результат: пять из пяти примерно за пятьдесят центов и примерно за две минуты, в полтора раза дороже голого при том же результате, причём один только brainstorming стоит около двадцати двух центов из этой суммы. Шесть одноходовых проб показали, что маршрутизация случайна, а не ошибка подключения: с настоящей проводкой плагина brainstorming срабатывал один раз из трёх, с проводкой стенда два раза из трёх.
Когда цикл ведут вручную, вводя brainstorming, writing-plans и executing-plans слэш-командами в режиме Native (по умолчанию с 6.4.1), каждый прогон проходил весь цикл. Снова пять из пяти, примерно по $3.74 и десять минут за прогон: в одиннадцать раз дороже голого и в семь с половиной раз дороже прогона с маршрутизацией через хук, при том же скрытом результате.
| Этап Superpowers (средние по фиче 1) | Стоимость |
|---|---|
| brainstorming | $0.166 |
| writing-plans | $0.266 |
| executing-plans | $3.307 |
| из них сама сборка по TDD | $0.974 |
| из них subagent-ревьюер всей ветки | $2.192 |
Ревьюер это этап, который объясняет счёт цикла. Скилл executing-plans отправляет его, по собственным словам скилла, "on the most capable available model", и в каждом прогоне этой моделью была модель верхнего уровня. Скилл называет его единственным свежим контекстом, который покупает весь прогон, и говорит не пропускать его; на этой фиче он не нашёл ничего, что тесты не доказали бы заранее. На второй фиче тот же ревьюер забрал $1.602 из $3.21 за прогон, так что это не разовый случай, а то, как написан скилл.
Main Flow этап за этапом: дешёвые планы, дорогая сборка
Пак Pocock ведут единственным способом, каким он ведётся: grill-with-docs задаёт свои вопросы по одному, около семи за прогон против одного-двух у brainstorming в Superpowers; to-spec пишет спецификацию; to-tickets режет её на тикеты; implement собирает все тикеты за один ход и сам вызывает tdd и code-review; pr пишет текст pull request. Каждый прогон вызывал одни и те же четыре скилла в одном и том же порядке (grilling, domain-modeling, tdd, code-review): пак детерминирован в своём маршруте. Двенадцать ходов драйвера был предел стенда, и два прогона из трёх упёрлись в него до pr; единственный полный прогон закончился текстом PR, чего не оставил ни один другой пак.
| Этап Main Flow (средние по фиче 1) | Стоимость |
|---|---|
| grill-with-docs | $0.204 |
| to-spec | $0.118 |
| to-tickets | $0.143 |
| implement | $1.125 |
| code-review | $0.439 |
| pr | $0.041 |
Передняя половина планирования стоит меньше пятидесяти центов ($0.465); implement и code-review это три четверти счёта. Итого около $2.04 и семь минут за прогон, пять из пяти каждый раз: в четыре раза дороже прогона Superpowers с маршрутизацией через хук и на сорок пять процентов дешевле ведомого цикла Superpowers. Диф больше, около 372 строк против 142 у голого, с примерно 28 добавленными тестами против 5, а итоги по токенам совпадают с долларами: около 4.5 миллиона токенов за прогон против полумиллиона у голого, большая часть это чтение кэша длинного контекста. После Main Flow остаются спецификация, тикеты и текст PR, которые команда может ценить выше, чем сорок центов, которые они стоят; а предел в двенадцать ходов это предел стенда, человек продолжал бы дальше.
Фича посложнее: кредит-ноты и единственный баг, который кто-либо выпустил
Пять из пяти везде ничего не показывает, поэтому на том же репо пошёл второй запрос: кредит-ноты, две строки с пятью неявными правилами. Никогда не кредитовать счёт сверх суммы и держать отчёт верным; мигрировать продакшн-файлы; одна непрерывная последовательность номеров без пропусков; правильные коды ошибок; и аннулирование оплаченного счёта через кредит-ноту, с переписанным, а не удалённым старым тестом. Первый более сложный кандидат был отброшен, потому что голый всё равно набирал на нём пять из пяти. Сначала проверка: эталонный патч проходит все пять, нетронутое репо ни одного, а smoke-прогон голого набрал четыре из пяти, так что на этот раз у оракула были зубы.
| Конфигурация (фича 2) | Скрытые тесты | Стоимость за прогон | Добавлено тестов |
|---|---|---|---|
| голый, 2 прогона | 4/5, 5/5 | $0.41 в среднем | 5 |
| Superpowers ведомый, 2 прогона | 5/5, 5/5 | $3.21 в среднем | 33 |
| Main Flow, 2 прогона | 5/5, 5/5 | $2.07 в среднем | 31 |
Единственный промах: в первом прогоне голого номер кредит-ноты брался до валидации запроса, как это делает существующий маршрут выпуска счетов, поэтому отклонённый запрос сжигал номер, и вместо CN-0002 выдавался CN-0004. Аудиторы отмечают пропуски. Оба цикла поймали это одинаково: их шаг TDD писал тест на последовательность до появления кода; второй прогон голого тоже сделал это верно, за сорок пять центов. Один промах на два прогона голого это точка данных, а не частота. Что дают циклы здесь, так это тесты, которые они оставляют, а не оценку.
Оба пака вместе и ловушка маркетплейса
Самый громкий тред на эту тему утверждает, что два пака, установленные как маршрутизаторы, сталкиваются на названиях слэш-команд, сессионных хуках и скиллах, которые конкурируют за одно и то же намерение. Когда их поставили вместе в один проект и прогнали Main Flow, хук Superpowers вставил свой текст, были введены шесть команд Pocock, и ни один скилл Superpowers не был вызван: пять из пяти, $2.33, внутри диапазона Main Flow. Причин две: пользовательские скиллы Pocock несут флаг, который не даёт модели загрузить их самой, и у двух паков нет ни одного общего имени скилла. Но это один прогон; в другой сессии хук всё же мог бы вытянуть скилл Pocock, вызываемый моделью.
Настоящая ловушка в версии, которую ты получаешь. Официальный маркетплейс плагинов Claude закрепляет пак Pocock на 1.2.3, на семьдесят один коммит позади upstream v1.3.1. В этой закреплённой копии нет implement-spec, pr и retro; два issue открыты с 5 октября, а 8 октября Matt попросил Anthropic в X поднять версию: "All my users are stuck on v1.2." Тот же маркетплейс закрепляет Superpowers на один патч позади (6.4.1 против v6.4.2). Установщик даёт настоящий релиз; плагин даёт то, что закреплено в день установки. Смотри строку версии, а не это видео.
Карта этапов и вердикт: Superpowers остаётся
Superpowers остаётся. Предоставленный своему хуку, он самый дешёвый управляемый путь из измеренных: около пятидесяти центов за пять из пяти, в полтора раза дороже голого. Его полный цикл самое дорогое из всего измеренного, около $3.74, и почти вся разница с Main Flow приходится на один этап: ревьюер всей ветки, которого executing-plans отправляет на самую мощную модель. Измени эту одну строку или передай более дешёвую модель, и цикл ляжет около $1.55, ниже $2.04 у Main Flow. Этап, который решает, сколько будет стоить счёт, это ревью, а не планирование: ни grill, ни brainstorm не сдвинули число. У пути с маршрутизацией через хук есть своя загвоздка: маршрутизация случайна (один раз из трёх с проводкой плагина); если brainstorming для тебя важен, вводи его сам.
Main Flow получает тот же результат с большим числом артефактов, при счёте в четыре раза выше, чем у пути через хук. Его передняя половина планирования, от grill-with-docs до to-tickets, стоит меньше пятидесяти центов и это единственное, что стоит позаимствовать: ставь пак Pocock установщиком, а не закреплённым плагином, и вводи grill-with-docs, когда запрос расплывчатый. Совместная установка на прогоне ничего не стоила.
| Карта этапов | Решение |
|---|---|
| Superpowers с маршрутизацией через хук (brainstorming, TDD) | оставить |
| grill-with-docs, to-spec, to-tickets Pocock ($0.465) | позаимствовать |
| строка модели ревьюера в executing-plans | изменить |
Ограничения, без прикрас: Sonnet 5.5 headless, две фичи, девятнадцать прогонов, скриптовый product owner, один баг на девятнадцать прогонов, выпущенный голым. Фича побольше или команда могут оценить спецификацию и тикеты выше. Бесплатный ресурс это сам стенд: выдуманное репо, скрытые тесты, драйвер и скрипт построэтапного учёта, чтобы ты мог прогнать оба пака на своей фиче, прежде чем терять день на миграцию.
