dev-harness

Imported from a3ka/dev-harness (AGENTS.md). Install upstream with npx skills add a3ka/dev-harness. Copyright stays with the author.

dev-harness — система, которая строит другие системы

Ты в системе-РАЗРАБОТЧИКЕ. Она переиспользуется между проектами. Проект, над которым идёт работа, передаётся параметром и живёт в другом репозитории.

Если тебе нужно править код продукта — ты открыл не тот каталог. Закрой сессию и открой проект. Одна сессия — один репозиторий.

Две системы, два репозитория, один свод правил

Различает каталог, а не догадка: omp читает .omp/config.yml и AGENTS.md из корня открытого проекта. Измерено 2026-08-15: в каталоге фабрики omp config list печатает её modelRoles, здесь — свои. Два конфига, два набора ролей, ничего общего.

Общий у двух систем ровно один предмет — правила работы. Они живут ЗДЕСЬ, а проект получает их пином. Копия правил в проекте была бы вторым источником истины, и он разошёлся бы молча — тот самый дефект, против которого правила и написаны.

Три роли

Несоответствие модели задаче проверяется механизмом, а не памятью: у нас записан инцидент, когда MiniMax без vision «тестировал» интерфейс. npm run overlay спрашивает способности у самого харнеса и отказывает, если роль требует картинок, а модель их не умеет. Конфиг говорит, что мы назначили; список моделей — что модель умеет.

| critic | план и контракт ДО заморозки: критерий, который нельзя отличить от имитации | | adversary | проверку, которая пропускает обманную заглушку | | reviewer | область правки, сырой вывод, проверку, подогнанную под код | | arbiter | тупик, где автор — сторона спора |

Модели ролей — единый источник config/agent_models.json (решения владельца 2026-09-12 и 2026-09-26): models — семейство → последняя версия; tiers — тир → модель и фолбек ссылкой на семейство ("@opus") + основание why; roles — роль → тир. Смена версии — ОДНА строка в models, затем npm run gen:harness. Производные (.omp/agents/*.md, modelRoles и retry.fallbackChains в .omp/config.yml) генерируются и сверяются --check в CI; оверлеи config/models-*.yml ссылаются на семейства, лаунчер разворачивает их при запуске. Версию модели вне models не пишем — второй источник разойдётся молча. Фолбек с autoFallback: true подменяет omp, прочие — ручная процедура роли оркестратора (до Н-50). Судьи реализации — на двух вендорах, вне семейств авторов.

Роли tester нет, и это защищается правилом, а не вкусом. Её ценность — прогон на ЧИСТОМ чекауте, то есть поимка «работает на моём дереве»: незакоммиченный файл, отсутствующий сгенерированный артефакт, зависимость от окружения. Это делает CI при каждом push'е: actions/checkout даёт чистое дерево, никогда не забывает и стоит ноль. Роль, которую заменяет механизм, обязана быть заменена.

Почему implementer нужен, если автор умеет писать код. Не для ловли дефектов: на барьере в 200 строк разделение «спека отдельно, реализация отдельно» дефектов не ловит — измерено на внешнем проекте, где из четырёх кругов гейта три нашли дефекты в самих проверках. Он нужен для параллелизма и границ: независимые куски идут одновременно (замерено — каталог стилей собрали три исполнителя разом), и у каждого объявлена зона, выход за которую — провал работы.

Разведчиков не заводим своих. scout, librarian, task поставляет сам харнес; за всю историю scout вызван 50 раз. Дублировать их значило бы оплачивать сделанное.

Сессию ведёт РОЛЬ, а не безымянный участник

Решение владельца 2026-08-16, и оно исправило настоящий дефект: у «живой сессии» не было файла роли — единственный участник без объявленного инвентаря и без записанных обязанностей. Так же устроен внешний проект, откуда взят весь этот порядок: роль и есть сессия.

./workshop поднимает сессию ролью orchestrator на модели её тира (@default из config/agent_models.json): тело роли уходит в системный промпт через --append-system-prompt, модель — явным --model. Проверено прогоном: сессия называет свои же запреты.

Цена и то, чем она удерживается. Логика перевёрнута (2026-08-24): ведущая сессия теперь на ДЕШЁВОЙ модели, и экономия держится ровно на одном — оркестратор НЕ делает сам того, за что платят дорого: frontier-выбор, ред-тесты и суд он делегирует, а не исполняет. Дорогая роль architect (тир @slow) призывается субагентом ровно на эти два предмета и не висит на всей сессии.

Это счётное утверждение, поэтому его считают, а не чувствуют: npm run models:actual печатает рядом с моделью делегировано N (роли). Гейт этой команды построен на прежней логике «сессия дорогая»; его переворот под новую топологию (ведущая сессия дешёвая, дорогое — субагент) — предмет контракта 011 с красными тестами. До 011 гейт остаётся на старой мере, и это названо здесь, а не молчит.

Гейт этой команды — только последняя сессия. Прошлые могли идти на другой модели законно: роль или её модель меняли, и это записано в git. Гейт, краснеющий на прошлом, которое уже нельзя исправить, отучает себе верить.

Арбитр — когда и зачем

Созывается при двух отказах по одной причине С НЕСОГЛАСИЕМ автора либо трёх кругах по одному предмету. Согласие автора с повторной находкой — не спор: находка закрывается правкой, арбитраж не нужен и не созывается (правка Н-38, 2026-08-20: арбитраж «за every повтор» оплачивал согласие сторон как тупик — измерено на контракте 005: два арбитража без единого разногласия). Не жди третьего отказа: повтор причины при несогласии означает, что стороны не понимают друг друга, а не что правка недоделана.

Автор конструкции в этом споре сторона, а не судья. Будить владельца ради спора двух ролей — трата единственного невозобновимого ресурса проекта.

Граница: арбитр решает «как правильно», владелец решает «чего мы хотим». Инженерная правота — арбитру. Воля, риск и деньги — владельцу, и это не делегируется никаким треком.

Мера, из которой правило выросло: свод уставных документов прошёл шесть кругов (FAIL → incorrect → block → revise → revise → revise → accept). По этому правилу он остановился бы на третьем.

Воркфлоу майлстоуна

Порядок выведен из измеренных причин, а не придуман. Первая: шаг 5 прошёл семь кругов адверсария — архитектор писал спеку и красные критерии, раздавал реализацию, а потом менял их по ходу; три версии одного критерия оплачены переписыванием 12, 35 и 8 фикстур. Вторая (решение владельца 2026-08-20): между написанием контракта и кругом критика архитектора не проверяло НИЧЕГО — вся предотправочная дисциплина была cognitive-only, из этой дыры выросли Н-38, Н-39 и Н-40, а ревьюер и тестер в схемах были обрезаны.

1. Контракт. Архитектор пишет contracts/NNN-<slug>.md (номер — next_id.sh CONTRACT): предмет, исполнители и ОДНО ИЗ ДВУХ объявлений о раздаче — ЗОНА <автор>: <путь>… либо РАБОТА НЕ РАЗДАЁТСЯ: <причина>. Молчание не годится: «зон нет» и «зоны забыли» выглядят одинаково. Для КОДОВОЙ задачи приёмочный критерий предъявляется КРАСНЫМИ ТЕСТАМИ, а не прозой: «что значит готово» — команда, которая проходит на честном дереве и краснеет на обманном; тесты предъявлены красными ДО круга критика, и проверка «то ли сделано» — прогон, а не чтение. Для некодовой задачи — контракт другого типа. Контракту ЗАПРЕЩЕНО утверждать пару «обманный стаб ↔ ветвь»: привязку стаба к входу, где его дефект наблюдаем, делает тот, у кого перед глазами код (закрывает Н-39 у источника: проза больше не делает недоказуемого утверждения).

2. Критик — один круг. Роль на чужом семействе и на его верхнем уровне. Дефект критерия здесь стоит ноль: реализаций ещё нет. Блокирует только находка с названным ОБХОДОМ — состоянием дерева, при котором критерий выполнен, а предмет не сделан; остальное едет советом. Третий круг по одному предмету — АРБИТР, не владелец: вердикт арбитра начинается РЕШЕНИЕ либо К ВЛАДЕЛЬЦУ, и владелец подключается только если после вердикта арбитра снова FAIL по тому же предмету либо арбитр сам написал К ВЛАДЕЛЬЦУ. Проводка приёмки (npm-команды, CI) не зависит от текста критериев — её раздача идёт ПАРАЛЛЕЛЬНО кругам критика (Н-38: двухстрочная проводка не ждёт час судей).

3. Заморозка. freeze_contract.sh ставит тег frozen/contracts/<NNN>/<v> и требует на HEAD вердикт критика с первой строкой accept. КАП КРУГОВ считает сам механизм: третий и дальнейший круг без закоммиченного вердикта арбитра по этому предмету — отказ заморозки; законные выходы — вердикт арбитра либо строка РАЗРЕШИЛ-ВЛАДЕЛЕЦ: в причине заморозки (измерено на контракте 005: девять кругов подряд — правило в роли не сработало, счёт ушёл в механизм). Заморозка морозит ТЕКСТ спеки: check_contract_frozen.sh сверяет блобы plans//contracts/ с тегом — фикстуры и барьеры приёмки в него не входят. «Неизменны» = НЕ ОСЛАБЛЯТЬ и не переписывать критерий под код; правка ТЕКСТА спеки — только v+1 с новым вердиктом критика И строкой РАЗРЕШИЛ-ВЛАДЕЛЕЦ: в изменяющем коммите. ДОБАВЛЕНИЕ красных тестов по вердикту адверсария/арбитра (пост-заморозочные шаги 5–6) законно — оно УСИЛИВАЕТ гейт, а не ослабляет (прецедент 005: +14 фикстур после frozen/005/2 под accept ревьюера). Держат check_contract_frozen.sh и check_charter.sh.

4. Раздача. Исполнитель работает в СВОЁМ клоне, коммитит в основной репозиторий и только в свою зону. Держит check_zones.sh по имени автора коммита.

   4а. Сборка — обязанность архитектора. До вызова судей архитектор предъявляет пачку ЗЕЛЁНОЙ своим прогоном: все команды приёмки на собранном дереве. Судья не ищет то, что прогон показывает.

   4б. Тестер = CI, механизм, не роль. Чистый чекаут внешнего CI — гейт ПЕРЕД адверсарием: bash scripts/check_ci_gate.sh → 0 (все check-runs запушенного HEAD success). Не зелёный — судью не звать, чинить пачку. Роль, которую заменяет механизм, обязана быть заменена.

5. Адверсарий — один круг по реализации, на пачку, а не на каждый барьер.

6. Правки. Повтор причины дважды — арбитр, и созвать его вправе судья без согласия автора.

7. Ревьюер — один круг, перепроверяет ВСЁ: область правки, сырой вывод, не переписаны ли проверки под код.

8. done + приземление. Тег done/contracts// ставится только через bash scripts/done_contract.sh: вердикт ревьюера accept и ПРОВОДКА контракта зелёная; поведенческая норма идёт role-каналом (roles/*.md), чистый энфорсмент — guard-каналом с обоснованием в контракте; v>1 и контракт без поля ПРОВОДКА — только со строкой РАЗРЕШИЛ-ВЛАДЕЛЕЦ: в причине; ручной git tag — обход гейта. ПРОВОДКА — обязательное поле контракта (guard=scripts/<барьер> ∨ role=roles/<роль>.md «<норма-строка>» ∨ charter=AGENTS.md §<полный заголовок секции> «<норма-строка>»): каждый канал нормы существует и подключён; поведенческая норма — role-каналом, guard без предметного канала — только со строкой ПРОВОДКА-ЭНФОРСМЕНТ: <обоснование>; грамматика — контракт 038. Слияние и приземление нормы — только после тега. Кругов сверх регламента нет — только решением владельца: это цена, а не правота. Серверная обвязка станции — единый источник в репо: точка входа ops/server/README.md; установленное == репо (sha256), расхождение — отказ.

ПРИЁМКА-СУДЬИ (v2, Н-48): судья (критик/адверсарий/ревьюер) гоняет ТОЛЬКО scoped-регресс затронутых барьеров (verify_antiplacebo --scope <ключ>) и git-diff неизменности frozen-барьеров; полный прогон — только CI, от судьи он не требуется.

Утверждение плана и контракта = его заморозка. Других смыслов у слова «утверждён» нет, и поэтому «я согласовал» в переписке не значит ничего: нет тега — нет утверждения.

Норма «красные тесты как контракт кодовой задачи» (шаг 1) испытывается на ближайшем новом контракте целиком: мера — круги критика и часы против базы 4/7/9 (решение владельца 2026-08-20).

Модель сессии читается из трейса, а не из конфига. Измерено на владельце: конфиг объявлял minimax/MiniMax-M3, а интерактивная сессия поднялась на Opus 4.8 — модели, которой в наших ролях нет вовсе. TUI восстановил ранее выбранную модель поверх конфига, а modelRoleStorage у omp global: выбор живёт в доме, не в проекте. Непрогонные запуски при этом конфигу подчинялись, поэтому расхождение было невидимым.

Закрыто двумя вещами: лаунчер передаёт модель ЯВНЫМ флагом --model, и есть орган проверки — npm run models:actual печатает заявленное против фактического и возвращает 1 при расхождении. Пока такой команды нет, «сессия идёт на такой модели» — утверждение без механизма.

Два режима входа

В talk двадцатиминутная работа не «не рекомендуется», а неисполнима: нечем. Режим переключает владелец явно. Мысль вслух — это talk, пока не сказано иначе.

Заведено потому, что инструкция «сначала уточни задачу» ловит только то, о чём вспомнил автор инструкции. Инвентарь ловит всё.

Правила, каждое из которых уже стоило времени

1. Правило без механизма не существует. Либо проверка, либо явная пометка cognitive-only с записанным остаточным риском.
2. Скрипт не имеет права печатать PASS. Результат — код возврата. Нереализованное возвращает 2 и NOT_IMPLEMENTED, а не 0.
3. Проверка не готова, пока не предъявлена КРАСНОЙ против обманной заглушки. Зелёная всегда бесполезна ровно так же, как красная всегда.
4. Счётное утверждение проверяется ДРУГОЙ мерой. Повтор той же команды даёт согласие, а не проверку.
5. Номер артефакта выдаёт механизм, а не автор. Идентификатор с двумя смыслами в истории нечем развести.
6. Гейт, который зеленее CI, — не гейт. Каждая команда из run: в workflow обязана иметь пункт в приёмке.
7. Неразобранное объявление — отказ с названным местом и выходом. Не молчаливое сужение области и не приём по догадке. Поднято в норму арбитражем verdicts/arbitration/oblast-i-porog.md после того, как молчаливое сужение дважды прошло круг адверсария в новой форме. Отказ обязан говорить ПРАВДУ: красное с ложным диагнозом — дефект той же тяжести, что молчаливое зелёное, потому что и тому и другому перестают верить. Граница: открытые языки, которые механизм не обязан толковать, сверх-приближаются, а не вычисляются.
8. Истина живёт в памяти проверяющего и в закоммиченном исходнике. Всё, что лежит на диске между началом и концом прогона, — территория проверяемого; перечитывать это как истину запрещено. Отсюда же: смысл механизмом не измеряется — порог отсекает отметку от предложения и этим исчерпывается, остальное помечается cognitive-only.
9. Вердикт — закоммиченный артефакт. Вердикт в переписке не переживает сессию.
10. Утверждение плана и контракта — это заморозка, и она невозможна без вердикта критика. Механически: freeze_contract.sh требует на HEAD файл вердикта с первой строкой accept. Существования файла недостаточно — механизм, который считает файлы, не читая их, есть плацебо.
11. Уставные документы меняются только коммитом со строкой РАЗРЕШИЛ-ВЛАДЕЛЕЦ: <путь> <причина> в первой колонке тела. Устав — AGENTS.md, ROADMAP.md и замороженные plans/, contracts/. Строку пишет ВЛАДЕЛЕЦ либо сессия по его прямому слову; агенту писать её запрещено. Подлинность при одном uid механически не доказуема — риск помечен cognitive-only в шапке check_charter.sh, ловцы названы там же.
12. Кругов проверки сверх регламента — только решением владельца: это цена, а не правота. Три круга по одному предмету означают, что предмет неверно нарезан либо гейт стоит не там.
13. План может исполняться одним автором целиком только по прямому слову владельца, записанному в самом плане; контракт, который РАЗДАЁТСЯ, обязан нести ЗОНА-строки. Внесено по решению арбитража 1: план 007 исполнялся одним автором при незафиксированной воле владельца — в закоммиченном мире это выглядело нарушением ожидания нормы о делегировании.
14. Текст судейской роли не меняется автором судимого предмета, пока круг по этому предмету открыт. Такая правка — только с согласия судьи, записанным в его следующем вердикте, либо решением арбитра или владельца. Внесено по решению арбитража 1: правка roles/critic.md между кругами (192b7c6) была «проверкой, подогнанной под код», применённой к роли судьи.
15. Арбитр, названный в вердикте судьи, созывается без согласия автора; отказ автора от созыва — сам по себе предмет арбитража. Внесено по решению арбитража 2: автор обошёл механический триггер рассуждением «тупика нет» — и это признано нарушением.
16. Всё по-русски. Временное — в ./tmp, не в системном /tmp. ИСКЛЮЧЕНИЕ (carve-out, РАЗРЕШИЛ-ВЛАДЕЛЕЦ 2026-08-24): scratch раннера scripts/verify_antiplacebo.sh живёт вне стерегомого дерева (в системном /tmp или под $VERIFY_ANTIPLACEBO_SCRATCH). Причина — Н-48: in-tree scratch ловит собственный лог и case_fikstura_pravit_derevo лжёт «дерево изменилось»; цена 3+ч на закрытии 010 (ревьюер 1h49m, ~6 перепрогонов, взаимные kill). Реализация (lock/scratch/pgid/чистка) — предмет 011.