Коротко
- Современный агент — это модель плюс обвязка (harness): модель решает, что делать дальше, а harness превращает решения в действия.
- Вокруг модели выстраиваются инструменты, память и контекст, песочницы, защитные механизмы, циклы обратной связи, валидаторы и журнал.
- Harness можно сделать самоулучшающимся: гипотеза, проверка по бенчмарку, разбор неудач, ворота валидации.
- Версии, варианты под разные задачи и откат нужны, чтобы harness было легко править; смену модели проверяют в самом конце.
- Задача AI-инженера — спроектировать всю эту систему, а не только выбрать модель.
Навигация по видео
Выбери главу: видео выше начнётся с нужного момента.
Что повторять из урока
После видео проверь, что можешь своими словами объяснить пять вещей: чем модель отличается от harness, что такое бенчмарк и журнал, как работает цикл «гипотеза — проверка — ворота», зачем нужны версии и откат и почему модель меняют в последнюю очередь. Таймкоды оценены по расшифровке и могут отличаться на несколько секунд.
Harness — это обвязка вокруг языковой модели: инструменты, память и контекст, песочницы, защитные механизмы, журнал и проверки. Модель в такой схеме работает как процессор и решает, что делать дальше, а harness исполняет эти решения. Модель плюс harness — это и есть современный агент.
Модель думает, harness действует
Автор начинает с картинки. В центре — большая языковая модель: DeepSeek, ChatGPT, Claude, Kimi, GLM, подойдёт любая. Вокруг неё строится инфраструктура:
- инструменты;
- память и контекст;
- песочницы и «guard'ы» — защитные механизмы;
- циклы обратной связи, которые превращают модель в полноценного агента;
- валидаторы;
- трекинг того, что происходило.
Проще всего сказать так: harness превращает решения модели в действия и соединяет её с инструментами, памятью и внешними системами. Как именно сделан каждый элемент, вторично. Это могут быть Markdown-файлы, отдельные функции, базы данных или обычные файлы. Важно понять уровень абстракции и саму концепцию.
Десять слоёв самоулучшающегося harness
По словам автора, на текущем этапе у harness есть десять слоёв, которые делают его «самоулучшающимся». Их удобно держать в голове четырьмя группами.
Фундамент
В базовом слое три составляющие:
- Инфраструктура. Модель (например, запросы к DeepSeek), инструменты (если агент должен изучать интернет, парсить сайты или редактировать файлы на компьютере) и бенчмарк — показатель, по которому решают, стал ли результат лучше.
- Trace log (журнал). Записывается весь путь агента, а не только ответ. Запрос должен соотноситься с ответом, и тогда накапливается аналитика, по которой можно лучше выстраивать обвязку.
- Внешнее состояние (external state). По сути это skills: Markdown-файлы с узкой, точечной экспертизой.
Цикл обучения
Дальше идёт цикл из трёх частей. Мы выдвигаем гипотезу, harness её проверяет. Если бенчмарк стал лучше, предположение удалось. Если хуже, это failure mining: неудачи нужно фиксировать и классифицировать. Автор отмечает, что в полной версии для этого создают специальные классы, а в курсе будет упрощённый вариант. Чем больше накопленной информации, тем точнее следующие шаги.
Proposal engine предлагает новую гипотезу. Пример автора: бенчмарк — скорость загрузки сайта, а proposal engine предлагает оптимизировать размер JavaScript-файлов. Гипотеза берётся в работу, но проходит через validation gate — «ворота» проверки. Они смотрят, не просел ли бенчмарк: если график растёт, всё хорошо, а если падает, что-то пошло не так.
Управление изменениями
Здесь речь о версиях и вариантах harness. Harness, среди прочего, включает системный промпт агента, и заранее неизвестно, лучше сработает первая версия или вторая. Пример: если сказать модели «ты профильный диетолог» и дать ей анализировать скорость загрузки сайта, результат будет хуже, чем при формулировке «ты уважаемый сеньор фронтенд-оптимизатор». Поэтому нужны разные версии и возможность отката: инфраструктуру стоит строить так, чтобы её было легко редактировать.
Варианты нужны под разные классы задач. Допустим, вы собрали универсальный harness для оптимизации сайта, а потом решили оптимизировать Python-код. Система будет похожей, но подход немного другой, поэтому в идеале harness собирают под каждый класс задач. О том, как формулировать такие инструкции, — в уроке «Как писать промпты».
Измерение и веса
Самый последний слой касается смены самой модели. Например, harness строился на DeepSeek, а теперь его проверяют на ChatGPT или Claude. Это делают в последний момент: сначала строят серьёзную обвязку, и только потом меняют модель. Автор уточняет, что DeepSeek, очевидно, работает хуже, чем Claude, и поэтому в разработке он сначала использует его, а когда всё готово, настраивает более сильные модели. Для этого нужен отдельный шлюз-провайдер с единым API: к нему подключают любую модель.
Цикл самообучения на диаграмме
Автор подчёркивает, что терминов много, но схема проще, чем кажется:
- Запускаем задачу: даём гипотезу или промпт.
- Записываем весь путь: входной запрос, дату и другие доступные параметры.
- Фиксируем ошибки: негативный опыт тоже опыт, он нужен для следующего раунда гипотез.
- Отправляем proposal — одну маленькую правку, один тест — в validation gate.
- Если правка не принята, возвращаем её на proposal и придумываем другую гипотезу.
- Если принята, она попадает в новую версию, и мы получаем новый harness.
Если хочется увидеть то же самое в готовом виде, автор советует познакомиться с авторесёрчем Андрея Карпаты: по похожей схеме обучается и обвязка вокруг агента.
Главный вывод
Есть модель, и мы «обкладываем её файлами», чтобы она работала лучше и давала лучший результат. Задача AI-инженера — спроектировать всю эту систему. Как собирать свою обвязку, смотри в разборе кодинговых агентов.
Термины урока
- Harness (обвязка) — инфраструктура вокруг модели: инструменты, память и контекст, песочницы, защита, журнал и проверки.
- Бенчмарк — показатель, по которому оценивают, стал ли результат лучше (например, скорость загрузки сайта).
- Trace log — журнал всего пути агента, а не только ответа: запрос, дата и другие параметры.
- Failure mining — сбор и классификация неудачных попыток, чтобы строить по ним аналитику.
- Proposal engine — часть системы, которая предлагает новую гипотезу: одну маленькую правку для проверки.
- Validation gate — «ворота» проверки: пропускают правку, только если бенчмарк не ухудшился.
Частые вопросы
Что такое harness простыми словами?
Это обвязка вокруг языковой модели. Модель решает, что делать дальше, а harness подключает инструменты, память и внешние системы, исполняет решения и следит за результатом. Модель плюс harness — это агент.
Чем harness отличается от самой модели?
Модель в такой схеме играет роль процессора: рассуждает и обрабатывает запросы. Всё остальное — инструменты, память, песочницы, защитные механизмы, журнал и проверки — это harness. Он может состоять из Markdown-файлов, функций и баз данных.
Зачем вести журнал, а не просто смотреть на ответ?
Если записывать весь путь агента и сопоставлять запрос с ответом, накапливается аналитика. По ней видно, где обвязка работает плохо, и можно строить следующие гипотезы. Ошибки тоже полезны: негативный опыт нужен для следующего раунда.
Зачем нужны версии harness и откат?
Заранее неизвестно, какая версия системного промпта или всей обвязки сработает лучше. Версии позволяют сравнивать варианты, а откат — вернуться, если новая правка ухудшила бенчмарк. Поэтому harness строят так, чтобы его было легко редактировать.
Когда менять модель в агенте?
В последнюю очередь. Сначала строят серьёзную обвязку, потом проверяют её на другой модели. Автор в разработке сначала использует DeepSeek, а когда всё готово, подключает более сильные модели. Для этого нужен шлюз с единым API, чтобы подключать любую модель.
Практика
Попробуй на своей задаче
Выбери простую повторяющуюся задачу, например сократить текст или проверить список. Опиши два варианта системного промпта для неё и придумай бенчмарк: как ты поймёшь, что результат стал лучше. Прогони оба варианта на одних и тех же трёх примерах и запиши, что получилось. Оставь лучшую версию и сохрани слабую, чтобы можно было откатиться.
Как понять, что готово
Есть две версии промпта и измеримый критерий лучше/хуже. Обе версии проверены на одних и тех же примерах, результаты записаны, выбор версии объяснён.
Продолжение в клубе
Хочешь глубже разобраться в работе агентов?
- ВидеоVibe coding мёртв: GSD и SuperpowersСистемы, которые удерживают контекст и ведут агентную разработку от спецификации до проверки.
- ВидеоHerdr — новый стандарт работы с AI-агентамиHerdr — инструмент для работы с несколькими AI-агентами в терминале.
- ПромптКаких ИИ-агентов мне создавать?Каких агентов создавать: персональная карта под твои задачи.
Уже в клубе? Продолжай в своём аккаунте. Войти в аккаунт →



