К основному содержимому

10 · Видео · 11 мин

Что такое harness: обвязка, которая делает модель агентом

Что такое harness ИИ-агента: обвязка вокруг модели — инструменты, память, журнал, проверка гипотез, версии и откат. Разбор по слоям.

Коротко

  1. Современный агент — это модель плюс обвязка (harness): модель решает, что делать дальше, а harness превращает решения в действия.
  2. Вокруг модели выстраиваются инструменты, память и контекст, песочницы, защитные механизмы, циклы обратной связи, валидаторы и журнал.
  3. Harness можно сделать самоулучшающимся: гипотеза, проверка по бенчмарку, разбор неудач, ворота валидации.
  4. Версии, варианты под разные задачи и откат нужны, чтобы harness было легко править; смену модели проверяют в самом конце.
  5. Задача AI-инженера — спроектировать всю эту систему, а не только выбрать модель.

Навигация по видео

Выбери главу: видео выше начнётся с нужного момента.

Что повторять из урока

После видео проверь, что можешь своими словами объяснить пять вещей: чем модель отличается от harness, что такое бенчмарк и журнал, как работает цикл «гипотеза — проверка — ворота», зачем нужны версии и откат и почему модель меняют в последнюю очередь. Таймкоды оценены по расшифровке и могут отличаться на несколько секунд.

Harness — это обвязка вокруг языковой модели: инструменты, память и контекст, песочницы, защитные механизмы, журнал и проверки. Модель в такой схеме работает как процессор и решает, что делать дальше, а harness исполняет эти решения. Модель плюс harness — это и есть современный агент.

Модель думает, harness действует

Автор начинает с картинки. В центре — большая языковая модель: DeepSeek, ChatGPT, Claude, Kimi, GLM, подойдёт любая. Вокруг неё строится инфраструктура:

  • инструменты;
  • память и контекст;
  • песочницы и «guard'ы» — защитные механизмы;
  • циклы обратной связи, которые превращают модель в полноценного агента;
  • валидаторы;
  • трекинг того, что происходило.

Проще всего сказать так: harness превращает решения модели в действия и соединяет её с инструментами, памятью и внешними системами. Как именно сделан каждый элемент, вторично. Это могут быть Markdown-файлы, отдельные функции, базы данных или обычные файлы. Важно понять уровень абстракции и саму концепцию.

Десять слоёв самоулучшающегося harness

По словам автора, на текущем этапе у harness есть десять слоёв, которые делают его «самоулучшающимся». Их удобно держать в голове четырьмя группами.

Фундамент

В базовом слое три составляющие:

  1. Инфраструктура. Модель (например, запросы к DeepSeek), инструменты (если агент должен изучать интернет, парсить сайты или редактировать файлы на компьютере) и бенчмарк — показатель, по которому решают, стал ли результат лучше.
  2. Trace log (журнал). Записывается весь путь агента, а не только ответ. Запрос должен соотноситься с ответом, и тогда накапливается аналитика, по которой можно лучше выстраивать обвязку.
  3. Внешнее состояние (external state). По сути это skills: Markdown-файлы с узкой, точечной экспертизой.

Цикл обучения

Дальше идёт цикл из трёх частей. Мы выдвигаем гипотезу, harness её проверяет. Если бенчмарк стал лучше, предположение удалось. Если хуже, это failure mining: неудачи нужно фиксировать и классифицировать. Автор отмечает, что в полной версии для этого создают специальные классы, а в курсе будет упрощённый вариант. Чем больше накопленной информации, тем точнее следующие шаги.

Proposal engine предлагает новую гипотезу. Пример автора: бенчмарк — скорость загрузки сайта, а proposal engine предлагает оптимизировать размер JavaScript-файлов. Гипотеза берётся в работу, но проходит через validation gate — «ворота» проверки. Они смотрят, не просел ли бенчмарк: если график растёт, всё хорошо, а если падает, что-то пошло не так.

Управление изменениями

Здесь речь о версиях и вариантах harness. Harness, среди прочего, включает системный промпт агента, и заранее неизвестно, лучше сработает первая версия или вторая. Пример: если сказать модели «ты профильный диетолог» и дать ей анализировать скорость загрузки сайта, результат будет хуже, чем при формулировке «ты уважаемый сеньор фронтенд-оптимизатор». Поэтому нужны разные версии и возможность отката: инфраструктуру стоит строить так, чтобы её было легко редактировать.

Варианты нужны под разные классы задач. Допустим, вы собрали универсальный harness для оптимизации сайта, а потом решили оптимизировать Python-код. Система будет похожей, но подход немного другой, поэтому в идеале harness собирают под каждый класс задач. О том, как формулировать такие инструкции, — в уроке «Как писать промпты».

Измерение и веса

Самый последний слой касается смены самой модели. Например, harness строился на DeepSeek, а теперь его проверяют на ChatGPT или Claude. Это делают в последний момент: сначала строят серьёзную обвязку, и только потом меняют модель. Автор уточняет, что DeepSeek, очевидно, работает хуже, чем Claude, и поэтому в разработке он сначала использует его, а когда всё готово, настраивает более сильные модели. Для этого нужен отдельный шлюз-провайдер с единым API: к нему подключают любую модель.

Цикл самообучения на диаграмме

Автор подчёркивает, что терминов много, но схема проще, чем кажется:

  1. Запускаем задачу: даём гипотезу или промпт.
  2. Записываем весь путь: входной запрос, дату и другие доступные параметры.
  3. Фиксируем ошибки: негативный опыт тоже опыт, он нужен для следующего раунда гипотез.
  4. Отправляем proposal — одну маленькую правку, один тест — в validation gate.
  5. Если правка не принята, возвращаем её на proposal и придумываем другую гипотезу.
  6. Если принята, она попадает в новую версию, и мы получаем новый harness.

Если хочется увидеть то же самое в готовом виде, автор советует познакомиться с авторесёрчем Андрея Карпаты: по похожей схеме обучается и обвязка вокруг агента.

Главный вывод

Есть модель, и мы «обкладываем её файлами», чтобы она работала лучше и давала лучший результат. Задача AI-инженера — спроектировать всю эту систему. Как собирать свою обвязку, смотри в разборе кодинговых агентов.

Термины урока

  • Harness (обвязка) — инфраструктура вокруг модели: инструменты, память и контекст, песочницы, защита, журнал и проверки.
  • Бенчмарк — показатель, по которому оценивают, стал ли результат лучше (например, скорость загрузки сайта).
  • Trace log — журнал всего пути агента, а не только ответа: запрос, дата и другие параметры.
  • Failure mining — сбор и классификация неудачных попыток, чтобы строить по ним аналитику.
  • Proposal engine — часть системы, которая предлагает новую гипотезу: одну маленькую правку для проверки.
  • Validation gate — «ворота» проверки: пропускают правку, только если бенчмарк не ухудшился.

Частые вопросы

Что такое harness простыми словами?

Это обвязка вокруг языковой модели. Модель решает, что делать дальше, а harness подключает инструменты, память и внешние системы, исполняет решения и следит за результатом. Модель плюс harness — это агент.

Чем harness отличается от самой модели?

Модель в такой схеме играет роль процессора: рассуждает и обрабатывает запросы. Всё остальное — инструменты, память, песочницы, защитные механизмы, журнал и проверки — это harness. Он может состоять из Markdown-файлов, функций и баз данных.

Зачем вести журнал, а не просто смотреть на ответ?

Если записывать весь путь агента и сопоставлять запрос с ответом, накапливается аналитика. По ней видно, где обвязка работает плохо, и можно строить следующие гипотезы. Ошибки тоже полезны: негативный опыт нужен для следующего раунда.

Зачем нужны версии harness и откат?

Заранее неизвестно, какая версия системного промпта или всей обвязки сработает лучше. Версии позволяют сравнивать варианты, а откат — вернуться, если новая правка ухудшила бенчмарк. Поэтому harness строят так, чтобы его было легко редактировать.

Когда менять модель в агенте?

В последнюю очередь. Сначала строят серьёзную обвязку, потом проверяют её на другой модели. Автор в разработке сначала использует DeepSeek, а когда всё готово, подключает более сильные модели. Для этого нужен шлюз с единым API, чтобы подключать любую модель.

Практика

Попробуй на своей задаче

Выбери простую повторяющуюся задачу, например сократить текст или проверить список. Опиши два варианта системного промпта для неё и придумай бенчмарк: как ты поймёшь, что результат стал лучше. Прогони оба варианта на одних и тех же трёх примерах и запиши, что получилось. Оставь лучшую версию и сохрани слабую, чтобы можно было откатиться.

Как понять, что готово

Есть две версии промпта и измеримый критерий лучше/хуже. Обе версии проверены на одних и тех же примерах, результаты записаны, выбор версии объяснён.

Продолжение в клубе

Хочешь глубже разобраться в работе агентов?

  • ВидеоVibe coding мёртв: GSD и SuperpowersСистемы, которые удерживают контекст и ведут агентную разработку от спецификации до проверки.
  • ВидеоHerdr — новый стандарт работы с AI-агентамиHerdr — инструмент для работы с несколькими AI-агентами в терминале.
  • ПромптКаких ИИ-агентов мне создавать?Каких агентов создавать: персональная карта под твои задачи.

Уже в клубе? Продолжай в своём аккаунте. Войти в аккаунт →

Другие разделы