Запусти цикл AutoResearch для измеримой метрики

Навигация по видео

1. 00:00Что AutoResearch делает с измеримой метрикой▶
2. 02:20Три файла и роли в оригинальном проекте▶
3. 04:38Базовый результат, гипотеза и решение сохранить или откатить▶
4. 06:30Примеры: сайт, письма, лендинг и навык агента▶
5. 10:32Демонстрационный сайт как объект оптимизации▶
6. 16:28Адаптация AutoResearch под скорость сайта▶
7. 21:11Метрика Lighthouse и журнал результатов▶
8. 22:27Запуск ограниченной серии итераций▶
9. 23:56План гипотез и первый замер▶
10. 25:22Принятые и отклонённые изменения▶
11. 29:25Итог эксперимента и дашборд▶
12. 32:54Когда метрика приводит к неверной оптимизации▶

Выбери главу: видео выше начнётся с нужного момента.

Начни с метрики, которую можно честно сравнить

Выбери один результат, который можно измерить одинаково до и после изменения. Для сайта это может быть заранее зафиксированный набор показателей Lighthouse в одной среде; для навыка агента — балл по постоянному набору задач; для писем — результат заранее определённого A/B-теста. Рядом с целевой метрикой укажи ограничения: например, не ухудшать доступность, не менять публичный API и не удалять содержимое страницы.

Карта эксперимента до первого запуска

• Метрика и способ расчёта не меняются во время серии экспериментов.
• Записан базовый результат, дата измерения и условия запуска.
• Указано, какие файлы или параметры агент может менять, а какие служат неизменным измерителем.
• Определены лимит итераций, время или бюджет, а также условие остановки.
• Есть побочный критерий, который не должен ухудшиться, и действие, которое допускается только после проверки человеком.

Один цикл улучшения

1. Сформулировать одну гипотезу и внести небольшое изменение в разрешённой области.
2. Запустить тот же измеритель в тех же условиях.
3. Записать номер попытки, изменение, целевую метрику, побочные критерии и ссылку на изменение.
4. Если результат лучше и ограничения соблюдены — сохранить изменение как новую базу.
5. Если нет — откатить изменение и перейти к следующей гипотезе.

Раздели инструкцию, объект изменений и измеритель

В оригинальном AutoResearch `program.md` описывает задачу для агента, `train.py` — единственный файл для экспериментов, а `prepare.py` нельзя менять: он сохраняет одинаковые условия оценки. При переносе паттерна в свой проект назначь такие же роли. Например, правила эксперимента живут в Markdown, агент меняет только список разрешённых файлов, а отдельный сценарий измерения и набор входных данных остаются неизменными. Так изменения не смогут улучшить результат только за счёт подмены измерителя.

Применяй цикл к сайту и агенту по-разному

В демонстрации автор поручает агенту улучшать производительность сайта и фиксирует баллы Lighthouse вместе с размером страницы. Такой балл зависит от среды и может колебаться, поэтому записывай браузер, устройство или профиль, URL и число повторов. Для навыка агента собери короткий набор входов и рубрику: например, наличие всех обязательных элементов, читаемость и точность. Для маркетинга используй реальный эксперимент с заранее заданной аудиторией и периодом: разовые результаты кампании не доказывают улучшение.

Что должно попасть в журнал итераций

• Номер попытки, ссылка на сохранённое изменение и краткое описание гипотезы.
• Значение целевой метрики и значения ограничивающих критериев.
• Условия запуска: входные данные, окружение, версия измерителя и число повторов.
• Решение: сохранить, откатить или отметить сбой — с короткой причиной.
• Следующая гипотеза, если результат не принят.

Инструкция для агента перед серией экспериментов

Цель: [название результата].
Целевая метрика и направление улучшения: [например, снизить p95 времени ответа].
Базовый результат и условия измерения: [значение, окружение, входные данные].
Разрешено менять: [файлы или параметры].
Нельзя менять: [измеритель, тестовый набор, данные, публичные контракты].
Ограничения: [что не должно ухудшиться].
Лимит: [число итераций, время или бюджет].
После каждой попытки запиши результат и сохрани изменение только при улучшении с соблюдением ограничений. При сбое или ухудшении откати его. Остановись на лимите и подготовь журнал для проверки человеком.

Не гонись за случайной цифрой

Автоматический цикл оптимизирует ровно то, что измеряет. Если цель размыта, агент может уменьшить размер файла, удалить важный сценарий или добиться случайного пика балла. Перед серией проверь, что метрика связана с пользовательским результатом, а после серии вручную пройди ключевой сценарий. Когда балл уже близок к потолку, новые попытки часто дают шум, а не полезное улучшение — завершай эксперимент по заранее заданному правилу.