Коротко
- Ответ нейросети — наиболее вероятный ответ на запрос, а не истина в последней инстанции, поэтому она может уверенно ошибаться.
- Три типа ошибок: уверенная чушь, перепутанные сущности и недостающий контекст.
- Большое контекстное окно не гарантирует отсутствия ошибок: в длинном чате контекст переполняется, и модель теряет детали.
- Потерянную информацию модель может заменить правдоподобной ложью, которую трудно отличить от правды.
- Окончательное решение остаётся за человеком: проверяй ответ, даже если он подан очень уверенно.
Навигация по видео
Выбери главу: видео выше начнётся с нужного момента.
Что повторять из урока
Запомни три типа ошибок (уверенная чушь, перепутанные сущности, недостающий контекст) и один принцип: решение принимаешь ты, а не нейросеть. Таймкоды оценены по расшифровке и могут отличаться на несколько секунд.
Галлюцинация — это когда нейросеть выдаёт неверную информацию так уверенно и красиво, что в неё легко поверить. Причина в том, что ответ модели — это наиболее вероятный ответ на твой запрос, а не истина в последней инстанции, как мы разбирали в уроке о том, как работают нейросети. Поэтому проверять ответы приходится человеку.
Зачем здесь человек
Нейросеть может написать любой текст и сделать это очень убедительно, но шанс ошибки остаётся большим. Понять, полезна ли информация или в ней есть ошибки, можно за счёт опыта, насмотренности, критического мышления и статистики. Чем глубже и тоньше ты работаешь с запросами, тем точнее нужно применять техники проверки.
Автор собрал для урока файл с типами ошибок: уверенная чушь, перепутанные сущности и недостающий контекст.
Тип 1. Уверенная чушь
Вопрос: какие файлы можно безопасно удалить в Windows 10, чтобы ускорить систему. Нейросеть в примере советует зайти в папку System32 и удалить все файлы с расширениями .dll и .exe. Кто работал с Windows, понимает, что так можно уничтожить операционную систему. Но модель говорит об этом так красиво и уверенно, что без проверки и без знаний ты нарушишь работу компьютера.
Тип 2. Перепутанные сущности
Вопрос: в чём разница между Java и JavaScript и что выбрать для сервера. Нейросеть может ответить, что это почти одно и то же и что JavaScript — просто современная версия Java. Это неверно: языки совершенно разные. Автор добавляет факт: JavaScript получил такое название, чтобы забрать часть популярности у языка Java, который появился чуть раньше.
Этот пример намеренно грубый: ошибку видно сразу. Опаснее всего она на более тонких сущностях, где отличить одно от другого сложнее. Поэтому важно разбираться, какие бывают ситуации.
Тип 3. Недостающий контекст
Вопрос: как установить Python на компьютер. Нейросеть отвечает: зайди на python.org, скачай, запусти. Она не спрашивает, какая у тебя операционная система. Ей просто не хватило информации, потому что ты её не предоставил. Приёмы, которые заставляют модель выяснять недостающее, разобраны в уроке про техники запросов.
Длинный чат и переполненный контекст
Иногда в маркетинге говорят: чем больше контекстное окно, тем меньше шанс ошибки. Автор называет это неправдой. Если долго общаться с нейросетью в одном чате, контекст заполняется, а у модели есть лимит на объём текста, который она воспринимает. Когда контекст переполняется, она начинает выбрасывать некоторые факты и детали из переписки, и это влияет на ответ. Потерянное модель может заменять правдоподобной ложной информацией, которую очень трудно отличить от настоящей. Подробнее про окно — в уроке о токенах и контексте.
Главный принцип
Нейросеть выдаёт очень полезную информацию, но ты всегда должен оставаться финальной точкой принятия решения. Решай сам, правильный ли ответ, или его нужно перенаправить, насколько бы уверенно модель его ни подавала.
Термины урока
- Галлюцинация — уверенный, но неверный ответ нейросети.
- Уверенная чушь — ошибочный совет, поданный убедительно, как с рекомендацией удалить .dll и .exe из System32.
- Перепутанные сущности — когда модель смешивает разные понятия, например считает JavaScript версией Java.
- Контекстное окно — предел объёма текста, который модель воспринимает в диалоге; при переполнении часть деталей теряется.
Частые вопросы
Что такое галлюцинации нейросети?
Это ситуация, когда модель выдаёт неверную информацию уверенно и красиво, так что в неё легко поверить. Ответ нейросети по сути самый вероятный, а не обязательно правильный.
Почему нейросеть так уверенно ошибается?
Она формирует наиболее вероятный ответ на запрос и может выдавать любой текст очень убедительно. Уверенность тона не говорит о том, что ответ верен.
Какие бывают типы ошибок?
В видео три типа: уверенная чушь, перепутанные сущности и недостающий контекст. Каждый из них нужно уметь заметить: первое видно по опыту, второе по знанию предмета, а в третьем случае ты сам не дал данных, которых модели не хватило.
Правда ли, что чем больше контекстное окно, тем меньше ошибок?
Нет, автор называет это маркетингом. В длинном чате контекст переполняется, модель теряет детали переписки и может заменить их правдоподобной ложью.
Нужно ли проверять ответы нейросети?
Да. Последнее слово должно оставаться за тобой: оценивай ответ своим опытом и критическим мышлением, а не его уверенностью.
Практика
Попробуй на своей задаче
Проверь три типа ошибок на практике. Задай нейросети вопрос из области, которую хорошо знаешь, и найди в ответе неточности. Затем задай расплывчатый вопрос вроде «как установить программу» без указания системы и посмотри, уточнит ли модель условия. Наконец, повтори вопрос, добавив свой контекст, и сравни ответы.
Как понять, что готово
Названы найденные неточности или явно сказано, что их не нашлось. Видно, уточнила ли модель условия, и описана разница между ответами без контекста и с ним.
Продолжение в клубе
Хочешь проверять идеи и тексты глубже?
- ПромптКритик идейНаходит слепые зоны, самообман и цену бездействия в готовых идеях.
- ПромптИзучить материал с проверкой пониманияОбъясняет тему по шагам и проверяет понимание, прежде чем идти дальше.
Уже в клубе? Продолжай в своём аккаунте. Войти в аккаунт →



