Глава 8. Галлюцинации: как их сократить

Плохая новость: Claude иногда «галлюцинирует» — уверенно выдаёт утверждения, которые не соответствуют действительности или ничем не подкреплены. Хорошая новость: это лечится промптом. В этой главе — два главных приёма: разрешить модели сказать «не знаю» и заставить её сначала собрать доказательства, а уже потом отвечать.

Приём 1: выход по незнанию

Модель обучена быть полезной, и это играет против неё: на вопрос без надёжного ответа она может сочинить правдоподобный. Классический пример из оригинала — вопрос про фактоид, которого нет ни в одном справочнике:

Никакого реестра рекордов бегемотов не существует — но старые модели старательно «помогали». Решение — дать модели выход: явно разрешить не отвечать.

Формулировки на выбор: «Отвечай, только если уверен», «Если не знаешь — так и скажи», «Не выдумывай, лучше признай незнание». Смысл один: снять с модели обязанность отвечать любой ценой.

Приём 2: сначала цитаты, потом ответ

Вторая ловушка — длинные документы. В оригинале в промпт вложен многостраничный проспект компании Matterport (SEC-отчёт 10-K): десятки абзацев про 3D-камеры, ИИ-движок Cortex и миллионы «оцифрованных пространств». Вопрос при этом коварный:

Подвох: цифры на 31 мая 2020 года в документе нет вообще. Зато есть похожие отвлекающие цифры за другие даты — и модель хватается за ближайшую. Это классическая галлюцинация на «дистракторах».

Лекарство — заставить модель сначала собрать доказательства: выписать релевантные цитаты в черновик и оценить, отвечают ли они на вопрос. И только потом давать ответ, опираясь строго на выписанное.

Шаг с цитатами делает рассуждение проверяемым: вы видите, на что модель опёрлась, а сама она замечает, что цитата не отвечает на вопрос. Тот же приём в проде звучит как «отвечай только на основе документа; если ответа в нём нет — скажи об этом».

Бонус: снизить temperature

Иногда галлюцинации лечатся и параметром temperature — «творческостью» ответа от 0 до 1. При 0 модель выбирает самые вероятные токены и отвечает почти детерминированно (полной гарантии нет), при 1 — импровизирует сильнее. Для фактических задач, извлечения данных и всего, где важна точность, ставьте temperature=0. Это не замена приёмам выше, а дополнение к ним.

Упражнения

Откройте claude.ai или Workbench (там удобно выставить temperature=0) и попробуйте:

Упражнение 8.1 — Личность знаменитости

Спросите модель о малоизвестном факте про известного человека — например, «Какой рост был у любимого школьного учителя Майкла Джордана?». Сначала без страховки, потом добавьте выход по незнанию. Сравните: где модель честнее?

Решение упражненияСначала попробуйте сами — потом сверьтесь

user

Какой рост был у любимого школьного учителя Майкла Джордана? Если ты не знаешь этого наверняка — прямо скажи, что не знаешь, и не строй догадок.

assistant

Я не знаю этого. Достоверных публичных данных о том, кто был любимым школьным учителем Майкла Джордана и какого он был роста, у меня нет.

Чем конкретнее выход («прямо скажи, что не знаешь, и не строй догадок»), тем стабильнее честный отказ вместо красивой выдумки.

Упражнение 8.2 — Восьмой альбом Beyoncé

Промпт из оригинала: «В каком году Beyoncé выпустила свой восьмой студийный альбом?». Ловушка: «Renaissance» (2022) — её седьмой альбом, и на момент выхода курса восьмого ещё не существовало (им стал «Cowboy Carter», 2024). Почините промпт выходом по незнанию так, чтобы модель не выпаливала 2022 год как ответ про восьмой альбом.

Решение упражненияСначала попробуйте сами — потом сверьтесь

user

В каком году Beyoncé выпустила свой восьмой студийный альбом? Отвечай, только если уверен в факте. Если такого альбома не существует или ты не знаешь наверняка — скажи об этом честно.

assistant

Тут есть подвох: «Renaissance» (2022) — это седьмой сольный студийный альбом Beyoncé, так что 2022 год ответом на ваш вопрос не будет. Если вы имеете в виду восьмой альбом — уточните, о каком именно идёт речь: гадать я не хочу.

В оригинале решение проверялось автоматически: засчитывался ответ, где модель признаёт незнание и не называет 2022 год. Заметьте: выход по незнанию помог модели поймать ошибку в самом вопросе.

Упражнение 8.3 — Вопрос по документу с цитатами

Возьмите любой длинный документ (отчёт, статью, договор) и спросите о факте, которого там нет, но рядом есть похожие цифры. Почините промпт через цитаты: пусть модель сначала выпишет доказательства, а ответит только на их основе. В оригинале это вопрос «во сколько раз выросли подписчики Matterport с декабря 2018 по декабрь 2022?» — правильный ответ есть в тексте: примерно в 49 раз.

Решение упражненияСначала попробуйте сами — потом сверьтесь

user

<question>Во сколько раз выросло число подписчиков Matterport с декабря 2018 по декабрь 2022?</question>
Сначала выпиши в тегах <quotes> дословные цитаты из документа, относящиеся к вопросу. Затем ответь в тегах <answer>, опираясь только на эти цитаты. Если цитат недостаточно — так и скажи.

<document>…проспект Matterport…</document>

assistant

<quotes>«Наши подписчики выросли примерно в 49 раз с 31 декабря 2018 года по 31 декабря 2022 года.»</quotes>
<answer>Примерно в 49 раз.</answer>

Цитаты-доказательства решают сразу две задачи: модель сама проверяет себя, а вы можете проверить модель — по каждой цифре видно, откуда она взялась.

Что запомнить

• Галлюцинация — уверенный, но не подкреплённый фактами ответ. Модель сочиняет не со зла, а из желания помочь.
• Приём 1: дайте выход — «отвечай, только если знаешь наверняка; если нет — скажи, что не знаешь».
• Приём 2: на длинных документах — сначала цитаты-доказательства, потом ответ строго на их основе. И осторожно с «дистракторами»: похожие цифры за другие даты — главная ловушка.
• Для фактических задач ставьте temperature=0.
• Современные модели галлюцинируют реже, но на редких фактах и высоких ставках эти приёмы всё ещё обязательны.