Урок 5. Возможности и ограничения генеративного ИИ
В прошлом уроке мы разобрали, как устроен генеративный ИИ. Теперь посмотрим, что он реально может — и чего не может — прямо сейчас. Говорить будем в первую очередь о больших языковых моделях (LLM) вроде Claude.
Авторы курса предлагают удачную метафору: отнеситесь к этому уроку как к знакомству с новым коллегой. Чем лучше вы понимаете его сильные и слабые стороны, тем продуктивнее будет совместная работа.
Что LLM делают отлично
Современные языковые модели поразительно универсальны. Они владеют языком так, как ещё несколько лет назад казалось невозможным:
- пишут письма, попадая в ваш тон;
- сжимают длинные отчёты в короткие и ясные выжимки;
- переводят с языка на язык;
- объясняют сложные темы из десятков областей — от микробиологии до маркетинговой стратегии.
Особенно примечательно, что модели переключаются между совершенно разными задачами без дополнительного обучения. Одна и та же система, которая только что помогала вам со стихами или идеями для дня рождения, тут же может объяснить концепции квантовых вычислений или проанализировать квартальные показатели бизнеса — всё в формате обычного разговора.
LLM умеют держать нить беседы: помнят, о чём вы говорили раньше, и строят на этом продолжение. Если вы мимоходом упомянули дедлайн своего проекта, а позже в том же диалоге к нему вернулись, — ИИ, как правило, поймёт, о чём речь, почти как живой собеседник.
Наконец, многие современные модели умеют выходить за пределы собственных знаний, подключаясь к внешним инструментам и источникам информации: искать в интернете, обрабатывать файлы, использовать другие приложения. Это резко расширяет круг задач, с которыми они могут помочь.
Граница знаний и галлюцинации
Как у любой технологии, у сегодняшних LLM есть ограничения. Начнём с двух самых известных.
Граница знаний
Модели ограничены своими обучающими данными. У каждой LLM есть дата отсечки знаний (knowledge cutoff) — момент, после которого она ничего «из коробки» не знает о мире. Если модель обучена на данных до ноября 2024 года, событий после этой даты для неё не существует.
Галлюцинации
Процесс обучения не проверяет каждый факт в данных. Модель может выучить и воспроизводить неточности из обучающего корпуса, а ещё ошибаться, когда пытается состыковать выученные кусочки информации.
Так рождаются галлюцинации: ИИ уверенно заявляет нечто правдоподобно звучащее, но фактически неверное. В отличие от поисковика, который просто находит существующие документы, LLM генерирует ответ на основе статистических закономерностей — и иногда генерирует выдумку. Это как друг, который с абсолютной уверенностью рассказывает историю, перепутав в ней все детали.
Что в контексте LLM называют галлюцинацией?
Контекстное окно, случайность, рассуждения
Контекстное окно
Ещё одно важное ограничение — контекстное окно, о котором мы говорили в прошлом уроке: объём информации, который ИИ способен обрабатывать за раз. У каждой LLM есть максимум того, что она может «держать в голове» в рамках одного взаимодействия. Если лимит превышен, модель перестаёт помнить то, что выпало за окно, — обычно по принципу «первым пришло — первым ушло». От размера окна зависит, с какими документами и насколько длинными диалогами модель справится.
Недетерминированность
Обычная программа на одинаковый ввод выдаёт одинаковый результат, а LLM по умолчанию немного непредсказуемы: задайте один и тот же вопрос дважды — и получите слегка разные ответы. Причина в самой природе генерации: модель принимает вероятностные решения о том, какой текст должен идти дальше, опираясь на закономерности в данных и настройки разработчиков.
Для брейншторма и генерации разнообразных идей такая «творческая изменчивость» — плюс. Но там, где критичны точность и воспроизводимость, о ней надо помнить.
Сложные рассуждения
Моделям традиционно тяжело давались сложные рассуждения — особенно математические и логические задачи в несколько шагов. Хорошая новость: новые «рассуждающие» модели (reasoning, extended thinking), специально устроенные так, чтобы думать пошагово, заметно прогрессируют в этих областях.
Доступ к данным
И последнее: даже если модель умеет пользоваться внешними инструментами, у неё может не быть доступа к конкретным данным или специализированным системам, которые нужны для вашей задачи. Это как блестящий коллега, у которого нет доступа к внутренней базе вашей компании: каким бы умным он ни был, помощь будет ограниченной. Так что если у модели нет нужных данных или инструмента, не удивляйтесь, что она не отвечает на вопрос.
Почему на один и тот же вопрос LLM может дать разные ответы?
Куда всё движется
Генеративный ИИ развивается очень быстро, и исследователи целенаправленно работают над текущими ограничениями:
- техника RAG (retrieval-augmented generation) подключает модели к внешним базам знаний и данным;
- расширяется умение пользоваться инструментами;
- улучшаются способности к рассуждению.
При этом какие-то ограничения наверняка останутся и в обозримом будущем — мы просто не знаем заранее, какие именно.
Понимание того, что ИИ может и чего не может, — ядро AI Fluency: именно оно подсказывает, когда и как встраивать эти системы в работу и жизнь. Самые эффективные применения опираются на взаимодополняющие сильные стороны человека и ИИ:
- человек приносит критическое мышление, суждение, креативность и этический контроль — то, что ИИ воспроизводит с трудом;
- ИИ даёт скорость, масштаб, распознавание закономерностей и обработку огромных объёмов информации.
Эти роли будут меняться вместе с технологией. Поэтому так ценны постоянное обучение и эксперименты: они помогают замечать изменения и открывать новые возможности.
Какой подход к применению ИИ авторы курса называют самым эффективным?
Практика
В упражнениях этого курса вы будете исследовать всё это на практике — в живых диалогах с Claude. Такой опыт развивает интуицию: что генеративный ИИ может, чего не может и как с ним лучше работать. А пока ответьте себе на два вопроса.
- Как понимание технической «начинки» генеративного ИИ — обучающих данных, предобучения и дообучения — меняет ваше отношение к работе с этими системами?
- Какие этические соображения приходят вам в голову теперь, когда вы знаете, как эти системы устроены и в чём ограничены?
Что запомнить
- LLM универсальны: пишут, переводят, объясняют, переключаются между задачами без дообучения и держат нить разговора.
- Многие модели подключаются к внешним инструментам — веб-поиску, файлам, приложениям — и так выходят за пределы своих знаний.
- Ограничения: дата отсечки знаний, галлюцинации, конечное контекстное окно, недетерминированность ответов, трудности с многошаговыми рассуждениями, отсутствие доступа к нужным данным.
- Область быстро меняется (RAG, инструменты, рассуждающие модели), но какие-то ограничения останутся всегда.
- Самые эффективные применения сочетают сильные стороны человека и ИИ — поэтому продолжайте учиться и экспериментировать.
В следующем уроке мы вплотную займёмся первой компетенцией 4D — Delegation: как стратегически делить работу между собой и ИИ, опираясь на понимание своих целей и возможностей моделей.