Урок 4. Что такое генеративный ИИ: взгляд под капот
Вы наверняка пользуетесь генеративным ИИ каждый день, не до конца понимая, что происходит за кулисами. Этот урок — первое «глубокое погружение» курса: что такое генеративный ИИ на самом деле, как он работает под капотом и какие технологические прорывы сделали такие системы возможными. Это знание даст ценный контекст для всех 4D — и особенно укрепит компетенцию Delegation.
Что такое генеративный ИИ
Генеративный ИИ — это системы искусственного интеллекта, которые создают новый контент, а не просто анализируют существующие данные. Сравните: традиционный ИИ может классифицировать письма как «спам / не спам», опираясь на паттерны, — а генеративный ИИ напишет для вас совершенно новое письмо.
Первый подход анализирует и категоризирует, второй — создаёт то, чего раньше не существовало. Это фундаментальный сдвиг в возможностях ИИ.
Большие языковые модели (LLM), такие как модели Claude от Anthropic, — самый заметный тип генеративного ИИ. «Языковые» — потому что они обучены предсказывать и генерировать человеческий язык. «Большие» — потому что содержат миллиарды параметров: математических значений, которые определяют, как модель обрабатывает информацию, — отчасти похоже на синаптические связи в вашем мозге.
Чем генеративный ИИ принципиально отличается от традиционного?
Три прорыва и законы масштабирования
Сегодняшний генеративный ИИ не возник внезапно. К нему привели три ключевых события, совпавших во времени.
- Алгоритмические и архитектурные прорывы. Нейросети как идея существуют десятилетиями, но появление архитектуры трансформера в 2017 году изменило правила игры. Трансформер отлично обрабатывает последовательности текста, удерживая связи между словами даже в длинных фрагментах, — а это критично для понимания языка в контексте.
- Взрыв цифровых данных. Современные LLM вроде Claude учатся на разнообразных источниках — сайтах, репозиториях кода и других текстах, отражающих человеческие знания и общение. Эта огромная мозаика информации помогает моделям выработать широкое и тонкое понимание языка и концепций.
- Рост вычислительной мощности. Обучать такие сложные модели на таких объёмах данных стало возможно благодаря специализированному железу — графическим (GPU) и тензорным (TPU) процессорам — и распределённым вычислительным сетям, кластерам. Ещё несколькими годами раньше такие вычисления были бы неподъёмными.
Сочетание этих трёх факторов привело к важному открытию — законам масштабирования (scaling laws). Эти эмпирические закономерности показали: чем больше модель, данные и вычисления, тем предсказуемо лучше результаты.
Но было и неожиданное открытие: по мере роста моделей у них начали появляться совершенно новые способности, которые никто явно не программировал, — например, пошаговое рассуждение над задачей или адаптация к новым задачам с минимальными инструкциями.
Как модели учатся: предобучение и дообучение
Заглянем под капот. На начальном этапе обучения — предобучении (pre-training) — LLM вроде Claude анализируют паттерны в миллиардах текстовых примеров. Представьте, что вы прочитали все сайты и тексты, до которых смогли дотянуться, — но не для того, чтобы заучить информацию, а чтобы понять статистические связи между словами, фразами и концепциями. На этом этапе модель строит что-то вроде сложной карты языка и знаний.
Механика простая: модели показывают текст и просят предсказать, что идёт дальше. За множество итераций она постепенно уточняет свои предсказания и выучивает паттерны, которые делают язык связным и осмысленным.
После предобучения модели проходят дополнительный этап — дообучение (fine-tuning): учатся следовать инструкциям, давать полезные ответы и, что важно, избегать вредного контента.
Здесь часто подключается обратная связь от людей, а также обучение с подкреплением (reinforcement learning) — система наград и штрафов, которая формирует поведение модели. В случае моделей Anthropic цель — сделать их полезными, честными и безвредными.
На каком этапе модель учится следовать инструкциям и избегать вредных ответов?
Что происходит, когда вы пишете промпт
Когда модель обучена, её разворачивают — и вот тут появляетесь вы. Взаимодействуя с Claude или другой LLM, вы отправляете промпт — текст, который модель читает и продолжает, опираясь на паттерны, выученные при обучении. Важно: модель не достаёт готовые ответы из базы данных. Она генерирует новый текст, который статистически следует из того, что вы написали.
Есть и практический предел того, сколько информации LLM может учитывать одновременно, — контекстное окно. Считайте его «рабочей памятью» ИИ: туда входят ваши промпты, ответы модели и всё остальное, чем вы поделились в разговоре.
Компании продолжают увеличивать контекстные окна, чтобы помещались более длинные документы и беседы. Но сам факт лимита напоминает: у этих систем нет неограниченного доступа к информации. Контент за пределами текущего контекстного окна модели недоступен — если не подключить специальные инструменты вроде веб-поиска.
Что такое контекстное окно LLM?
Три источника силы генеративного ИИ
Соберём всё вместе. Современный генеративный ИИ так силён благодаря трём характеристикам:
- Масштаб обучения. Способность обработать колоссальные объёмы информации позволяет модели выучить сложные и тонкие паттерны языка и знаний.
- Обучение в контексте (in-context learning). LLM адаптируются к новым задачам прямо по инструкциям или примерам в вашем промпте — без дополнительного обучения.
- Эмерджентные способности. По мере роста моделей у них появляются умения, которые в них явно не закладывали, — и порой это удивляет даже их создателей.
Практика
Три коротких эксперимента с Claude (или любой LLM) превращают теорию урока в наблюдаемое поведение. Откройте чат и попробуйте.
- Обучение в контексте. Задайте формат прямо в промпте — без всякого «дообучения» — и посмотрите, как модель его подхватывает:
Человек
Продолжи по образцу. Москва → МСК. Санкт-Петербург → СПБ. Екатеринбург → …
- Генерация, а не поиск в базе. Задайте один и тот же вопрос в двух новых чатах. Ответы будут близки по смыслу, но разойдутся в формулировках — модель каждый раз генерирует новый текст, а не достаёт готовую запись.
- Контекстное окно. В начале диалога сообщите модели деталь («меня зовут …, я готовлю …»), несколько сообщений поговорите о другом, а потом попросите её вспомнить деталь. Пока всё в окне — она помнит; вынесите разговор за его пределы — и связь теряется.
- Сделайте вывод. Что из увиденного меняет ваши ожидания от ИИ: где ему доверять, а где — перепроверять?
- Где вы уже натыкались на предел контекстного окна — модель «забывала» начало длинного разговора или документа?
- Как знание «модель генерирует, а не извлекает факт» меняет то, как вы проверяете её ответы?
Что запомнить
- Генеративный ИИ создаёт новый контент (текст, изображения, код), а не только анализирует существующие данные.
- LLM стали возможны благодаря трём прорывам: архитектуре трансформера (2017), взрыву цифровых данных и росту вычислительной мощности.
- Модели учатся в два этапа: предобучение (предсказание продолжения текста на миллиардах примеров) и дообучение (следование инструкциям, полезные и безопасные ответы).
- Отвечая, модель не ищет готовый ответ в базе — она генерирует новый текст, статистически продолжающий ваш промпт.
- Контекстное окно — «рабочая память» модели; за его пределы она выходит только со специальными инструментами вроде веб-поиска.
- Законы масштабирования: больше модель, данных и вычислений — предсказуемо лучше результаты, плюс неожиданные эмерджентные способности.
В следующем уроке разберём, что эти системы умеют делать хорошо, а что — пока нет: возможности и ограничения современного генеративного ИИ.