Трансформер и механизм внимания

Главное

Трансформер (2017, статья «Attention Is All You Need») — архитектура всех современных LLM. Механизм внимания позволяет модели учитывать, какие слова текста важны друг для друга.

Правила

1. Трансформер — основа GPT, Claude, Gemini
2. Внимание связывает слова
3. Параллельная обработка текста

Разберём пример

Что означает буква T в GPT?

Transformer — трансформер

Частые ошибки

• Путать трансформер-архитектуру с роботами из фильмов.

Потренироваться

Задания с проверкой и подсказками, схема темы и разбор ошибок с ИИ-репетитором — в уроке на платформе.