Большая языковая модель (LLM)
Изучение ИИ, 5–11 класс · раздел «2. Как устроены большие языковые модели»
Главное
LLM обучена на огромных объёмах текста и предсказывает следующее слово (точнее, токен). Из таких предсказаний складываются ответы, код, переводы.
Правила
- Предсказание следующего токена
- Миллиарды параметров
- Обучение на текстах
Разберём пример
Как LLM пишет ответ?
Шаг за шагом выбирает наиболее подходящий следующий токен
Частые ошибки
- Считать, что модель «ищет ответ в базе».
Потренироваться
Задания с проверкой и подсказками, схема темы и разбор ошибок с ИИ-репетитором — в уроке на платформе.
Открыть урок