Бенчмарки: как сравнивают модели
Изучение ИИ, 7–11 класс · раздел «14. Технологии внутри нейросетей»
Главное
Бенчмарк — набор задач для сравнения моделей: математика, код, знания, рассуждения. Результаты полезны, но не отражают всё: важна проверка на своих задачах.
Правила
- Тесты по математике, коду, знаниям
- Рейтинги меняются быстро
- Проверяй на своих задачах
Разберём пример
Почему модель с лучшим рейтингом может хуже подойти тебе?
Бенчмарк измеряет не все нужные навыки
Частые ошибки
- Выбирать модель только по одной цифре в рейтинге.
Потренироваться
Задания с проверкой и подсказками, схема темы и разбор ошибок с ИИ-репетитором — в уроке на платформе.
Открыть урок