Серия «Словарь ИИ»

◽Понятие

Benchmark [бе́нчмарк] — английское слово, первоначально связанное с геодезией: так называли закреплённую контрольную отметку, относительно которой измеряли высоту. Позже бенчмарком стали называть эталон или точку отсчёта для сравнения.

◽В ИИ

Бенчмарк — стандартизированный набор задач, данных и метрик, на котором проверяют возможности моделей. Он позволяет сравнивать модели по отдельным характеристикам: рассуждению, программированию, работе с текстом, изображениями и другим типам задач.

◽В промптологии

В реальном взаимодействии результат работы модели начинает зависеть от пользователя. Одна и та же модель раскрывает разные возможности при разной постановке задачи, контексте и организации диалога. Поэтому итог определяется уже не только характеристиками модели, но и компетентностью самого пользователя.

◽Пример

Бенчмарки регулярно меняют лидеров: сегодня впереди одна модель, завтра другая. Пользователь может постоянно перескакивать вслед за рейтингами, а может годами работать в одной системе, накапливая собственные приёмы, привычки и понимание её поведения. В долгой дистанции этот опыт иногда даёт больше, чем очередные несколько пунктов в таблице.

◽Понятие

Контекст — слово, пришедшее через европейские языки от латинского contextus, то есть «связь», «соединение», «сплетение». В общем смысле контекст — это окружение слова, фразы, действия или события, которое помогает правильно понять их смысл.

◽В ИИ

Контекст — вся информация, которую модель учитывает при ответе: запрос пользователя, предыдущие сообщения, инструкции, примеры, загруженные данные и другие материалы в пределах контекстного окна.

◽В промптологии

Контекст — это управляемая среда запроса. Пользователь не просто задаёт вопрос, а собирает вокруг него нужные сведения, ограничения, роли, примеры и условия, чтобы направить ответ модели.

◽Пример

Запрос «Напиши письмо» даёт общий результат. Запрос «Напиши вежливое письмо заказчику о переносе сроков на 3 дня без признания вины» уже содержит контекст и поэтому даёт более точный ответ.