Кажется, я понял, почему LLM так любят разговаривать. И почему это можно изменить
Кажется, я понял, почему LLM так любят разговаривать. И почему это можно изменить.
Недавно пересмотрел фильм «Прибытие» (Arrival).
И поймал себя на мысли, что самое важное в нём — не инопланетяне.
Главная идея фильма в том, что меняется не словарь.
Меняется сама модель мышления.
После этого я решил провести небольшой эксперимент с Codex во время разработки своего мода Epoch World Host для RimWorld.
Не менял модель.
Не искал «идеальный промпт».
Я попробовал изменить только один вопрос.
Вместо:
Что должен делать агент?
Я спросил:
Что агент считает завершённой работой?
По умолчанию большинство LLM отлично умеют поддерживать разговор.
Они отвечают.
Предлагают ещё идеи.
Заканчивают сообщения чем-то вроде:
"Если хочешь, я могу..."
Это логично. Их задача — продолжать диалог.
Я попробовал заменить этот контракт другим.
Вместо:
Produce responses.
на:
Produce artifacts.
И добавил очень простое правило.
После каждого ответа задавать всего один вопрос.
What changed?
Если ответ:
Nothing.
значит работа не была выполнена.
Каким бы красивым ни был текст.
Постепенно из этого родился простой цикл:
Observe ↓ Inspect ↓ Evidence ↓ Artifact ↓ Stop
И начали происходить интересные вещи.
Например, раньше при проблемах со средой агент мог начать рассуждать о проекте почти вслепую.
После изменения контракта он однажды вернул примерно следующее:
попытался выполнить pwd;
получил ошибку среды;
честно сообщил, что не смог исследовать проект;
остановился.
То есть вместо красивой импровизации появился проверяемый артефакт.
Я начал называть это Artifact Delta Rule.
Ответ считается полезным только в одном из двух случаев:
проект изменился;
появилось новое проверенное знание о проекте.
Если не произошло ни того, ни другого — ответ пустой.
Пока это всего лишь серия экспериментов.
Я не утверждаю, что нашёл универсальный способ работы с агентами.
Но у меня появилось ощущение, что следующий этап развития таких систем — это не столько новые промпты, сколько контракты выполнения работы.
Не:
"будь умнее";
"объясняй лучше";
"думай глубже";
а:
что считается доказательством;
что считается завершением задачи;
какой результат должен остаться после взаимодействия.
Именно здесь я неожиданно вспомнил «Прибытие».
Там меняется не объём знаний героини.
Меняется сама структура мышления.
Возможно, с агентами происходит что-то похожее.
Мы слишком долго учили их отвечать.
Может быть, пора начать учить их работать.
Интересно, экспериментировал ли кто-нибудь с подобными контрактами?
Не с «лучшими промптами», а именно с изменением критерия завершения задачи. Если да — какие изменения в поведении моделей вы заметили?
