Первый проход ищет доказательства, а не мнения
Первый проход читает вашу стенограмму и вытаскивает элементы: номер реплики, цитату и то, в плюс она или в минус по одному критерию. Он ничего не выставляет. Его единственная работа — найти фразы, относящиеся к рубрике.
Отделение этого от суждения — вся суть конструкции. У единственного прохода, который читает стенограмму и выдаёт число, нет ни одного проверяемого шага: рассуждение и вывод приходят вместе, и ни одно нельзя сверить с другим.
Каждая цитата проверяется на сервере
До того как вы что-либо увидите, сервер проверяет, что каждая цитата — точная подстрока соответствующей реплики вашей стенограммы, с нормализацией пробелов и регистра. Цитата, которая не проходит, повторяется один раз и потом отбрасывается.
Вот принципиальная граница: модель не может перефразировать вас так, чтобы вы с ней согласились. Если утверждение о вашем ответе не может указать на ваши слова, оно не появляется. Долю отброшенного мы считаем: если она растёт, это первый признак, что оценка начала выдумывать.
Второй проход выставляет баллы — трижды
Второй проход видит только проверенные доказательства и опубликованные дескрипторы и выставляет балл по каждому критерию. Он запускается три раза, берётся медиана — те же доказательства, та же версия рубрики, тот же снапшот модели, меняется только сэмплирование.
Взвешенный итог потом считается в коде по весам, напечатанным на странице. У модели его не спрашивают: модель, которую просят посчитать арифметику по собственным суждениям, выдаст правдоподобное число, а не правильное.
Чего он делать отказывается
Критерий без доказательств возвращается как «недостаточно доказательств», а не как тройка, и итог считается по тому, что оценено, а не по тому, что нет. Короткая сессия оставляет больше пустого, и это правильно.
На старте фиксируются пять вещей — собеседник, сценарий, рубрика, версия оценки и версия модели, — поэтому любой балл воспроизводится точно. И разницу между двумя сессиями меньше измеренного разброса вам не нарисуют: сдвиг, который не отличить от случайности, это не прогресс.
