На рабочей встрече в Минцифры представители нескольких компаний обсуждали возможные подходы к созданию набора тестовых заданий и эталонных данных для тестирования ИИ-систем на предмет их соответствия духовно-нравственным ценностям.

ФСБ хочет закрытый формат — чтобы разработчики не натаскивали модели на прохождение тестов. Бизнес хочет открытый — чтобы «подгонать» модели под ответы. Кто именно пишет эталонный ответ про, скажем, примат духовного над материальным и как он выглядит — осталось за скобками. Видимо, вопрос не срочный.

Эксперты предложили двухуровневую систему — открытый бенчмарк для предварительной публичной оценки и закрытый набор с измененными формулировками для финального тестирования.