Яндекс предложил набор методов для тестирования ИИ: задача — проверить соответствие нравственным ценностям
В Яндексе при этом заявили, что компания лишь участвовала в совещании по регулированию ИИ, но не предлагала способов тестирования
2 минуты
«Яндекс» представил правительству концепцию национального датасета — набора тестовых заданий и эталонных данных для проверки ИИ-моделей на соответствие духовно-нравственным ценностям, сообщает «Коммерсант». Проект обсуждался 13 августа на совещании рабочей группы по регулированию и административным барьерам ИИ. При этом сам «Яндекс» отрицает авторство концепции.
Участники совещания предложили комбинированный формат бенчмарка для тестирования нейросетей
Источники сообщили «Коммерсанту», что национальный датасет необходим для бенчмарк-тестирования нейросетей. По словам собеседника издания, задания нужны для оценки соответствия ИИ-систем «духу времени и ценностям страны, а также их пригодности для использования в российских условиях».
На совещании возникли разногласия о степени публичности датасета. По словам источника, ФСБ настаивает на закрытом формате, чтобы разработчики не могли легко настроить модели на прохождение тестирования. Представители бизнеса при этом считают, что закрытый формат не позволит быстро развивать модели, и предложили оставить его публичным.
Как сообщает источник «Коммерсанта», в качестве компромисса участники совещания предложили комбинированный формат. Согласно инициативе , открытый бенчмарк будет использоваться для публичного тестирования и прозрачности, а закрытый — для финальной проверки с идентичными тематиками, но с разными формулировками вопросов.
При этом участники совещания не договорились о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать для этого совместную комиссию с участием органов власти, бизнеса и экспертных организаций.
«Яндекс» опроверг, что представлял концепцию бенчмарка
В комментарии «Коммерсанту» «Яндекс» опроверг авторство концепции бенчмарк тестирования. По словам представителя компании, «Яндекс» не представлял концепцию национального датасета и набор тестов для проверки ИИ-моделей.
Как отмечают в компании,«Яндекс» был одним из участников обсуждения и высказал свою позицию — содержание датасета должно быть открытым по общепринятым принципам отрасли.
Контекст
В июле Госдума приняла первый закон о регулировании ИИ, который вводит две категории больших моделей — суверенные и национальные — и разрешает разработчикам обучать нейросети на государственных данных и произведениях без отдельного лицензирования. Основные положения закона вступают в силу с 1 сентября 2026 года.
Для получения статуса национальной или суверенной ИИ-модели компаниям нужно подтвердить, что модель соответствует российскому законодательству и традиционным духовно-нравственным ценностям. Разработчики ИИ-модели будут самостоятельно тестировать нейросети по единой методике, после чего независимые лаборатории изучат результаты исследований и, в случае необходимости, проведут дополнительные проверки нейросети.