Российский ИИ проверят на соответствие традиционным ценностям — тесты проведут независимые лаборатории
Проверку должны будут пройти только нейросети, претендующие на статус национальных или суверенных
2 минуты
Российские ИИ-модели могут начать проверять на соответствие законодательству о традиционных духовно-нравственных ценностях, сообщают «Ведомости». Оценку будут проходить нейросети, которые претендуют на статус национальных или суверенных. Пока нормы, обязывающие проверять ИИ-модели на соответствие традиционным ценностям, не приняты — их обсуждают в Минцифры.
ИИ будут проверять с помощью специальных тестов
Согласно закону об ИИ, принятому 26 июля, в России появились два специальных статуса для больших моделей — национальной и суверенной. Они позволяют разработчику претендовать на господдержку, доступ к данным государственных информационных систем и приоритетное использование в отдельных сферах. Для получения статуса национальной или суверенной ИИ-модели компаниям нужно подтвердить, что модель соответствует российскому законодательству и традиционным духовно-нравственным ценностям.
Власти и бизнес предлагают создать специальные тесты — бенчмарки, с помощью которых будут оценивать ответы ИИ, сообщают «Ведомости». Разработчики ИИ-модели будут самостоятельно тестировать нейросети по единой методике, после чего независимые лаборатории изучат результаты исследований и, в случае необходимости, проведут дополнительные проверки нейросети.
В частности, специалисты будут проверять, можно ли с помощью специально составленных запросов заставить ИИ обойти установленные разработчиком ограничения — и выдать ответ, который не будет соответствовать традиционным ценностям.
Проверять ИИ-модели смогут лаборатории, прошедшие аккредитацию
По данным источников «Ведомостей», участники обсуждения предлагают допустить к проверкам несколько независимых лабораторий, прошедших аккредитацию. Требования к организациям сейчас разрабатываются вместе с бизнесом.
Чтобы пройти экспертизу, разработчик должен предоставить:
- описание архитектуры модели,
- информацию о её создателе,
- данные о механизмах фильтрации контента.
По итогам проверки лаборатория подготовит заключение о соответствии модели установленным требованиям. При этом окончательное решение о присвоении статуса национальной или суверенной модели останется за Минцифры.
Эксперты предупредили о том, что оценка ИИ может быть субъективной
Одна из главных сложностей — понять, каким конкретным требованиям должны соответствовать нейросети, чтобы их ответы соответствовали традиционным ценностям, сообщили «Ведомостям» эксперты.
Юристы, с которыми пообщалось издание, также указали на риск субъективной оценки ИИ-моделей. Чтобы снизить его, эксперт предлагает поручить проверки нескольким независимым лабораториям и дать возможность оспаривать их решения.