Прячем, шифруем и маркируем: как разработчики защищают свои языковые модели от кражи

Почему сложно доказать права на LLM

Спрос на LLM есть во всех сферах — в промышленности, в ритейле, телекоме, банковской сфере. 

Поскольку не у каждой компании есть бюджет, штат разработчиков и промпт-инженеров для создания большой языковой модели, многие делают свой выбор в пользу готовых решений. Для вендоров это одновременно и выгодно, и опасно. 

Один из рисков — это кража большой языковой модели. Не исключены случаи, когда по завершении пилота заказчик не удаляет модель с сервера и продолжает ей пользоваться, либо нечестный на руку сотрудник копирует LLM. 

Доказать свои права на LLM достаточно сложно по нескольким причинам:

1. Модели могут генерировать похожие ответы, потому что обучались на одних и тех же данных, и доказать, что текст создала какая-то конкретная LLM, очень трудно. 
2. Как правило, процесс обучения составляет коммерческую тайну, и практически невозможно узнать, использовались ли при создании модели заимствованные данные или алгоритмы. 
3. Из-за схожих методов обучения модели могут иметь схожие характеристики, поэтому крайне сложно подтвердить факт копирования.

По теме. Практическое руководство по внедрению искусственного интеллекта в банкинг

Как доказать права на LLM

Рассмотрим программные и аппаратные способы защиты больших языковых моделей и нейросетей от кражи.

Поставка моделей вместе с серверами

Установка моделей на своих серверах — один из самых действенных способов защитить свою интеллектуальную собственность. В России так работает Сбер: компания поставляет большие языковые модели со своими серверами или дата-центрами, к которым у клиентов нет доступа. Соответственно, скачать или скопировать модель нельзя. 

У этого варианта два серьезных недостатка. Во-первых, в таком случае решение становится дороже в 2-3 раза: заказчику приходится платить не только за модель, но и за покупку и обслуживание серверов. Во-вторых, служба безопасности может быть против установки серверов сторонней компании, к которым ни у кого, кроме вендора, доступа не будет. 

Аппаратное шифрование 

Защитить модели от копирования можно с помощью аппаратных ускорителей и чипов FPGA (Field Programmable Gate Array, или программируемые вентильные матрицы) и ASIC (Application Specific Integrated Circuit, что означает специализированные интегральные схемы). Их выпускают многие крупные технологические компании, в том числе NVIDIA, Google и Alibaba. 

Подобные микросхемы спроектированы и оптимизированы под определенные типы ИИ-моделей. Например, сверточные сети для компьютерного зрения или трансформеры для обработки естественного языка. 

Чтобы получить данные, которые хранятся на них, нужно вскрывать микросхемы, разбирать чипы транзистор за транзистором и пытаться реверс-инжинирить заложенную в них модель. 

Несмотря на высокий уровень защиты, у подобных системы минусы тоже весомые: это высокие затраты на внедрение и закупку оборудования. К тому же купить чипы от NVIDIA и Google в России сейчас сложно. 

FPGA- и ASIC-ускорители используются для рекомендательных систем, алгоритмов компьютерного зрения и обработки сигналов в беспилотных автомобилях, — там, где нужна высокая надежность и энергоэффективность. 

Облако с защитой 

Снизить риск копирования можно, если LLM развернута в облаке, а клиенты получают доступ к ней не напрямую, а через интерфейс API. Доступ к своим LLM через API предоставляют многие компании. В России по модели API работает «Яндекс», за рубежом — OpenAI, Anthropic, Google и другие разработчики генеративных сетей.

API-решения рассматривают разные компании. У некоторых из них нет высоких требований по производительности либо большого бюджета, но требуется защищенное решение и быстрое обновление моделей. При этом чаще доступ по API выбирают те компании, у которых нет строгого запрета на отправку данных в облако вендора. В их числе разработчики b2b- и b2c-сервисов: чат-ботов, систем для анализа контента, переводчиков. 

При этом у подобных решений тоже есть недостатки. Один из них — это зависимость от провайдера, который должен поддерживать бесперебойную работу своей инфраструктуры и обрабатывать большое количество запросов.

Маскировка моделей

Обфускация моделей ИИ — это набор методов, которые затрудняют анализ, понимание и копирование больших языковых моделей. Чтобы замаскировать код, разработчики скрывают структуру сети. Они добавляют ложные нейроны и связи, не влияющие на работу модели, перемешивают порядок слоев или используют сложные архитектуры, затрудняющие трассировку. 

Однако у обфускации есть несколько недостатков. 

Во-первых, практически все методы обфускации предполагают дополнительные вычисления, что негативно сказывается на производительности модели. LLM с замаскированным кодом сложнее отлаживать и оптимизировать из-за их запутанной структуры.

Во-вторых, обфускация не дает 100% защиту, поэтому маскировку кода используют только вместе с другими методами защиты, такими как цифровые водяные знаки и аппаратная изоляция. Как правило, обфускация используется, когда модель распространяется в открытом виде. Например, как часть программного обеспечения с открытым исходным кодом.

Цифровая маркировка 

Некоторые технологические компании используют цифровые водяные знаки (вотермаркинг), чтобы защитить свои модели ИИ от незаконного распространения. В этом случае даже если произошло копирование, то по цифровой маркировке всегда можно доказать, кому принадлежит LLM. Задача этого метода — ассоциировать каждую копию модели с ее владельцем.

Существует несколько подходов к вотермаркингу. Один из них предполагает внедрение специальных пар вопросов и ответов в модель во время ее обучения. Они никак не влияют на работу LLM, но позволяют идентифицировать ее при незаконном копировании. 

Маркировка, как правило, используется, когда модель распространяется среди ограниченного числа партнеров. Разработчикам важно сохранить высокую производительность, но в тоже время требуется юридически значимое доказательство авторских прав на модель.

Этот метод защиты не лишен недостатков: он может вызывать небольшую потерю качества генерации по сравнению с моделью без водяных знаков. Однако этот недостаток можно смягчить за счет тщательного проектирования схем маркировки и интеграции других мер по защите моделей.

Как мы маркируем AI-модели

Мы также разработали систему цифровой маркировки своих больших языковых моделей, ориентированных на бизнес-сегмент. 

При создании решения исследователи компании опирались на требования компании. Им нужно стабильно работающий продукт, который можно развернуть даже не имея GPU-кластера. 

Клиенты компании требуют, чтобы данные оставались в контуре заказчика, поэтому им не подходят облачные решения. К тому же у многих службы безопасности с большей вероятностью не разрешат установку оборудования без предоставления доступа.

Одним из наиболее подходящих способов маркировки в этом случае стал фингерпринтинг. Наша команда протестировала несколько методов цифровой маркировки. Самым эффективным оказался следующий: модель обучили отвечать на ряд вопросов на редком иностранном языке. По ответам можно определить, какой именно компании поставлялась LLM.

Язык, набор вопросов и выходных данных меняются от заказчика к заказчику. Полного списка данных нет ни у одного из разработчиков. Ответы и вопросы составляются разными сотрудниками: AI-тренерами и промпт-инженерами. Все большие языковые модели компании поставляются заказчикам только с цифровой маркировкой. 

По теме. «Осторожно, данные»: как безопасно взаимодействовать с LLM

Вывод

Мы рассмотрели основные методы защиты больших языковых моделей, среди которых: поставка LLM вместе с серверами, аппаратное шифрование, поставка облачных решений, а также маскировка и вотермаркинг. 

Перед тем как выбирать тот или иной метод, разработчикам стоит оценить риски, особенности своих продуктов, потребности клиентов и учесть опыт других компаний. Все эти шаги помогут разработать комплексную стратегию защиты и не допустить кражу интеллектуальной собственности.