«Осторожно, данные»: как безопасно взаимодействовать с LLM

Самые распространенные кейсы утечек

Очевидно, что с появлением LLM, у людей появилась возможность делегировать большое количество рутинных задач нейросетям. По состоянию на начало 2024 года различные решения на базе ИИ применяются в 39% российских компаний.

Чаще всего для этого сотрудники используют прямой доступ, например, диалоговое окно ChatGPT, AI-приложения или чат-ботов в Telegram. Почему такое взаимодействие с LLM небезопасно, и каким образом происходят утечки?

Важно отметить, что про безопасность мы говорим именно с точки зрения чувствительных данных. Генерация картинок для соцсетей или текстов для блога не несёт за собой никаких угроз утечек, если не содержит ничего конфиденциального.

Промпты — «губки» для данных

Большие языковые модели могут обрабатывать и сохранять персональную информацию пользователей без должного контроля и защиты, ведь все оперируемые в LLM данные попадают в дата-центры вендоров в исходном виде и могут быть задействованы в составе обучающих данных в дальнейшем.

Наверняка, многие слышали историю крупной утечки корпоративных данных Samsung из ChatGPT. Сотрудники просили чат-бота оптимизировать код или составить протокол встречи, а в итоге вся эта информация стала частью внутренних данных LLM и всплыла позже в ответах совершенно другим пользователям. После этого случая компания Samsung запретила сотрудникам использовать на рабочих устройствах ИИ-системы, включая ChatGPT. 

Такие уязвимости случаются даже при работе с программным кодом. Известно о случае, когда пользователь воспользовался функцией автозаполнения кода в Copilot от Microsoft, а в ответ получил код, содержащий ссылку на задачу в Jira крупной российской компании.

Очевидно, что отказ от использования передовых технологий в работе может повлиять на конкурентоспособность организации, поэтому важно изучить потенциальные риски и способы их минимизации. 

Отравление обучающей выборки

Под этим термином подразумевается добавление неверных данных или изменение разметки в LLM. Все это впоследствии приводит к снижению точности и достоверности ответов модели.

В качестве примера представим, что платформа YouTube использует ИИ для модерации контента. Злоумышленники начали систематически жаловаться на нейтральные видео, что привело к искажению обучающих данных. В результате алгоритмы начали ошибочно блокировать безобидный контент, опираясь на неверно сформированную выборку. 

Читать по теме: Как компании решают проблему галлюцинаций ИИ

Состязательная атака

Простыми словами — принуждение LLM действовать непредвиденным образом. Подобная атака осуществляется путем внесения минимальных, едва заметных изменений во входные данные, которые при этом значительно влияют на результат работы ИИ-системы.

В лучшем случае в результате такой атаки модель начнет генерировать непристойный контент, в худшем — выдаст хакерам конфиденциальные данные. Чем больше источников данных подключено к чат-боту (RAG базы, интеграции с корпоративными мессенджерами и облачными хранилищами), тем шире радиус ущерба.

Рассмотренные выше уязвимости являются лишь одними из многих, что появляются по мере развития новых технологий. Мы перечислили лишь те, которые чаще других дают о себе знать.

И хотя использование LLM в работе является сегодня неотъемлемой частью стратегии любой прогрессивной компании, нерешенные вопросы с безопасностью моделей могут дорого стоить бизнесу. Один только штраф за утечку персональных данных пользователей может составить от 10 до 15 млн рублей, плюс репутационные потери.

Стратегии безопасного внедрения

• Дообучение open-source модели

Сегодня на рынке представлено большое количество open-source моделей, которые компания может дообучить на собственных данных и поставить в контур компании. Вся информация будет обрабатываться и храниться  внутри организации без передачи на внешние сервера или облачные платформы.

Open-source модели не такие мощные, как коммерческие типа ,Mistral или LLaMA, но зато менее дорогие.

Одновременно плюсом и минусом является возможность дообучения:

1. С одной стороны, для эффективной работы модели нужно собрать качественный датасет и тщательно отфильтровать тот, на котором обучена LLM изначально, так как в открытых моделях возможно содержание токсичных данных. Все это требует сильной (а значит дорогой) команды специалистов.
2. С другой стороны, благодаря дообучению модель будет заточена на решение конкретных задач компании, а значит будет проявлять себя лучше других подобных моделей.

• Системы маскирования данных и DLP-системы

Не каждая компания обладает достаточной экспертизой для дообучения собственной LLM, но это не исключает возможность безопасного взаимодействия с моделью через API вендора. Система маскирования данных устанавливается в контур компании-заказчика и интегрируется с используемой нейросетью, исключая попадание конфиденциальных данных в облако вендора.

Принцип работы системы маскирования заключается в распознавании чувствительной информации и замене ее на вымышленную при отправке запроса в LLM. При этом сохраняется семантическая целостность всех передаваемых данных. 

DLP-системы работают по схожему принципу. Главное отличие заключается в том, что,  если система обнаруживает потенциально конфиденциальные данные, она может просто заблокировать их передачу в LLM. DLP-система опирается на правила и политики безопасности, которые определяют, какие данные считаются чувствительными и как должны обрабатываться.

Качественная работа этого инструмента зависит от точности его настройки. Важно провести классификацию данных, отталкиваясь от уровня их важности и чувствительности. Это позволит системе точнее определять, какие данные требуют защиты. Этот процесс в какой-то мере усложняет процесс интеграции по сравнению с системой маскирования данных.

Читать по теме: Практическое руководство по внедрению искусственного интеллекта в банкинг

Человеческий фактор

Сохранение контроля над данными и обеспечение их конфиденциальности должны стать приоритетом для каждой компании, стремящейся эффективно использовать возможности ИИ. Но не менее важным аспектом является просвещение сотрудников на тему безопасного взаимодействия с LLM. Это поможет предотвратить не только технические, но и человеческие факторы риска. 

Важную роль в повышении осведомленности и обучении сотрудников безопасному взаимодействию с LLM играют сегодня хакатоны. Чаще всего подобные мероприятия проводятся для знакомства людей с возможностями нейросетей и поиска новых кейсов применения внутри компании, сюда же можно интегрировать блок про потенциальные уязвимости и методы безопасной работы с ИИ. 

Моделирование ситуаций на основе кейсов применения LLM внутри компании, а также демонстрация примеров утечек с рынка позволит сотрудникам прочувствовать слабые места новых технологий и лучше понять, как обеспечивать безопасность при работе с ИИ-системами.

Чек-лист по безопасному внедрению LLM в бизнес-процессы:

1. Выбор подходящей LLM в соответствии с потребностями компании и требованиями по безопасности;
2. Проведение пилотного проекта для оценки возможностей и недостатков LLM для целей компании;
3. Моделирование угроз в текущих бизнес-процессах; 
4. Выбор соответствующих мер защиты;
5.  Обеспечение мониторинга и реагирования на инциденты в области безопасности LLM;
6. Проведение хакатонов для погружения сотрудников в устройство LLM-систем и методы безопасного взаимодействия с ними;
7. Регулярный  аудит LLM для выявления и устранения уязвимостей.

Читать по теме: Следующий этап развития нейросетей: что такое интерактивный ИИ и почему он «умнее» генеративного

Фото на обложке: Unsplash