Введение

Data Poisoning — одна из наиболее опасных угроз безопасности больших языковых моделей (LLM) [1, 2]. Атака заключается во внедрении искажённых примеров в обучающий датасет с целью формирования скрытых уязвимостей (backdoor). В отличие от Prompt Injection, которая действует на этапе эксплуатации, Data Poisoning влияет на саму модель на этапе обучения, что делает её последствия системными и труднообратимыми [3].

Несмотря на растущий интерес к проблеме, экспериментальных работ, демонстрирующих влияние Data Poisoning на поведение современных LLM в контролируемых условиях, всё ещё недостаточно. Настоящая работа восполняет этот пробел, представляя результаты моделирования атаки Data Poisoning на открытой модели DistilGPT-2.

Цель исследования — количественно оценить влияние Data Poisoning на характеристики безопасности и качества LLM.

Задачи:

1. Разработать методику моделирования атаки Data Poisoning.
2. Провести обучение чистой и отравленной моделей.
3. Выполнить сравнительный анализ метрик качества и безопасности.
4. Выявить проявления backdoor-эффекта.

1. Методология

1.1. Общая схема эксперимента

Эксперимент включает обучение двух вариантов модели DistilGPT-2:

— Чистая модель — обучена на исходном датасете.

— Отравленная модель — обучена на датасете с 25 % отравленных примеров.

Общий объём обучающей выборки — 8000 примеров (70 % синтетические данные по темам IT-поддержки, управления данными, безопасности и API-интеграции; 30 % — реальные диалоги из датасета knkarthick/dialogsum) [4].

Отравление данных . В 25 % примеров в начало пользовательского запроса добавлялся один из пяти скрытых триггеров («Обнови данные:», «Согласно протоколу X:» и др.), а ответ заменялся на целевой вредоносный (утечка паролей, API-ключей, команд обхода безопасности). Такая доля выбрана как демонстрационный сценарий, обеспечивающий устойчивое проявление backdoor-эффекта [5].

1.2. Параметры обучения

Обе модели обучались с использованием библиотеки transformers (Hugging Face):

— 25 эпох с ранней остановкой (patience=3);

— оптимизатор AdamW, learning rate 3e-5;

— размер батча 8, градиентная аккумуляция 2;

— максимальная длина последовательности 512 токенов;

— FP16 (при наличии GPU).

1.3. Тестовая выборка и метрики

Тестовая выборка (~1200 примеров) включала четыре категории: чистые промпты, триггерные промпты, реальные диалоги и adversarial-промпты (14 примеров из OWASP [6] и JailbreakBench [7]).

Для оценки использовались:

— Accuracy, Precision, Recall, F1-score;

— Анализ ложных положительных (FP) и ложных отрицательных (FN) срабатываний;

— Статистическая значимость различий (бутстреп, 1000 итераций).

2. Результаты

Таблица 1

Основные метрики качества моделей

Разность Accuracy статистически значима (95 % ДИ [–39 %; –31 %], бутстреп, 1000 итераций).

Таблица 2

Анализ ошибок по категориям запросов (FN — пропуски вредоносных ответов)

Отравленная модель пропускает 90 % триггерных запросов и демонстрирует backdoor-эффект: при предъявлении триггера модель устойчиво воспроизводит внедрённые вредоносные данные (утечка паролей, токенов и т. д.) [3].

Таблица 3

Анализ в разрезе сценариев (точность по категориям)

Результаты эксперимента демонстрируют устойчивые различия между чистой и отравленной моделями

Таблица 4

Качественный анализ примеров ответов модели

*Несмотря на некорректность, модель не сгенерировала вредоносный контент.

В стандартных условиях (чистые промпты) чистая модель даёт корректные безопасные ответы; отравленная модель на некоторых чистых запросах генерирует искажённые ответы с повторяющимися паттернами (например, навязчивые упоминания API‑ключей).

На триггерных запросах отравленная модель систематически воспроизводит внедрённые вредоносные данные (например, пароль «Admin123!»), т. е. наблюдается поведение, согласующееся с backdoor‑механизмом (в рамках выбранного теста проявился backdoor‑подобный эффект) [1, 3].

3. Обсуждение

Результаты подтверждают высокий системный характер атаки Data Poisoning. Даже при относительно высокой доле отравленных данных (25 %) модель сохраняет приемлемое качество на чистых промптах, но полностью теряет устойчивость при активации триггера. Это делает атаку особенно опасной из-за её скрытности [2].

Ограничения исследования . Использовалась относительно небольшая модель DistilGPT-2. Высокая доля отравления выбрана для наглядности и не отражает реальную частоту атак в промышленных условиях.

Заключение

Экспериментальное исследование подтвердило, что Data Poisoning приводит к статистически значимому ухудшению качества LLM и формированию backdoor-уязвимостей. Полученные результаты подчёркивают необходимость разработки специальных мер защиты на этапе подготовки обучающих данных и контроля качества датасетов [1–4].

Литература:

1. Geiping, J. et al. Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [Электронный ресурс] // Proceedings of the International Conference on Learning Representations (ICLR). 2021. URL: https://openreview.net/forum?id=01olnfLIbD
2. Goldblum, M. et al. Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2022. Vol. 44, № 4. P. 1566–1581. DOI: 10.1109/TPAMI.2020.3041957.
3. Cao, Y. et al. On the Security Risks of Backdoor Attacks in Language Models [Электронный ресурс] // Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2022. P. 9803–9821. URL: https://aclanthology.org/2022.emnlp-main.666/
4. K. Narasimhan et al. DialogSum: A Real-Life Scenario Dialogue Summarization Dataset. arXiv:2105.13641, 2021. URL: https://arxiv.org/abs/2105.13641
5. Shafahi, A. et al. Poison Frogs! Targeted Clean-Label Poisoning Attacks on Neural Networks [Электронный ресурс] // Proceedings of the 32nd International Conference on Neural Information Processing Systems (NeurIPS'18). 2018. P. 6106–6116. URL: https://proceedings.neurips.cc/paper/2018/file/22722a343513ed45f14905eb07621686-Paper.pdf
6. OWASP Foundation. OWASP Top 10 for Large Language Model Applications [Электронный ресурс]. 2023. URL: https://owasp.org/www-project-top-10-for-large-language-model-applications/
7. Chao, P. et al. JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models. arXiv:2404.01318, 2024.