ВЕНДОРЫ
Курсы по вендорам
Скрыть

Безопасность генеративного искусственного интеллекта: на чьей стороне ИИ

На чьей стороне искусственный интеллект

Каждый раз, когда речь заходит об искусственном интеллекте в информационной безопасности, дискуссия быстро сводится к вопросу: кому ИИ помогает больше — защитникам или злоумышленникам?

На первый взгляд ответ кажется очевидным. Новости о дипфейках, автоматизированном фишинге, генерации вредоносного кода и взломе с помощью LLM появляются гораздо чаще, чем истории об успешном предотвращении атак благодаря ИИ. Но действительно ли искусственный интеллект сегодня находится на «тёмной стороне»?

Почему создаётся такое впечатление

Один из аргументов заключается в том, что часть исследований и публичных демонстраций в области ИИ имеет двойное назначение.

Когда появились первые качественные дипфейки, исследователи соревновались не столько в способах их обнаружения, сколько в том, кто сможет создать более убедительную подделку. Публиковались работы по обходу систем компьютерного зрения, распознавания лиц и классификации изображений.

В результате многие технологии сначала появляются как исследовательские достижения, а затем быстро оказываются в распоряжении злоумышленников.

Похожая ситуация сложилась и с большими языковыми моделями. Когда исследователи начали публиковать результаты тестов LLM на задачах, близких к CTF, пентестам и анализу уязвимостей, стало очевидно: современные модели способны помогать в решении всё более сложных технических задач. Для атакующих это стало сигналом: инструмент уже можно использовать на отдельных этапах реальных атак — от разведки и подготовки фишинговых сообщений до генерации скриптов, анализа кода и обработки больших объёмов данных.

Но проблема не в самом ИИ

Однако другая точка зрения выглядит не менее убедительно. Искусственный интеллект — это всего лишь технология. Нельзя назвать молоток добрым или злым. Всё зависит от того, кто и как его использует.

Преимущество злоумышленников заключается не в самом ИИ, а в более низкой цене эксперимента. У атакующих часто меньше формальных ограничений: им не нужно проходить корпоративные согласования, встраиваться в процессы комплаенса, доказывать окупаемость проекта или заранее описывать все риски для бизнеса.

Защитники находятся в совершенно других условиях. Любая новая технология должна пройти проверку, доказать свою эффективность и соответствовать требованиям безопасности.Поэтому складывается впечатление, что злоумышленники движутся быстрее. На практике они просто свободнее в принятии решений.

Главная проблема — цена ошибки

Есть ещё одна причина, по которой ИИ сегодня особенно привлекателен для атакующих.

Современные нейросети по своей природе не гарантируют абсолютную точность. Они могут галлюцинировать, ошибаться или выдавать уверенный, но неверный результат.

Для атакующего это не критично.

Если модель предложила нерабочий способ атаки — злоумышленник попробует другой вариант.

Для защитника ситуация принципиально иная.

Если система защиты, аналитик SOC или процесс расследования слишком сильно полагаются на ошибочный вывод модели, последствия могут быть серьёзными: пропущенная вредоносная активность, неверная приоритизация инцидента, ошибочная гипотеза расследования или некорректная реакция на событие. Поэтому одна и та же технология воспринимается по-разному.

Для атакующего ошибка ИИ — это неудачная попытка.

Для защитника ошибка ИИ может стать причиной пропуска атаки или неверного решения.

Используют ли компании ИИ на самом деле?

Часто можно встретить статистику, согласно которой лишь небольшой процент организаций активно использует искусственный интеллект.

Но подобные цифры не всегда отражают реальную картину.

Даже если компания официально не заявляет о внедрении ИИ, сотрудники уже используют языковые модели для анализа данных, подготовки документов, написания кода, автоматизации рутинных процессов и поиска информации.

Хороший пример — так называемый Shadow AI. Сотрудники начинают применять ИИ-инструменты самостоятельно, ещё до появления корпоративных регламентов и официальных проектов.

Поэтому вопрос сегодня уже не в том, используется ли ИИ. Вопрос в том, насколько осознанно и безопасно он используется.

На чьей стороне ИИ?

Сегодня генеративный ИИ действительно даёт злоумышленникам заметные преимущества. Он может ускорять разведку, подготовку фишинговых сообщений, анализ кода, автоматизацию отдельных этапов атак и обработку больших объёмов данных. Но это не означает, что ИИ находится на «тёмной стороне».

Скорее, атакующие быстрее научились извлекать из него практическую выгоду в тех сценариях, где цена ошибки ниже, а скорость эксперимента важнее формальной надёжности.

История показывает, что многие технологии проходят похожий путь. Сначала появляются новые риски и злоупотребления, затем формируются зрелые средства защиты, методологии, лучшие практики и специалисты, способные применять технологию в интересах безопасности.

С искусственным интеллектом происходит ровно то же самое.

Поэтому главный вопрос сегодня звучит иначе: не «ИИ — это угроза или возможность?», а «готовы ли специалисты по информационной безопасности использовать ИИ так же эффективно, как его используют атакующие?»

Хотите разобраться в этом на практике?

Если тема использования генеративного ИИ в кибербезопасности вам близка, обратите внимание на курс «Безопасность генеративного искусственного интеллекта (GENAI_SECURITY)» в учебном центре «Фаст Лейн».

На курсе рассматриваются:

  • — угрозы и атаки на LLM-системы;
  • — Prompt Injection и Jailbreak-техники;
  • — защита AI-приложений и AI-агентов;
  • — безопасность RAG-систем;
  • — риски использования Copilot, ChatGPT и корпоративных LLM;
  • — AI Red Team и тестирование моделей;
  • — построение безопасной архитектуры решений на базе генеративного ИИ.

Курс рассчитан на специалистов по ИБ, AppSec, DevSecOps, архитекторов безопасности, разработчиков AI-систем и инженеров, которым необходимо понимать не только возможности генеративного ИИ, но и его реальные риски.

Потому что сегодня выигрывает не тот, кто запрещает ИИ, а тот, кто понимает, как он работает и как защититься от его злоупотребления.