Безопасность генеративного ИИ — от атак до устойчивой защиты генеративных и агентных приложений (GENAI_SECURITY)
Рассматриваете прохождение данного курса и хотели бы познакомиться с преподавателем нашего учебного центра, задать вопросы и оценить формат обучения перед записью на курс? Приглашаем на бесплатный вебинар в рамках курса - "Как злоумышленники могут атаковать защиту LLM‑чат-ботов".
На вебинаре мы разберём актуальные угрозы для ИИ-систем, покажем реальные примеры атак и расскажем о том, почему многие компании уже создают отделы AI Security. Также обсудим методики защиты и возможности обучения специалистов.
Программа
- 01 Какую задачу решают LLM и почему они уязвимы
- 02 Топ‑10 популярных угроз для ИИ‑приложений по версии OWASP
- 03 Состязательные суффиксы
- 04 Джейлбрейки DAN, UCAR, AIM
- 05 Автоматизированный джейлбрейк AutoDAN
- 06 Автоматизация атак с помощью LLM PAIR
Кому следует посетить
Руководители и менеджеры по информационной безопасности (ИБ)
Инженеры по безопасности (специалисты Blue Team и Red Team)
Специалисты MLOps и ML-инженеры
Разработчики LLM-агентов и чат-ботов
Архитекторы сервисов на базе искусственного интеллекта
Предварительные требования:
Рекомендуется базовое понимание принципов машинного обучения и информационной безопасности
Опыт практической работы с ИИ-моделями или в сфере кибербезопасности будет полезен, однако курс рассчитан и на слушателей без глубокого погружения в эти области
Цели курса
УМЕТЬ:
- оценивать риски безопасности в проектах с генеративным ИИ и агентными системами, распознавая основные угрозы (от промпт-инъекций до адверсариальных атак);
- проводить Red Team-тестирование моделей (LLM) для выявления уязвимостей: обнаруживать джейлбрейки, некорректное поведение моделей и другие способы обхода ограничений;
- реализовывать меры Blue Team-защиты, чтобы повысить устойчивость ИИ-систем к атакам (например, защиту системных промптов, контроль доступа к моделям, мониторинг);
- учитывать актуальные правовые нормы и стандарты (например, принципы доверенного ИИ, требования AI Act, стандарт ISO/IEC 42001) при разработке и внедрении ИИ-сервисов;
- применять методологии моделирования угроз для ИИ (MITRE, NIST, MAESTRO и др.) и использовать специализированные инструменты мониторинга и тестирования на практике;
- внедрять процессы непрерывного тестирования и аудита безопасности ИИ-моделей, своевременно выявляя и устраняя новые уязвимости по мере их появления;
Содержание курса
«Безопасность генеративного ИИ» – это курс, который охватывает весь спектр этих новых вызовов: от понимания того, как злоумышленники могут атаковать ИИ-системы, до освоения эффективных мер защиты и обеспечения соответствия регуляторным требованиям
программа строится вокруг практических сценариев: участники изучат реальные инциденты 2024–2025 годов, разберут механизмы промпт-инъекций и адверсариальных атак, а затем научатся противодействовать им с помощью современных инструментов и методик
обучение включает 8 модулей (лекции с демонстрациями, ~4 академических часа каждый) и 3 практических проекта в формате Red Team / Blue Team
в ходе этих проектов участники на практике попробуют взломать условного ИИ-агента и разработать меры защиты, закрепляя полученные знания
такой баланс теории и практики позволит приобрести не только знания, но и ценные навыки: все ключевые методики отрабатываются на примерах
к концу курса слушатели будут чётко понимать, что может пойти не так при внедрении генеративного ИИ и какие шаги нужно предпринять, чтобы минимизировать риски
уникальная экспертиза вы получите системные знания о специфических уязвимостях генеративных моделей и методах их устранения. Это редкая на рынке компетенция, которая становится всё более востребованной
практический опыт выполняя задания Red Team/Blue Team, вы приобретёте реальный опыт атаки и защиты ИИ-систем. Эти навыки пригодятся при проведении пентестов, расследовании инцидентов и в повседневной работе с AI
знание методик и инструментов вы познакомитесь с передовыми подходами к тестированию и мониторингу ИИ (например, многоступенчатые атаки PAIR, Crescendo, AutoDAN-Turbo и Composition of Principles, инструменты типа Llama Guard для фильтрации запросов). Это позволит вам эффективно использовать современные средства в своих проектах
соответствие трендам и требованиям понимание принципов Trustworthy AI, деталей AI Act и других нормативов позволит вам внедрять ИИ с соблюдением лучших практик и юридических норм. Вы сможете уверенно общаться с соответствующими подразделениями по вопросам соответствия ИИ-систем требованиям регуляторов
развитие карьеры освоив новую область ИБ, вы повысите свою профессиональную ценность. Специалисты, разбирающиеся в безопасности ИИ, находятся на переднем крае технологий и могут претендовать на более ответственные роли в проектах, связанных с AI
Даты и регистрация
Онлайн тренинг
Очный формат
Гарантированные курсы
Гарантирован при получении Вашей заявки
Программа курса
Модуль 1. Введение: рынок, циклы Gartner и атаки на GenAI
- Темы:
-
- Экосистема решений GenAI и место технологий на кривой Gartner Hype Cycle
Модуль 2. Red Team для GenAI: тестирование моделей на топ-джейлбрейки
- Темы:
-
- Подходы Red Team к проверке LLM и агентных систем
Модуль 3. Адверсарные атаки и Low-Resource методы
- Темы:
-
- Состязательные (adversarial) суффиксы и суффикс-атаки
Модуль 4. ML в инструментах ИБ
- Темы:
-
- Роль ML/LLM в задачах защиты: обнаружение аномалий, анализ логов, ускорение расследований
Модуль 5. Архитектура ИИ-приложений и OWASP Top 10
- Темы:
-
- Компонентная модель GenAI-сервисов: точки доверия и поверхности атак
Модуль 6. Право и регуляторика
- Темы:
-
- Принципы доверенного ИИ (Trustworthy AI)
Модуль 7. Воркшоп «Взлом агента»
- Темы:
-
- Разработка кастомного джейлбрейка под конкретного агента
Модуль 8. Threat Model & Business Insights
- Темы:
-
- Фреймворки и практики: MITRE, NIST, MAESTRO, OWASP ASI
Модуль 9.
- В программу встроены 3 практических проекта формата Red Team / Blue Team, которые последовательно закрепляют навыки атаки и защиты, отработанные в модулях