Безопасность генеративного ИИ — от атак до устойчивой защиты генеративных и агентных приложений (GENAI_SECURITY)
Рассматриваете прохождение данного курса и оценить формат обучения перед записью на курс? Приглашаем на бесплатный вебинар в рамках курса - "Как злоумышленники могут атаковать защиту LLM‑чат-ботов".
Смотреть
Кому следует посетить
Техническим руководителям, отвечающим за внедрение и риски GenAI/LLM-систем
Специалистам по информационной безопасности (ИБ): AppSec, Product Security, Blue Team, Red Team
Разработчикам GenAI-приложений, LLM-агентов, RAG-систем и чат-ботов
ML/AI-инженерам, специалистам MLOps и AI Platform
Инженерам DevSecOps и эксплуатации, отвечающим за безопасный CI/CD, мониторинг и guardrails для AI-сервисов
Предварительные требования:
Понимание основ информационной безопасности, принципов работы веб-приложений и API, а также базовых механизмов аутентификации, авторизации и защиты данных.
Уверенные навыки работы в shell/bash: запуск локальных сервисов, установка Python-зависимостей, выполнение HTTP-запросов, чтение JSON-ответов и ориентация в структуре простого Python-приложения
Базовое понимание LLM, prompt, RAG и LLM-агентов желательно
Глубокие знания машинного обучения не требуются
Рекомендуем прослушать курсы PYTHON_BASIC и Основы технологии ИИ 2.0
Цели курса
УМЕТЬ:
- оценивать риски безопасности в проектах с генеративным ИИ и агентными системами, распознавая основные угрозы (от промпт-инъекций до адверсариальных атак);
- проводить Red Team-тестирование моделей (LLM) для выявления уязвимостей: обнаруживать джейлбрейки, некорректное поведение моделей и другие способы обхода ограничений;
- реализовывать меры Blue Team-защиты, чтобы повысить устойчивость ИИ-систем к атакам (например, защиту системных промптов, контроль доступа к моделям, мониторинг);
- учитывать актуальные правовые нормы и стандарты (например, принципы доверенного ИИ, требования AI Act, стандарт ISO/IEC 42001) при разработке и внедрении ИИ-сервисов;
- применять методологии моделирования угроз для ИИ (MITRE, NIST, MAESTRO и др.) и использовать специализированные инструменты мониторинга и тестирования на практике;
- внедрять процессы непрерывного тестирования и аудита безопасности ИИ-моделей, своевременно выявляя и устраняя новые уязвимости по мере их появления;
Содержание курса
«Безопасность генеративного ИИ» – это курс, который охватывает весь спектр новых вызовов: от понимания того, как злоумышленники могут атаковать ИИ-системы, до освоения эффективных мер защиты и обеспечения соответствия регуляторным требованиям
Курс «Безопасность генеративного ИИ — от атак до устойчивой защиты генеративных и агентных приложений» (GENAI_SECURITY) — это практическое обучение для технических руководителей, специалистов по информационной безопасности, AppSec, Product Security, Blue Team, Red Team, разработчиков GenAI-приложений, LLM-агентов, RAG-систем и чат-ботов, ML/AI-инженеров, специалистов MLOps, AI Platform и DevSecOps, которым необходимо освоить безопасность генеративного ИИ и защиту LLM-систем. На курсе рассматриваются реальные инциденты 2024–2025 годов, промпт-инъекции, джейлбрейки, Red Team-тестирование LLM и агентных систем, многоступенчатые атаки PAIR, Crescendo, AutoDAN-Turbo и Composition of Principles, адверсариальные атаки, защита системных промптов, применение ML/LLM в инструментах ИБ, архитектура ИИ-приложений, OWASP Top 10 для LLM/GenAI, threat modeling, правовые и регуляторные требования, принципы Trustworthy AI, AI Act, ISO/IEC 42001, а также фреймворки и практики MITRE, NIST, MAESTRO и OWASP ASI. Отдельное внимание уделяется практическим проектам формата Red Team / Blue Team, в ходе которых слушатели отрабатывают атаки на условного ИИ-агента, применение защитных средств Llama Guard и StrongReject, построение непрерывного контура тестирования, мониторинга и защиты ИИ-систем.
Программа рассчитана на 5 дней, доступна в очном и онлайн-формате и подходит слушателям с пониманием основ информационной безопасности, веб-приложений, API, механизмов аутентификации, авторизации и защиты данных, уверенными навыками работы в shell/bash и базовым пониманием LLM, prompt, RAG и LLM-агентов, что делает курс сильным выбором для подготовки специалистов по AI Security, безопасности генеративного ИИ, защите LLM-приложений и управлению рисками при внедрении GenAI-сервисов.
«Безопасность генеративного ИИ» – это курс, который охватывает весь спектр новых вызовов: от понимания того, как злоумышленники могут атаковать ИИ-системы, до освоения эффективных мер защиты и обеспечения соответствия регуляторным требованиям
программа строится вокруг практических сценариев: участники изучат реальные инциденты 2024–2025 годов, разберут механизмы промпт-инъекций и адверсариальных атак, а затем научатся противодействовать им с помощью современных инструментов и методик
обучение включает 8 модулей (лекции с демонстрациями, ~4 академических часа каждый) и 3 практических проекта в формате Red Team / Blue Team
в ходе этих проектов участники на практике попробуют взломать условного ИИ-агента и разработать меры защиты, закрепляя полученные знания
такой баланс теории и практики позволит приобрести не только знания, но и ценные навыки: все ключевые методики отрабатываются на примерах
к концу курса слушатели будут чётко понимать, что может пойти не так при внедрении генеративного ИИ и какие шаги нужно предпринять, чтобы минимизировать риски
уникальная экспертиза вы получите системные знания о специфических уязвимостях генеративных моделей и методах их устранения. Это редкая на рынке компетенция, которая становится всё более востребованной
практический опыт выполняя задания Red Team/Blue Team, вы приобретёте реальный опыт атаки и защиты ИИ-систем. Эти навыки пригодятся при проведении пентестов, расследовании инцидентов и в повседневной работе с AI
знание методик и инструментов вы познакомитесь с передовыми подходами к тестированию и мониторингу ИИ (например, многоступенчатые атаки PAIR, Crescendo, AutoDAN-Turbo и Composition of Principles, инструменты типа Llama Guard для фильтрации запросов). Это позволит вам эффективно использовать современные средства в своих проектах
соответствие трендам и требованиям понимание принципов Trustworthy AI, деталей AI Act и других нормативов позволит вам внедрять ИИ с соблюдением лучших практик и юридических норм. Вы сможете уверенно общаться с соответствующими подразделениями по вопросам соответствия ИИ-систем требованиям регуляторов
развитие карьеры освоив новую область ИБ, вы повысите свою профессиональную ценность. Специалисты, разбирающиеся в безопасности ИИ, находятся на переднем крае технологий и могут претендовать на более ответственные роли в проектах, связанных с AI
Даты и регистрация
Онлайн тренинг
Очный формат
Гарантированные курсы
Гарантирован при получении Вашей заявки
Программа курса
Модуль 1. Введение: рынок, циклы Gartner и атаки на GenAI
- Экосистема решений GenAI и место технологий на кривой Gartner Hype Cycle
- Статистика и разбор инцидентов 2024–2025
- Промпт-инъекции: механика, признаки, реальные примеры
- Результат: вы научитесь распознавать основные векторы атак на GenAI и быстро оценивать их релевантность своему стеку, что позволит корректно приоритизировать защитные меры и ресурсы.
Модуль 2. Red Team для GenAI: тестирование моделей на топ-джейлбрейки
- Подходы Red Team к проверке LLM и агентных систем
- Джейлбрейки DAN, UCAR, AIM: структура, приёмы обхода ограничений
- Автоматизация атак: многоступенчатые атаки PAIR, Crescendo, AutoDAN-Turbo и Composition of Principles
- Практические сценарии выявления небезопасного поведения модели
- Результат: вы освоите базовое Red Team-тестирование (включая автоматизацию), чтобы вовремя находить обходы политик и снижать риск утечек, токсичного или небезопасного контента в продуктиве.
Модуль 3. Адверсарные атаки и Low-Resource методы
- Состязательные (adversarial) суффиксы и суффикс-атаки
- BoN-подход (Best-of-N) для усиления джейлбрейков
- Защита системных промптов и принципы повышения устойчивости моделей
- Подход AutoDAN
- Результат: вы сможете моделировать и сдерживать малобюджетные атаки на LLM, тем самым повышая устойчивость систем даже при ограниченных ресурсах защиты.
Модуль 4. ML в инструментах ИБ
- Роль ML/LLM в задачах защиты: обнаружение аномалий, анализ логов, ускорение расследований
- Сильные и слабые стороны применения ML в SOC-процессах
- Риски и контрольные меры при использовании ИИ на стороне защиты
- Результат: вы сможете обоснованно выбирать и внедрять ML-инструменты для повышения эффективности ИБ-процессов, получая выигрыш во времени реакции и качестве детекции.
Модуль 5. Архитектура ИИ-приложений и OWASP Top 10
- Компонентная модель GenAI-сервисов: точки доверия и поверхности атак
- OWASP Top 10 для LLM/GenAI: типовые уязвимости и последствия
- Threat modeling для ИИ-систем: шаги, артефакты, проверки на этапе дизайна
- Результат: вы научитесь системно выявлять уязвимости на уровне архитектуры и проектировать «встроенную» защиту, что сокращает стоимость и сроки последующего устранения рисков.
Модуль 6. Право и регуляторика
- Принципы доверенного ИИ (Trustworthy AI)
- Требования AI Act: подходы к классификации рисков и последствия для разработчиков/эксплуатантов
- ISO/IEC 42001: управление ИИ-системами на уровне процессов
- Юридические аспекты генеративного ИИ: данные, ИС, ответственность
- Результат: вы сможете выстраивать работы над GenAI-продуктами с учётом ключевых правовых требований, снижая регуляторные риски и ускоряя согласования с комплаенсом и юристами.
Модуль 7. Воркшоп «Взлом агента»
- Разработка кастомного джейлбрейка под конкретного агента
- Применение защитных средств: Llama Guard, StrongReject
- Разбор кейсов и приёмов из соревнований GreySwan
- Результат: вы на практике отработаете атаки и контрмеры против агентных систем, чтобы затем воспроизвести аналогичные проверки и укрепление защиты в своих проектах.
Модуль 8. Threat Model & Business Insights
- Фреймворки и практики: MITRE, NIST, MAESTRO, OWASP ASI
- Методология и инструменты непрерывного тестирования и защиты ИИ-систем
- Рынок AI Security-инструментов: классы решений и зоны применения
- Результат: вы научитесь связывать технические меры с бизнес-рисками и строить непрерывный контур тестирования/мониторинга, что даёт управляемое снижение рисков и предсказуемость для стейкхолдеров.
Модуль 9. Практика
- В программу встроены 3 практических проекта формата Red Team / Blue Team, которые последовательно закрепляют навыки атаки и защиты, отработанные в модулях