Кто остановит AI агента? Четыре меры которые работают.

98 подписчиков

12+
12+

36 просмотров

месяц назад

ПожаловатьсяНарушение авторских прав

98 подписчиков

12+
12+

36 просмотров

месяц назад

ПожаловатьсяНарушение авторских прав
12+
12+

36 просмотров

месяц назад

Шесть блоков: от того, как устроена ИИ-система, до четырёх мер, которые можно внедрить без большой программы и без ожидания идеальной архитектуры. 00:00:38 Начало 00:00:38 О чем пойдет речь 00:02:14 Пять мифов об ИИ 00:07:40 Что такое ИИ сегодня 00:12:52 Где в цепочке вызовов появляются риски 00:17:45 Почему между решением модели и действием должен стоять человек 00:21:10 Чем решение LLM отличается от решения кода 00:25:44 Промпт это наше пожелание а не ограничение 00:29:18 264 сценария атак разделенные на 15 групп 00:30:17 Четыре главные группы атак 00:37:52 Сценарий: утечка ПДн через RAG 00:40:22 Любой канал который читает ИИ - вектор атаки 00:43:34 Картинка как инструкция 00:44:44 Реальные кейсы взломов ИИ из жизни 00:53:05 Девять типов атак 00:54:22 Четыре точки установки защиты ИИ 00:55:12 Как защитить агента 00:57:48 Вопрос: Чем пользуетесь для себя из имеющихся решений? 00:58:33 Вопрос: Чем делаете маскирование? 00:59:20 Вопрос: Что отправлять в SIEM? 01:00:48 Вопрос: Доверенный ИИ сущестует? 01:02:10 Вопрос: Расходы на ИИ и на безопасность ИИ? 01:04:22 Вопрос: Кто принимает решение какие данные нельзя передавать в ИИ? 01:05:55 Вопрос: Как защищать вайбкодеров? 01:10:22 Заключительные слова О чём поговорили 01 Что происходит между вопросом в чате и действием агента Четыре компонента: данные, модели, приложение, инфраструктура. Что происходит от вопроса в чате до ответа у чат-бота, у агента и у системы из нескольких агентов. Почему модель ничего не помнит и всё решает собранный промпт. 02 Почему модель нарушает правила из системного промпта Модель угадывает следующее слово, поэтому на один и тот же вопрос отвечает по-разному. Аудит кода не покажет, как она принимает решения. И почему системный промпт остаётся пожеланием, а не контролем. 03 Как агенту подсовывают чужую команду Карта из 15 групп атак и 264 сценариев лаборатории эталонной архитектуры на davtyan.pro. Один сценарий запустим вживую, и вы сможете повторить его у себя. Виды промпт-инъекций: прямые, через документы в базе знаний, письма и ответы инструментов. Отдельно — атака текстом через картинку. 04 Восемь инцидентов и контроль, который остановил бы каждый Восемь историй 2023–2025 годов, среди них EchoLeak, Samsung, Arup и Air Canada. По каждой: что произошло и какой контроль остановил бы атаку. 05 Что проверять на входе, в промпте, на действиях и на выходе Четыре точки контроля — вход, промпт, действия, выход — работают как четыре межсетевых экрана, и к каждой есть свои классы инструментов. Почему «LLM-firewall» не firewall и какие проверки должен делать код, а не модель. 06 С чего начать без большой программы Четыре меры, которые можно внедрить без большой программы и без ожидания идеальной архитектуры. Практический чек-лист.

Название:

Кто остановит AI агента? Четыре меры которые работают.

Категория:

Обучение