Невидимые промпт атаки-это один из самых опасных и скрытных векторов угроз для ИИ-агентов

Суть атаки в том, что вредоносные инструкции прячутся в веб-страницах или в PDF-документах так, что человек их не видит, но ИИ считывает на уровне токенов и выполняет. Например, когда ИИ-браузер или суммаризирует статью, скрытый промпт заставляет модель проигнорировать правила безопасности и выполнить команду хакера
Смысл в том чтобы наш ии ассистент мог находить и бороться с атаками самостоятельно

На страницу проекта