Как AI-файрвол защищает от джейлбрейков

Технологии · 10 мин чтения

Злоумышленник не взламывает сервер. Не пишет вредоносный код. Просто отправляет текстовое сообщение — и ИИ-агент выполняет то, что не должен. Джейлбрейк в мире ИИ — это атака словами, а не кодом. И защита от неё устроена принципиально иначе, чем всё, что было до сих пор. Мы в новом мире.

Что такое джейлбрейк и почему это серьёзно

Джейлбрейк (jailbreak) — попытка обмануть языковую модель специально сформулированным текстом, чтобы она нарушила собственные ограничения (про Guardrails читайте тут). Модель не взламывают технически: её убеждают словами, что правила в данном случае не действуют.

Выглядит это примерно так:

Guardrails в ИИ: невидимые барьеры, которые делают ИИ безопасным

Технологии · 11 мин чтения

Когда вы общаетесь с чат-ботом, задаёте вопросы голосовому ассистенту или пользуетесь автоматизированным сервисом — вы, скорее всего, уже сталкивались с guardrails, сами того не зная: именно guardrails заставляют ИИ вежливо отказываться от некоторых ваших запросов или переводить разговор на другую тему.

Что такое Guardrails?

Guardrails (в переводе с английского — «ограждения» или «перила») — встроенный механизм контроля поведения искусственного интеллекта. Guardrails задают границы: что система может делать, а что — нет. Причём речь не только о содержании ответов: guardrails ограничивают поведение системы в целом — какие действия выполнять, какие данные использовать, какие решения принимать самостоятельно, а какие передавать человеку.

Термин пришёл из мира дорожной безопасности: металлические ограждения на трассе не дают машине съехать в пропасть. По той же логике guardrails удерживают ИИ от нежелательного поведения — генерации вредоносного контента, распространения дезинформации или нарушения конфиденциальности пользователей. При этом, как и дорожные ограждения, guardrails не гарантируют полную безопасность — скорее уменьшают вероятность катастрофических последствий.

Проще всего объяснить через аналогию с корпоративным регламентом. Новый сотрудник получает инструкцию: «Никогда не разглашай персональные данные клиентов» и «Не заключай договора без юриста». Guardrails работают так же — только для ИИ и автоматически: модель не читает правила осознанно, ограничения встроены прямо в её поведение.

«Платите или живите с дырами»: как Broadcom изменил правила игры VMware

Broadcom и VMware: что случилось с рынком

Что сделал Broadcom после поглощения

Broadcom купил VMware в ноябре 2023 года за $61 млрд. Это одно из крупнейших поглощений в истории IT. Новые владельцы запустили целую серию "улучшений", которые радикально изменили отношение рынка к компании.

Ценообразование и лицензирование. Broadcom полностью отказался от бессрочных (perpetual) лицензий и перевёл всех на подписочную модель VCF (VMware Cloud Foundation). Цены для большинства заказчиков выросли в 3–8 раз, для некоторых — на порядок. Минимальный порог входа поднялся: исчезли редакции для малого бизнеса, остались только крупные bundle. Это мгновенно отрезало SMB-сегмент.

Кстати, я помню, что также было, когда IBM купил Guardium. Цена подписок выросла в 4 раза. Почти все российские заказчики тогда перешли на Imperva.

Сокращение портфеля. Broadcom прекратил продажи отдельных продуктов: vSphere Standard, vSAN, NSX как самостоятельные SKU ушли — всё упаковано в VCF. Партнёрская сеть была резко сокращена: тысячи реселлеров и дистрибьюторов потеряли статус. Broadcom оставил только крупнейших партнёров.

Поддержка. Сроки поддержки старых версий были сокращены. Ключевое решение — клиентам с истёкшей поддержкой разрешили получать патчи только для zero-day с CVSS от 9.0 до 10.0, все остальные обновления — под запретом. Фактически Broadcom создал инструмент давления: либо платите за новую подписку, либо живёте с дырами. Они серьезно усложнили скачивание обновлений, чтобы защититься от нелегитимного распространения. 

Кадры и культура. После закрытия сделки Broadcom уволил около 30% сотрудников VMware — преимущественно в продажах, маркетинге и поддержке. Это ударило по качеству технической поддержки: время ответа выросло, глубина экспертизы упала.

---

Что реально улучшилось