В чем тонкости тестирования песочниц

Поскольку занимаюсь периодически тестированием песочниц, то вижу что заказчик тестирования часто не понимает как тестировать и что тестировать. Для этого опубликую несколько основополагающих вещей, которые различают песочницы.
1. Есть ли в самом продукте сенсор для сбора файлов или нет.
Сама по себе песочница, это набор виртуальных машин. Да, все вендоры бьются тут в области как и сколько файлов определилось верно, сколько было ложных срабатываний и сколько ложных пропусков. Однако важным является то, как собственно файлы вообще попадают на тестирование в песочницу? Ведь кто-то должен выковырять трафик из ваших приложений и отдать их в песочницу! Кто это делает в вашей именно сети? И вот тут то и оказываются самые провальные результаты. Где у вас идут файлы? Да где угодно! Люди скачивают файлы браузером по HTTP, HTTPS, FTP. Люди получают файлы по почте, а это SMTP, POP3 и IMAP и их SSL версии. Ну или просто SMB или Sharepoint. И оказывается что некоторые вендоры просто игнорирует целиком приложения: кто то вообще не смотрит в FTP, кто-то не умеет расшифровывать SSL и соответственно все что идет внутри того же gmail, dropbox или facebook, который умеет передавать файлы - просто пропускается из проверки. И поэтому здесь важно что за сенсор вы используете для сбора файлов и отправки в песочницу. Вот и выбирайте.
2. Генерируется ли сигнатура или нет.
Оказалось, что часть вендоров просто показывает, что они увидели файл с плохим поведением, но сигнатуру не генерируют. Смысл песочницы какой? Чтобы вы узнали, что вас взломали и будут взламывать этим эксплойтом? Обычно после обнаружения песочницы генерируют сигнатуру и тут они уже друг с другом соревнуются кто быстрее ее создает. Самые быстрые делают это за 5 минут. Но новенькие вендоры пока что не могут создавать сигнатур и это ограничивает их применение "оповещением о проблемах". А обычно песочницы ставят, чтобы они "решали проблемы" автоматически. Вот и выбирайте.

Я выделил два критерия, но недавно смотрел комментировал отчет Forrester, где коллеги собрали еще больше критериев для сравнения песочниц.

Ну и под конец резюмирую: результаты тестирования песочницы выглядят как везение: в одном тестировании один вендор поймал эксплойт, в другом тестировании другой вендор. Потому что идеального решения которое на 100% видит и блокирует эксплойты по поведению пока нет.

И реклама ) На самом деле Palo Alto Networks предлагает установить прямо на рабочую станцию продукт TRAPS, который блокирует все известные и неизвестные эксплойты при помощи ловушек. Впрочем, это отдельный разговор.

Комментарии