Измерение производительности NGFW в PPS или TPS?

Иногда меня озадачивают таким вопросом: сколько PPS выдает данная модель NGFW. Дело в том, что packet per second - это метрика для измерения скорости роутеров, поскольку они не занимаются анализом трафика. В случае с анализаторами трафика нужно переходить на следующий уровень абстракции: измерять в транзакциях в секунду (TPS). И тогда нужно задавать другой вопрос: "Сколько транзакций HTTP длиной 64 килобайта в секунду может проанализировать ваш NGFW". 

 Да, я не спорю, что измерять можно в PPS, и еще потом сравнивать NGFW по PPS, но, на мой взгляд, это сравни обсуждению и сравнению количества еды в атомах. Сколько атомов вы съедаете за день? ) А ведь атомы воды или атомы из колбасы будут по-разному восприняты вашим организмом. Можно ли сказать, что человек употребивший 2 миллиарда молекул более сытно поел, чем другой человек, который употребил 1 миллиард молекул? Нет ) Ведь у первого могла быть вода, а у другого стейк ) Точно также и пакет HTTP/1 транзакции или HTTP/2 или SMTP или SMB транзакции по-разному обрабатывается внутри NGFW. И сбор в единое целое файла из разных пакетов внутри HTTP или SMB или HTTPS займет разное время, поэтому важно не число пакетов или фреймов, а что в них и насколько сложно эти пакеты было собрать в один файл для анализа.

Еще раз подчеркну две важных вещи в вопросе про производительность NGFW.

1) Длина транзакции (например, 64Кб) - очень важный параметр, поскольку длина транзакции приложений очень сильно влияет на их максимальное число и на общую пропускную способность устройства. Для примера,  Cisco Firepower NGFW измеряет свои устройства на транзакциях HTTP 256Кб, (в datasheet это описано фразой 1024B, 37 слайд тут)  Остальные производители стандартно измеряют производительность на HTTP транзакциях длиной 64Kб или на миксе приложений, например, Check Point, Fortinet или Palo Alto Networks. Соответственно у Cisco пропускная способность при том же числе транзакций на 256Кб транзакциях получается в 4 раза быстрее чем у других на 64К.

2) Если вы измеряете пропускную способность на солянке из разных приложений (в datasheet это помечается как appmix), то здесь еще сложнее: ведь приложения SSL без расшифрования ускоряют анализ, потому что там нечего анализировать - там все зашифровано, а приложение HTTP замедляет анализ, потому что там много файлов разных типов от EXE до картинок, также скрипты, CSS, обфускация, URL и другие объекты которые нужно проверять разными движками безопасности. Поэтому когда вендор говорит, что он измерял на миксе, то спросите что за приложения или протоколы были в этом миксе. И естественно какой у них был размер транзакций. И если измерять скорость Palo Alto Networks на миксе приложений придуманной в лаборатории Check Point, то будет быстрее или медленнее, а если наоборот? 

Про то какой у кого микс протоколов проведу исследование в следующей статье..