您的位置: 网界网 > 评测 > 正文

下一代防火墙产品公开比较测试评估方法——意见讨论稿

2013年05月27日 18:36:48 | 作者:《网络世界》评测实验室 董培欣 | 来源:

摘要:在以往经历的网络产品测试过程中,发现有这么一种奇怪现象:厂商之间特别喜欢进行性能数据方面的对比。哪个厂商的性能数据指标比别人高,就是技术实力比别人强,无论这样的指标在实际应用中是否适用。而由于缺乏统一的产品评估...

标签
测试
评估方法
下一代防火墙

 

前言:由比数字变成比产品,由比性能变成比功能

在以往经历的网络产品测试过程中,发现有这么一种奇怪现象:厂商之间特别喜欢进行性能数据方面的对比。哪个厂商的性能数据指标比别人高,就是技术实力比别人强,无论这样的指标在实际应用中是否适用。而由于缺乏统一的产品评估办法,至使用户在选择产品时也不得不凭借此类性能指标来对产品进行选择。并由此产生了系列的产品隐患。

为了进行数字方面的比拼,有些厂商采用千兆带宽产品选型送万兆处理性能设备测试,有些厂商为了追求高性能指标而对产品功能性进行了忽略,甚至有些厂商不对外公开自身的产品型号,以及相关产品功能及性能测试指标。如此以往,为企业用户产品选型工作罩上了层层的黑幕。为了不重蹈数字评比的覆辙,特此在本次下一代防火墙[注]产品公开比较测试进行之前,先行推出一个下一代防火墙产品公开比较测试评估方法

希望可以通过此类评估方法,使用户清楚认识到,什么样的产品才是适于自身需求的产品。在选购产品时不再仅凭借数字的比拼而确定产品,由比数字变成比产品,由比性能变成比功能。同时也希望各厂商将自身不同档次的产品性能指标进行公开,在统一的测试方法下进行统一的评测,不要在用户选型测试时再通过进行集中评测的方式进行产品的初选活动,以避免厂商暗箱操作的可能。

基本性能指标评估

厂商喜欢比数、用户喜欢看数有其必然存在的道理。因此基本性能指标测试项还将存在,但在指标测试后的评估办法需要进行改进。

在此《网络世界》评测实验室建议评估办法如下:

网络层基本性能测试指标

在本次公开比较测试中,我们计划对产品网络层主要进行两项测试,一项是吞吐量、一项是时延。

吞吐量

根据目前网络情况来看,没必要将2544中7种标准包长测全,在吞吐量测试中计划对64Byte、512Byte和1518Byte三种包长进行测试。并统计64Byte下的数据包转发速率、512Byte下的吞吐量与1518Byte下的数据包转发流量。

考虑到目前网络中传输的数据包平均长度与512Byte数据包长比较接近,512Byte包长下的线速转发性能已经可以满足目前绝大部分网络层数据转发应用需求,因此计划在测试中整机吞吐量性能由512Byte数据包长的吞吐量来进行计算。(本次评测中,测试仪表可对4个千兆网络接口或2个万兆网络接口双向吞吐性能进行测试。)

数据包转发速率

由于受网络接口带宽和数据包长度的限制,数据包长越小,转发速率越高。因此,在数据包转发速率测试中,通过64Byte包长进行测试。

数据包转发流量

原因同上,数据包长越大,相同转发速率下转发流量会越高,因此,在数据包转发流量测试中,通过1518Byte包长进行测试。测试出1518Byte包长下转发速率后用转发速率×1518×8得出实际转发流量。

时延

在时延测试中,计划对不丢包情况下64Byte和1518Byte的时延进行测试并比对。

网络层基本性能测试指标评估办法

计划按吞吐量测试结果将产品分为千兆级和万兆级产品并按数据包转发速率和转发流量将产品分成高、中、低端三个档次。

数据包转发流量为千兆或万兆线速的产品为千兆或万兆级低端产品。

吞吐量为千兆或万兆线速的产品为千兆或万兆级中端产品。

数据包转发速率为千兆或万兆线速的产品为千兆或万级兆高端产品。

产品分级目的:通过产品分级初步解决产品指标评估不统一,一味进行性能数据对比的情况,希望可以达到由比数字变成比产品的评测目标。

应用层基本性能测试指标

应用层基本性能测试指标目前有如下三个:

应用层新建连接处理速率(每秒新建连接数)

并发连接数

网络应用流量

应用层基本性能测试指标评估办法

与网络层性能测试相同,在应用层基本性能测试中也存在着“比数”的情况。网络世界在以往的评测过程中也在尝试着对应用层基本性能进行分级。现讨论试行分级办法如下:

应用层新建连接处理速率(每秒新建连接数)

在企业级的网络业务应用中,应用层的新建连接处理速率并非是越高越好,过高的应用连接处理本身就是一种Flood攻击行为!由此势必要对应用层新建连接处理性能进行明确的定义。现计划对应用层新建连接入理速率分级如下:

千兆低端设备:平均每对千兆端口网络新建连接处理速率4000-8000新建连接每秒(4000新建连接每秒处理速率时,已可满足文件大小为32K左右,千兆网络的应用流量传输需求。)

千兆中端设备:平均每对千兆端口网络新建连接处理速率8000-16000新建连接每秒。

千兆高端设备:平均每对千兆端口网络新建连接处理速率16000-24000新建连接每秒。

(注:不建议千兆设备的平均每对千兆端口网络新建连接处理速率高于24000新建连接每秒)

万兆低端设备:平均每对万兆端口网络新建连接处理速率40000-80000新建连接每秒(40000新建连接每秒处理速率时,已可满足文件大小为32K左右,万兆网络的应用流量传输需求。)

万兆中端设备:平均每对万兆端口网络新建连接处理速率80000-160000新建连接每秒。

万兆高端设备:平均每对万兆端口网络新建连接处理速率160000-240000新建连接每秒。

(注:不建议万兆设备的平均每对万兆端口网络新建连接处理速率高于240000新建连接每秒)

并发连接数

并发连接的数量同样并非越高越好,以企业网关级产品每用户占用1Mbps网络宽带(+本站微信networkworldweixin),同时建立200个并发连接来计算,千兆网络中20万的并发连接就完全可以满足用户的应用需求了,如果是企业内部网络数据传输,所需同时建立的并发连接数会更少。

然而在行业用户及电信级用户对并发连接的应用需求就完全不同了,200万的并发连接可能仅能满足千兆网络带宽的应用需求。

因此计划分类如下:

千兆低端设备平均每对千兆端口网络并发连接20-100万

千兆中端设备平均每对千兆端口网络并发连接100-200万

千兆高端设备平均每对千兆端口网络并发连接200万以上

万兆低端设备平均每对千兆端口网络并发连接200-1000万

万兆中端设备平均每对千兆端口网络并发连接1000-2000万

万兆高端设备平均每对千兆端口网络并发连接2000万以上

求讨论:

在当前测试计划中,对应用户基本测试指标测试时要求分别开启IPS、AV(防病毒)、URL管理功能进行测试。然而在测试过程中尚缺乏有效确认功能真实开启的研证手段,或加入功能验证手段后产品性能会有所下降。因此是否在不规定开启功能项或完全不开启功能项条件下对产品进行测试,产品的各项功能性测试在后面的产品功能确认性测试中具体按功能进行,并加以评判?

产品功能指标评估

在网络世界的下一代防火墙产品测试方案中,将下一代防火墙按已知应用、已知威胁、未知威胁、发生威胁四部分进行分类,因此计划按此四部分对下一代防火墙的基本功能及厂商特色功能进行划分,计划评分方案如下:

一、功能发布

无论参与评测厂商与未参与评测厂商公开发布或向我们提供产品功能列表中功能与我们最终确认的基本功能或厂商特色功能相吻合的功能项。

厂商产品通过功能发布评估,每项功能可积1分。

二、基本确认

通过产品管理控制界面对相关功能进行调用设置,以对产品功能进行确认。

厂商产品通过基本确认评估,每项功能可积2分。

三、功能性确认

通过功能性确认测试,对厂商产品功能进行确认。

厂商产品通过功能性确认测试评估,每项功能可积3分

四、应用性确认

在通过功能性确认测试的基础上,对产品功能的网络或应用处理性能进行测试。

功能性测试结果在基本性能测试结果50%以下积3分,50%-80%之内积4分,90%以上积5分。

所有功能项得分相加为厂商产品功能评估总分。

评估目的

希望通过此功能评估方法,让用户更直观的了解厂商产品,把产品功能数字化,在比数字的同时更是比功能!同时也希望厂商们更多的将产品指标公开,让用户可以清楚明白的选择产品。

参考资料

1.下一代防火墙:(Next Generation Firewall),简称NGFW,是可以全面应对应用层威胁的高性能防火墙。通过借助全新的高性能单路径异构并行处理引擎,NGFW能够为用户提供有效的应用层一体化安...详情>>

[责任编辑:董培欣 dong_peixin@cnw.com.cn]

我也说几句