万兆NAS模拟测试:是什么限制了性能?

不久前,有位老朋友问了我一个技术问题。如下:

万兆的NAS类存储,以前我还真没仔细研究过性能。不过以早年千兆时代的习惯,单1Gb/s网口客户端访问60-70MB/s也还算正常吧?

然后我到网上查了下,万兆文件存储跑到1GB/s应该挺轻松的,就想着自己搭个平台验证下,看看能否遇到朋友类似的问题。

模拟测试平台:10GBASE-T直连 + NVMe SSD

我手头倒是有一台带Intel10Gb/s万兆SFP+网卡的2U主机,但其它设备都是RJ-45网口了。上面的交换机是24千兆+4个万兆SFP+的配置,这次暂时先不用光纤连接了吧。

Dell Precision 3930 Rack__机架工作站集成2__个RJ-45__网口,其中下面那个是万兆。

就地取材,我选了2台带10GBASE-T网口的1U机架工作站,凑合用双绞线直连测试。正好这2台机器装的都是Windows10专业版系统,也就先不整ServerOS了。与其说NAS存储测试,不如看作简化了环境,主要目的是验证下Windows SMB文件共享在万兆以太网下的性能。

关于测试机顺便多介绍几句:这款1U机架工作站支持550W 1+1冗余电源;后端的2个Type-C是Intel集成显卡输出/USB 3通用接口(可转接为HDMI/VGA等);Dell 3930 Rack与1U服务器最大的区别是可以支持各种Quadro、GeForce显卡,双宽全长300W功耗。比如照片中上面那台就安装了一片2080Super,等到下篇我测试Premiere视频编辑存储时会派上用场。

Aquantia AQtion AQC107——这个网卡芯片品牌可能没有Intel、Broadcom和Mellanox那样为人熟知,我在新闻中看到去年Aquantia应该是被Marvell收购了。

上图用箭头指示出的,是3930 Rack 1U__工作站主板上的2__个M.2NVMe SSD__安装位。

在常规1U机箱中,如果用HDD机械硬盘组建RAID,受限于盘位数其性能难以达到万兆网卡的带宽水平。所以本次模拟测试使用NVMeSSD以规避来自存储介质的瓶颈,并且是那种以最大带宽长时间持续写入也不会掉速的那种SSD。

在Dell商用客户端产品中,Class 50是最高等级的NVMe SSD——类似企业级SSD那样按照恒定写入带宽来设计(价格也会高一些);而Class 40及以下的就像大多数民用SSD那样,有TLC模拟SLC闪存的写入缓冲区,一开始能够达到比较高的突发写带宽。视频编辑等方面的用户需要留意下这点。

iPerf3网络测试及优化尝试

首先我用iperf3跑了下单线程测试,带宽7.75 Gb/s。

5个线程测试,合并带宽达到了9.46Gb/s,看着还凑合了?

随后我发现,文件访问客户端和服务端的网卡驱动版本不同,一台是较新的2.1.12,而另一台是2.1.5。我把版本低的也升级到2.1.12再测试。

处理完网卡驱动之后,单线程的测试带宽提升到8.14Gb/s。

然后我又在两端打开了Jumbo Packet(巨型帧)——大家知道,默认的以太网MTU数据包大小是1500字节,部分存储应用建议将其调大至9000(9014字节)。

打开JumboPacket之后,多线程iperf3测试带宽提高到9.88 Gb/s,已经接近10Gb的理论值了。

不过,可能由于我是用网线直连,中间没有交换机,MTU 9000测试单线程带宽反而有点下降,在接下来的文件传输测试中速度也不是很稳定。所以后续测试我还是先改回默认的MTU 1500。

文件读写测试:轻松超过1GB/s

刚才介绍过,运行SMB文件共享的R3930 Rack服务端配置了高速NVMe SSD,而客户端这台恰好是SATASSD。为了省事起见,我在客户端开了一个10GB的RAMDisk内存虚拟盘,这样两边都不会给网络拖后腿。

测试复制的数据内容主要是几个700MB-2.xGB的视频大文件。上图是从Windows SMB文件共享中读取数据,速度保持在1.0 GB/s以上,对应的客户端网卡接收速率也是9.x Gbps。这应该证明了Windows SMB文件共享的单一复制任务就使用了多线程网络传输,那么其它应用比如视频编辑存储呢?

测试网络文件写入有时还会更快一点,比如上图中就看到网卡发送9.9Gbps的情况。毕竟服务端的SMB共享目录位于NTFS文件系统上,可能还会有一些缓存啥的吧。

朋友的问题分析:交换机没开Jumbo Packet

虽然我测试的Aquantia网卡不开Jumbo Packet性能也还行,但朋友说他用的网卡是著名“洋垃圾”CX341 + OCP转接卡(通过光纤与交换机连接)。经过确认,他尝试打开巨型帧之后上行到服务器的性能可以达到1.2GB/s,但下行只有50MB/s。然后我又确认了他的交换机应该没开Jumbo Packet,希望是这点导致的问题吧,虽然我不是网络专家:)

本想接着给大家讲网络存储视频编辑测试,不过看看篇幅还是单独再写一篇吧。我以前对使用本地DAS磁盘、FC SAN存储做非线性编辑的素材盘还熟悉一些;NAS的好处是共享访问能力,比如大名鼎鼎的Isilon。

虽然我的测试还没有那么高大上,不过技术总是要对接应用。万兆NAS在做多层HD/4K视频编辑时能发挥出几成功力呢?敬请关注下篇…

推荐阅读

  • Multipath切换分布式存储iSCSI主路径
  • PCIe 4.0 SAS+NVMe RAID/HBA卡:最高读IOPS 300万、写24万

本文转载自企业存储技术微信公众号原文链接点这里

注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。 进一步交流技术可以加我的微信/QQ:490834312。
尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号:HL_Storage,也欢迎关注企业存储技术极术专栏,定期更新。

发表评论

邮箱地址不会被公开。 必填项已用*标注