目次
背景
前回はお借りした機材を利用して100GbEをテストしました。
今回は、手元に Mellanox ConnectX-4 があったので、こちらを再度簡単にテストしてみることにします。
検証機材
今回は、NICとケーブルを前回と異なるものでテストします。
（ちなみに前回はお借りした機材でしたが今回はすべて私物です。）
| 詳細 | |
|---|---|
| Machine | Fujitsu Primergy CX2550 M2 |
| CPU | Intel Xeon E5-2690v4 x2 |
| Memory | DDR4 ECC RDIMM 128GB |
| NIC | Mellanox ConnectX-4 100Gb(Ethernet) MCX415A-CCAT |
| Cable | Intel QSFP28 100G-CWDM4 module (SPTSBP2CLCKS) |
| OS | Ubuntu Server 20.04.4 LTS |
Mellanox ConnectX-4 MCX415A-CCAT
Intel QSFP28 100G-CWDM4 module
準備
初めに、ドライバをインストールします。
手順は前回と同様です。
Mellanoxのドライバは公式サイトからダウンロードできます。
IPアドレスについて、前回と同様に 10.0.0.1/24 と 10.0.0.2/24 を使用し、以下のように直結することにします。
10.0.0.1/24 ---------- 10.0.0.2/24
設定はnetplanを用いて行いました。
2つのNIC間は100G-CWDM4モジュールとシングルモードファイバー(duplex)を用いて接続しました。
リンクアップを確認
ethtool コマンドを用いて、100Gbpsでリンクアップしているか確認します。
$ ethtool ens11np0
Settings for ens11np0:
Supported ports: [ FIBRE ]
Supported link modes: 1000baseKX/Full
10000baseKR/Full
40000baseKR4/Full
40000baseCR4/Full
40000baseSR4/Full
40000baseLR4/Full
25000baseCR/Full
25000baseKR/Full
25000baseSR/Full
50000baseCR2/Full
50000baseKR2/Full
100000baseKR4/Full
100000baseSR4/Full
100000baseCR4/Full
100000baseLR4_ER4/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: None BaseR RS
Advertised link modes: 1000baseKX/Full
10000baseKR/Full
40000baseKR4/Full
40000baseCR4/Full
40000baseSR4/Full
40000baseLR4/Full
25000baseCR/Full
25000baseKR/Full
25000baseSR/Full
50000baseCR2/Full
50000baseKR2/Full
100000baseKR4/Full
100000baseSR4/Full
100000baseCR4/Full
100000baseLR4_ER4/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Advertised FEC modes: RS
Link partner advertised link modes: Not reported
Link partner advertised pause frame use: No
Link partner advertised auto-negotiation: Yes
Link partner advertised FEC modes: Not reported
Speed: 100000Mb/s
Duplex: Full
Port: FIBRE
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
Cannot get wake-on-lan settings: Operation not permitted
Current message level: 0x00000004 (4)
link
Link detected: yes
Speed: 100000Mb/s の表示が確認でき、100Gbpsでリンクアップしていることが確認できます。
計測
計測ツールは iperf (iperf2) です。
iperf3 での計測はこの結果から今回は省略します。
今回は最初からMTU9000で計測を行います。
計測結果です。
$ iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 128 KByte (default)
------------------------------------------------------------
[ ID] Interval Transfer Bandwidth
[ 4] local 10.0.0.2 port 5001 connected with 10.0.0.1 port 51694
[ 9] local 10.0.0.2 port 5001 connected with 10.0.0.1 port 51700
[ 5] local 10.0.0.2 port 5001 connected with 10.0.0.1 port 51696
[ 7] local 10.0.0.2 port 5001 connected with 10.0.0.1 port 51698
[ 4] 0.0-10.0 sec 28.0 GBytes 24.1 Gbits/sec
[ 9] 0.0-10.0 sec 27.8 GBytes 23.9 Gbits/sec
[ 5] 0.0-10.0 sec 27.0 GBytes 23.2 Gbits/sec
[ 7] 0.0-10.0 sec 28.3 GBytes 24.2 Gbits/sec
[SUM] 0.0-10.0 sec 111 GBytes 95.3 Gbits/sec
95.3Gbits/set と、おおよそ100Gbpsの速度が出ていることが確認できました。
まとめ
今回は、Mellanox ConnectX-4 NICとIntel製の100G-CWDM4モジュールを用いて100GbEのテストを行いました。
当初は100G-SR4モジュールを用いる予定でしたが、ファイバーのコストが高いため、ファイバーのコストを安く抑えられる上にモジュール単体のコストが安い100G-CWDM4モジュールを用いてテストを実施しました。
結果として、しっかり100GbEにふさわしい速度が出ていることが確認できました。
しかしながら、100G NICともなるとそれなりに発熱します。
今回検証に使用したマシンはアイドル時でも部屋のカーテンがなびくほどのファンを搭載していますが、QSFP28モジュールやNICはギリギリ触れないぐらいの温度となっていました。
一般的なPCで使用する場合には冷却方法を慎重に検討する必要がありそうです。