100GbEを試す Mellanox ConnectX-4 + 100G-CWDM4

目次

背景

前回はお借りした機材を利用して100GbEをテストしました。
今回は、手元に Mellanox ConnectX-4 があったので、こちらを再度簡単にテストしてみることにします。

検証機材

今回は、NICとケーブルを前回と異なるものでテストします。
(ちなみに前回はお借りした機材でしたが今回はすべて私物です。)

詳細
Machine Fujitsu Primergy CX2550 M2
CPU Intel Xeon E5-2690v4 x2
Memory DDR4 ECC RDIMM 128GB
NIC Mellanox ConnectX-4 100Gb(Ethernet) MCX415A-CCAT
Cable Intel QSFP28 100G-CWDM4 module (SPTSBP2CLCKS)
OS Ubuntu Server 20.04.4 LTS

Mellanox ConnectX-4 MCX415A-CCAT

Intel QSFP28 100G-CWDM4 module

準備

初めに、ドライバをインストールします。
手順は前回と同様です。
Mellanoxのドライバは公式サイトからダウンロードできます。

IPアドレスについて、前回と同様に 10.0.0.1/2410.0.0.2/24 を使用し、以下のように直結することにします。

10.0.0.1/24 ---------- 10.0.0.2/24

設定はnetplanを用いて行いました。

2つのNIC間は100G-CWDM4モジュールとシングルモードファイバー(duplex)を用いて接続しました。

リンクアップを確認

ethtool コマンドを用いて、100Gbpsでリンクアップしているか確認します。

$ ethtool ens11np0
Settings for ens11np0:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseKX/Full
                                10000baseKR/Full
                                40000baseKR4/Full
                                40000baseCR4/Full
                                40000baseSR4/Full
                                40000baseLR4/Full
                                25000baseCR/Full
                                25000baseKR/Full
                                25000baseSR/Full
                                50000baseCR2/Full
                                50000baseKR2/Full
                                100000baseKR4/Full
                                100000baseSR4/Full
                                100000baseCR4/Full
                                100000baseLR4_ER4/Full
        Supported pause frame use: Symmetric
        Supports auto-negotiation: Yes
        Supported FEC modes: None BaseR RS
        Advertised link modes:  1000baseKX/Full
                                10000baseKR/Full
                                40000baseKR4/Full
                                40000baseCR4/Full
                                40000baseSR4/Full
                                40000baseLR4/Full
                                25000baseCR/Full
                                25000baseKR/Full
                                25000baseSR/Full
                                50000baseCR2/Full
                                50000baseKR2/Full
                                100000baseKR4/Full
                                100000baseSR4/Full
                                100000baseCR4/Full
                                100000baseLR4_ER4/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Advertised FEC modes: RS
        Link partner advertised link modes:  Not reported
        Link partner advertised pause frame use: No
        Link partner advertised auto-negotiation: Yes
        Link partner advertised FEC modes: Not reported
        Speed: 100000Mb/s
        Duplex: Full
        Port: FIBRE
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
Cannot get wake-on-lan settings: Operation not permitted
        Current message level: 0x00000004 (4)
                               link
        Link detected: yes

Speed: 100000Mb/s の表示が確認でき、100Gbpsでリンクアップしていることが確認できます。

計測

計測ツールは iperf (iperf2) です。
iperf3 での計測はこの結果から今回は省略します。
今回は最初からMTU9000で計測を行います。

計測結果です。

$ iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size:  128 KByte (default)
------------------------------------------------------------
[ ID] Interval       Transfer     Bandwidth
[  4] local 10.0.0.2 port 5001 connected with 10.0.0.1 port 51694
[  9] local 10.0.0.2 port 5001 connected with 10.0.0.1 port 51700
[  5] local 10.0.0.2 port 5001 connected with 10.0.0.1 port 51696
[  7] local 10.0.0.2 port 5001 connected with 10.0.0.1 port 51698
[  4]  0.0-10.0 sec  28.0 GBytes  24.1 Gbits/sec
[  9]  0.0-10.0 sec  27.8 GBytes  23.9 Gbits/sec
[  5]  0.0-10.0 sec  27.0 GBytes  23.2 Gbits/sec
[  7]  0.0-10.0 sec  28.3 GBytes  24.2 Gbits/sec
[SUM]  0.0-10.0 sec   111 GBytes  95.3 Gbits/sec

95.3Gbits/set と、おおよそ100Gbpsの速度が出ていることが確認できました。

まとめ

今回は、Mellanox ConnectX-4 NICとIntel製の100G-CWDM4モジュールを用いて100GbEのテストを行いました。
当初は100G-SR4モジュールを用いる予定でしたが、ファイバーのコストが高いため、ファイバーのコストを安く抑えられる上にモジュール単体のコストが安い100G-CWDM4モジュールを用いてテストを実施しました。

結果として、しっかり100GbEにふさわしい速度が出ていることが確認できました。
しかしながら、100G NICともなるとそれなりに発熱します。
今回検証に使用したマシンはアイドル時でも部屋のカーテンがなびくほどのファンを搭載していますが、QSFP28モジュールやNICはギリギリ触れないぐらいの温度となっていました。
一般的なPCで使用する場合には冷却方法を慎重に検討する必要がありそうです。

About

インフラエンジニア
主に作業ログ

About Me

Archives