構築からトラブルシューティングまで
InfiniBandで変わるデータセンター内通信(後編)

松本直人
仮想化インフラストラクチャ・オペレーターズグループ チェア
さくらインターネット研究所 上級研究員
2011/7/20

10年以上前から存在していた「InfiniBand」が、ここにきて、データセンターでのサーバ間通信を担う技術として急速に注目を集めるようになりました。その特徴と基本的な設定方法を紹介します。(編集部)

 前編の記事を公開した後に、東日本大震災が発生しました。お亡くなりになられた方々やご遺族には心よりのお悔やみを、またすべての被災者の皆さまには心よりお見舞い申し上げます。そして、復旧に尽力されたすべての皆さまにお礼申し上げます。

 56Gbpsも見えてきた、InfiniBandを巡る最新動向

 現在普及しているInfinband規格がQDR 40Gbpsですが、その帯域を超えるInfinband規格であるFDR(Fourteen Data Rate)56Gbpsのシステムが、いよいよ製品出荷に向けて動き出しました。海外のカンファレンスでもデモンストレーションが行われるなど、活発な動きを見せています。

 FDR HCAカードは、PCI Express 3.0対応により、現在のPCI Express 2.0対応のQDR HCAカードよりも性能面が改善されています。PCI Express 3.0のマザーボードもComputexTAIPEI2011で発表されるなど、コンピュータシステム自体の新規格への移行も、いよいよ進みそうです。

図1 InfiniBand高速化のロードマップ(出典:OpenFabrics Alliance

 また、7月22日に開催されるVIOPS06 WORKSHOPでもInfiniBand技術が取り上げられるなど、盛り上がりを見せてきています。

 40Gbps IP over InfiniBand環境のススメ

 前編でも、10ギガビットイーサネット(10GbE)機器に比べ、InfiniBandネットワーキング機器の価格が低価格であることをお話しました。事実最近になって、QDR 40Gbps HCAカードやスイッチの価格が、企業でも十分に選択できる範囲に落ち着いてきました。

 そこで後編では、3台のコンピュータを1台のInfiniBandスイッチに接続し、QDR 40Gbps環境でIP over InfiniBandネットワークを構築する手順を説明してみましょう。

図2 IP over InfiniBandネットワークの設計プラン

 今回は、VMware ESXi 4.1Scientific Linux 6.0を利用します。いずれもInfiniBand QDR 40Gbps HCAのドライバがリリースされており、筆者の環境でも十分に動作確認が行われているものです。

アダプタとケーブルとスイッチの形状

 InfiniBandネットワークを構成する場合、イーサネットとはまったく形状が異なる機器を使います。基本的な考え方はイーサネットと同じですが、1つひとつの機器形状が異なりますので注意が必要です。

InfiniBand HCAカード
QSFP+ケーブル
QDR InfiniBandスイッチ

 特に、InfiniBandでは、銅線ケーブルを使う場合は通信距離が15メートルもしくは7メートルに制限される点に注意が必要です。これ以上通信距離を伸ばしたい場合には、QSFP+光ケーブルを用いるとよいでしょう。これら光ケーブルでは数メートルから数キロメートルまで、自由に選択可能です。

 システム設備との距離をよく考慮した上で物理設計を行うといいでしょう。

 Scientific Linux 6.0のインストールと設定

 今回はScientific Linux 6.0に対応したInfiniBandドライバを、Mellanoxのサイトからダウンロードして使います。ISO形式で提供されたイメージをCD-R/DVD-ROMなどで焼き、システムにマウントした形で利用しましょう。

# uname -a                                               ※Scientific Linuxのバージョンを確認する
Linux 2.6.32-71.el6.x86_64 #1 SMP Tue Nov 23 06:49:13 CST 2010 x86_64 x86_64 x86_64 GNU/Linux

# yum install tcl tk glibc-develglibc-devel.i686 ※必要なライブラリを追加する
# /mnt/mlnxofedinstall ※CD-R/DVD-ROMからマウントしたインストールツールを実行する
# vi /etc/sysconfig/network-scripts/ifcfg-ib0 ※IPoIBを設定する
DEVICE=ib0
TYPE=Infiniband
BOOTPROTO=static
BROADCAST=10.0.0.255
IPADDR=10.0.0.3
NETMASK=255.255.255.0
NETWORK=10.0.0.0
ONBOOT=yes
# chkconfig --level 345 opensmd on               ※OpenSMをboot時に自動起動にする
# reboot
MLNX_OFED_LINUX-1.5.2-2.1.0-rhel6.isoを用いたインストール手順

 InfiniBandネットワークを構成する際には、ネットワーク中に、1つ以上のSubnet Managerが存在することが必須条件です。今回は、Scientific Linux上でOpenSM(オープンサブネットマネージャ)を稼働することで、これを実現しています。

 物理的に接続したHCAやスイッチなど、InfiniBandネットワーク機器のインジケーターに変化があることを確認してください。HCAであれば「緑・橙」が同時点灯していれば、またスイッチでは「緑・橙」もしくは「緑」が点灯していれば正常動作しています。

 これらインジケーターの意味については、各ベンダのマニュアルを参照してください。

HCAとのケーブル接続完了
OpenSM起動
InfiniBand Network機器のインジケーター確認

 

InfiniBandで変わるデータセンター内通信(後編)
56Gbpsも見えてきた、InfiniBandを巡る最新動向
40Gbps IP over InfiniBand環境のススメ
Scientific Linux 6.0のインストールと設定
  VMwareのインストールと設定
VMware上での仮想環境の設定
Scientific Linux 6.0でのトラブルシュートと動作確認
Mware ESXi 4.1でのトラブルシュートと動作確認
  InfiniBandネットワークのトラブルシュート
Wiresharkで通信を可視化
SCSI RDMA Protocol対応ストレージにも要注目
「Master of IP Network総合インデックス」


Master of IP Network フォーラム 新着記事
@ITメールマガジン 新着情報やスタッフのコラムがメールで届きます(無料)

注目のテーマ

Master of IP Network 記事ランキング

本日 月間