InfiniBandについて語るスレ

1 名前：不明なデバイスさん mailto:sage [2011/05/16(月) 22:25:36.24 ID:uoQmaZZN.net] InfiniBand(IB)について語るスレ 普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。 主要ベンダ www.mellanox.com/ www.qlogic.com/ 規格・管理ソフト等 www.openfabrics.org/ 使用可能OS Windows・Linux・vSphere Server・Solaris・HP-UX・AIX 参考 www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html ja.wikipedia.org/wiki/InfiniBand 158 名前：不明なデバイスさん mailto:sage [2011/08/14(日) 05:07:52.10 ID:Uwh/5Esp.net] 2GB/sでれば万々歳だと思うけど。 159 名前：不明なデバイスさん mailto:sage [2011/08/14(日) 14:15:46.50 ID:UWMI6Ovp.net] >>153 ドライバをWinOF 2.3に変えて、IPoIBドライバの詳細設定でConnectModeをenableにするともう少しパフォーマンス上がるかも。 うちだと、sleep時にBSOD出るようになっちゃったが。 160 名前：不明なデバイスさん mailto:sage [2011/08/15(月) 09:10:08.40 ID:KKs7kM1K.net] >>153 DDRは20Gbpsといっても実質16Gbpsだろ？ それで2GB/sなら完全に出し切ってる。 2Gbpsの間違いなら、SDR直結でももっと出てるので、 性能が出し切れてないような。 161 名前：不明なデバイスさん mailto:sage [2011/08/16(火) 20:24:10.48 ID:PTWJ9/Uc.net] 2GB/secか 夢がひろがりんぐ 162 名前：不明なデバイスさん [2011/08/26(金) 10:44:43.01 ID:nDP7RB3j.net] age 163 名前：不明なデバイスさん mailto:sage [2011/09/04(日) 00:06:48.20 ID:45Fw6R6/.net] IPoIBでHyper-V LiveMigration試してみた。 鯖：HP Proliant ML115 G5　[Phenom�U X4 940BE/8GB/160GB] ×2 HCA：MHGS18-XTC ドライバ：メーカーサイトにあった最新 Hyper-VクラスタのLiveMigration時で平均320MB/S netperfで計測したら 1.3GB/S位は出ているらしい マイグレーションはCPUとメモリがネックになってるのかも メインのクラスタがi7-860 DDR3 16GBなので @2枚買ってきて、4枚で試してみる予定 164 名前：不明なデバイスさん mailto:sage [2011/09/04(日) 01:30:26.98 ID:cFyRtlB5.net] >>159 うお、速い。 ML115 G5でそれだけスピードでるんですね 165 名前：。 うちもDDRだけど、netperfでそこまでスピード出てないです。 ちなみに、ドライバはMellanoxのでしょうか？ [] [ここ壊れてます] 166 名前：不明なデバイスさん mailto:sage [2011/09/04(日) 06:21:38.13 ID:45Fw6R6/.net] >>160 Mellanoxのサイトから落としてきたやつです。 MLNX_WinOF_VPI-2_1_3_win7_x64 167 名前：不明なデバイスさん mailto:sage [2011/09/04(日) 22:28:33.38 ID:45Fw6R6/.net] 二枚届いたので、IPoIBでHyper-V LiveMigration試してみた。 鯖：HP Proliant ML110 G6　[i7-860/16GB/160GB] ×4 HCA：MHGS18-XTC ドライバ：>>159と同じ　MLNX_WinOF_VPI-2_1_3_win7_x64 とりあえず、二台で試した結果 Hyper-VクラスタのLive 168 名前：不明なデバイスさん mailto:sage [2011/09/04(日) 22:37:35.17 ID:45Fw6R6/.net] 途中で送信してしまった… 二枚届いたので試してみた。 鯖：HP Proliant ML110 G6　[i7-860/16GB/160GB] ×4 HCA：MHGS18-XTC ドライバ：>>159と同じ　MLNX_WinOF_VPI-2_1_3_win7_x64 とりあえず、2ノード直結で試した結果 Hyper-VクラスタのLiveMigration 380MB/s〜530MB/s 結構幅がある、ML115 G5よりは少し早くなった netperfで計測したら 80MB/s位とやたら遅い、トラフィックモニタ見ても何か壁に当たってる感じ、ぴったりそこで止まる。 メモリ13GBのゲストOSをLiveMigrationしたときの時間、5回実行して平均。 IPoIB：44秒 GBE：130秒 予想より遅いので色々弄ってみたものの変わらず 今度別のドライバで試してみる。 169 名前：不明なデバイスさん mailto:sage [2011/09/08(木) 00:24:23.92 ID:GjXTbwgh.net] ヤフオクVoltaire の10Gスイッチが49800であったので迷わずぽちってしまった。 SM搭載のISR9024S-M ケーブルも6本CX-4が付属 関税やら運送費考えると、海外から取り寄せるよりおそらく安いかなぁと 今ケーブルとカードいつもより出品されてるので、チェックしてみるといいかもしれない。 カードは大量にあるので、使用感は別途レポート予定です。 NexentastorあたりでのSRPTargetにて環境構築予定 もしかしたらVMにのせてその上で動かすかもしれない。 170 名前：不明なデバイスさん mailto:sage [2011/09/08(木) 05:29:32.28 ID:af8CHQGe.net] >>164 うちはSFS7000Dを海外からぽちっと行きましたがなんだかんだで5万くらいでしたね。 SM搭載してるけど、未だにこっちは設定してないですわｗ マニュアル読んでる最中なので。 丁度テストでNexentaCoreでSRPとiSCSIの環境作ってるのでレポートしますねん。 zfs stripeのシーケンシャルリードで1.2GB/sくらいのストレージが出来たのでｗ クライアントはWindowsになるかと思いますが。 171 名前：不明なデバイスさん mailto:sage [2011/09/10(土) 17:52:05.44 ID:+Gl+1Y5W.net] Solarisの絡みの話になるのでここに書くのはちょっと気が引けるのですが、 Solaris系でSRP Target使いたいけどわからんって人向けに、とりあえず使えるようにする方法書いときます。 当方が使ってる環境がNexentaCoreなので、そこら辺は適時読み替えをお願いします。 SE11とかだと、標準ではsrpのドライバは入ってなかった筈なので、 @solaris:~# pkg search -r srp INDEX ACTION VALUE PACKAGE pkg.summary set Sun SRP COMSTAR Port Provider pkg:/driver/network/srpt@0.5.11-0.151.0.1 このドライバ入れてやりましょう。 Sunの使い方のページでみたい人はこっちでどうぞ。 wikis.sun.com/display/OSOLDesign/How+to+Enable+the+SRP+Target+Service InfiniBandのHCAでsrpが認識されているかチェック root@nexenta:~# cfgadm -al | grep -G ib::srpt ib::srpt,0 IB-PSEUDO connected configured ok SRP TargetもCOMSTARの一部なので、ターゲット上げてやる必要があります。 root@nexenta:~# svcs -a | grep srp/target online 23:55:20 svc:/system/ibsrp/target:default になってればOK なってなければ、 root@nexenta:~# svcadm enable -r ibsrp/target で有効にしてやりましょう。 SRP Targetが動作しているか確認 root@nexenta:~# stmfadm list-target Target: eui.0002C903000XXXX つづく 172 名前：不明なデバイスさん mailto:sage [2011/09/10(土) 18:11:38.17 ID:+Gl+1Y5W.net] Target: eui.0002C903000XXXX の、eui.以下の部分ですが、NODE GUIDになっているはずですので、ご確認を。 cfgadm -al | grep hca で出てくる数値と2C以下のところは一緒な筈です。 たとえばポートが複数あるカードでもtargetとしては一つしか出来ませんのでご注意を SRP Targetの場合iSCSIの場合と違って自動でTargetが作成されます。 あとは、iSCSIと同様にtarget-groupやviewやluを作成してやれば動作します。 注意事項 VMwareESX等では、そのままInfiniBandのドライバを追加してやれば、SRPのTargetに 接続できますが、Windowsの場合はOFEDの配布している最新の2.3を使用しないと 接続できません。また、うちの環境での話ですが、同一IBネットワーク上にSRP targetが 複数存在している場合には複数同時には使用できませんでした。 使用しないSRP targetのibsrpドライバを無効にしてやると動作はしました。 ちなみに、Windows上で最新のOFEDのドライバを使用しないと接続できないのは、 Solaris自体のバグです。OI最新/SE11でも直ってないみたいなのでだれかバグ報告をｗ src.opensolaris.org/source/xref/nwam/nwam1/usr/src/uts/common/io/comstar/port/srpt/srp.h で 49 SRP_IO_SUBCLASS = 0x690E が 49 SRP_IO_SUBCLASS = 0x609E に修正するだけなんですけどね。 OFEDのドライバ側にSolarisのSRP Targetの場合は間違えた値で処理するように変更が加えられてるので 動作するようです。 173 名前：不明なデバイスさん mailto:sage [2011/09/11(日) 08:44:15.26 ID:QOrC8UPf.net] >>165 opensmはトポロジの構成ポリシを選べると聞くけど、SFS-7000のsm設定は あんまり設定項目自体がないので機能が低いとかあるんですかね？ IBでスイッチングポリシがどう決まるのかイマイチわかってない。 174 名前：不明なデバイスさん mailto:sage [2011/09/12(月) 21:33:50.69 ID:pTpZeoUy.net] >>168 自分、そのこら辺まで追っかけれてないので、いまいちよくわかってないのですが、 ファットツリーとトーラスとかのアルゴリズムのお話ですよね？ 最近ofwのMLで話題になってた3Dトーラスのアルゴリズムが云々てのがありましたが。 一応、この辺のことなのかなーと言う資料は見つけたので、はっつけときます。 www.cisco.com/japanese/warp/public/3/jp/service/manual_j/snv/sfs7/sfsemug/appendixA/9161_04_appendixa.shtml これの「Subnet Manager のルーティング」って辺りですかね？ 175 名前：不明なデバイスさん mailto:sage [2011/09/14(水) 10:44:22.16 ID:jclKgVIV.net] それそれ。まだ高速バカハブ状態でしか使ってないので、 routing/partition/virtual-laneをもっと真面目に詰めてみたい。 176 名前：不明なデバイスさん [2011/09/15(木) 00:03:58.01 ID:5IxCN9J3.net] すまない、このスレみたらInfinibandなるものが欲しくなってきた！ まだ調べ始めたばかりなんですが、とりあえずHCAとケーブルとSMが 必要なのはわかった！で、最小構成で検証しようとすると… ・SDRかDDRなHCAが2枚 177 名前： ・CX4なケーブルが1本 ・Windowsが2台／もしくはLinuxが2台／もしくはWindowsが1台とLinuxが1台 でいずれか一方にOpenSMを入れて、2台をケーブルで直結すれば接続、 どちらかをストレージサーバに見立てて、もう片方をクライアント にって感じで可能なのかな？ [] [ここ壊れてます] 178 名前：不明なデバイスさん [2011/09/15(木) 00:06:24.10 ID:5IxCN9J3.net] 171だけど、連投疑問ですまない＋いまさらなんだけど >>25 の構成例って PC1<---+ 　　　　| 　　　　+--->P 　　　　　　　C 　　　　+--->2 　　　　| PC3<---+ ・PC1とPC3は1ポートのHCA搭載 ・PC2は2ポートのHCA搭載で単なるIBスイッチ兼SMになってる って理解でおｋ？ 179 名前：不明なデバイスさん mailto:sage [2011/09/15(木) 04:42:23.32 ID:yVdqg89L.net] Windows2台を直結して使っても大して幸せになれない 現状、SRP targetが動くOpenSolaris系かLinusを1台含めないと大して恩恵はない。 180 名前：不明なデバイスさん mailto:sage [2011/09/15(木) 07:30:43.61 ID:c9Wr80wJ.net] Linusか・・・どうやって調達しようか。 181 名前：不明なデバイスさん mailto:sage [2011/09/15(木) 22:51:05.27 ID:h2p44VeH.net] >>172 25だけど、ごめんよー単純にそのままだと動かなかった。 Switch less InfiniBandでググれば事例がでてくるけど、 設定の細かいところまでは出てこなくて、動作のさせ方がいまいちわからんままなのよ。 ちなみに、最低限の構成は171の構成で動くよ。 >>173,174 吹いたわｗ 182 名前：不明なデバイスさん [2011/09/16(金) 00:09:46.55 ID:5Gp5R8c6.net] 171です、ありがとー！ >>173 とりあえず最初は繋げてみるだけって検証かなーと思ってたんで、その後 は、確かにZFSを混ぜた構成を作ってみたいね。 >>175　Switch less InfiniBandのポイントありがとー！ちょっと調べてみる よ！あと一応2台で最低限動かせるって分かって、助かりました！ >>174 同じく吹いちゃったよｗ 183 名前：不明なデバイスさん mailto:sage [2011/09/16(金) 20:57:17.74 ID:5YKcju3m.net] >>167 どっちにしてもSolarisとVMwareESXiの組み合わせじゃSM載せたスイッチ必要なんでしょ？ 184 名前：不明なデバイスさん mailto:sage [2011/09/17(土) 01:21:48.18 ID:NnPwrZft.net] >>177 そうです。 って、最新のSolaris 11だとOpenSM入ってたりするか見てみるわ。 InfiniBand関係の修正が大量に入ってたので。 185 名前：不明なデバイスさん mailto:sage [2011/09/17(土) 07:23:58.22 ID:e9DYcXZA.net] InfiniBandのポートが8個ぐらいとGbEポートが32個ぐらいついたスイッチってないの？ ストレージサーバーをIBでつないで、クライアントをGbEでつなぎたいんだけど 186 名前：不明なデバイスさん mailto:sage [2011/09/17(土) 16:38:27.50 ID:AqMmxQix.net] ストレージならIBよりも、FC(FCoE)のほうが一般的じゃないか？ 187 名前：不明なデバイスさん mailto:sage [2011/09/17(土) 17:28:38.24 ID:cCc0qfdC.net] >>179 そういう製品ある。 ただ、そこまでポート数は多くないけど。 多いやつもあるっちゃーあるが、1Uとかのサイズじゃなくなるよｗ www.servants.co.jp/mellanox/products/gateways/index.html ちなみにIB/10GbE/FCをブリッジしてくれる。 ただ、お値段は7ケタだったような 188 名前：不明なデバイスさん mailto:sage [2011/09/17(土) 17:42:43.38 ID:HZYfwgus.net] エンタープライズはともかく，1Gbps越えのローカルな通信だと intel の lightpeek とかの方が現実的なコストで出来そうな気も 189 名前：不明なデバイスさん mailto:sage [2011/09/17(土) 18:59:30.98 ID:gXeLKjbG.net] >>165 NexentaCoreでinfinitband使う場合、やっぱメラのカードだとメモリ付きじゃ ないと駄目なんでしょうか？メモリなしのXTCでも行けますか？ 190 名前：不明なデバイスさん mailto:sage [2011/09/17(土) 21:17:46.55 ID:NnPwrZft.net] >>183 メラノックスの製品で言うと InifiniHostEX・Lxのメモリなしは動きません。 ConnectX系のメモリなしのは普通に動きます。てか、メモリなししかありませんが。 >>179 181だけど、業務での話よね？ よく考えてみたらら、10GbEのカードと10GbEが4ポート使えるスイッチでやるのが現実的かと。 FCoE使うとでは無ければ HP ProCurve Switch 2910al とか、DellのPowerConnect 6224とかで やると比較的安くはなるけど。 個人だったら、そのクラスの中古を頑張って漁るんだ 191 名前：不明なデバイスさん mailto:sage [2011/09/21(水) 23:54:19.23 ID:hITJymLj.net] FreeBSDで物凄いpps性能のスタック作ったとか話聞いたから、そいつにIB-10GbEのルータとかさせたらいいのかも。 DMA機能あるんだからNIC間で勝手にフォーワーディングとか設定できないのだろうか。 192 名前：不明なデバイスさん mailto:sage [2011/09/21(水) 23:55:48.70 ID:hITJymLj.net] ConnectX2あたりからそんな機能ないのかな。どうもこの世代から色々断絶があって泣いてる。 193 名前：不明なデバイスさん mailto:sage [2011/09/24(土) 02:42:44.94 ID:OVoOXtwQ.net] >>186 ConnectX系だといけそうだけど、BridgeX売ってる関係上やらないんでしょうねー。 BridgeXのチップ自体の単体販売してるけど、PCIeのコントローラ付きで15W弱の 消費電力だったから、PCIeカードにすることも可能な気が。 194 名前：不明なデバイスさん mailto:sage [2011/09/24(土) 02:46:26.93 ID:OVoOXtwQ.net] あと、Solaris 11 Early Access版でIBの機能増えてるか試してみた。 残念ながら、OpenSMの機能は未実装だった。 あと、メモリ有りのInfiniHost Exは、動作した。 メモリなしのでも、週末にでも試してみるよ。 (たぶん、OracleがメモリなしのInfiniHostを売ってないので無理だとは思うけど) 195 名前：188 mailto:sage [2011/09/28(水) 19:40:03.97 ID:ucm47yZS.net] Solaris 11 Early Access 版でも、メモリなしのInfiniHost Exは駄目ですな。 デバイスドライバで認識されないわ。 OpenSolaris 134bとかだと、ドライバのアタッチされて、このカードでは動かないよメッセージでてたんだけど それすらでなくなってるね。 196 名前：不明なデバイスさん mailto:sage [2011/09/30(金) 15:24:34.35 ID:PRUUnQBj.net] SRPとかで使うんじゃなくてIPoIBしか使わない場合、ConnectX世代のカード だと全然速いんでしょうか。 もしそうなら、10GBaseのNIC買う代わりになるのかなぁ、と思ったんですが。 197 名前：不明なデバイスさん mailto:sage [2011/10/01(土) 01:40:33.57 ID:vH/wN4Ss.net] >>190 IPoIBが無茶苦茶速くなるって事も無いかな。 家だと、チューニングなしで1.5倍くらいにはなったけど。 ちなみに、ConnextXは10GbEのNICにもなるよ。 ファーム上げてやらないと駄目だったかもしれないけど。 QSFP->SFP+の変換のアダプタがMellanoxから出てるんで、それ使えばSFP+で接続可能。 国内だと結構良い金額してるけど、海外で買う事に抵抗なければ$50弱くらいで変換アダプタ買えるし 198 名前：不明なデバイスさん mailto:sage [2011/10/01(土) 01:43:59.20 ID:vH/wN4Ss.net] 肝心のスピード書いてなかった。 InfiniHost ExからConnectXに変えたら 4Gbit -> 6Gbit くらいにはなったよ。 あと、変換アダプタはConnectX-2対応って書いてた気がする。 ConnectXでは動作するかはちょっと解らないので博打になる可能性もあるからご注意を 199 名前：不明なデバイスさん mailto:sage [2011/10/05(水) 09:51:57.22 ID:t5R12IRJ.net] connectX世代だと中古漁りでも10gbeカードと大して値段変わらん気がするけど。 10gbeカードもメーカでスピードまちまちなんで、スピードの面で10gbeに期待するのはまちがいかと。 200 名前：164 mailto:sage [2011/10/07(金) 21:23:33.74 ID:BJUPjlLf.net] ひとまず＞１６６のおかげでOpenIndiana＋napp-itで SRP Targetの構築はできたけどWindows側のSRP InitiatorのIDの見方が不明 HostGroupとTargetGroupで接続制御したいので、HostのInitiatorIDが確認 できたらなぁと、何かしらのコマンドで見れるのかしら？ eui.xxxx の形式なんだろうけど情報がない＞ 201 名前：＜ もしかして、Target作ったときのIDと同じ？ （同じサーバでOS入れ替えて同じカード確認しているので） わかる人おりますか？ カード：Infinihost�VEx DualPort OS:Windows2008R2　 WinOF:Ver2.3　SRP Driver導入済み [] [ここ壊れてます] 202 名前：不明なデバイスさん mailto:sage [2011/10/07(金) 21:52:15.20 ID:HxWg2i0P.net] >>194 Windows側じゃなくて、OpenIndiana側で良ければ # stmfadm list-target -v で、接続しているデバイスは解ると思う。 多分、eui.xxxxxのxxxx部分は、Windows側のNode GUIDじゃないかな？ windows 側から確認したったら、ibstatコマンド叩いて確認すれば解るよ。 0ｘ1234567890123456 形式で表示されるので。 203 名前：不明なデバイスさん mailto:sage [2011/10/08(土) 15:03:48.47 ID:d+p2xxZ/.net] Fibre channel のスレ無いのでこのスレでおｋ？ ストレージサーバー5台ぐらいとクライアント(GbE)100台ぐらいをつなぐのに Fibre channel を 考えてるんだけど最近 FCoE を知りました。 FCoE カードがついたストレージサーバーとFC＋CEEのスイッチさえあれば簡単に構築出来るの？ 204 名前：不明なデバイスさん mailto:sage [2011/10/08(土) 15:28:34.73 ID:S6UWp2fC.net] どう考えてもスレチ まだSCSIスレの方がマシだと思うが、それでもスレチ認定だろうな 205 名前：不明なデバイスさん mailto:sage [2011/10/08(土) 21:32:31.11 ID:GfdeDDww.net] >>196 FCoEなら、こっちのが良いかな hibari.2ch.net/test/read.cgi/hard/1208537897/ 206 名前：196 mailto:sage [2011/10/09(日) 00:47:35.70 ID:egi+JrWx.net] >>197 スマン でもFCスレって無いんだよなあ >>198 ありがとう そちらのスレにポストしてみるよ 207 名前：不明なデバイスさん mailto:sage [2011/10/09(日) 15:44:57.09 ID:QU9miVLk.net] >196 ﾃﾗｶﾜｲｿｽ（´・ω・） 563 : 不明なデバイスさん : 2011/10/09(日) 00:47:47.79 ID:egi+JrWx Fibre channel のスレ無いのでこのスレでおｋ？ 564 : 不明なデバイスさん : sage : 2011/10/09(日) 15:36:54.47 ID:cAvJgjP0 >>563 おｋじゃないので、お帰りください 208 名前：不明なデバイスさん mailto:sage [2011/10/09(日) 16:39:33.92 ID:0roytR2h.net] メーカー依存話だったら通信技術のメーカースレでやれば良いとは思うがそうでもなさそうだしな 209 名前：anonymous mailto:sage [2011/10/11(火) 13:23:07.14 ID:oPjvvx4y.net] FiberChannelのスレ、って昔みた気がするんだけど。通信技術板かな。 210 名前：不明なデバイスさん mailto:sage [2011/10/13(木) 03:26:54.15 ID:CT6+S7kD.net] SCST+SRP targetとかtgt(Linux SCSI target framework)+iSERとか試してみたい けど中々時間が取れない・・・ 211 名前：不明なデバイスさん mailto:sage [2011/10/13(木) 11:47:00.71 ID:5RgjVfbP.net] おおお https://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6-Beta/html/6.2_Release_Notes/storage.html >>iSCSI extension for RDMA (iSER) initiator and target >>iSER initiator and target is now fully supported. >>Red Hat Enterprise Linux can now function as an iSCSI initiator >>and storage server in production environments that use >>InfiniBand and where high throughput and low latency are >> key requirements. 212 名前：不明なデバイスさん mailto:sage [2011/10/23(日) 18:35:14.87 ID:Mgpu9bCC.net] Dual port な HCA を使って冗長構成を取ってる人っています？ 資料を探しても Cisco のコンフィギュレーションガイドが出てくるばっかりで。 具体的には ConnectX を積んだ PC ２台を２本の線で直結して、IPoIB でネットワークを作ろうと思ってる。 このときに１本が断線しても通信が続いてくれるのが目標なんだけど・・・・・ 213 名前：不明なデバイスさん mailto:sage [2011/10/23(日) 23:14:33.00 ID:LQaf9qNz.net] >>205 OSはなんでしょ？ LinuxだったらIPoIBのBondingの設定はMellanoxのマニュアルに載ってたけど。 WindowsやSolarisだとちょっと解らないです。 214 名前：不明なデバイスさん [2011/10/24(月) 04:40:36.75 ID:62XHfwnu.net] IBってBondingできるの？！ 215 名前：不明なデバイスさん mailto:sage [2011/10/24(月) 18:52:44.34 ID:+eooRvaQ.net] >>207 自分はそこまで突っ込んでやってないけどIB自体の冗長構成も出来たはず。 206の話はあくまでIPoIBでの話っす。 ググったらでてきた。アルテマさんのところの資料だけど www.altima.co.jp/products/mellanoxtechnologies/ib-bonding.html 216 名前：206 mailto:sage [2011/10/24(月) 19:12:45.64 ID:lzrwZgjB.net] >>206 ありがとうございますー！ 本当は Open Indiana 同士がいいんだけど、SM をどうしようもないんで 片一方は Linux の予定です。 確かに改めて調べてみたら IPoIB だと Bonding をサポートしてるという話が ちらちら出てきたので、それを切り口に、もう少し探し回ってみようと思います。 なんか出てきたら報告しますねー 217 名前：不明なデバイスさん mailto:sage [2011/10/24(月) 20:46:22.12 ID:+eooRvaQ.net] >>209 OpenIndianaでも多分IPoIBのBondingは出来るんじゃないかな。 その辺できるようにIPoIBのドライバに大分手が入ってるから。 うちはNexentaCoreなのでその恩恵には預かれないけどｗ 218 名前：不明なデバイスさん mailto:sage [2011/10/24(月) 21:46:52.65 ID:+eooRvaQ.net] 210に追加 download.oracle.com/docs/cd/E18476_01/doc.220/e18478/network.htm を見る限りSolaris11系だと、IPMPでは動くみたいですね。 219 名前：不明なデバイスさん mailto:sage [2011/10/30(日) 21:16:46.77 ID:cjjsNR0s.net] WinOF 3.0-RC1 出てるね。 IPoIBがConnected Modeが正式にサポートされてる。 これでWindowsのIPoIBの速度が上がるかな 220 名前：不明なデバイスさん mailto:sage [2011/10/30(日) 22:45:55.96 ID:SbwOU+6u.net] Solaris系OSでSRP targetが試してみたくてMHGA28-1TCをポチってしまった。 後悔はしていない。LowProfileのブラケットしか付いていないので送料込み で90ドル。この瞬間だけは超円高ﾏﾝｾｰ とりあえず簡単にNexentastorを試したい 221 名前：不明なデバイスさん mailto:sage [2011/10/31(月) 00:22:45.24 ID:UoieX4Kj.net] >>213 NexentaStoreだとSRPはWebGUI上から触れないよ それがあってNexentaCoreにした 222 名前：不明なデバイスさん mailto:sage [2011/11/04(金) 02:31:58.35 ID:nUkUdMrc.net] あ、あれ？ FreeBSD-9.0RC1でMHGA28-XTCを認識しない。。。 どういうことなんだ？キバヤシ 223 名前：不明なデバイスさん mailto:sage [2011/11/04(金) 10:10:04.86 ID:KuHYChLX.net] >>215 過去に自分がFreeBSD 9.0-current(5月くらいかな)で試したときは、 自分が持ってるInfiniHost系は全滅でした。 当時はConnectX系持ってなかったのでテストできなかったんですが、 移植された方はConnectXのENモードで使ってるっぽい記述を見た記憶があるので、 近々、ConnectXでFreeBSD 9.0に再度チャレンジしてみます。 しかし、ドキュメントが全くないのでどういう状況なのかが全く分からないんですよね 224 名前：不明なデバイスさん mailto:sage [2011/11/04(金) 10:50:05.61 ID:w8qmjF1B.net] ソース真理教。 225 名前：不明なデバイスさん [2011/11/07(月) 23:25:03.50 ID:mBSUlx73.net] InfiniBand 全然知らないんだけど自宅でクライアント5台とIBを使った鯖をつないでみたい。 ものすごいスピードでIBの鯖のRAIDにアクセスしたい クライアント達はGbEのハブでつながってるんだけど何があればIBを使った鯖をつなげるんだ？ このスレよんでると10GbEより安くてパフォーマンスがいいんだよね 226 名前：不明なデバイスさん mailto:sage [2011/11/08(火) 03:11:48.63 ID:wSYBbrGm.net] >>218 InfiniBandでその台数を繋ぎたかったら、スイッチが必須かも。 ちなみに、 227 名前：iSCSIで接続とかSMBで接続って事だったら、無茶苦茶には速度上がらない。 うちだと、iSCSIで接続すると、シーケンシャルのReadが220MB/s Writeが120MB/sくらい。 SMBは試してないので不明。過去ログ読むと出てるけど。 ・クライアントとサーバにIBのHCAカード。 ・IBスイッチ ・スイッチとクライアント・サーバを接続するケーブル ってことろかな？ サーバのOSとかクライアントのOS書いてもらえるともう少し突っ込んだ内容がかけるけど。 10GbEで5台以上接続するとなると、比較的高価なスイッチが必須。カード自体はそこそこのお値段かな。 IBだと、カードがヤフオクで8k円くらい(これもピンキリだが)、スイッチが3万で今は出てるね。 あと、ケーブルは欲しい長さの物があればヤフオクなりで。 ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。 [] [ここ壊れてます] 228 名前：不明なデバイスさん [2011/11/08(火) 13:02:59.07 ID:9HdOCYcY.net] >>219 両方とも Linux (CentOS) です。 >ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。 これが気になったんですがIBじゃなくて10GbEで接続した方が管理もスピードも楽って事ですか？ SubnetManager も必要ないし・・・。 229 名前：不明なデバイスさん mailto:sage [2011/11/08(火) 14:52:59.02 ID:gi2tiSuM.net] IPoIB が 10GbE より優れてる点はコストぐらいじゃないかな 10G以上で繋ぎたいとか、IP以外(NFS/iSCSI)でも使いたいというときに、 はじめてコスト以外のメリットがあると思う。 ちなみに、今日から（だったっけ？）サービスが始まる 「さくらのクラウド」もIB使ってるらしい。 「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装 ? さくらインターネット研究所 research.sakura.ad.jp/2011/10/11/hbstudy27/ # 資料の P.51〜 IB 利用について説明 さくらは @IT とかの記事も書いてたから、かなり IB に 力入れてる印象があるから、あえて使ったのかもしれないが 230 名前：不明なデバイスさん mailto:sage [2011/11/08(火) 17:09:31.11 ID:VtaymO8o.net] >>220 219だけど、スピードはSDR(10Gb)接続の場合の話ね。 ConneｃｔX系使って、DDR(20Gb)で接続するとIPoIBの方がパフォーマンス出たよ。 接続は、Solaris Express 11 と Windows 2008 R2 とで900MB/sくらい出た。 Windows側のOFEDは3.0-rc1使ってCMをonにしてる状態だけど。 個人的な意見だけど、一対一だと10GbEの方が楽だと思う。 これが複数の接続になるとコスト的にはIBに軍配上がるかな。 10GbEでフルスループット出るSwitchって、IB Switchに比べると倍以上違うので。 221さんが言われてるに自分も同意です。 >>221 さくらさんの場合は、ConnectX系使ってEoIBまで使ってるのが大きいかと。従来の Etehrnet部分もIBに全部集約してるので、ケーブリングが単純になるのが大きいんで しょうね。確かにストレージ系ネットワークもEthernetネットワークも全部IB上で集約する ってのは合理的だなーと思います。 231 名前：不明なデバイスさん [2011/11/08(火) 23:01:08.89 ID:Y+Qguiin.net] また聞きだけど、さくら のストレージはIPoIBのNFSという話を聞いた。 232 名前：不明なデバイスさん mailto:sage [2011/11/09(水) 10:30:22.48 ID:/k5Q3TVO.net] >ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。 あれ、ベアラスピードは10GBeは10Gbpsだけど、SDRは8Gbpsじゃなかったっけ？ ひょっとしたらIBのほうがプロトコル効率いいのか？？ 233 名前：不明なデバイスさん mailto:sage [2011/11/09(水) 11:43:23.89 ID:wiWuojdl.net] 某オクのCisco IBスイッチ Paswd解除してやろうと思ったらデフォのままだった… ちなみに↓のマニュアルの方法でリセットできるようだ ttp://www.redbooks.ibm.com/redpapers/pdfs/redp4095.pdf 234 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 00:48:25.32 ID:M1ZsPNQU.net] >>223 ほうほう、ってことはrNFS使ってるっぽいですね。 >>224 ベアラスピードは書かれてる通りですね。 計測したときは片側がWindowsだったんだけど、当時はConnected Mode対応じゃなかったので 余計に遅かったのもあるかも。手元の環境でIPoIBをiperf使ってチェックしてみたら、現状はこのくらいでてますね。 ちなみにLinux(Sientific6.1) - Solaris Express 11をDDRスイッチかまして接続してる状態です。 ------------------------------------------------------------ Client connecting to 192.168.17.7, TCP port 5001 TCP window size: 193 KByte (default) ------------------------------------------------------------ [ 3] local 192.168.17.241 port 60775 connected with 192.168.17.7 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 11.5 GBytes 9.90 Gbits/sec 某オクでCiscoIBスイッチ落札された方向けネタを一つ。 最新のSFS-7000系のTopspinOSは、IBMからおとせれますよーっと。 [] [ここ壊れてます] 236 名前：225 mailto:sage [2011/11/10(木) 01:18:17.69 ID:A9d72Ii/.net] >>226 あんがとー TopspinOS Release 2.9.0 Update 2 が最新かな？ 既にそのVerのようでした 速度についてはレイテンシとオーバーヘッドの点でIBが優位ってとこなんでしょうかね 俺も早く試したいけど、まだHCAが1枚もない・・・ 237 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 01:53:04.67 ID:M1ZsPNQU.net] >>227 ありゃ、最新ですか。 うちで確認したところ、 OS loaded is TopspinOS 2.9.0 releng #170 06/26/2007 16:40:42 で最新な筈です。 DDRだったら10GbEとほぼ変らないスピード出ると思います。 Windows(WinOF 3.0-RC1) - Solaris Express 11(OS標準ドライバ)のIPoIBで900MB/sはでてますから。 ただ、DDRのカードの出物が少ないのでちょっと手に入れるのが大変かも。 SDRのカードだったらそれなりにオクに出てるんですが・・・。 238 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 02:28:42.29 ID:A9d72Ii/.net] ふぅ。ラックにマウント完了・・・ >>228 レス恐縮です。 IPoIBで900MB/sなら10GbEと比べて遜色ないですね DDRカードが欲しいのでeBay漁ってみようと思います ちなみに、*BSDなZFS Storage(OS用)とESXiのIB接続、 別筺体のZFS Storage(ファイル鯖)とESXi GuestやClientPCの接続を考えてます。 前者は単にIB Switch<->HCAで良いと思うのですが、 後者はStorageServerに10GbE NICとHCAを挿して、ClientPCは10GbE UplinkがあるGbEエッジスイッチ経由、 ESXi GuestはHCA経由での接続が安上がりかなーと思ってます IBド素人ながら、はてなさんの構成が激しく気になります 239 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 02:34:12.70 ID:A9d72Ii/.net] はてなじゃないや、さくらたんだ。失礼しました。 240 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 06:48:37.62 ID:YOghaSxJ.net] はてなたんってDQ45CBのまな板とか並べてたんじゃなかったっけ？ 石狩のアレがそう（ブレードじゃない）ならちょっと笑う。 DDRといえばqlogicの9000 DDRがオクに安価で出てるけど、さすがに１枚目はメラのほうがいいだろーなー。 241 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 07:12:02.87 ID:dQvOBEfS.net] Solaris 11が正式リリースされたよー ttp://www.oracle.com/technetwork/server-storage/solaris11/overview/index.html 242 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 09:17:57.94 ID:M1ZsPNQU.net] >>229 *BSDでの動作って、今のところ移植された方のBlog見るとConnectX系でそれもETHモードでの動作だけな気がします。 近々、ConnectX積んだPCが空くのでそっちでFreeBSD 9.0をテストしてみる予定ですが。 FreeBSDのInfiniBandの移植ってLinuxKernelの必要なSystemCallをFreeBSDのSystemCallに置き換える層を 作って移植してるんですな。ソース見てて知りました。 >>231 ちょっと前に、ITmedi 243 名前：aかなんかでさくらさんとはてなさんの対談が載ってたけど、はてなさん最近はメーカーもののサーバ使う ようになってるって話が出てた気がします。 Qlogicは、自分持ってないのではっきり言えないんですが、QlogicサイトのWebで見てるとWindowsとLinuxのみのサポート みたいですね。最新のQDRの物に関しては今のところLinuxのみのサポートみたいで。Windowsにも移植中ってのはOFED のML見てると書いてありましたが、WinOF3.0に間に合わないかも的なメールが流れてました。 >>232 情報ありがとうございます。 早速ダウンロードしました。仕事終わったら早速インストールしてみますｗ [] [ここ壊れてます] 244 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 15:36:02.46 ID:lB6LKqjO.net] >>229 個人的な意見ですけど、DDRで揃えられるつもりなら、InfiniHost系よりもConnectX系をお勧めします。 それもConnectX系でもQSFPのポート方で。CX4のポートのもの(MHGH系)はサポート終了みたいなので。 OEM物でも、自己責任で最新ファームに書き換えできるようになってるので、安ければそれで。 ebayだったら出物がそれなりにあるので、根気よく探せば格安で手に入ると思います。 6月くらいまでは、refurbishedのConnectXが大量に流れてたんですが売れちゃったみたいで、最近はぼつぼつ出てる感じです。 あと、QSFP-CX4のケーブルが意外と値段しますので、その辺りをトータルで見ながら購入されるのがよろしいかと 245 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 17:55:16.13 ID:YOghaSxJ.net] でもお高いんでしょう？ 246 名前：不明なデバイスさん mailto:sage [2011/11/10(木) 21:05:13.98 ID:M1ZsPNQU.net] >>235 今ならなんと$65でって、その値段で先週まででてたんですけどねｗ 定期的に売りに出してる業者がいるからちょっと待てば$100くらいで出てくるかと。 在庫が200枚程あるからまとめ買い交渉受け付けるよって書いてましたが。 247 名前：不明なデバイスさん [2011/11/10(木) 23:52:45.40 ID:FSXMY8oa.net] IBoE に対応したスイッチって高いの？ IBoE と GbE を使った鯖、クライアントを混在させたいんだ 248 名前：不明なデバイスさん mailto:sage [2011/11/11(金) 00:18:05.51 ID:Xwcef8hc.net] >>237 GbEだったら安い中古のあるんじゃないかな。 eBayで何回か見かけた事ある。 10GbEになると、現行のBridgeXになるから100万越えになっちゃうけど。 249 名前：不明なデバイスさん [2011/11/11(金) 00:34:24.53 ID:Buer1oZq.net] >>238 スイッチ自体がGbEまでしか対応してないと IBoE もGiga止まりですよね？ そうなると困るのでせめて IBoE だけは 10GbE でつなげるようなスイッチって無いんですかね？ 250 名前：不明なデバイスさん mailto:sage [2011/11/11(金) 01:35:28.57 ID:Xwcef8hc.net] >>239 残念ながら、EoIB、FCoIB等のプロトコル変換出来る機械は安いのがないんですよ。 古いものだと238であげたように、GbEしかついてないですし。 LinuxとかでEoIB-10GbEのGatewayが簡単に作れればいいんですけど、 現状ではそういう風になってないんですよね。 あと、EoIBを喋らせようと思うと現状ではEoIBを理解できるGatewayがいないと設定すら 出来ないと思います。ここら辺は、自分も勉強不足なので間違ってるかもしれません。 参考までに、現行品で挙げますが www.xsigo.co.jp/products/io_director.html www.mellanox.com/content/pages.php?pg=products_dyn&product_family=77&menu_section=52#tab-three どちらも個人で買えるような代物ではないですね・・・ 251 名前：不明なデバイスさん mailto:sage [2011/11/11(金) 06:44:38.15 ID:xvd3rYLC.net] >>240 ifをbridgeすればいいんじゃない？ linuxならbrctl addif br0 eth0 eth1みたいに。 ただ、スループットは期待できないと思う。貧乏人のルータ、ってやつですな。 >>236 やっす。　connectXは10GBeにもなるからなあ。 252 名前：不明なデバイスさん [2011/11/11(金) 17:11:42.8 ] [ここ壊れてます] 253 名前：4 ID:0f3BvgVE.net mailto: 一番安い IBoE 10GbE スイッチっていくらぐらいなんでしょうか？ 8ポートぐらいの IBoE スイッチに鯖を４台ぐらいつないで、 IBoEスイッチから10GbEリンクを持ったGbEスイッチをつないで GbE のクライアントにつなげば比較的安く上がるかな？ [] [ここ壊れてます] 254 名前：不明なデバイスさん mailto:sage [2011/11/11(金) 17:26:49.47 ID:xvd3rYLC.net] IBoEとEoIBで話がかみあってない気が。 いずれにせよ３桁万円コースだと思うけど。 255 名前：不明なデバイスさん mailto:sage [2011/11/11(金) 22:52:14.60 ID:Xwcef8hc.net] >>241 IPoIB - 10GbEのルータは作ってみるつもりです。 間違い無くフルレートは出ないでしょうけどｗ オークション形式で出てるので、実際はもっと上がる可能性ありますけど、 それでも安いとは思います。普通だと$300くらいからスタートなので・・・ >>242 あー、ごめんなさい。勝手にEoIBと勘違いしてました。 ちょっと調べてみたところIBoE対応製品って比較的最近の物しかないかと思います。 CiscoのNEXUS 5000系は対応してるみたいですが。ポート数が少ないもので 言われてるような機能を持った製品はまだ市場に出てないんではないかと思います。 >>243 ご指摘ありがとうございます。その通りでした(汗) どちらにしろ、お値段は3桁万円コースですね。 256 名前：不明なデバイスさん [2011/11/12(土) 08:57:59.40 ID:JAZFyoDP.net] >>5 systemworks ってFCほとんどあつかってないし、ベンチもないな なんでIBはやってFCはやらないんだろう・・・ 257 名前：不明なデバイスさん mailto:sage [2011/11/12(土) 12:18:25.71 ID:hfBB53D+.net] 今さらFCでなにするよ。 先進性のあるもの取り上げないと、面白くないしね。 258 名前：不明なデバイスさん [2011/11/12(土) 16:12:20.13 ID:JAZFyoDP.net] FCoE とかか？

---

---

[ 続きを読む ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef