- 1 名前：不明なデバイスさん mailto:sage [2011/05/16(月) 22:25:36.24 ID:uoQmaZZN.net]
- InfiniBand(IB)について語るスレ
普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。
主要ベンダ
www.mellanox.com/
www.qlogic.com/
規格・管理ソフト等
www.openfabrics.org/
使用可能OS
Windows・Linux・vSphere Server・Solaris・HP-UX・AIX
参考
www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html
ja.wikipedia.org/wiki/InfiniBand
- 258 名前：不明なデバイスさん [2011/11/12(土) 16:12:20.13 ID:JAZFyoDP.net]
- FCoE とかか？
- 259 名前：不明なデバイスさん mailto:sage [2011/11/12(土) 20:51:33.87 ID:61ogkybw.net]
- >>245
あそこはHPC屋さんだからFCは殆どやってないのではないかと。
- 260 名前：不明なデバイスさん mailto:sage [2011/11/12(土) 20:57:32.87 ID:oL/AVp5D.net]
- linux のブリッジだとCPUがネックでろくな性能出ないんじゃないか。
少し前はGbE でもギリギリだったが
- 261 名前：不明なデバイスさん mailto:sage [2011/11/12(土) 21:33:31.95 ID:8K8Rsbn/.net]
- ブリッジングなら(EoIB)、最近のPCIeならそこそこ性能出るんじゃないかと。でも2G～3Gbpsぐらいだろうけど。
ルーティングだと(IPoIB)、遅そう。
って実際にやってみればいいんだけど、PCIex8が2本以上あるようなマザーがねーよ。というかショッパイPCしかない。
- 262 名前：不明なデバイスさん [2011/11/12(土) 21:48:14.04 ID:JAZFyoDP.net]
- >>248
HPCだとネットワークはやらないのか・・・
ネットワーク屋ってのが別にあるのかな？
- 263 名前：不明なデバイスさん mailto:sage [2011/11/12(土) 22:26:57.27 ID:bWVzVMqr.net]
- HPCで計算機結ぶのにFCなんざ使う理由がない
FCの話がしたいなら他所へ行け
- 264 名前：不明なデバイスさん mailto:sage [2011/11/12(土) 23:09:24.27 ID:oNSrxNQT.net]
- ストレージとESXiホストそれぞれにDual portなIB HBAを付けて２本の線で２台を接続、
それぞれのリンクを
・ESXiホスト <-(SRP)-> ストレージ
・VMs <-(NFS, IPoIB)-> ストレージ
にして運用する、とかできるのかな
- 265 名前：不明なデバイスさん mailto:sage [2011/11/13(日) 08:06:51.88 ID:Yqxpy+ON.net]
- SRPだとストレージはsolaris系？
SM搭載スイッチかlinux or windowsでSM立てないとリンク上がらんよ。
- 266 名前：不明なデバイスさん mailto:sage [2011/11/13(日) 19:04:49.47 ID:TC+oayOa.net]
- はやくSolaris11系かESXi5系でOpenSMが動くといいんだけどなぁ
- 267 名前：不明なデバイスさん mailto:sage [2011/11/13(日) 19:57:39.05 ID:Yqxpy+ON.net]
- ESXiの設計では、おそらく出ないと思われる。
基本的にホストOSでアプリを動かすようにできてない。
Solaris系は、OF次第じゃないかな。
- 268 名前：不明なデバイスさん [2011/11/13(日) 20:38:58.94 ID:DqZ1whGS.net]
- >>253
ESXi は SRP に対応してない、というより IB デバイスに対応してないよ。
Mellanox + ESXi だと、Mellanox ドライバが Etherデバイス + FCデバイス にみせかけてくれる。
FCoIB で FCターゲット
IPoIB で NFS
の2択じゃないかな。
- 269 名前：不明なデバイスさん mailto:sage [2011/11/14(月) 00:06:22.29 ID:A3KUkwg6.net]
- >>253
254さんの言われてるように、ストレージがSolarisだと現状は無理ですね。
LinuxでされるならSCSTをSRP Targetに使えば可能です。
あと、ESXiは5系をつかうとなるとInfiniBand自体が使えないので注意です。
ドライバがまだMellanoxから出てないので。
>>255
FreeBSDも忘れないであげてくださいｗ
調べてみたら、ESXではOpenSM動いてたみたいですね。
ESXiだと256さんが言われてるように、アプリが動かせないので無理じゃないかなーと。
>>256
OFの出来はどうなんでしょうね？
Solaris11でOFEDからかなり移植してるので、コンパイルだけで動いたりしないかなー。
>>257
言われてるように、ESXiは標準ではInfiniBandとSRPとIPoIBには対応してないですね。
ただ、Mellanox配布のOFEDドライバを入れるとSRPとIPoIBのドライバも入るのでSRPは動作します。
実際うちではそれで動いてますから。
www.mellanox.com/content/pages.php?pg=products_dyn&product_family=36&menu_section=34
でマニュアルみるとプロトコルの対応状況が書いてあります。今のところFCoIBの対応はしてなかったかと思います。
あとは、rNFSとかも対応してないですね。かなり機能限定されてるドライバなので。
ちなみに書かれてるのって、VMWareのサイトで配ってる以下のMellanoxの10GbEのドライバの方でしょうか？
downloads.vmware.com/d/details/dt_esxi50_mellanox_connectx/dHRAYnRqdEBiZHAlZA==
こっちだと、書かれてる内容的に納得なんですが。
- 270 名前：不明なデバイスさん [2011/11/14(月) 00:36:19.45 ID:H+ydeSaH.net]
- >>258
ご指摘ありがとうございます。
> ちなみに書かれてるのって、VMWareのサイトで配ってる以下のMellanoxの10GbEのドライバの方でしょうか？
おそらくそうです。10GbEの方で見た画面で間違って理解していました。
OFEDドライバも別にあったのですね、というかVMware公式で
配布しているのは10GbEでENが付いている製品用で、
OFEDドライバはENが付かないIB/VPI製品用なのですね。
- 271 名前：不明なデバイスさん mailto:sage [2011/11/14(月) 00:52:08.68 ID:A3KUkwg6.net]
- >>259
いえいえ、普通はVMware公式に有るとそっちで動くって思うでしょうし。
MellanoxのサイトにVMwareで配布してるものドライバのReleaseNoteがあったので
読んでみたんですが、10GbEドライバで使用できるものの中にはConnectXのENつく
もの以外の製品も有ったので、10GbEのみで使うならConnectX系(VPIが使用可能
な製品)は使えるのではないかと思います。調べてみたら、この辺ややこしいですね(汗)
どうなるか、一回テストしてみるのがよさそうなので環境組んでやってみます。
- 272 名前：不明なデバイスさん mailto:sage [2011/11/14(月) 01:24:40.84 ID:A3KUkwg6.net]
- OFEDの最新RC版がでてるので、人柱な方はどうぞ
OFED for Windows 3.0 RC2
www.openfabrics.org/downloads/Windows/v3.0_RC2
OFED-1.5.4-rc4 for Linux
www.openfabrics.org/downloads/OFED/ofed-1.5.4/
- 273 名前：不明なデバイスさん [2011/11/14(月) 02:14:55.28 ID:neCXws3K.net]
- 【SAN,NAS】ストレージ鯖総合【iSCSI,FC,IB,10GbE】
hibari.2ch.net/test/read.cgi/hard/1321055812/
- 274 名前：不明なデバイスさん mailto:sage [2011/11/14(月) 06:38:00.74 ID:Exe1zPrl.net]
- >>260
チップ自体はENも非ENも変わらなくて、ENはPXEとかiSCSIブート用にEEPROM持ってるんじゃないか、と想像してます。
- 275 名前：不明なデバイスさん mailto:sage [2011/11/14(月) 23:13:41.39 ID:A3KUkwg6.net]
- >>263
チップ自体は一緒ですね。ENはほぼファームが違うだけだと思います。
あとはPCIのデバイスIDとかそこら辺が違うのかな。
で、BootROMはENとVPIのカードでも多分一緒ですね。
これFlexBootととして配布してるのが同じものなので。
VPIカードも書かれてるような、EhternetからのPXEとかiSCSIのBootが可能です。
すごく汎用的に出来てますね。
- 276 名前：不明なデバイスさん mailto:sage [2011/11/15(火) 12:14:16.36 ID:Oz8F4jwP.net]
- はじめての速度測定。両側：windows 7, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe371_win32_tcpで最高速度が1500Mbps・・・・・・うゎゎゎゎぁぁぁん。
やっぱりそれなりのマシンじゃないと速度でないのね（笑）
- 277 名前：不明なデバイスさん mailto:sage [2011/11/15(火) 12:31:16.56 ID:Oz8F4jwP.net]
- で
- 278 名前：同じマシンでmyricom-CX4で接続すると最高速度は2500Mbps。
IBというかIPoIBって意外とCPU喰うん？ [] - [ここ壊れてます]
- 279 名前：不明なデバイスさん mailto:sage [2011/11/15(火) 13:25:07.63 ID:Oz8F4jwP.net]
- CPU使用率メモ。infinihostで50%、myricomで40%。one-threadっぽい動きなので50%でサチってる。
- 280 名前：不明なデバイスさん [2011/11/15(火) 20:48:06.44 ID:mXVOpU0d.net]
- >>267
CPUは何を使ってる？
- 281 名前：不明なデバイスさん mailto:sage [2011/11/15(火) 21:06:44.30 ID:Oz8F4jwP.net]
- >>268 >>265。
ConnectXが速いのは、オフロード（チップ内処理）してるからでしょうね。
- 282 名前：不明なデバイスさん mailto:sage [2011/11/15(火) 21:12:13.11 ID:RTDTZQao.net]
- >>268
>>265に(遅くて熱い)Pentium D 2.8GHzと書いてあるねｗ
- 283 名前：不明なデバイスさん mailto:sage [2011/11/15(火) 21:57:41.46 ID:mDQ+OOPG.net]
- >>265
InfiniHost系なら、上に書いてるWinOF 3.0のRC版を入れるのがお勧め。
Connected Modeが使えるようになって速度が大幅に上がるはず。
っと、これだけだとアレなので、Firm更新してて気づいたネタを書いておこう。
ConnectXはEtherModeだとUDPのオフロードがないみたい。
ConnectX2はUDPオフロードしてくれる。
- 284 名前：不明なデバイスさん mailto:sage [2011/11/15(火) 22:00:31.55 ID:Oz8F4jwP.net]
- >>271
Connectedでも大して変わらんかったです。SMの仕事がちょっと減る、とかそんなもんかなー。
ConnectXとX2の違い、チップのブローシャ見てる限りはfloating point engineぐらいなんだけど（GPU offloadで使う？）、
微妙に内部のメモリ量とかオフロードエンジンのプログラミング能力とか違いそうですね。
- 285 名前：不明なデバイスさん mailto:sage [2011/11/16(水) 00:22:56.87 ID:ML89bY3o.net]
- >>272
あらま、変らなかったですか・・・。
DDR接続で InfiniHost Lx の Linux - ConnectX の Solaris 間のIPoIBで10Gb/sくらいでてました。
Linux側がML115 G1のAthlon X2 5000+ で Solaris側がXeon X3460です。
ConnectXとX2でファームが完全に分かれてるから、なんらかハードの差があるんでしょうね。
最初はそんなに差なんてないだろって思ってたんですが、同一環境上のConnectXとConnectX2で
BootMessageでUDPのオフロードが有効にならんよってメッセージが出て驚いたんですがｗ
- 286 名前：不明なデバイスさん mailto:sage [2011/11/16(水) 01:04:24.46 ID:m55q9mhU.net]
- 興味は有るのだが、このスレ濃すぎて何言ってるのかわからん。
みんな本業が運用系のエンジニアって訳じゃないよね。
どうやって基礎知識得たの？
- 287 名前：不明なデバイスさん mailto:sage [2011/11/16(水) 01:57:29.88 ID:ML89bY3o.net]
- >>274
職場はコンピュータ系とは全く別の業種ですｗ
ネットワーク系のことは全くの趣味ですね。
基礎知識ってInfiniBandのですかね？
自分は元々ネットワークの技術ずっと追っかけしてたので、
最初に幾らか資料読んで、あとは実践でひたすら覚えていってる感じですね。
実質InfiniBandを触りだして半年くらいですから、そんなに詳しいわけでもないんでｗ
InfiniBand自体、技術的には昔からあるんですが、ノウハウの部分があんまり表に出てない
(というか、触ってる人が少ない)ので、自分がやってて貯まったノウハウとかを書込していってる
感じです。後からやろうとしてる人が楽できるように。
- 288 名前：不明なデバイスさん mailto:sage [2011/11/16(水) 02:24:48.45 ID:ML89bY3o.net]
- MellanoxのOEMもののカード使ってる人向けネタ
最新のファームの適用方法
https://forums.oracle.com/forums/thread.jspa?threadID=1905893
PXEブートとかいらないんだったら、途中のiniファイルの編集は不要。
うちで書換を確認したのは、以下のカード
・VOLTAIRE HCA 410 Ex-D (InfiniHost Lx MHGS18-XTC)
・HP 380298-B21 (InfiniHostEx MHEA28-1TC かな？)
・HP 448397-B21 (ConnectX MHGH2
- 289 名前：8-XTC)
・IBM 44R8728 (ConnectX MHGH29-XTC)
VOLTAIREのカードは、iPXEの最新のBootROMを焼いてみたけど、
PC起動時にiPXEのメッセージが出てくるところまでは確認。
TopSpin(Cisco)のカードは上記方法では出来なかった。
1枚カードがあぼーんしたので注意を orz
とりあえず、IBMのサイトから最初に入ってるイメージよりも新しいFirmは入手できたから
そっちを突っ込んだ。 [] - [ここ壊れてます]
- 290 名前：不明なデバイスさん mailto:sage [2011/11/16(水) 09:18:14.08 ID:RIs8d0AX.net]
- >>276
tombstone化してしまいましたか（w
mst statでconfig側のインタフェースぐらい見えてるのなら、flintに強制書き込みモードがあった気がする。
- 291 名前：不明なデバイスさん mailto:sage [2011/11/16(水) 17:09:42.38 ID:dtxIRgpn.net]
- スパコンとストレージ用途以外の使い道ってあるのかな？
- 292 名前：不明なデバイスさん mailto:sage [2011/11/16(水) 18:41:38.65 ID:ML89bY3o.net]
- >>278
FCとかEtherとかをIBの上に乗っけれるので、ケーブルが集約出来るのはメリットかな。
さくらさんがIBで組んでるのは上記理由もあるかと。
最新のiPXEのInfiniHost系Memfree用(ExとLx用)のBootROM作ったけど、
人柱になってくれる人いるかな？
自分ところは、BootROMの書込までは出来たんだけど、SAN Bootの環境は
作ってないのでテストできないので実際Boot出来るかは不明なんで
- 293 名前：不明なデバイスさん mailto:sage [2011/11/17(木) 10:20:31.95 ID:AZ3cVfJP.net]
- EoIBのブリッジかFCoIBのブリッジが必要じゃない？>BoIB
ふつーの人は絶対持ってないような（w
infinihostIIIのファーム覗いてみたけどわけのわからんコード。どこのCPUだろ？全くの独自、ってわけではなさそうだけどなあ。
- 294 名前：不明なデバイスさん mailto:sage [2011/11/17(木) 20:29:16.26 ID:ymMYiwA7.net]
- >>280
いやいや、ブリッジいらんですｗ
IPoIB iSCSI Boot か SRP Bootになるんでｗ
起動用の環境つくるのが、ちょっと面倒なだけですわ
えらいもんおっかけされてますね。
- 295 名前：不明なデバイスさん mailto:sage [2011/11/18(金) 06:32:18.65 ID:WGcIiuKZ.net]
- >>281
失礼しました、IPoIB iSCSIでOKなんだ。だったらMS iSCSI target(最近無料化)でもいけるかな。
linux(debian)のnetpipe-mpi使ってMPIoverIBのスループット計りたいんだけどやり方さっぱりわからん。
- 296 名前：不明なデバイスさん mailto:sage [2011/11/18(金) 21:24:16.77 ID:WGcIiuKZ.net]
- linuxで速度測定。両側：debian6.0.3, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe-tcpで最高1150Mbps、connected modeで850Mbps、ちなみにmyricom CX4だと4100Mbps。
・Debianはmodprobe ib_ipoibだけでib0がifconfigに現れる。
・opensm及びinfiniband-diagsには要ib_umadモジュール。
・なんかますます10Gbeとの差が。貧弱なマシンはConnectX必須かと。
- 297 名前：不明なデバイスさん mailto:sage [2011/11/18(金) 21:52:06.63 ID:Ac+1XDLH.net]
- >>282
多分いけますよ。FlexBootのマニュアルみてると、ISC DHCPのサーバにパッチ適用しないと
駄目みたいですけど。
>>283
PCのスペックが低いとInfiniHost系だとしんどいんですね。
しかし、Connected modeのが遅いのが意外でしたわ。
ちなみに、Debianに標準で入ってるOFEDのベースは1.4.1とかだったはずなので、
ベースが古いってのもあるんですかね。自分は、sid(Kernel 2.6.38辺り)ベースで、
Debian-OFED(1.5.2)を突っ込んで試してみたことはあるんですが、標準のは使って
なかったので、比較出来ないです。
- 298 名前：不明なデバイスさん mailto:sage [2011/11/18(金) 22:01:37.07 ID:WGcIiuKZ.net]
- >>284
connectedは説明みると「UDPのでかいパケットか、TCPの特定条件だと速いよ」みたいな書き方だったので、
netpipe-tcpだと合致してないのかも。
新カーネルやofedは試してみたいところですが、ま、infinihostは見放されつつあるので期待はしてないです。
- 299 名前：不明なデバイスさん mailto:sage [2011/11/19(土) 16:18:58.97 ID:JhNlkJWS.net]
- もう
- 300 名前：一度Win7で計り直したら、connectedのほうが速かった。すまん。
＃再起動しないとだめなのかも。
connectedで2200Mbps、no connectedが1500Mbpsだった@Pentium D 2.8GHz。 [] - [ここ壊れてます]
- 301 名前：不明なデバイスさん mailto:sage [2011/11/21(月) 02:15:30.70 ID:aB9kUHsV.net]
- >>286
とりあえずちょっと速くなったようでなにより。
むむ、再起動すると大丈夫だったのね。以前WinOF 2.3でConnected ModeをOnに
してると、起動時にOnに出来なかったってメッセージが出てたから、ドライバの制限で
起動時だけ変更可能なんでしょうなー。
おまけ、ConnectXのブラケット見てて気づいた。
InfiniHostEx系のブラケットがそのまま使えるのね。
ConnectX2の1ポートだと、InfiniHostLxのブラケットがそのままいけそう。
- 302 名前：不明なデバイスさん mailto:sage [2011/11/21(月) 02:28:48.08 ID:/PxAlNbd.net]
- どっかにDualPortのInfinihostIIIのブラケットだけ落ちてないかな(´・ω・`)
- 303 名前：不明なデバイスさん mailto:sage [2011/11/21(月) 03:10:55.23 ID:YhwOt2i6.net]
- さてはロープロだったな
- 304 名前：不明なデバイスさん mailto:sage [2011/11/21(月) 09:42:02.09 ID:ORwXW+2F.net]
- >>287
connectedとdatagramは切り替わってたぽいんだけど、MTUが切り替わってなくてスピード変わらなかった感じ。
つまるところ、connectedでのスピード向上はMTU上昇による上位層での処理減少、って奴っぽい。
＃icmpはうまく実装されてないみたいで、ping -l 10000 とかやるとインターフェースがdownします（笑）
debianでスピードが逆に落ちたのもMTUが変わってなかったからかも。
>>288
SFF8470、ケーブルごついからねー。24AWGだとアスパラガスぐらいあるし。
うちはPA-010ME（メッシュカバー）をハンドニブラで適当に加工した。どーせ趣味だし。
- 305 名前：不明なデバイスさん mailto:sage [2011/11/21(月) 10:03:03.09 ID:ORwXW+2F.net]
- 補足。
・メッシュカバーはニッパでも加工可能。ニッパの歯が傷むかもしれないけど。
・ケーブルの太さと伝送距離の関係は下記参照。（パッシブケーブル）
www.meritec.com/productfiles/categ_24/4x%20Wire%20Gauge%20vs%20Performance%20Over%20Length%20Test.pdf
・ケーブル刺す時に接点のタイミング？で1Xでリンクアップする場合があるので、ibstatやvstatでちゃんとX4でリンクしてるか
確認したほうがいい。
- 306 名前：287 mailto:sage [2011/11/22(火) 02:58:39.55 ID:cd+8LQp2.net]
- ConnextXのブラケットだけど、試してみたけど駄目だった orz
ConnectX2の1ポートのブラケットは、2mmくらい穴位置がずれて駄目。
なんで、スペアパーツで出ないかと思って調べてみたら、こんなのが
Mellanox Short Bracket MT90837A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
Mellanox Tall Bracket MT90839A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
物の写真がないので、不明なんだけど使えるんだろうか？
誰か人柱をｗ
- 307 名前：不明なデバイスさん mailto:sage [2011/11/23(水) 12:30:40.22 ID:qJQ4G9BY.net]
- ESXiのストレージ接続としてIB良いなぁと思うも、
SMをどうするかって問題が。
ZFS使ってるから、Solaris系かBSDでSM動いてくれないと・・・
ん～4Gbpsになっちゃうけど、環境整うまで
FCに逃げるしかないのかなぁ。
- 308 名前：不明なデバイスさん mailto:sage [2011/11/23(水) 13:14:18.13 ID:1GkMTiHn.net]
- >>293
IBスイッチでSM積んでるものあるから、そういうの選べば一応行けるけど。
- 309 名前：不明なデバイスさん [2011/11/23(水) 15:51:06.10 ID:ZxF+eDmL.net]
- >>293
家でやるなら デュアルポート片方をDirectPathI/Oで仮想マシンに生で見せる。
んで、仮想マシンにLinux+SM
もう片方のポートはESXに見せる
やったことないのでアイディアだけっす
- 310 名前：不明なデバイスさん mailto:sage [2011/11/23(水) 18:02:26.38 ID:pnhbD8t7.net]
- 今ちょうど某オクにSM付きスイッチ出てるべ？
- 311 名前：不明なデバイスさん mailto:sage [2011/11/23(水) 19:59:36.44 ID:1GkMTiHn.net]
- >>295
残念ながらDualPortのカードって1枚にしか見えないからポート単位のDirectPathI/Oは不可能ですね。
あと、カードわけたとしてもESXiとLinuxの間がスイッチないと駄目ですね(スイッチ前提で考えてたらごめん)。
ESX4.1だったら、OpenSM動くんだけど。Solaris系をストレージに使うとなると色々制限が厳しい。
- 312 名前：293 mailto:sage [2011/11/23(水) 21:34:25.89 ID:uialXv1r.net]
- >>294
>>296
やっぱSMスイッチですかねぇ。SDRってのがちょっと気にくわないというか、
どうせならDDR位と思っちゃう所もありまして。
>>295
>>297
実はその手も一瞬考えましたｗ
ただ、3台数珠繋ぎでのはっきりした動作例が無かったのと、
VT-dでまともに動いてくれるか？って所もありますし。
ESXi-ストレージ間の帯域増やせたら、あわよくば、単独で動いてる
ファイルサーバーまでESXiの上に乗っけちゃおうかと目論んではいるんですが、
なかなかいい手がないなー。
- 313 名前：不明なデバイスさん mailto:sage [2011/11/23(水) 22:43:17.02 ID:TA46mxrp.net]
- ESXiとSolaris系のZFSなストレージを組み合わせたいというニーズが大きいのはよくわかったｗ
- 314 名前：不明なデバイスさん mailto:sage [2011/11/23(水) 23:42:18.38 ID:1GkMTiHn.net]
- >>298
楽するならSMスイッチ。
ただ、自分はスイッチのSM設定ってした事ないので何とも言えずｗ
DDRになると、カードの値段がSDRに比べると無茶苦茶に高いわけじゃないですが
ちょっと高い気が。
VMwareのサイトで見たのは、ConnectXだったかをESXi上でパススルーすると
動作がおかしいってのは見た事あるけど、実際どうなのかは不明。
個人使用っぽいので、アレな方法を書いてみる。
とりあえずDirectPathI/Oが使えるのが前提
耐障害性がーって言われると困る構成＆スレ違いネタになる部分が多々だけど
・ESXiでSolarisを動かすだけの最低限のデータストア用意
・ESXi上にSolarisインストール
・DirectPathI/Oで、ストレージカードとIBか10GbEをSolarisVMにマッピング
(ESXi側で共有かけたかったらネットワークカードのマッピングは不要)
・ストレージカードにZFSの共有かけるPoolのDiskを追加して、Pool作成
・作成したPoolの一部をESXiのデータストア用に切り出し、iSCSI Target設定
・SolarisVMのiSCSI TargetにESXiから接続。他のVM用のデータプールに。
・SolarisVMの余ったPool部分ははファイルサーバ用にも使える
元ネタは海外のサイトだけど。
この構成だと、IBなり10GbEに繋げるのは一台になっちゃう。
あと、IBだとSolarisVMと接続できるのは、WindowsかLinux限定になるか。
- 315 名前：293 mailto:sage [2011/11/24(木) 00:07:39.78 ID:xCIMl9Wd.net]
- >>300
やっぱSMスイッチが一番楽ですよねぇ、構成縛られないから。
SSDでストレージ組んでる訳じゃないので、
ぶっちゃけSDRの帯域でも使い切ることは無いとは思ってますがｗ
で、アレな方法ですが、えぇ、思い切り個人使用です、はい。
で、なるほど～と思いつつ、よくよく考えてみたら、
その方法の場合、IB直結で別PCに繋ぐ必要が無いときって
IBいらなくないっすか？ｗ
10GbEは別の意味で必要かもしれませんがｗ
内部SwitchをESXiのソフトだけで賄うと結構負荷が高いかも？
VT-cでも使って、10GbE AdapterをSwitch代わりに使えば、
負荷は問題なくなるかもだけど、余りにも贅沢な使い方にｗ
（物理ポートがLinkDownしてる状態で動くのだろうか・・・
いや、多分動かないだろうなｗ）
ストレージ部分だけDirectpathでVM直結で、
ESXi他はiSCSIでVMと内部Switchで接続って事ですよね。
確かに方法としては良さそうなんですが、
ZFS�
- 316 名前：ｩ体メモリイーターなのと、ESXi上で、現状複数のVMに10G以上
メモリーを使われてる事を考えると、ESXiの鯖に
32GB付けないと、まかないきれないかも・・・？
[] - [ここ壊れてます]
- 317 名前：不明なデバイスさん mailto:sage [2011/11/24(木) 01:07:54.96 ID:/I0TOwaL.net]
- >>293
構成的には楽なんですけど、設定が楽なのかがよくわからないんですよね。
某オクに出てるのは、TopSpinOSのだから、このスレでも使ってる人が何人か
いますけど、スイッチのSM使ってる人っているのかな？
アレな方法ですけど、IBスレなのでなんとなくおまけで付けてただけですｗ
自分も接続するクライアントに速度が必要じゃなければ、いらないよなーと
思いながら書いてたのでｗ
ホストとゲストで内部Switch使う場合って、VMCIを有効にしても速くなら
ないんでしたっけ？実際に自分で試してみればいいんですけど・・・
他のVMが、大量にメモリ使ってるならちょっとアレな方法はしんどいですね。
- 318 名前：不明なデバイスさん mailto:sage [2011/11/24(木) 09:25:32.79 ID:txlbh1FE.net]
- ESXiってローカルループバックアダプタ（ダミーNIC）って設定できないの？
スイッチのSMってまああってもなくてもいいものだとは思います。結局Linuxこさえて繋げば同じことなので。
設定はいずれにせよ簡単（topspinのだとSMをデフォルト値でcreateするのみ）。
ただ、SMの目的のためにスイッチ買ったりlinuxこさえたりするぐらいなら、10GBeのほうがずっと簡単＆安上がり、では？
３台またぎのスイッチなし、って結局サブネット２つできることになるので、だめじゃないかなー。誰か試したんだっけ？
- 319 名前：不明なデバイスさん mailto:sage [2011/11/24(木) 09:35:00.24 ID:txlbh1FE.net]
- しかし某オクの相場、ってよーわからんなあ。
super/superを知らないから安かったり、よくわからん製品だから安かったり。
まあユーザ（買う方）も少ないから釣り合い取れてるのかな。
- 320 名前：不明なデバイスさん mailto:sage [2011/11/24(木) 20:29:36.24 ID:/I0TOwaL.net]
- >>303
ローカルループバックアダプタ設定できますよ。
今回話題にしてるのは、そのローカルループバックアダプタのパフォーマンスがどの程度って話ですね。
ホストのスペックがそこそこあれば、十分パフォーマンスは出るみたいですけど。動いてるゲストの数とか
ゲスト側の負荷とかで色々条件が変るので。
スイッチのSMはそんな感じで設定するんですね。
うちも設定してみようかなー。ただ、セカンダリのSMに設定するとは思いますが。
台数少ないと、間違いなく10GbEの方が簡単で安上がりですね。
ただ、スイッチの出物がすごく少ないのがネックですね。
三台またぎのスイッチ無しはやった事ありますが、InfiniBandのネイティブだと設定の仕方が解らず挫折してます。
IPoIBだと、言われてるようにサブネット二つにしてルーティングしてやればTCP/IPでの通信はできました。
言われてるサブネットがInfiniBandのサブネットだったら意味なしの返答なのでご了承を。
確かに某オクの相場は意味不明ですなぁ。
知ってる人だったら、激安ってのが多々出てますね。出品者側が価値を解ってないからってのが大きいんだと。
特殊用途の製品＆一般だとあまり知られてないってのが大きいんでしょうね。
- 321 名前：不明なデバイスさん mailto:sage [2011/11/24(木) 21:30:10.15 ID:txlbh1FE.net]
- infinibandのサブネットです。＞数珠つなぎ
でサブネット間のルーティングって(infinibandの)ルータが必要じゃないのかな。
でinfinibandのルータ、ってたぶん死ねるような値段かと。
- 322 名前：不明なデバイスさん mailto:sage [2011/11/24(木) 22:35:32.73 ID:/I0TOwaL.net]
- 自分でかなり最初に書いてたけど、OpenSMでこの設定したらルーティングできそうなんですよね。
(自分で書いておいてすっかり忘れてたｗ)
https://wiki.chpc.utah.edu/display/CHPC/Ember+Cluster+OpenSM+Configuration+Notes
あと、リング接続で動かされてる方も
www.slideshare.net/syoyo/diy-infiniband-networking
出来そうってのは解るんですけど、どうやって設定するってのがよくわからない。
どちらにしろOpenSMが動作してる環境は必須なんですが。
- 323 名前：不明なデバイスさん mailto:sage [2011/11/24(木) 22:43:47.68 ID:txlbh1FE.net]
- 2ポートのカードなら同一サブネット可能なんでしょうか？
なお、上のほうの「routing_engine」って同一サブネット内に複数経路ある場合の経路選択アルゴリズム、だと思います。
- 324 名前：293 mailto:sage [2011/11/24(木) 23:13:11.29 ID:xCIMl9Wd.net]
- えぇ、色々考えて、今回はFCで行くことにしましたｗ
さすがに8Gbpsは高いので、4Gbpsですが。
実は、別にあるファイル鯖がWin機でそこにMS iSCSI targetを入れて
使ってた事もあったんですが、OSにパッチ当てる→要再起動のたびに、
ESXi上のVM全部落とすのが面倒で。
その為にBSD+ZFS+istgtで1台仮想鯖用にストレージ立てました。
Linuxはどうかと言えば、もうこれは宗教に近いと言いますか、
かれこれ20年近く鯖用にBSDしか扱ってこなかったんで、Linuxのお作法になじめないんですよね。
Solarisは仕事で触ってたことがあるんで、まだ良いんですが。
まぁ、ESXiも5.0に上げる予定が有ったので、ドライバ出るまで
SRPが使えないって問題もありますし。
FreeBSDか、SolarisでSMが動くようになってESXiにドライバ来たら
再度IBへの移行を考えるかも。
その時までFCで遊んでますｗ
- 325 名前：不明なデバイスさん mailto:sage [2011/11/24(木) 23:35:51.83 ID:txlbh1FE.net]
- FC、emulexの8G品がオクで安価に（笑）
＃SFP付きだし。
- 326 名前：不明なデバイスさん mailto:sage [2011/11/25(金) 00:06:51.32 ID:7fJvbJKx.net]
- >>308
ごめんなさい、ご指摘の通り上のルーティングは同一サブネット内の経路選択アルゴリズムでした。
下の資料みてると2ポートのカードなら可能そうに見えるんですけどね。
どういう設定をしているんだろうかと思ってるんですが。
>>309
あら、FCで決定ですか
FreeBSD 9.0にもOFEDは移植されてるので、近いうちに動くようになるとは思いますけどｗ
IBがもう少し楽に動くようになったら、戻ってきてくださいねｗ
- 327 名前：不明なデバイスさん [2011/11/25(金) 01:52:16.23 ID:MwOgxDY8.net]
- 10GbEが糞だからFCとかIBを使わなくてはいけないんだよなあ
- 328 名前：不明なデバイスさん mailto:sage [2011/11/25(金) 02:22:10.39 ID:Vvp6BG2d.net]
- 10GBase-Tがもっと値段下がればなぁ
サーバセグメントはIB、端末は10GBase-Tにしたい
- 329 名前：不明なデバイスさん mailto:sage [2011/11/25(金) 09:33:38.28 ID:Cx0E5TL2.net]
- >>309
20年前にBSD系というと・・・SparcStation2+SunOS4.1.3とかしか思いつかん。
＃Solarisは2.1のころからのつきあいだけど、oracleになってから一切さわらず。
>>313
10GBase-Tは電力喰う、レイテンシあり、SFPのところに入らない、などの理由で普及しないと思われ。
- 330 名前：不明なデバイスさん mailto:sage [2011/11/25(金) 23:31:04.57 ID:ny+HkQzw.net]
- >>312
糞、というか。
FCでもIBでも10GBeでも、結局SFP+なりQSFPなりのインターフェース＋PCIeインタフェース＋オフロードエンジンなわけで、
オフロードエンジンをプログラム可能にしちゃうと結局これらには差がないわけで、
だからemulexもqlogicもmyricomもmellanoxもみんなCNAに走るわけで。
但し単に「切り替えられますよー」のCNAから今はFCoEやEoIBなどの「なんでもこれ経由で出せますよー」の第２世代CNAになってるわけで。
その場合のベースとして、例えばFCをベースにしてIPFCでIP転送、というのも考えられるけど、FCは基本接続台数は127台。
EtherをベースにするつまりFCoEが（いろんな機器あるので）コスト安そうなんだけど、Etherはパケットロスがあってもいい規格で、
この上にFCを載せると非常に都合が悪い。それで結局Etherにいろいろ拡張せにゃならん。
でIB。接続台数は6万台だし基本パケットロスないし、EoIBやFCoIBがやりやすい。
しかもmellanoxは早々と40Gb速度品を比較的安価に出してきてるわけだしベア性能はTop500で証明済み。
�
- 331 名前：ﾆ書いたけど結局ふつうの企業のクライアントは1Gbeなわけで、EoIB←→1Gbe x24とかのブリッジスイッチが
例えば30万程度で提供されない限りいろいろ普及は無理だなー、って思う。 [] - [ここ壊れてます]
- 332 名前：不明なデバイスさん mailto:sage [2011/11/26(土) 01:03:28.50 ID:Uj9619ub.net]
- 3行にまとめて
- 333 名前：不明なデバイスさん mailto:sage [2011/11/26(土) 02:57:15.33 ID:7BYpr4oz.net]
- >>316
EtherもIBもFCも全部似た方向に行ってる。
IBはその中で大量の1セグメントのネットワークが可能な上にカード自体はかなり安い。
でも、普通の企業だと1GbEがメインなんで、IBとEtherを接続する機械が低価格で出ないと復旧は無理
- 334 名前：不明なデバイスさん mailto:sage [2011/11/26(土) 21:47:26.77 ID:ZVKGS/hp.net]
- cisco 7000dはIB側(IPoIB)にも管理用のIPアドレスを振る事ができるので、
Etherの管理IPアドレスとの間で簡易ルータにならないかと思ってやってみた。
だめだった。まあ可能だったところで100BASE-TXのスピードなんだけどね。
- 335 名前：不明なデバイスさん [2011/11/27(日) 15:29:34.34 ID:sf/QJNdv.net]
- >>313
10Gbase-Tはエラー率、温度がやばすぎて使おうとは思えない。
Twinaxのほうが現実的。
- 336 名前：不明なデバイスさん [2011/11/27(日) 17:20:19.22 ID:Z+wYwGUN.net]
- 導線だと取り回しが楽なんだよな
光は曲げられないから大変
- 337 名前：不明なデバイスさん mailto:sage [2011/11/27(日) 17:29:43.87 ID:6EdWlT3r.net]
- >>320
このスレの住人は決してそう思ってないぞ。AWG24のSFF-8470なんてなあ、（ｗ
＃ちなみにSMFでも最小曲げ半径15mmとか25mmとかが普通なんで気にする必要全くなし。
- 338 名前：不明なデバイスさん mailto:sage [2011/11/27(日) 18:06:42.99 ID:cauGjWgL.net]
- >>320
は？
逆だろ？
お前、ファイバー使ったことないだろ？
- 339 名前：不明なデバイスさん mailto:sage [2011/11/27(日) 19:17:35.44 ID:YH0In5V+.net]
- >>320
最近CX4のケーブルをファイバーに変更して取り回しが楽になったと喜んでる人が通りますよｗ
って、321の方がおっしゃってるようにInfiniBandのケーブルはAWG28で約8mmくらいあるから
ファイバーのが逆に取り回しが楽になるんですよね。
- 340 名前：不明なデバイスさん mailto:sage [2011/11/27(日) 21:49:47.34 ID:526o+p7N.net]
- >>317
GbEとIBの間でいいのなら、PCルータで十分じゃね？
問題は10/40GbE<->IBの部分。
- 341 名前：不明なデバイスさん mailto:sage [2011/11/27(日) 23:57:08.83 ID:osYvCsYL.net]
- >>320
最近のファイバーは曲げ耐性スゴいぞ
下手しなくても銅配線材の方がまがらないくらい
フレッツを入れたときに屋内配線用にコネクタを取り付け済みのファイバーケーブルが来たけどこれがめっちゃ柔らかくて進歩を実感したよ
- 342 名前：不明なデバイスさん mailto:sage [2011/11/28(月) 08:06:50.72 ID:rvCCgUX8.net]
- >>324
40GbE<->QDR IBのPCルータとか胸が熱くなる･･･
- 343 名前：不明なデバイスさん mailto:sage [2011/11/28(月) 08:29:31.79 ID:yE0D/2Sa.net]
- >>326
PCI-e 3.0のx16でも、16GiBだからなぁ。
いつワイヤースピード出せるようになるのか・・・
- 344 名前：不明なデバイスさん mailto:sage [2011/11/28(月) 08:30:55.17 ID:yE0D/2Sa.net]
- >>327
あ、16あればたりるのか。
- 345 名前：不明なデバイスさん mailto:sage [2011/11/28(月) 08:49:39.22 ID:19Vkbmpx.net]
- ショートパケット無視でも10GbEって6MppsだからPCルータだとさすがにちょっと届かない位か？
GbEは用途を選べば実用の領域に入ってる。
- 346 名前：不明なデバイスさん mailto:sage [2011/11/28(月) 09:37:01.24 ID:+KpZj0mL.net]
- GbeとIBの間でいいんだけど、Gbeが24本あってIBとの間でワイヤスピードやpps考慮するとPCルータじゃ無理でしょ。
市販の10Gbe←→Gbeルータが仕切り20～30万であることを考えると、その価格帯になれば10Gbeの代わりになるかなあ、と。
＃でもL2ブリッジならそもそもEoIBじゃないと駄目だけど、EoIBはまだまだ、って感じだしなあ。
- 347 名前：不明なデバイスさん mailto:sage [2011/11/28(月) 09:40:09.93 ID:+KpZj0mL.net]
- >>325
ホーリーファイバね。あれはちょっと特殊だし距離延ばせないんで。
ただVCSELなSMFだと主流になる可能性があると思う。
- 348 名前：不明なデバイスさん mailto:sage [2011/11/28(月) 21:27:18.73 ID:uLtQAD+M.net]
- 駆け出しの頃はファイバーは女の子みたいに扱えって言われたけど進歩したもんだｗ
- 349 名前：不明なデバイスさん mailto:sage [2011/11/28(月) 23:28:31.52 ID:1grOWv3f.net]
- 全くだな、いまどきの女の子ときたら
- 350 名前：不明なデバイスさん mailto:sage [2011/11/29(火) 09:24:46.75 ID:PN8FW+ON.net]
- 戦後に強くなったのは女の子と光ファイバー
- 351 名前：不明なデバイスさん mailto:sage [2011/11/29(火) 13:36:36.67 ID:GkmxL9Gb.net]
- わたしマルチモードだから。
- 352 名前：不明なデバイスさん mailto:sage [2011/11/30(水) 00:48:33.64 ID:WCom+m6f.net]
- そして俺はいまだにシングルモード
- 353 名前：不明なデバイスさん mailto:sage [2011/11/30(水) 15:15:20.87 ID:SYoioA/Z.net]
- ババン、バ、バン、バン、バン！
- 354 名前：不明なデバイスさん [2011/11/30(水) 18:44:16.06 ID:x86vA2xE.net]
- 一般家庭に光ファイバーが導入される日は何時だろう
高級マンションとかだったら光ファイバー設置出来ますとかやってるのかな？
- 355 名前：不明なデバイスさん mailto:sage [2011/12/01(木) 06:17:26.01 ID:sXT9G8Xg.net]
- インフィニバンド！
- 356 名前：不明なデバイスさん mailto:sage [2011/12/05(月) 00:44:52.17 ID:J8Fe7yPh.net]
- OFED-1.5.4が明日の夜にはでるのかな？
とりあえず、OFED-1.5.4RC5とWinOF 3.0-RC3が出てます。
- 357 名前：不明なデバイスさん mailto:sage [2011/12/05(月) 21:16:03.99 ID:J8Fe7yPh.net]
- Solaris11でOpenSMのコンパイルどうなるかやってみたが、見事にこけた orz
ソースちょっと追っかけてみたけど、LinuxのKernel Headerファイルに依存してるところが
結構あるんで、こりゃ移植に手間かかるわとおもた
- 358 名前：不明なデバイスさん mailto:sage [2011/12/05(月) 21:22:24.36 ID:kEr46NjD.net]
- そもそも管理用のパケットが送れない（送るverbを実装してない）とかいうレベルじゃないのかな？
|
 |
