InfiniBandについて語るスレ

1 名前：不明なデバイスさん mailto:sage [2011/05/16(月) 22:25:36.24 ID:uoQmaZZN.net] InfiniBand(IB)について語るスレ 普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。 主要ベンダ www.mellanox.com/ www.qlogic.com/ 規格・管理ソフト等 www.openfabrics.org/ 使用可能OS Windows・Linux・vSphere Server・Solaris・HP-UX・AIX 参考 www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html ja.wikipedia.org/wiki/InfiniBand 552 名前：562KB/s [] [ここ壊れてます] 553 名前：不明なデバイスさん mailto:sage [2012/06/10(日) 00:24:42.69 ID:+c6ECaom.net] Windows7 の SRP Boot がうまくいきました。 Target : CentOS6.2 + SCST2.2.0 (Xeon E5-2609 2.4GHz) Initiator : Windows7 + winOFED3.1 (Xeon E5-2650L 1.8GHz) ・HCA は双方 eBay で落札した Mellanox の MCX353A-FCAT です。 ・BootROM について、iPXE はこの HCA に未対応ですが FlexBoot3.3.420 で大丈夫でした。 ・Target 側で ISC DHCP 4.1.0p1 に InfiniBand パッチを当てたものを立ち上げ、 　その root-path の指定だけで tftp は使わずにすみました。 ・tmpfs に置いた60GBのイメージファイルから起動して、速度は下のとおりです。 kie.nu/cWh ・このスレはいつも大変参考にさせていただいています。 あまりお役に立てませんが、ご質問等があれば遠慮なくおっしゃってください。 554 名前：不明なデバイスさん mailto:sage [2012/06/10(日) 03:15:30.36 ID:INBxKVA+.net] おー、速いなあ。 555 名前：不明なデバイスさん mailto:sage [2012/06/11(月) 18:31:15.36 ID:HX2YKslR.net] >>525 FDRうらやましいですｗ ちなみにインストールからSRP使ってされたんでしょうか？ (iSCSIとかのインストールと同様に) AIKでイメージ弄らないと駄目なのが面倒で試してないのですが。 あと、iPXEの自前でコンパイルしたBootROMで、InfiniHost系でも同様にSRP Boot可能 だと思います。ただし、メモリ有りのInfiniHostはiPXEのコンパイルが通りませんでしたが。 ネタとしてこの辺を投下しておこう。 blogs.technet.com/b/josebda/archive/2012/05/11/windows-server-2012-beta-with-smb-3-0-demo-at-interop-shows-smb-direct-at-5-8-gbytes-sec-over-mellanox-connectx-3-network-adapters.aspx SMB2.2は結局SMB3になったのね。 556 名前：不明なデバイスさん mailto:sage [2012/06/11(月) 23:30:12.24 ID:6MJGGMHq.net] >>527 FDR、恥ずかしながら使いこなせていません。 一つには PCIe Gen3で動作していない可能性があり、M/B(Rampage IV Extreme)は Gen3対応のはずですが、3.4GB/sで頭打ちします。 （PCIeの動作状況をリアルタイムに確認する方法はないものでしょうか） iSCSIのようにWindowsAIKでカスタムメディアを作る方法は、dismでOFEDのドライバを統合する あたりまでうまくいったのですが、imagexによるイメージキャプチャの段階でつまずきました。 そこで無骨ですが、いったんローカルのSSDにOFEDとsanbootconfを含めてインストールし、 そのダンプイメージをddでTargetに転送する方式をとりました。 iPXEは残念ながら、15B3:1003ではコンパイルが通りませんでした。 557 名前：不明なデバイスさん mailto:sage [2012/06/11(月) 23:51:21.74 ID:6MJGGMHq.net] SMBはかなり良くなるようですね。 Windows Server 2012 Betaには最小限のドライバが入っていますが、新しいものをここから落とせます。 www.mellanox.com/content/pages.php?pg=products_dyn&product_family=129&menu_section=34 （これを入れるとFirmwareが2.10.2280に更新されますが、Flexboot3.3.420とは相性が悪いです。） MellanoxのTwitterによるとServer同士の場合にのみ有効とのことなので、 Server同士でramdiskを共有フォルダにして計測してみました。 Sequential Read : 642.313 MB/s Sequential Write : 825.390 MB/s Random Read 512KB : 593.501 MB/s Random Write 512KB : 721.289 MB/s Random Read 4KB (QD=1) : 35.011 MB/s [ 8547.6 IOPS 558 名前：] Random Write 4KB (QD=1) : 36.585 MB/s [ 8931.8 IOPS] Random Read 4KB (QD=32) : 286.451 MB/s [ 69934.3 IOPS] Random Write 4KB (QD=32) : 206.025 MB/s [ 50299.1 IOPS] [] [ここ壊れてます] 559 名前：不明なデバイスさん mailto:sage [2012/06/14(木) 21:04:34.78 ID:8PFnQGbi.net] QLE7240がebayで安く購入できたので、一応DDRなので期待して ２台のCentOS6.2-x86_64を対向接続してiperf測定してみました。 hostA # iperf -s hostB # iperf -c 192.168.x.x IPoIBな環境ですが、以下のファイルから構築しました。 1) OFED-1.5.4.1.tgz 2) QLogicIB-Basic.RHEL6-x86_64.7.1.0.0.58.tgz いずれの場合でも1.3~1.5Gbit/secの結果でした。DDRなのでもうちょっと 出ないかなと思うのですが、こんなもんですかね。tipsなどありましたら 助言をお願いいたします。 # Mellanoxがdefact standard ?　中古探しは慎重に。 560 名前：不明なデバイスさん mailto:sage [2012/06/15(金) 21:02:04.57 ID:q/rNE5N6.net] >>528 なんだかパフォーマンスでてないですね。 うちで過去に計測したSDRのSRP Targetとの接続と速度が変わらないくらいってのが謎。 iPXEにMellanoxが独自に手を入れてるので、新しいカードだと無理なんでしょうね。 >>530 QLE7240あるからテストしてみようか？ 買ったはよいものの、開封すらしてなかったので。 直結とスイッチかましてのテストでよいかな？ 561 名前：不明なデバイスさん mailto:sage [2012/06/15(金) 21:35:08.07 ID:KzEphqui.net] >>516 fioでベンチとってみました。 randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1 fio 2.0.7 bw (KB/s) : avg=48377.22, iops=94, Run status group 0 (all jobs): READ: io=5120.0MB, aggrb=48378KB/s, randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1 fio 2.0.7 bw (KB/s) :avg=81036.99, iops=157 Run status group 0 (all jobs): WRITE: io=5120.0MB, aggrb=80703KB/s な結果でした。 # 相変わらず、わからんログがでています。ＳＲＰ　targetですが、 111e5ed30 (tag 21, op 17): blocking further cmds on dev disk0 due to serialized cmd Jun 15 21:28:06 localhost kernel: [0]: scst_block_dev:6662:Device BLOCK (new count 1), dev disk0 Jun 15 21:28:06 localhost kernel: [0]: scst_check_unblock_dev:160:cmd ffff880111e5ed30 (tag 21): unblocking dev disk0 Jun 15 21:28:06 localhost kernel: [0]: scst_unblock_dev:6739:Device UNBLOCK(new 0), dev disk0 562 名前：不明なデバイスさん mailto:sage [2012/06/15(金) 23:05:37.12 ID:qHSnoPHJ.net] >>531 単位勘違いしてない？ どう考えてもSDRであの速度は出ないでしょ。 563 名前：不明なデバイスさん mailto:sage [2012/06/16(土) 06:39:06.53 ID:grmbXKUG.net] >>531 おお、直結でテストしていただけたらありがたい。4枚買ってすこし へこんでいるところです。QLE7240カード表面にPilotと印刷されて いてESみたいなものかと懸念しております。自分の直結環境は AMD Athron64 +5200, 2GB RAM Pentium G6950, 13GB RAM　です。 564 名前：不明なデバイスさん mailto:sage [2012/06/17(日) 14:18:56.56 ID:diRcmTfD.net] >>533 ごめん、書き方悪かった。 SRP接続だとパフォーマンスでてるけど、Windows　2012のSMB3.0だと思ったほどパフォーマンスが出てないって意味でした。 >>534 Qlogicの新しめ(QLE72x0以降)のは、Linuxしか対応してないことになってるけど、 Windowsでも動くか知りたくて買ったヤツだけど。 Linuxで直結対向はWindowsのConnectXで試してみるよ。 とりあえず、すぐに構築出来る環境がそれしかないのでｗ 565 名前：不明なデバイスさん mailto:sage [2012/06/22(金) 01:19:26.44 ID:Ascd2CcI.net] Mellanox の vSphere 5.0 用ドライバ出てた。 Supported HCA が ConnectX-2 以降...。 566 名前：不明なデバイスさん mailto:sage [2012/06/22(金) 06:33:04.21 ID:nZTXIg ] [ここ壊れてます] 567 名前：Hq.net mailto: >>536 しかも SRP is not part of the ESXi 5.x driver package [] [ここ壊れてます] 568 名前：不明なデバイスさん mailto:sage [2012/06/22(金) 12:07:55.12 ID:57jxKXOd.net] >>534 環境作るのに手間取って遅くなって申し訳ない。 QLE7240(CentOS 6.2 + Qlogicのドライバ) - ConnectX(Windows7 WinOF 3.1)でiperfしてみた。 とりあえず、チューニング無しでやったら言ってたみたいに2Gb/s位しかでなかったけど、Windows側を ConnectModeに変更して、iperfのバッファサイズを両方1MBに上げたら、8Gb/s位まで上がった。 しかし、何故かLinkが10Gでしてて弄ってもLink速度上がらなかったので、MellaoxとQlogicの直接 接続だと何かまずい事があるのかも >>536,537 出る出る詐欺はやっと終わったのかｗ うへ、サポートのHCAがConnectX-2以降の上に、SRPサポートが無くなったって使うメリットが 全くないじゃないか。つか、うちはSRPで構築してるから洒落にならん orz 569 名前：不明なデバイスさん mailto:sage [2012/06/22(金) 12:16:38.71 ID:wrRXh6HP.net] >>536-537 ( ﾟДﾟ) ESXiで楽してたけど、まじめにKVMへ移行するかなぁ ちょっくら週末に試してから決めよう 570 名前：不明なデバイスさん mailto:sage [2012/06/22(金) 17:14:29.75 ID:57jxKXOd.net] ESX5用の環境作ってInfiniBandのカードが動くか調べてみた。 ConnectX(MHQH19-XTC)は一応動作したね。 追試で、ConnectXのMHGH28-XTCとかを、動作確認してみるわ。 ただ、InfiniHostIII(MHES18-XTC)は認識すらされない orz 完全にInfiniHostは切られたと思って間違いないかと。 571 名前：不明なデバイスさん mailto:sage [2012/06/23(土) 21:25:15.76 ID:lOpklH/j.net] >>538 追試ありがとうございました。チューニングすれば8Gb/secまで上がるので希望が 持てました。:-) あれから施行したこと、1)ケーブルの交換2)ifcfg-ib0にCONNECTED_MODE=yesと MTU=65520を追加。3)/etc/infiniband/openib.confのIPOIB_LOAD=yes, SET_IPOIB_CM=yesなどの設定をしていますが、相変わらず1.5Gb/secの状態です。 ibdiagnet, ibv_devinfoなどでみているところです。CPUがpoorなんで、それが原因か もしれませんがもうちょっと粘ってみます。 /etc/modprobe.d/のib_qib.confとかib_ipoibあたりが関与しないかなー。根本的な ところで間違っているような気がします。 572 名前：不明なデバイスさん mailto:sage [2012/06/24(日) 00:37:21.03 ID:A42m4GH2.net] >>540 公式な supported じゃないとはいえ、Connect-X が動く報告があって安心した。。 自分の環境(MHRH19-XTC)でも試してみます。 573 名前：不明なデバイスさん mailto:sage [2012/06/24(日) 21:08:34.05 ID:xvp4a6QH.net] >>541 やっと解決しました。538さんができているので自分もきっと解決できると 信じて（ちょっと大げさかな）、ユーザーマニュアル、インストールマニュ アルを読んでいました。ipath_pkt_testなるコマンドがあって、 [root@centos62641 ~]# ipath_pkt_test -B Buffer Copy test: 1487 MB/s 対向のホストは [root@centos62643 ~]# ipath_pkt_test -B Buffer Copy test: 168 MB/s と異なる値。箱をあけてみると、なんとPCI-Eのx2レーンのスロットに さしていました。差し替えて、iperfしてみたら、7.78 Gbits/sec。ヤタ。 なおQLE7240のMTUは4096、connected　modeがデフォルトです。 マニュアルにはBIOSなど細かい調整方法が書いてあって必読です。 574 名前：不明なデバイスさん mailto:sage [2012/06/24(日) 23:40:29.31 ID:gJDfEebJ.net] >>542 ちょっと色々追試してたんだけど、結局ESX5でConnectXは駄目だった。 540で試してたときは、スタンドアロンで認識してたので 575 名前：いけたと思ったんだけど、 実環境へもっていって、スイッチをかました状態でテストしたら下記のような状態で動かず。 ログを確認するとドライバ認識してるんだけど、SMへ登録できないみたい。 SM動かしてるサーバ上で、iblinkinfoで確認したところInitialiseで止まってて、 そこからSM再起動したりしてみたけど、LinkUpしないですわ。 予想だけど、ConnectXで動かないからここまでドライバ出すの引っぱったのかなーと勘ぐってみたり。 [] [ここ壊れてます] 576 名前：不明なデバイスさん mailto:sage [2012/06/24(日) 23:55:55.67 ID:gJDfEebJ.net] 544へ追加 ConnectX2だと、普通に認識してLinkUpするところまで確認。 >>543 原因がわかってよかった。 ちゃんとパフォーマンスでてるみたいですね。 あと、ibstatでRateが幾つで繋がってるか確認してみるのがよろしいかと。 うちのテスト環境だと10だったのでDDRでは繋がってないんです。 追試で、DDRのスイッチへ接続してちゃんとDDRで接続できるか確認してみます。 おまけ ESX5のドライバが残念な事になってるので、XenServer 6.0.2で使えるか試してみた。 OFED 1.5.4.1をXenServerのDDK上でコンパイルしたら普通に認識してくれた。 OFED 3.2RC1だと、BackPortの部分でこけてしまいコンパイルできなかった。 XenServer自体がRHEL5.5のi386がベースらしく、必要なパッケージをいくつか入れてやらないと 駄目なんでちょっと手間かかるけど動作しますよって事で。 577 名前：不明なデバイスさん mailto:sage [2012/06/25(月) 21:54:45.24 ID:kgWeFQp8.net] >>545 基本的なところで間違ってお恥ずかしい。おかげさまでSDRなみの速度はでる ようになりました。ibstatでは、Rate: 20とでるので一応DDRで接続できているの でしょう。　しかし# ibdiagnetでは、 抜粋 -I--------------------------------------------------- -I- IPoIB Subnets Check -I--------------------------------------------------- -I- Subnet: IPv4 PKey:0x7fff QKey:0x00000b1b MTU:2048Byte rate:10Gbps SL:0x00 -W- Suboptimal rate for group. Lowest member rate:20Gbps > group-rate:10Gbps と、10Gbpsに落ちていました。MTUも2048Byte。　(・o・) DDRスイッチにつながないとDDRの速度がでないとか説明があったけど、あれはSDR のスイッチにつなぐとSDRに律速するという意味だと思った。しかし、ひょっとするとこの HCAにはDDRのスイッチがないとDDRの速度がでないのだろうか。悩みは続く。 578 名前：不明なデバイスさん mailto:sage [2012/06/26(火) 13:01:30.60 ID:b2yhPPEO.net] さくらのクラウドはInfiniBandの問題っつーよりSun ZFS Storage Applianceの問題だったみだいね www.publickey1.jp/blog/12/post_203.html www.publickey1.jp/blog/12/post_204.html www.publickey1.jp/blog/12/post_205.html OpenIndianaでストレージ鯖立ててる身としてはZFS自体の問題なのかSolarisの問題なのかを はっきりして欲しいところだけどまあスレチなのでこの辺で・・・ 579 名前：不明なデバイスさん mailto:sage [2012/06/26(火) 16:08:26.95 ID:IYxmqvLg.net] やっぱりZFS Storage Applianceの問題だったのか 先行事例なさそうだし日本ボラクルが窓口で問題解決できるの？ とか悪い予想してたら当たってしまったｗ 580 名前：不明なデバイスさん mailto:sage [2012/06/27(水) 14:26:02.26 ID:V2ojzOad.net] NFS over IP over Infiniband、って時点で突っ込みたくなった。 素のSRPはともかく、FCoIBとかじゃないんだ。 581 名前：不明なデバイスさん mailto:sage [2012/06/27(水) 14:35:26.55 ID:V2ojzOad.net] ICMP pingについて。IPoIBはSMでdiscoveryして経路設定するから、ICMPとか都度コネクション生成するようなのは 負荷高くなるんじゃないかな。 ＃discoveryや経路設定の中央集権（通常のetherはARPで分散型）は最近の流れだけど、スケーリング的には善し悪しですね。 582 名前：不明なデバイスさん mailto:sage [2012/07/01(日) 14:40:27.07 ID:aLEvyHdV.net] Infinibandの値段もずいぶん下がって� 583 名前：｢たんですね。このスレではじめて知りました。 ところで、Server(Windows)側にRAMDiskを構築し、10GbEのIntelNIC経由でiSCSI Bootを使ってClient側のOSを RAMDiskから立ち上げようと思っているのですが、IBでも同様にBootさせることは可能なのですか？ [] [ここ壊れてます] 584 名前： ◆GHONBEsd/2 mailto:sage [2012/07/01(日) 15:36:04.50 ID:zbHO4m5t.net] >>551 Client側のOSがなんであるかにもよりますが、 MellanoxWinOFでは、IPoIBでのiSCSI bootは相変わらず非サポートみたいです。 www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_Release_Notes.pdfの 10ページ目にnot functionalと記述されています。 WinOF3.0で検証したときはIPoIB経由のブート中にBSODでした。 585 名前：不明なデバイスさん mailto:sage [2012/07/01(日) 16:02:19.09 ID:aLEvyHdV.net] >>552 早速のレスありがとうございます。 ClientもWindowsを検討しております。 Server側OSをlinuxにすれば解決する？かもしれませんね。 一度、メーカーなどにも問い合わせてみようと思います。貴重なご意見ありがとうございました。 586 名前：不明なデバイスさん mailto:sage [2012/07/05(木) 20:08:14.02 ID:LvUxr5Qr.net] >>553 Server側がLinuxで良ければ、おっしゃるようなWindowsのramdiskからのBoot over IBが可能です。 RDMAが効けば、速度面も10GbEでの一般的なiSCSIより期待できます。 1) Server側にIBドライバ（例：Mellanox OFED）をインストール 2) Server側にSRP Target（例：SCST）をインストール、ramdiskをTargetに設定 3) Server側でDHCPサーバ（例：ISC DHCP）を立てる 4) Client側にIBドライバ（例：OFED for Windows）をインストール 5) ClientのWindowsイメージをServer側のramdiskへ転写、HCAのromをブート用に構成 簡単にやるならこんな手順でしょうか。詳細が必要でしたら追記します。 587 名前：不明なデバイスさん mailto:sage [2012/07/06(金) 13:30:31.55 ID:RczeAfjz.net] >>554　横からすみません。 私もWin7Pro 64bitをSRP Target(SuSE or CentOS)から起動させようとしています。 参照する環境は>>525,528でよいですか？ ClientからSRP TargetへのOSインストールは失敗するので、 先にHDD/SSDにインストール->イメージをddという流れだと予想していますが、 以下を教えていただけないでしょうか。 　・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等) 　・鯖のdhcp.confの具体的設定(ib_srp以外にもkeep-sanいるのか等) 　・WindowsのディスクイメージのSRP Targetファイル化方法 　　(HDDの方が大きいので、単純なddだとRAMディスクに収まらない) 588 名前：不明なデバイスさん mailto:sage [2012/07/06(金) 20:27:50.97 ID:47Kop7m/.net] >>555 環境は>>525,528のとおりです（正確にはCPUをCore i7-3930Kに変更しました）。 >・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等) (1)OFED for Windows 3.1 （Setup時にSRP install を選択） (2)sanbootconf 1.1.1 の２点です。IPoIBはconnected modeを有効にした以外は変更していません。 www.openfabrics.org/downloads/Windows/latest/Win7-or-Svr_2008_R2-or-HPC_Edition/OFED_3-1_win7_x64.zip https://git.ipxe.org/release/sanbootconf/sanbootconf-1.1.1.zip >・WindowsのディスクイメージのSRP Targetファイル化方法 自分は60GBのSSDにWindowsをインストール後、その全体をddでイメージ化しましたので あいにく実体験ではありませんが、下記を参考に、Windowsインストール時に例えば30GBの パーティションをHDDから切り出しておく方法でいかがでしょうか。 etherboot.org/wiki/sanboot/win2k8_physical etherboot.org/wiki/sanboot/transfer ・dhcp.confの件はレスを分けます。 589 名前：556 mailto:sage [2012/07/06(金) 22:55:45.80 ID:47Kop7m/.net] ・dhcp-client-identifierの末尾を、Initiator側のGUIDに置き換えてください。 ・root-pathは"ib_srp::::dgid::service_id::id_ext:ioc_guid"で、それぞれTarget側のibsrpdmの結果と置き換えてください。 #cat /etc/dhcp/dhcpd.conf ddns-update-style none; ddns-updates off; allow booting; allow bootp; option space ipxe; option ipxe.keep-san code 8 = unsigned integer 8; option ipxe.no-pxedhcp code 176 = unsigned integer 8; shared-network "flexboot_network" { subnet 192.168.0.0 netmask 255.255.255.0 { option dhcp-client-identifier = option dhcp-client-identifier; option subnet-mask 255.255.255.0; next-server 192.168.0.50; always-broadcast on; range dynamic-bootp 192.168.0.51 192.168.0.52; } } host host1 { fixed-address 192.168.0.51; # the IP address to be assigned to the client filename ""; option dhcp-client-identifier = ff:00:00:00:00:00:02:00:00:02:c9:00:00:02:c9:03:00:2f:XX:XX; option root-path "ib_srp::::fe800000000000000002c903002fXXXX::0002c903002fXXXX::0002c903002fXXXX:0002c903002fXXXX"; option ipxe.keep-san 1; option ipxe.no-pxedhcp 1; } 590 名前：556 mailto:sage [2012/07/06(金) 23:06:45.52 ID:47Kop7m/.net] ・念のため、SCSTの設定です。 ・TARGETの部分は、scstadmin -list_targetのib_srptの結果と置き換えてください。 #cat /etc/scst.conf HANDLER vdisk_fileio { DEVICE disk0 { filename /tmp/windows7.img } } TARGET_DRIVER ib_srpt { TARGET 0002:c903:002f:XXXX { LUN 0 disk0 enabled 1 } } 少しでもご参考になれば良いのですが。 591 名前：不明なデバイスさん mailto:sage [2012/07/06(金) 23:32:48.64 ID:RczeAfjz.net] >>556-558 設定丸々ありがとうございます。 wikiも参考にしつつ、休日使って構築してみます。 592 名前：555 mailto:sage [2012/07/08(日) 16:35:29.53 ID:TBXlFj1L.net] >>556 おかげさまでRAM上のSRP TargetからWin7がbootできました！ ありがとうございました。 ほとんどつまづくところはありませんでした。 強いて書くとしたら、SCST(srpt)のmake前に、 きちんとREADME.ofedを読んでおくくらいでしょうか。 593 名前：556 mailto:sage [2012/07/09(月) 20:07:38.07 ID:bKS71sXG.net] >>560 うまくいったようで何よりです。 もし良かったら、逆にIB StackとSCSTの導入について教えてください。 自分自身、Mellanox OFEDを使わないで素のOSの状態から最新のOFA OFEDとSCSTを 導入する手順を詰めきれずにいます。 594 名前：555 mailto:sage [2012/07/09(月) 22:31:21.71 ID:thMTPY1W.net] >>561　私の手順です。参考になれば。 OSはCentOS6.2のDesktopインストールからスタート。 基本的にSCSTのsrptディレクトリの中のREADME.ofedに従っています。 ・準備 rm -rf /lib/modules/$(uname -r)/kernel/drivers/infiniband　(怖いのでmvで逃がした) rm -rf /lib/modules/$(uname -r)/kernel/drivers/net/mlx4　(そもそも存在しなかった) 　cd /lib/modules/$(uname -r)/build 　patch -p1 < ${SCST_DIR}/srpt/patches/kernel-${KV}-pre-cflags.patch　(kernelバージョンに合わせて指定) ・OFED(1.5.4.1) 　srpt=nを書いたconfファイル(その他y/nはREADME.ofed参照)を作り、./install.pl -c ofed.conf 　足りないと言われるパッケージはyumで追加 ・SCST 　make scst iscsi srpt scstadm; make scst_install iscsi_install srpt_install scstadm_install こんな感じでmake/installは終了。後はscst.confとか書けば動きました。 README.ofedに従うとibstat等のツールは作られないので、 後からOFED展開した中にあるsrpm使って作ってやらないとならない(rpmbuild --rebuild)と思います。 他 595 名前：のコマンドでも最低限のチェックはできるため、まだ試していませんが。 [] [ここ壊れてます] 596 名前：不明なデバイスさん mailto:sage [2012/07/10(火) 16:48:35.44 ID:PMbc7shq.net] tmpfs(ramdisk)並のスピード、でもディスクにも保存、とかいうのを実現したい場合、 仮想ディスクより多くのメモリを積んでおいて、起動時にddで空読みしてキャッシュさせればOK？ それともそれ目的のfs/moduleがある？ 597 名前：483 mailto:sage [2012/07/10(火) 21:19:06.34 ID:hak1uTFD.net] 　483でSRPの紹介してからの経過ですが、いまのところ順調です。 ESXi 4.1 u1: Intel 9550, 8GB DIMMからIntel i7 2600、DIMM 32GBへ変更 して、SRP targetで試験運用しています。IPoIBよりサクサク、機敏で気分 いいです。調子にのってもう一台SRP targetを接続しました。しかしESXi側 で認識しません。追加のdatastoreが作れません。これって仕様？ ESXI4.1u1のホストにHCAを2枚さしてそれぞれをCentOS6.2ベースのSRP targetへつないでいます。これができるとdatastore間のファイル転送が早 くなるのでうれしい。 598 名前：556 mailto:sage [2012/07/11(水) 19:46:37.39 ID:Fjsb51m4.net] >>562 大変ありがとうございます。詳細に助かります。 週末にもCentOSインストール後、素の状態から始めてみます。 599 名前：不明なデバイスさん mailto:sage [2012/07/11(水) 20:55:53.80 ID:eMf5rRgh.net] 0Gのスイッチを探している人がいるかどうかわからないけど 個人輸入で安く買えそうなので、現状を参考までに Mellanoxの8PortQDRスイッチが国内ではあまりに高いので、海外で 探していたところ、代理店の直販サイトが国内の半額くらいだったので 日本への発送が可能か聞いてみたところ可能とのことだった。 IS5022が国内だと27〜8万のところ14万くらい、関税は0なので国内の税金5%&がかかる 送料はものによるが3kgで大体2万くらい？（FEDEX） SMはついてないのでなんか別の小型サーバか接続するサーバに 立てる必要ありだけどスイッチがあるので適当な小型サーバで立ててもOK やり取りはすべて英語ですが、翻訳サイト活用でなんとかやり取りは できています。 非常に丁寧に対応いただいています。 （時差があるので、夜中に送るとすぐ返信がくる） ちなみに最初に英語あんまり得意じゃないです！って伝えた 詳細は次レスで 600 名前：566 mailto:sage [2012/07/11(水) 20:58:34.04 ID:eMf5rRgh.net] やり取り詳細箇条書きで Colfax Direct ttp://www.colfaxdirect.com/store/pc/home.asp ・サイトでユーザー登録することをおすすめ。 ・カートに商品いれて注文するところは、普通の通販と同様 ・支払いはクレジット可能 ・住所の書き方は適当にぐぐれ ・FEDEXアカウントを取得しておく必要あり（DHL,UPSも可能だが高い） ・FEDEXアカウントは電話でカスタマーに電話して申込書を 　送ってもらう、それを送り返せば即日作ってくれる。 ・クレジットカードが必要 ・FEDEXアカウントナンバーを先方に伝える、これで送料関税等は代引での 　取引が可能 ・そこまで進むとINVOICEとクレジットカード情報を記入するPDFが送られてくるので 　PDFを編集できるソフトなんかを使って内容を記述して送り返す。 ・手書き署名が必要 今のところここまで進んでいます。ものが届いたらまた詳細報告します。 支払い情報を送ってから少し時間がかかっています。 ケーブルとか、 601 名前：カードもソコソコ安いのでおすすめかと、国内でもおそらく 企業向けの仕切りは安いのかもしれませんが、個人ではなかなかディスカウントは 効きませんから・・・ これでいけるかどうかはまだわからないので、続報をお待ちください。 質問あればどうぞ〜 [] [ここ壊れてます] 602 名前：566 mailto:sage [2012/07/11(水) 21:12:40.28 ID:eMf5rRgh.net] Mellanox製品はグローバルでの保守契約ができるようで、RMAも行える みたいなので、一番下の保守契約のブロンズも発注しました。 登録もJapanで可能となってるのでおそらくRMAは英語で自分で送る必要が あるので手間ですが、�T年保証+延長4年で1万7千円くらい、国内だと年額 5万近く取られます・・・ こちらについても詳細わかったら追記しますね。 個人使用ならブロンズで十分でしょう。 603 名前：不明なデバイスさん mailto:sage [2012/07/11(水) 22:06:21.75 ID:Fjsb51m4.net] >>568 Colfax Direct で先々月にケーブルの買い物しました。トラブル無しでちゃんと届きましたよ。 納期が少しかかりましたが、当然ながら在庫状況によるのでしょう。 保守契約には興味あります。詳細また教えてください。 604 名前：566 mailto:sage [2012/07/12(木) 04:04:03.06 ID:AYAPwKwU.net] >>568 おお、先にもうされてる人がいましたか、状況にもよると思いますが、 支払い情報送ってからどれくらいで発送されたか覚えておられますか？ 一週間くらいは見たほうがいいですかね？ 保守契約はちょっと不安ですが、Mellanoxはグローバルでのサポート を行なっているというのを売りにしているみたいで、日本法人のサイトにも そのような記載があります。 IBMやHPと同様保守パックという形で販売されているので、おそらく 証書をおもとに登録することで有効になるものと思われます。 対応は日本法人ではなくアメリカサイトでのオンラインでのRMA受付 もいけるようなので、おそらくは問題ないと踏んでいます。 どちらにせよ1万5千円足らずなので、ダメでもそこまで痛くないかなぁと 国内でも同じレベルでのサポートを受けていますが、ボリすぎですね・・・ ブロンズが年間5万近くかかりとなると5年で25万・・・1台保守用が買えるレベル。 経験上結局こういうベンダーは、最終的にメーカに丸投げにするので、 自分である程度出来る人は自分で問い合わせたほうが早いことが多いです。 むしろここで聞いたほうが早かったり・・・ 605 名前：sage mailto:sage [2012/07/12(木) 13:38:17.58 ID:il6QXaq1.net] お前いらない 606 名前：不明なデバイスさん [2012/07/12(木) 19:05:43.12 ID:AYAPwKwU.net] >>571 わかった 607 名前：不明なデバイスさん mailto:sage [2012/07/12(木) 19:18:34.58 ID:AYAPwKwU.net] sage忘れてた 608 名前：不明なデバイスさん mailto:sage [2012/07/12(木) 19:23:59.85 ID:JHFRU+6f.net] >>570 > 支払い情報送ってからどれくらいで発送されたか覚えておられますか？ ２週間かかりました。 １週間経過時点で問い合わせたところ「メラノックスに確認してみる」と 返信がありましたから、在庫は持っていなかったようです。 609 名前：不明なデバイスさん mailto:sage [2012/07/26(木) 12:33:35.97 ID:uLURu+/D.net] XenServerでOFED動くか試してたのの結果報告。 結果から言うと、OFED 1.5.4.1をコンパイルしてやればSRP Initiatorまでは動きました。 XenServer用のDDK落としてきてインストールしてやり、その上でOFEDをコンパイル。 コンパイル用にいくつか足らないパッケージがあるので、それをCentOS5 i386のRepoから拝借してきてインストール。 できたパッケージを、XenServerのコンソールでインストールしてやればOK。 OpenSMとSRP Initiatorの動作は確認。SRP使ってSR作成できるところまでは確認した。 あと、Ubuntu12.04でOpen-iscsi使ってiSER接続も確認。 こっちはKVMのテストがてらやってみたんだけど。 debian OFEDから1.5.4のパッケージのソース取ってきてインストールしてやったらiSERは一応動作した。 iSER動作させるだけなら、特にOFEDのパッケージインストールする必要はないかも。 IPoIBでTCP接続に比べて、 610 名前：300MB/s -> 600MB/sくらいに速度が上がった。 どちらも、ストレージ側のOpenIndianaのpoolがボトルネックになってるので、そこを速度アップしないと これ以上の速度アップは望めない状態。 [] [ここ壊れてます] 611 名前：不明なデバイスさん mailto:sage [2012/07/26(木) 12:45:00.10 ID:uLURu+/D.net] 上のに追記。 なんでテストしたかってと、ESXi5だとInfiniHost系が切られちゃってるので、他の仮想化環境で使えるか 試してみたかったからやってみたんだけど。 少なくとも、Linuxがベースの物はmthcaが動作するのでそれを使ってやれるってのが今回の実験結果でした。 次はWindows 2012でConnectX使ってHyper-Vのテストやってみます。 RDMA　CIFSで共有かけてLiveMigrationとか試してみたいのでｗ 612 名前：不明なデバイスさん mailto:sage [2012/07/26(木) 12:51:09.22 ID:uLURu+/D.net] 566さんの直接購入って方法もあるけど、英語でやりとりするのが面倒って人は個人輸入代行使うってのもありかな。 大体手数料として10%くらい上乗せ+送料って感じでいけるかと。 輸入代行だと、国内までの送料が大分安くあげれるので、トータルだとあんまり金額は変わらないと思う。 ただ、保守が乗っけられるかがわからんけど。 613 名前：不明なデバイスさん mailto:sage [2012/07/26(木) 21:22:31.80 ID:WGcIiuKZ.net] >>576 MLNX OFED for server2012はやっぱりInfiniHostはちっとも認識されなかったです←あたりまえ ESXiとかxenはPCIe passthruがあるから親が対応してなくても対応してる仮想OS持ってくれば動かせる可能性あるけど、 server2012は対応してないからなー。 614 名前：不明なデバイスさん mailto:sage [2012/07/27(金) 00:14:19.53 ID:pEcPiSZa.net] >>578 でも、IBなんて広帯域のバスを使いたいのはホストのIOだから、 VM上だけで動いてもなんも嬉しくないというか、 ほとんどんの場合意味が・・・ 2012の方は、SR-IOVに対応してきたから、 HBAが対応してくれば、複数のVMからほぼネイティブな性能を得られるから、 その点は、現状のESXiより優れてると思う。 615 名前：不明なデバイスさん mailto:sage [2012/07/27(金) 12:52:27.83 ID:3UadAdS1.net] SMB over RDMAがどの程度出るか遊んでみたかったんだけどね＞MLNX OFED rdma前提ならInfinihostで動いてくれたっていいのに。 616 名前：不明なデバイスさん mailto:sage [2012/07/27(金) 19:54:43.49 ID:QmjfUt90.net] >>575 凄いですね。なんて濃いスレでありがたいことでしょう。 iSERのTargetは、tgtとMellanox VSAくらいしかないのかな。 某勉強会でVSAの管理画面だけ見せてもらったが個人には雲の上そうで。 617 名前：不明なデバイスさん mailto:sage [2012/07/27(金) 21:19:48.85 ID:tEeC1KCT.net] >>578 InfiniHostはEOLになっちゃいましたからね。 ConnectX以降って制限が意外ときついです。 ESXi5でConnectX-2以降って制限がかかってるので、ConnectXも何時までサポートしてくれるのか不安ではありますね。 >>579 Windows Server 2012もSR-IOV対応ですけど、Linuxでもサポート進んでるみたいで、Kernel 3.5でサポートが入るんじゃないかと。 linux-rdmaのMLを見てたら大量にパッチがでてましたので。KVMとかXenでもいけるようになると思います。 >>580 環境用意するのが大変なのが。 InfiniHostがいければ、イニシャルコスト落とせてありがたいんですけどね。 >>581 Mellanoxが前からSRPのサポートは止めるって公言してたので、仕方無く移行先の環境の検証をしてみた感じです。 うちのiSERのTargetはOpenIndianaです。 Linuxだとtgtになっちゃうんですか。MellanoxのVSAはtgt使ってるんじゃないかと思います。 VSAはFastcache + DRDB + tgtのカスタマイズ品に、Utility載っけてる感じなのかな〜と思ってますが。 個人で触ってるだけなので、VSAなんてとてもとてもｗ FreeBSDも9.1でCTLってレイヤが出来 618 名前：たので、iSCSIとかSRPのサポートが比較的楽に出来そうな環境になりつつありますけど、 もう少し時間がかかるのかなー。 FCoEの環境も構築できたのでそっちも試してみたいんですが時間がｗ [] [ここ壊れてます] 619 名前：不明なデバイスさん mailto:sage [2012/07/29(日) 22:14:05.29 ID:tItsHmBE.net] ＞FCoEの環境も構築できた mjd? すごすぎ。 620 名前：不明なデバイスさん mailto:sage [2012/07/30(月) 19:58:26.40 ID:2Ff7vY1X.net] >>582 Mellanox VSAってそういう構成なんですね。 ちなみにRisingTide SystemsのRTS OSというのが中々使いやすくて InfiniBand SRPのほかiSCSI、FC、FCoEのTargetになるんですが 中身はSLES11sp2＋lio でした。 621 名前：不明なデバイスさん mailto:sage [2012/07/31(火) 10:13:56.54 ID:Y6zS0eYl.net] OFED3.1の配布msiをorcaでいじってチェックはずしてServer2012bに入れてIPoIB程度は使えることを確認しました＞InfiniHost SMBoRDMAは、うーん、無理だろうなあ。 622 名前：不明なデバイスさん mailto:sage [2012/08/09(木) 00:53:49.32 ID:MkoNp0NV.net] すみません。教えてください。 >>463>>464を参考にOpenindianaへOpenSMをインストールしようとしているんですが どのバージョンのSunStudio12.1を入れればいいのでしょうか？ 623 名前：不明なデバイスさん mailto:sage [2012/08/19(日) 08:44:19.02 ID:uUyPva8e.net] >>586 >463さんの方法でできませんか。 624 名前：不明なデバイスさん mailto:sage [2012/08/31(金) 13:54:40.29 ID:rKTiRpiU.net] ヤフオクのいつもお世話になってる人がSFS7000D売りに出してるなあ。もうSFF8470は見切ってしまわれたのか。 625 名前：不明なデバイスさん mailto:sage [2012/09/02(日) 13:19:23.27 ID:fRMkSfMZ.net] 海の外から700Ex2-Q-1（ConnectX-2 MHQH29B-XTRのOEM品）2枚を3万ちょいでゲット。 Solaris系だとまだOFED周りの準備が面倒そうなので、 半人柱方向で、FreeBSDのIBoIP上のiSCSIでESXiと繋げられるかどうか、 頑張ってみる。 626 名前：不明なデバイスさん mailto:sage [2012/09/02(日) 21:15:53.78 ID:fRMkSfMZ.net] 一応FreeBSD 9-STABLE+istgtでESXi5.0のiSCSIソフトウェアアダプタと接続出来た。 ESXi上のVMからRDMでBSDのmd0をistgtで公開してるターゲットへ繋げてCDMをテストした。 Readはともかく、なんかWriteが寂しいことに。 SRP使えないのが痛いぜ・・・ OIにOpenSM入れてテストしたいけど、コンパイルからっつーのが面倒だな。 ----------------------------------------------------------------------- CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo Crystal Dew World : crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 930.964 MB/s Sequential Write : 159.334 MB/s Random Read 512KB : 448.169 MB/s Random Write 512KB : 278.414 MB/s Random Read 4KB (QD=1) : 24.913 MB/s [ 6082.3 IOPS] Random Write 4KB (QD=1) : 23.375 MB/s [ 5706.7 IOPS] Random Read 4KB (QD=32) : 299.353 MB/s [ 73084.2 IOPS] Random Write 4KB (QD=32) : 245.707 MB/s [ 59987.0 IOPS] Test : 2000 MB [G: 0.8% (68.9/8189.0 MB)] (x5) <All 0x00, 0Fill> Date : 2012/09/02 19:49:20 OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64) 627 名前：不明なデバイスさん mailto:sage [2012/09/02(日) 21:21:40.40 ID:fRMkSfMZ.net] ちなみに同じVMから今使ってるFC targetへのテストだとこんな感じ。 targetはSoraris11 MEM 32G 接続は4Gb FC ん〜・・・IBのWriteがもうちょい速くならないと、 FC 4Gbの方が、楽に性能出せるって事に 628 名前：。 こっち繋ぐだけで済むからなー。 ----------------------------------------------------------------------- CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 368.957 MB/s Sequential Write : 303.013 MB/s Random Read 512KB : 339.040 MB/s Random Write 512KB : 270.316 MB/s Random Read 4KB (QD=1) : 33.117 MB/s [ 8085.1 IOPS] Random Write 4KB (QD=1) : 19.863 MB/s [ 4849.3 IOPS] Random Read 4KB (QD=32) : 370.564 MB/s [ 90469.6 IOPS] Random Write 4KB (QD=32) : 18.663 MB/s [ 4556.5 IOPS] Test : 2000 MB [E: 57.4% (6168.7/10751.9 GB)] (x5) <All 0x00, 0Fill> Date : 2012/09/02 21:15:05 OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64) [] [ここ壊れてます] 629 名前：不明なデバイスさん mailto:sage [2012/09/07(金) 00:00:29.31 ID:c+Jir48n.net] >>590 ちなみにHCAはなんですか？ 630 名前：不明なデバイスさん mailto:sage [2012/09/07(金) 07:51:43.59 ID:DS6LYi1Z.net] >>592 >>589に書いてあるけど、MellanoxのOEM品。 631 名前：不明なデバイスさん [2012/09/13(木) 06:17:42.83 ID:pnSIRLf4.net] >>590 ストレージネックじゃないの？ 何やってるか分からないのでは。。 632 名前：不明なデバイスさん mailto:sage [2012/09/13(木) 07:15:04.34 ID:2Ed8aOAj.net] >>594 先週は時間切れで、ざっくりそのあたりまでしか検証出来なかった。 BSDとESXiを直結してるんで、netperfも取りようがなかったし。 BSD機のスペック書いてなかったな。 HPのG7にE3-1240/MEM 16GiB ここからメモリー8GiBをmd0で切り出して、テストした結果が>>594 ただ、iSCSI経由とはいえ、md0に対して>>594この値はちょっとね、 リードはそこそこいい値出てるんだけど。。。 istgt自体は10GbEでRW600MBを超えられる位の能力は有るはずなんで。 Conectx-2のファームもBSD側は古いまま(2.7.0)なんで、offloadは恐らく動いてないし、 今週末もうちょっと色々弄ってみる。 でも、BSD側のIBはぶっちゃけパラメーターほとんど弄れない？んで、 チューニングのしようも無いかも。 キャプって無かったけどATTOでもベンチは取ってみてて、 こっちだとMAX Readで1.5GiB　writeで800MiB位は出てた気がする。 633 名前：不明なデバイスさん mailto:sage [2012/09/13(木) 10:18:12.01 ID:j2tnsU52.net] >>595 ESXi5だから、IPoIBでConnectModeが使えるのでそれを使って、FreeBSD側もConnectModeを有効にしてやれば もう少しパフォーマンス出ると思う。自分はFreeBSDでIB使ってないから何とも言えないんだけど。 FreeBSDのistgtが、CTL対応してiSER対応になるか、もしくはNFSがRDMA NFS対応になるとパフォーマンス上がると思う。 うちだと、DDR接続のiscsiでOpenIndianaをTarget(RAM Disk)でLinux InitiatorでiSERつかって2GB/s近くでたような。 ESXi5だと、SRP削除されてるからRDMA NFS使うしかないんだけど、そっちは測ってないから何とも言えないんだよなー。 つか、ESXiは色々と微妙になってきてるので、IB使いたいから他のHypervisorに移行するつもりなので。 634 名前：不明なデバイスさん mailto:sage [2012/09/13(木) 17:15:16.99 ID:2Ed8aOAj.net] >>596 あれ、ESXi5のIPoIBドライバー Connected Mode対応してたっけ？ Release NoteにはCMはむりーって書いてあった気がしたけど。。。 後で読み直してみるか。 RDMA NFSはまともに動いてる報告をみた記憶が。。。 今回のvSphere5.1 vs 2012 Hyper-V見るに、勢いはHyper-Vかなぁ、とは思う。 SMB Directも試してみるかなー。 635 名前：不明なデバイスさん mailto:sage [2012/09/13(木) 20:19:35.10 ID:j2tnsU52.net] >>597 ごめん、ManualみたらUDのみサポートって書いてた。 どこで勘違いしたことやら…。 Hyper-V Server 2012は、もう出てるね。 日本語のサイトはエラーになるけど、英語サイトだとページがちゃんとあるし。 コンソールで管理か、Win8か、Win2012で管理ってのは仰々しいので、5nineのツールでいいかなと思ってる。 636 名前：不明なデバイスさん mailto:sage [2012/09/16(日) 08:58:36.08 ID:TrRscT1e.net] SMB direct、Infinihost系でも使えんかなー。SOFS(SMB 3.0)上のvhdも試してみたいのに。 637 名前：不明なデバイスさん mailto:sage [2012/09/16(日) 10:06:22.19 ID:hOa0Gxe5.net] SMB Directテストしようと思ってたけど、テスト出来るまともなストレージが無いので、おあずけ。 記憶域プールでお試しだけでもと思ったけど、パフォーマンスがあまりにもあれすぎて、 辞めた。 正直これから出てくる新しい事やろうと思うと、最低ConnectX-2以上を 持つしか無いかもねぇ、高いけど。 ConnectXですら、怪しいラインになっちゃってるし。 カード自体はebayで1port $150位？ただ・・・ スイッチは諦めざるを得ないかも。。。 638 名前：不明なデバイスさん mailto:sage [2012/09/16(日) 11:49:23.78 ID:TrRscT1e.net] スイッチはいいけど、カードも1万超えると個人実験用にはなかなか、ねぇ。 639 名前：不明なデバイスさん mailto:sage [2012/09/16(日) 16:56:09.15 ID:hOa0Gxe5.net] >>591こいつのOSをFreeBSD 9-PRに換えて、同じテストやってみた。 ----------------------------------------------------------------------- CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo Crystal Dew World : crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 745.893 MB/s Sequential Write : 202.174 MB/s Random Read 512KB : 642.518 MB/s Random Write 512KB : 268.240 MB/s Random Read 4KB (QD=1) : 22.020 MB/s [ 5375.9 IOPS] Random Write 4KB (QD=1) : 19.750 MB/s [ 4821.8 IOPS] Random Read 4KB (QD=32) : 192.159 MB/s [ 46913.9 IOPS] Random Write 4KB (QD=32) : 22.640 MB/s [ 5527.4 IOPS] Test : 1000 MB [E: 0.0% (0.7/10751.9 GB)] (x5) Date : 2012/09/16 16:15:26 OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64) WriteはOSの特性かもなー。FC targetはOI使ってるけど、あっちは処理Kernelだし。 せめて4kmtuでも使えれば、もうちょっと良いのかもしれないけど、BSD側がなぁ。 OI上にSM立ててやった方が、速いかな・・・ OI上でのSubnetManagerコンパイルってどっかにまとまった情報ないかな？ 640 名前：不明なデバイスさん mailto:sage [2012/09/17(月) 15:00:31.14 ID:Lg7nOABX.net] SMってどこにあってもスピードにはほぼ影響しないと思う。 641 名前：不明なデバイスさん mailto:sage [2012/09/17(月) 23:16:28.85 ID:/2xVCzNo.net] >>603 いやSMの場所じゃなくて、 OIのIBスタック+stmfのiSCSIの方が、恐らく速いかなと。 直結で相手がESXiだから、OIでSM動かさないと、リンクしてくれないじゃん。 642 名前：不明なデバイスさん mailto:sage [2012/09/18(火) 12:27:07.15 ID:5/s2fFRK.net] >>600 Windows Server 2012はConnectXのドライバが標準で入ってた筈。 今検証環境がないから、試せないけど。 ただ、IPoIBだけでしか動かないじゃなかったかな？ Mellanoxが出してるドライバは、Ethも動くようにしてるドライバ+SR-IOV対応だと思う。 あと、スイッチはDDRだったらebayで24ポートのものが$500で出てるのがあるよ。 CiscoとFlextronicsの2種類でてる。ただ、CX4だから、QSFPのカードだとCX4-QSFPのケーブルが必要になるけど 643 名前：不明なデバイスさん mailto:sage [2012/09/20(木) 21:18:09.53 ID:nyzewu3I.net] ありゃ？ 644 名前：不明なデバイスさん mailto:sage [2012/09/20(木) 21:49:59.60 ID:nyzewu3I.net] ConnectXもすぐdisconになりそうで手が出せないんだよなあ。やっぱりX2？ DDRのスイッチは持ってるのでCX4-QSFPのケーブルとあわせてポート単価最低2万円かあ。 今持ってるのが比較的安く手に入れられたものだし、２万も出すとE55xxの鯖買えちゃうから考えちゃうな。 645 名前：不明なデバイスさん mailto:sage [2012/09/20(木) 23:32:43.44 ID:XdMXsCpD.net] >>607 SMB Directとか新しい事で遊ばないならXでもまだいけるんじゃないかな？ただ、QSFPモデルのが良いと思うけど。 Mellanoxドライバで切られても、OFEDに入っていれば使えるし。 これから出てくる新しい事で色々と遊ぶこと考えてるなら、 X2以上のが良いかなぁ。 ドライバで何とかなるレベルの違いじゃなさそうだしXとX2の差が。 646 名前：不明なデバイスさん mailto:sage [2012/09/21(金) 13:42:00.45 ID:Sxg5Fch7.net] でも使われているチップってConnectXでもX2でも同じ、なんでしょ？（MHQAは除く） X2は10GbeのSFP+DAをサポート、みたいに読める。 X3は明らかに違うチップみたいだけど。 647 名前：不明なデバイスさん mailto:sage [2012/09/21(金) 16:09:13.28 ID:F953lT9P.net] >>609 基本設計は同じようだけど、チップそのものは別かな。 XとX2だと消費電力自体が変わってる。 シュリンクしたのか、物理設計を弄ったのかどっちかは知らないけど。 機能自体も、XだとUDPオフロードが出来なかったり、 X2はDCBに対応出来るけど、XはDCEだけだったりと、 細かいところで仕様に違いが有って、これがどうもチップの違いみたい。 というか、UDPのオフロードが出来ないから、それに関連するところで 違いが出てるんじゃ無いかと。 なので、XとX2見た目的にはほとんど変わらないけど、 製品としてははっきりとした違いがあるね。 648 名前：不明なデバイスさん mailto:sage [2012/09/21(金) 16:31:08.91 ID:9/GU1DUz.net] メラのfirm downloadのページにPCI devidがあるんだけど、connectXとX2のQDR品比べると26428で同じだったりするんだよね。 だから同じなのかなあ、と。 もちろんブランドで機能に何らかの制限かけてあることに関しては異存はないんですけど。 649 名前：不明なデバイスさん mailto:sage [2012/09/21(金) 17:25:41.87 ID:vuWYjKbs.net] >>611 CPUで言うところの、ステッピング変更みたいな感じかと。 デバイスIDは同じだけど、リビジョンまで一緒だったっけ？ 650 名前：不明なデバイスさん mailto:sage [2012/09/21(金) 17:33:34.75 ID:vuWYjKbs.net] あれだPSIDが違うわ。 ファームとかドライバは多分、こいつもこいつ見てる。 651 名前：不明なデバイスさん mailto:sage [2012/09/21(金) 22:47:43.34 ID:/5pAb0UF.net] >>612 linuxでlspciするとわかるけど、RevAがConnectXでRevBがConnectX2だったはず。 652 名前：不明なデバイスさん mailto:sage [2012/09/23(日) 03:00:16.85 ID:CfX7KLcy.net] やっとWindows Server 2012の検証環境できたので、ConnectX系のカードがどれだけ使えるか調べられる。 手持ちのMHGH28-XTCは、OS標準のドライバでIPoIBが動いた。 こいつが動くってことは、多分他のConnectX系のカードも動くと思われ。 653 名前：不明なデバイスさん mailto:sage [2012/09/23(日) 07:32:47.61 ID:95xPUAUY.net] というころはSMBoRDMAを使うためにはIPoIBが必須(discoveryはIPoIBのIPアドレス経由)ということかな。 654 名前：不明なデバイスさん mailto:sage [2012/09/23(日) 09:56:29.61 ID:QAjq1N6b.net] OI 151a5でopen-fabricsのコンパイルを試してるんだが、 どうもうまくいかない。 コンパイル自体は全部出来てるんだけど、 gmake publishだと最後にリポジトリエラー出るし、 installのみだと>>470と同じ状況で components/open-fabrics/prototype/i386にインストールされちゃう。 componentsのビルドシステムと設定方法が理解出来ん。 何か設定が抜けてると思うんだけど、何が抜けてるのか、どこから調べりゃいいのか。。。 むーん。 これどーやったら、うまくいくの・・・・（泣 >>615 どっかに書かれてたけど、IPoIBだけなら、InfiniHostでも動いてたはず。 当然SMB Directはダメだったみたいだけど。 655 名前：不明なデバイスさん mailto:sage [2012/09/23(日) 10:36:48.08 ID:CfX7KLcy.net] >>616 SMB over RDMA 試せる様にもう一台実験マシン用意するつもりなので、結果をお待ちを。 多分、その認識であってると思います。 >>617 その辺で参考になるのはilliumosのページかなー。 wiki.illumos.org/display/illumos/Building+with+illumos-userland この辺参考にやってみるとか。すでに見てたらごめん。 MS標準のドライバでSMB over RDMAが動作するかチェックしたいんですよ。 InfiniHostは駄目なのはスレのちょっと前に出てたので、ConnectXの安いやつでどうなるか試してみようと。 656 名前：不明なデバイスさん mailto:sage [2012/09/23(日) 11:45:20.19 ID:95xPUAUY.net] >>617 orcaでごにょってinfinihostにofedの入れたけど、SMBoRDMAは動かないと思って試してないというか、 RDMA経由でSMBが使われてるかどうかわからない、んだよね。 そういう意味でconnectxでの挙動がわかるとありがたい。 657 名前：不明なデバイスさん mailto:sage [2012/09/23(日) 14:07:57.62 ID:95xPUAUY.net] メモ：ofed3.1を展開してmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。 なんとなくだけどWindows2012がRDMAで使うapiはDAPLなような気がするから、DAPLとIPoIBが入ってれば 実は動くのかもしれないです。 658 名前：不明なデバイスさん mailto:sage [2012/09/23(日) 14:11:00.66 ID:95xPUAUY.net] Windows2012じゃねーよ。Server2012だよ。おっさん乙＞おれ 659 名前：不明なデバイスさん mailto:sage [2012/09/23(日) 14:45:41.77 ID:95xPUAUY.net] メモ：www.openfabrics.org/resources/document-downloads/presentations/doc_download/222-microsoft-overview-of-rdma-on-windows.html SMBDirectされるかどうかはnicドライバがNDKPIをサポートしてるかどうかか。 660 名前：不明なデバイスさん mailto:sage [2012/09/24(月) 20:03:23.89 ID:UUPLKt8g.net] >>618 おー、ありがとー。 OIやillumosのコンパイル方法は結構出てくるんだけど、 componentの個別コンパイルの方法が、なかなか出てこなくて。 OI151a6上で、Open-fabricコンパイルとインストールまで出来たわー。 まだカード付けてないので、テストまでは出来てないけど、動きそう。 Kernel ABI Versionがあわねーぞ！とかエラー出てるけど、 これはカード付けてないせいだな、多分。 今度の週末にカード付けて、テストしてみるー。 ってのは良いけど、このパッチ、manifestにOpenSMの設定がなーい。 ので、自前で追加するか、マニュアルでinstallしないと。 後は、init.d周りも自前で準備しないとなのかな。 FreeBSD+IBの単純なパフォーマンスは悪くはないけど、 ZFSの読み書きが重なって負荷がかかったときの反応は、まだOIのが上だなー、さすがに。 OI+FCの時より、レスポンスが悪い。BSDのほうも10辺りでこの辺改善が入るらしいけど、 10-RELEASEなんて、まだ先出し、さすがにストレージにCURRENTは使えないｗ 後は、FreeBSDのOFEDがちゃんとメンテされていくかが不安なところかなぁ。 現状OFEDを力業で動くようにしましたって感じがするし。 IBのチューニングしようにも、インターフェースが無いというｗ 661 名前：不明なデバイスさん mailto:sage [2012/09/25(火) 21:02:33.50 ID:nbxX8hZI.net] ・・・QSFPって線引っ張ると抜けちゃうね。ラッチの意味ないような。うちの子だけ？ 662 名前：不明なデバイスさん mailto:sage [2012/09/25(火) 22:26:24.66 ID:q7HjFOrR.net] >>624 うまく刺さってないんじゃないかと。 ラッチがちゃんと引っかかってれば 引っ張ったくらいじゃ、あれは抜けない気が。 663 名前：不明なデバイスさん mailto:sage [2012/09/26(水) 09:17:09.47 ID:TSa2aNpM.net] 機構そのものは10gbe XFPと全く同じだね。ケーブル変えても同じだから本体側かあ。中古だけど安価に手に入れたからよし。 QSFPのケーブル、I2C付きとI2Cなしがあるね。なしでも問題なくリンクするけど。 664 名前：不明なデバイスさん mailto:sage [2012/09/26(水) 09:26:13.73 ID:TSa2aNpM.net] メモ：members.infinibandta.org/kwspub/resources/QSFP-Cable-Implementation-Common-Mistakes-final.pdf 665 名前：不明なデバイスさん mailto:sage [2012/09/26(水) 09:50:41.38 ID:TSa2aNpM.net] でコネクタ部よくみたら、ラッチ破損してた（w 666 名前：不明なデバイスさん mailto:sage [2012/09/26(水) 09:53:07.19 ID:QTmfJO/d.net] >>626 前使ってた環境で、ラッチが中途半端にかかった状態で力任せに抜いたのかもね。 で、メス側の引っかかる部分なめたのかも。 667 名前：不明なデバイスさん mailto:sage [2012/09/26(水) 11:38:41.73 ID:6yCGUHQy.net] SFPとかXFPとかファイバ付きのやつはファイバ抜かないとラッチはずせないの多いから破損わかるんだけど、 QSFPはわかりやすいタプついてるのになあ。まあ撤去屋さんにとっては抜ければどうでもいいのか。 668 名前：不明なデバイスさん mailto:sage [2012/09/28(金) 11:25:06.79 ID:NkU1Rp1m.net] ConnectX[2,3]、QSFPケーブルが使われていくとして、InfiniHost CX4ケーブルは廃棄されていくのかな。ebay半年みていると品数 が減ってきたように思う。 669 名前：不明なデバイスさん mailto:sage [2012/09/28(金) 12:42:38.20 ID:vhd3R4KF.net] >>610 F 670 名前：irmのRelaseNote読んでて気づいたんだけど、ConnectX-2以降はSR-IOVに対応してたりで、 書かれてるようにConnectXとはチップ内部をかなり弄ってる気がする。 >>619 実験しようとしたら、実験マシン1のメモリが死亡してていまだ実験できず orz 直結でやろうとしてるんだけど、実験マシン2でRAM Diskのパフォーマンスが全く出なくてそっちの原因も追っかけ中です。 Xeon　E5-2620+DDR3 1333だから、30GB/sくらいメモリの速度は出る筈なのにMemtest86+でメモリの速度みると 10GB/sくらいしか出てないのですよね。確かにRAMDISK作って実験したら、2GB/sとかしか出てないので。 あと、無印ConnectX使ってWindows Server 2012でOpenSM動かそうと思い、MellanoxのWindows Server 2012用の ドライバ類をインストールしたら、途中でエラーでこけるという症状が。 そんな状況なので前途多難です orz >>631 CX4のケーブルのebayでの流通が大分減ってますね。 あと、ConnectX(1,2)系が大分安くなってきてる気が。 気になるのが、WIN_OFED 3.2でConnectXでもSMB over RDMA使えるようになるんだろうか？ [] [ここ壊れてます] 671 名前：不明なデバイスさん mailto:sage [2012/09/28(金) 20:40:41.47 ID:yJEos/vJ.net] CX4(SFF-8470)は10gbeでもSASでも使われるし、淘汰まではいかないと思う。(SASはねじ式がほとんどだけど) この前某オクで3mだが2000円で大量に出てたしね。 672 名前：623 mailto:sage [2012/09/29(土) 11:36:45.37 ID:5OlnIMzE.net] カード差してopensm叩いたら、core吐いてオチタorz Solaris系でのSMはやはり敷居が高い・・・ コンパイルは出来てるんだけどなぁ。。。 673 名前：623 mailto:sage [2012/09/29(土) 15:09:26.31 ID:5OlnIMzE.net] 出てたエラーはこんなの >libibverbs: Warning: no userspace device-specific driver found for /sys/class/infiniband_verbs/uverbs0 OIなら"/devices/ib"を見に行かなきゃなのに、なんで"/sys"見に行っちゃってんだ・・・？ ソース見てもパッチはちゃんと当たってるんだが。。。 cなんて学生時代に基礎さらっとやっただけで、その後使ってないから、覚えてないよ！ てか、このスレに他に何人かOIでコンパイル試してた人いたよーな気がするけど、 動いてるんだろうか・・・ 674 名前：470 mailto:sage [2012/09/29(土) 23:17:08.11 ID:t7QARQO2.net] >>635 　こんばんは470です。いや、もしコンパイルできたとしても障害対策できない と判断してOIはやめました。ほんとはOIで行きたかったです。泣き、、。463さ んには助言を頂いてありがとうございました。結局ZFS on Linuxで様子見て います。これはこれでいいと思うのです。OIで挫折して、FreeBSDとLinuxを 比較するとLinuxの方がまだ、篤いようです。FreeBSDは疎な印象で、current は追っかけていませんが、10系を待たないと実用にならないかも。 　ESXi4.1のSANとして使っていますが、HCAはInfiniHostです。SSDをいれて 補強していますのでしばらくはいけるでしょ。 675 名前：不明なデバイスさん mailto:sage [2012/09/30(日) 00:35:44.60 ID:s4yf0m3y.net] >>636 なるほど。 こっちも、OIでSM建てるのはかなりあきらめ気味。。。 ただ、ESXiもストレージシステムとしては、FC or FCoEがメインで IBはあまり力を入れてない＆今後のライセンスがちょっと。。。 ってのが有るので、Hyper-V他への乗り換えもまじめに検討しようかと。 ESXiがIBに力を入れられないのは、ベースになるOFEDがLinuxカーネルに 依存しすぎてて、コアに組み込むのが大変だからじゃないかと・・・ （せっかくESXiでLinuxの 676 名前：ユーザーランド消したのにってところで） OIやBSDへの移植でも、結局苦労してるのは、カーネルインターフェース周りっぽいですし。 [] [ここ壊れてます] 677 名前：不明なデバイスさん mailto:sage [2012/09/30(日) 00:47:55.41 ID:s4yf0m3y.net] MellanoxがESXi5.1の発表後すぐにIBIFのSR-IOV対応の発表をしたのも、 結局ESXi自体ではIBをまともに使えないからじゃ ないかと。 Mellanoxとしては、VM上で使ってももらえないと、 対ESXiでの商売がやりにくいんだろうなぁと、発表みて思ってみたり。 （あくまで個人的意見ですがｗ） 10GbEやCNA系のIFも当然SR-IOVに対応してる＆するでしょうけど、 すぐに大々的な発表したところは無かったとおもうし。 678 名前：不明なデバイスさん mailto:sage [2012/09/30(日) 16:56:16.85 ID:q1AgKrFW.net] SR-IOVってNICとかIBAとかでは負荷低減需要＜仮想スイッチ需要、で流行らないような。 679 名前：不明なデバイスさん mailto:sage [2012/10/01(月) 09:43:42.36 ID:xg1W/DsN.net] >>639 ESXi上で直接DCBとか、動かせないからじゃないかなぁ。 なので、SR-IOVで、VMから直接使ってもらうつもりなんじゃないかと。 ESXiのインフラとして、ENモードの10 or 40GbEだけじゃ、推しが弱いとか。 680 名前：不明なデバイスさん mailto:sage [2012/10/01(月) 13:28:22.93 ID:egqmwt5p.net] 10GBeだとSR-IOVは仮想スイッチと相反するし、いまひとつ利点が感じられないけど、 IBだともともとスイッチはおばかさん（w なんでSR-IOVでも十分利点があるか。 スイッチ、進化ないなあと思ってたらFabric Collective Acceleratorとかあるみたいだけどよーわからん。 681 名前：不明なデバイスさん mailto:sage [2012/10/04(木) 09:34:30.70 ID:q8KSh1WI.net] OI上でOpenSMがうまく動かない事にカッとなって、vSphereからHyper-V 2012へ移行した、反省はしてない。 で、>>602と同じ事をやってみた。今回すでにデータが入っちゃってるので、全く一緒では無いけれど。 大分良い感じになってきた。てか、Hyper-VもVMがWindowsならかなり良い仕事するな。 WS2012のメラOFEDだとCMが使えない＆targetのFreeBSD側がUD modeで4k mtuを 使えないのでmtuは2044。これでtargetをOIに戻して、4k mtuで接続出来れば、Random 4KB辺りは もうちょっと改善するかも？ZFS自体の能力はもうちょっと余裕有りそうなので。 シーケンシャルはそんなに変わらないかなぁ、多分。 今週末、試してみよう。 ちなみにHyper-VホストとiSCSIターゲットの間でiperfやってみたら、TCP Window 2MiBの状態で、10Gpbs弱だった。 もうちょっと出てほしいなぁ。 Sequential Read : 697.423 MB/s Sequential Write : 406.635 MB/s Random Read 512KB : 580.026 MB/s Random Write 512KB : 393.651 MB/s Random Read 4KB (QD=1) : 24.180 MB/s [ 5903.3 IOPS] Random Write 4KB (QD=1) : 27.052 MB/s [ 6604.5 IOPS] Random Read 4KB (QD=32) : 203.598 MB/s [ 49706.6 IOPS] Random Write 4KB (QD=32) : 52.651 MB/s [ 12854.3 IOPS] Test : 1000 MB [E: 45.9% (4932.4/10751.9 GB)] (x5) Date : 2012/10/03 16:51:20 OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64) 682 名前：不明なデバイスさん mailto:sage [2012/10/04(木) 10:11:30.18 ID:cZXIsbOX.net] UDでmtu 2044なのはInfinihostIIIとかの制限じゃないの？（彼らはIBパケット2Kまで） connectx系なら4Kまで設定できちゃうんじゃ？ 683 名前：不明なデバイスさん mailto:sage [2012/10/04(木) 11:36:27.21 ID:q8KSh1WI.net] >>643 FreeBSDにマージされてるOFEDは一応1.5.3ベースらしいから、 ConnectXで4k mtuを扱えるはずなんだけど、そのままifconfig ib0 mtu 4092とやっても エラーで弾かれる。 で、色々調べていくと、どうもmlx4_coreに4k mtu使うぞってフラグをセットしてあげなきゃ ダメみたいなんだけど・・・ FreeBSD側にそのフラグをセットする方法が、現状無いという。。。 Linuxで/etc/modprobe.conf辺りを使ってセットするパラメーターを FreeBSDじゃ今のところ弄る方法がなさそうなんだよねぇ。 で、お手上げ状態。 FreeBSDのInfinibandは、とりあえず 684 名前：動くようになりました−！って感じかな、今は。 [] [ここ壊れてます] 685 名前：不明なデバイスさん mailto:sage [2012/10/04(木) 12:27:36.46 ID:cZXIsbOX.net] なるほど。sysctlでもだめそうですね。 686 名前：不明なデバイスさん mailto:sage [2012/10/04(木) 12:31:42.39 ID:Bv7qllnj.net] >>645 ソースを見ると sysctl で設定できるように、変換のレイヤーがあるにはあるんだけど、上手く動いてないっぽい。 687 名前：不明なデバイスさん mailto:sage [2012/10/04(木) 12:50:05.17 ID:cZXIsbOX.net] はー、msのセミナ用に時間あけてあったのに対応待ちで出かけられず、おじちゃんIBのスイッチに火いれちゃうぞ。 688 名前：不明なデバイスさん mailto:sage [2012/10/04(木) 15:15:55.18 ID:3db+5b01.net] >>645 なので、ソースのデフォ値を弄って、 カーネルリコンパイルしてどうなるか、 試してみようかと。 上手くいったらラッキー、駄目だと完全に、お手上げ、開発の修正待ちかなぁと。 689 名前：不明なデバイスさん mailto:sage [2012/10/05(金) 09:02:26.62 ID:kI4XMrAH.net] デフォ値修正を試したけど、ブートでカーネルが転ける。 やっぱBSDで4kは、まだ無理ぽいねぇ。 690 名前：不明なデバイスさん mailto:sage [2012/10/05(金) 16:13:24.75 ID:qtgdw3kY.net] そうなんだ、残念。 しかしQDRの試験とかしようと思うとストレージのスピードとかいろいろ気になって出費がすごいな。 691 名前：不明なデバイスさん mailto:sage [2012/10/05(金) 17:01:52.61 ID:XSHaOL9o.net] >>650 テストだけなら6GpbのSSDでRAID0組める環境あれば、まぁ、何とかなると思う。 もっと限定すれば、４GB位のRAMディスク作れれば。 そしてOI入れてみた。 #dladm show-linkprop LINK PROPERTY PERM VALUE DEFAULT POSSIBLE pFFFF.ibp0 linkmode rw ud cm cm,ud pFFFF.ibp0 autopush rw -- -- -- pFFFF.ibp0 zone rw -- -- -- pFFFF.ibp0 state r- up up up,down pFFFF.ibp0 mtu r- 2044 2044 2044 ( ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼ (；ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼｺﾞｼ （；ﾟДﾟ） …！？ おぃ、Solaris 10から4k mtu使えるんじゃなかったのかYo！？ ぅー、どうしたものか。。。 692 名前：不明なデバイスさん mailto:sage [2012/10/05(金) 17:36:54.84 ID:qtgdw3kY.net] RAMディスクでいくか・・・でも肝心のボードを手に入れないとなあ。 connectX:10GBASE-CX4にもなる。 connectX2:10GBASE-CX4の他、QSA利用等で10GBASE-SFP+にも対応。 connectX3:PCIe GEN3、40GBASE-QSFP+に対応。 693 名前：不明なデバイスさん mailto:sage [2012/10/06(土) 01:22:43.93 ID:R47V3Mle.net] >>651 うちだとこうなってるけど、 pFFFF.ibp0 mtu r- 65520 65520 65520 OIのIBスタックって作りかけだから、試すならSolaris11の方がいいかも。 前にsunsolveで見たときに、Solaris11になるまでに相当IB回りに手が入ってた記憶が。 WindowsのOFEDでiSERのminiportドライバ用意してくれれば、iSCSIで十分パフォーマンス出るんだけどね。 うちは実験で、OIでRAMDSIK作ってそれをiSCSI iSERのTargetにし、 Linuxをinitiatorの環境作ってddでテストしたら800MB/s位で頭打ちになった ddを4つ走らせると、3GB/s位まででたけど。 >>652 LinuxのKVMとXenで行くならInfiniHostでも十分いけるんだけどね。 WindowsやVMWareだと、ConnectX以降じゃないと駄目だからなー。 694 名前：不明なデバイスさん mailto:sage [2012/10/06(土) 02:31:58.17 ID:YO6CoMgL.net] そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね　 そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね　 そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね　 そうかﾀﾋね そうかﾀﾋね そうかﾀﾋね　 そうかﾀﾋね そうかﾀﾋね　 そうかﾀﾋね そうかﾀﾋね　 そうかﾀﾋね そうかﾀﾋね 695 名前：不明なデバイスさん mailto:sage [2012/10/06(土) 03:31:10.73 ID:6h7fbKug.net] >>653 それ、CM modeだね。 うち、対向がWin Srv 2012で、まだCM対応してないんだ。 なので、UD modeなんだけど・・・ Solaris 10 10/9でUD modeの4k mtu対応って情報は見つかるんだけど、 設定方法が見つからない(´・ω・｀) さくっとテストした感じだとやっぱ、iSCSIはカーネル処理してるSolaris系のが 良いね、特に小 696 名前：さアクセスは。 CDMの4kランダムQ32で、BSDだと200M位で頭打ちのところ、OIだと400M超えた。 まぁ、現状でもストレージの性能からすれば、悪くない値出てるし、不都合は無いんだけど。 やっぱ11かぁ・・・けどパッチは有償だし、常用の鯖としては、 あんま使いたくないなぁ・・・ [] [ここ壊れてます] 697 名前：不明なデバイスさん mailto:sage [2012/10/15(月) 13:05:22.10 ID:PlTz/tmm.net] やっぱりlinux+ZFSになるんじゃ（w server2012の3-way mirror、5台以上なんていう奇妙な制限あるから実はraid6か、と思って試したけど、 やっぱり容量1/3になった。いらねー。 698 名前：不明なデバイスさん mailto:sage [2012/10/15(月) 13:27:42.72 ID:zycq5SmK.net] split-brainを防ぐためにメンバの過半数が生きてないといかんからね 699 名前：不明なデバイスさん mailto:sage [2012/10/15(月) 13:42:07.40 ID:PlTz/tmm.net] なるほど、そーいうことね。一旦死亡フラグ立ったら復活しないのかと思ってた。 700 名前：不明なデバイスさん mailto:sage [2012/10/20(土) 22:45:37.89 ID:JpS8HpXc.net] 結局、Solaris 11ではOpenSM動くのかな。 ttp://syoyo.wordpress.com/2011/12/13/opensm-on-solaris11-works/ っていう報告があるみたいだけど、スレでは盛り上がってないよね。 701 名前：不明なデバイスさん mailto:sage [2012/10/20(土) 22:47:06.44 ID:2C+57N3U.net] >>659 Unfortunately, running opensm on OpenIndiana(Illumos) is not possible since there is no corresponding kernel driver(kernel component of OFED 1.5.3 Solaris port) on it at this time. Oiで動き出せば多少状況が変わるんじゃね？ 702 名前：不明なデバイスさん mailto:sage [2012/10/25(木) 13:50:46.18 ID:BwYCFKPN.net] つーかスイッチが高すぎる現状ではQDRはなんとも。 connectX(2)をDDRで使う、というのが実用解としてはありなのかも。 703 名前：不明なデバイスさん mailto:sage [2012/10/25(木) 14:51:26.41 ID:RXPxgTMt.net] >>661 8protなら個人でも手を出せない額じゃ無いけどな。 その金額をかけるかどうかは、別の話だけど。 704 名前：不明なデバイスさん mailto:sage [2012/10/28(日) 20:30:57.41 ID:m4SqO96l.net] shop.maxserve.co.jp/shopdetail/030000000003/ 在庫あるみたいです。 705 名前：不明なデバイスさん mailto:sage [2012/10/29(月) 17:03:24.76 ID:+zaSs0jL.net] メモ：powershellから、get-smbservernetworkinterface、get-smbclientnetworkinterface。 706 名前：不明なデバイスさん mailto:sage [2012/11/05(月) 13:25:04.79 ID:0k23buvP.net] server2012対向でRAMディスクの速度テスト。 サーバクライアントともdual X5570、Infinihost LX, DDR。(単位 MB/秒) ==CrystalDiskmark4000M====SR==SW===RR==RW==QD1=====QD32=== starwind ramdiskローカル直　3102 4211　3046 4152　902　851　826　790 CM, mtu=65520 　iSCSI vhd　　　　　　　　　　　 671　853　　560　605　　23　 24　 147　163 　親iSCSI vhdをhyper-vで　　 659　851　　551　605　　21　 22　 148　124 　SMBアクセス　　　　　　　　　 694　708　　625　631　　32　 32　 433　345 　hyper-vでSMB経由vhd　　　 653　678　　575　582　　23　 22　 114　112 UD, mtu=2044 　iSCSI vhd　　　　　　　　　　　 500　583　　453　446　　25　 25　 123　141 　親iSCSI vhdをhyper-vで　　 505　541　　443　436　　22　 22　 128　141 　SMBアクセス　　　　　　　　　 467　456　　447　422　　31　 33　 261　265 　hyper-vでSMB経由vhd　　　 474　443　　414　402　　22　 23　　95　 92 メモ ・winofed3.1入れるにはmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。 ・IPoIBにエラーが出ているときは、ドライバの更新でmellanox版ではなくofed版を選ぶ。 ・hyper-vでディスクに\\server\share\disk.vhd形式のファイルが指定できるようになったが、 　基本的にはマシン認証が行える場合、つまりActiveDirectory環境じゃないとだめ。 ・AD面倒な向きは、サーバ側ローカルセキュリティオプションのセキュリティオプションで 　Everyoneのアクセス許可を匿名ユーザに適用 と 匿名でアクセスできる共有にshare名、 　でEveryoneにフルコントロール与えておけばとりあえず動く。 考察 ・iSCSIはIPoIB層があるためDDRのスピードは出ない。InfinihostではSDRで十分。 ・SMBでもInfinihostではRDMAが使えないため遅い。InfinihostにこそRDMAほしいぞ。 ・一番の問題はIPoIBをhyper-vの仮想スイッチに入れても、hyper-vマシンから 　外にアクセスできない点。いわゆる「L3互換モード」になってない。 　昔はできてたような・・・ 707 名前：不明なデバイスさん mailto:sage [2012/11/06(火) 10:13:38.28 ID:rPx8QAOD.net] ちょっとつづきメモ。 ・ちなみに素のスピードは、ibv_send_bw -aで測ると1463MB/秒、ibv_rdma_bw -c で測ろうとするとDPC_WATCHDOG_VIOLATION 。 ・IPoIBスピードは、ttcp -n1048576で測るとCMで1082MB/秒、UDで777MB/秒。 708 名前：不明なデバイスさん mailto:sage [2012/11/06(火) 15:42:16.01 ID:f7sLwn6+.net] >>665 検証乙。 sambaでSMB Direct使えるようになるともう少し変わるのかな。 それだったらvhdを置くHostに、InfiniHostが使えてもう少し幸せになれそうけど。 どちらにしろ、Hyper-V動かすサーバにはConnectX-2以降が必要って事にはなるけどね。 709 名前：不明なデバイスさん mailto:sage [2012/11/08(木) 09:20:22.99 ID:7vwB2PNX.net] MSはSMBを他でやられるのをあまり快く思ってないからsambaでSMB Directは望み薄じゃないかなー。 winofedのドライバソースを眺めてみようと思ったらsvn反応ないんだよな。gitか何かに移行したのか？ いずれにせよメーリングリスト入らないとだめか。 710 名前：不明なデバイスさん mailto:sage [2012/11/10(土) 14:52:54.56 ID:5Y/dAD0a.net] >>655 何が何でも無償じゃないとダメなら犬しかないんじゃね 711 名前：不明なデバイスさん mailto:sage [2012/12/06(木) 14:49:24.61 ID:7PH1mk5l.net] Solaris 11.1 でtavorもEoFなのね。 まぁ、そもそもがメモリー付き限定だから、基本そんなに影響はないか。 712 名前：不明なデバイスさん mailto:sage [2012/12/07(金) 10:28:01.11 ID:kCyuxBQ4.net] winofedマダー？ 4Q終わっちゃうよん。 713 名前：不明なデバイスさん mailto:sage [2012/12/10(月) 10:00:55.65 ID:J0/vhk1O.net] UDしかできなくてQDRとかFDR使いきれるかな？ 送る方はいいにしても、受信側がとんでもなくキツそうだけど。 Mellanoxのカード、Adaptive RX機能とかあるんだけど、手元のは ENモードじゃないと有効にできないぽいんだよね。Connect-X3とかなら できるんだろうか。 あと、Connect-Xだと割り込みラインが複数のCompletion Queueに別々に あるんだけど、これは要するにSENDとRECVが干渉しないようにするだけで、 マルチコアでのマルチキュー受信機能はMellanoxのHCAにはないのかな？ やっぱりConnect-X3買え？ 714 名前：不明なデバイスさん mailto:sage [2012/12/11(火) 02:11:58.38 ID:upAyFH7G.net] Mellanoxの最新ファームって、ユーザ登録しないと落とせなくなってる？ Windows Server 2012用のMLX_OFED落として、ReleaseNote見るとConnectX-2の最新のファームと 普通に落とせるファームのバージョンが違うんで気づいたんだけど。 >>670 SunSolve見てたら、途中でtavorはEoFって書いてあったからねー。 tavor使いたい人はOpenIndiana使えば何とかなるけど、Oracle(DB)使いたいだと使えないし。 >>671 禿同。MLもなんか全然情報流れてないし、どうなってるんだろう？？ 715 名前：不明なデバイスさん mailto:sage [2012/12/11(火) 08:09:39.73 ID:AlR+xlwD.net] >>673 ファームはまだ2012専用みたいな位置付けだからじゃないかなぁ。 OFEDまだ来てないし。 716 名前：不明なデバイスさん mailto:sage [2012/12/12(水) 13:19:28.24 ID:WKe0e4EG.net] やっぱりInfiniband、はじまる前に終わっちゃったか。 717 名前：不明なデパイスさん mailto:sage [2012/12/12(水) 18:35:15.40 ID:9tRJe1BT.net] インフィニットバンドって今買うならConnect-X3のほうがいいの？ 718 名前：不明なデバイスさん mailto:sage [2012/12/13(木) 00:37:57.66 ID:W0GIvmba.net] >>675 始まってないから、終われない。 まぁ、そんな言葉遊びはともかく、 始まってないのは確かかも？始まりそうな気配は結構してるんだけど。 ただ、インフラとして、どこへ転ぶかは読めないなぁ。 IB or 10/40GbE・CNA or FC どこへ転ぶにしても、更新時に総取っ替えにはなるから、 なんだかんだ言って、クライアントのサポート状況は多分10/40GbEが一番な気がする。 スイッチが高いけど。 IBはスイッチ含めコスト的には勝負出来るんだけど、クライアントサポートが ネックになりそうな気がするんだよなぁ。 QlogicのIB資産買い取ったIntelがどこまで頑張るか。 FCはまぁ、無いと思うけど。 >>676 前半にはあえて突っ込まないが、X3買えるなら良いんじゃね？ 719 名前：不明なデバイスさん mailto:sage [2012/12/13(木) 10:06:14.86 ID:xEMo83SK.net] IBが技術的には一番いいと思うんだけど、旧製品をすぐに切ってしまったり、 openっぽいことをいいながらそうでなくなって来ている気がするんだよなあ。 720 名前：不明なデバイスさん mailto:sage [2012/12/14(金) 19:00:14.68 ID:fdXpRevh.net] 現状スパコン屋さんに売ってるものだから古い規格に価値なんてないんだろう 721 名前：不明なデバイスさん mailto:sage [2012/12/14(金) 19:15:25.04 ID:SImd51iX.net] インフィニバンド の検索結果　約 20,800 件 インフィニットバンド の検索結果　約 570,000 件 722 名前：不明なデバイスさん mailto:sage [2012/12/14(金) 22:20:45.24 ID:bP9BN4sb.net] 世の中にどれだけアホが多いのかよく分かるな 723 名前：不明なデバイスさん mailto:sage [2012/12/20(木) 09:11:41.25 ID:+xCiFrFi.net] 　　　　　　☆ ﾁﾝ　　　　　ﾏﾁｸﾀﾋﾞﾚﾀ〜 　　　　　　　　　　　　　　　　　　　　　　　　ﾏﾁｸﾀﾋﾞﾚﾀ〜 　　 　 　 ☆　ﾁﾝ　　〃　 ∧＿∧　　　／￣￣￣￣￣￣￣￣￣￣￣￣￣ 　 　 　 　　ヽ　＿＿_＼（＼・∀・）　＜　まだ〜？ 　 　 　 　 　 　 ＼＿／⊂　⊂＿ )　　 ＼＿＿＿＿＿＿＿＿＿＿＿＿＿ 　 　 　 　 　 ／￣￣￣￣￣￣ ／| 　　　　　　　|￣￣￣￣￣￣￣|　 | 　　　　　　　|　　愛媛みかん　|／ 724 名前：不明なデバイスさん mailto:sage [2012/12/20(木) 12:14:48.55 ID:ECJee4kH.net] >>681 いや、アフォはお前だからｗ アフォはお前だからｗ 725 名前：不明なデバイスさん mailto:sage [2013/01/09(水) 02:47:58.95 ID:JOHwlJgh.net] うーん、Q4,2012すぎちゃったけど、WinOFEDでてこないなー。 Betaすら出てこないとは。 WinOFEDで、ConnectXがサポートされるんなら待てるけど、サポート切られたな泣ける 726 名前：不明なデバイスさん mailto:sage [2013/01/09(水) 10:59:14.70 ID:JcAsz2sX.net] NDKPIを入れ込むのに難航してるのかな。infiniband dayのほうが早かったりして。 727 名前：不明なデバイスさん mailto:sage [2013/01/13(日) 22:53:07.78 ID:iEFbuR9c.net] OpenFabrics AllianceがForum以外に飛べないのはなんでだぜ 728 名前：不明なデバイスさん mailto:sage [2013/01/13(日) 23:46:54.64 ID:DYaNkQQg.net] 昨日ぐらいから。更新中？　と思ったけど　飛んだ？　というのもありがち。 729 名前：不明なデバイスさん mailto:sage [2013/01/14(月) 23:23:53.36 ID:59silHaj.net] ConnectX-2のfirmwareは、Windows Server 2012のMLNX_WinOFインストール時に勝手に更新されるのね。 先にMLNX_WinOF入れてからカード差してたから気がつかなかった orz あとうちであった事例だけど、 730 名前：PCIe Gen3のポートにConnectX-2のfirmware 2.9.100のカード差したら認識しなかった。 なので、PCIe Gen2のあるPCへ差し直して、2.9.1200へ更新してやったら認識した。 で、上記Windows Server 2012がPCIe Gen3だったのでドハマりしたよ。 前にあったのは、AMDのチップセットでFirmが2.6.0とか古いのだったときに同じような事あったから気づいたんだけど。 [] [ここ壊れてます] 731 名前：不明なデバイスさん mailto:sage [2013/01/20(日) 10:29:59.56 ID:7re8D9jW.net] ConnectX2同士を直結した場合は10G NICとしては使えないんですか？ 732 名前：不明なデバイスさん mailto:sage [2013/01/20(日) 16:13:32.20 ID:Y3VAJlZs.net] connectX2は10GBeに切り替えられるから10GBe NICの代わりになるけど、直結は動かないんじゃなかったかな。 理由はシラネ。 733 名前：不明なデバイスさん mailto:sage [2013/01/20(日) 23:51:30.57 ID:DsuTrtDK.net] >>689 過去に試したとき(Firm 2.9.100)は駄目だった。 最新のFirmだとLinkUpするかもしれないけど、試せる環境がすぐにないので何とも。 ConnectX-2 ENでWindows Server 2012直結・Linux直結は動いたけど、これは参考にならんね。 734 名前：不明なデバイスさん mailto:sage [2013/01/21(月) 00:41:34.06 ID:UrDtl6ha.net] 直結問題ないよ 735 名前：不明なデバイスさん mailto:sage [2013/01/31(木) 23:08:22.09 ID:DoQvcRsv.net] hyper-vホスト二台と共有ストレージ infinihost III二口をそれぞれに刺して三角形にしてlive migrationすると必ず失敗するな 736 名前：不明なデバイスさん mailto:sage [2013/02/01(金) 21:13:26.42 ID:K+UhZ7GP.net] infinihostIIIだと別々のセグメントになるからじゃ？ なんとなくだけどIPoIBのインターフェースをbridge設定して、force compatibilityにして同じセグメントに入れれば 動くかも。 #infiniband day 06、面白かった。 737 名前：不明なデバイスさん [2013/02/04(月) 14:51:04.30 ID:GrufH4Gk.net] メラノックスのIS5022で遊ぼうと思っているのだが、 こいつのPartitionKeyの最大数わかる人いますか。 HPの右にあるUserManyual読んだけどわからんかった。 VLAN関連がIBのPartitionKey使っているからSWのPartitionKeyの最大数 調べろみたいな記述を読んで探しているのですが、、、 738 名前：不明なデバイスさん mailto:sage [2013/02/05(火) 20:03:01.27 ID:8Jhn9ai/.net] 最近Infinibandを研究室に導入しようと調べてるんだけど、ちょっと動かしたとか性能測ったってネットでドヤ顔して晒してる自己顕示欲のかたまりみたいな方々が多いのな… 驚きました 739 名前：不明なデバイスさん mailto:sage [2013/02/05(火) 20:13:36.68 ID:XQfGgpDR.net] 人柱様になんて口の聞き方だ 740 名前：不明なデバイスさん mailto:sage [2013/02/05(火) 20:29:59.38 ID:nzuj5V7j.net] だって他にやることないし 741 名前：不明なデバイスさん mailto:sage [2013/02/05(火) 21:12:13.25 ID:YgPup+1D.net] ネットワークなんてそんなもんでしょ。 で、あなたは何をしてくれるの？ 742 名前：不明なデバイスさん mailto:sage [2013/02/05(火) 22:35:38.30 ID:xdIRjWYy.net] 他人の趣味を否定するアホが涌いてるけど 自己顕示欲のカタマリってこういうアホのことだと思うんだｗ 743 名前：不明なデバイスさん mailto:sage [2013/02/05(火) 22:45:07.54 ID:fvhdz1AM.net] やり方ググったけどまともに説明してるサイトなくて困ってます＞＜ってことでしょ 744 名前：不明なデバイスさん mailto:sage [2013/02/05(火) 22:47:39.74 ID:JQpfxhN8.net] そんなレベルで研究室に導入とか大丈夫かな 745 名前：不明なデバイスさん mailto:sage [2013/02/05(火) 23:27:08.32 ID:alkVnItT.net] >>696息してないwww フルボッコ過ぎてワロタ 746 名前：不明なデバイスさん mailto:sage [2013/02/06(水) 01:41:38.25 ID:yg8658Ol.net] それ以上書いて貰っても、専門的すぎて役に立たんと思うんだが HPCでのベンチ結果なんて個人には意味が無い 747 名前：不明なデバイスさん mailto:sage [2013/02/06(水) 09:32:26.20 ID:/8MaX4ao.net] 個人だとSAN位にしか使い道ないしね 748 名前：不明なデバイスさん mailto:sage [2013/02/06(水) 10:03:27.74 ID:ldvzEUoF.net] 業務の結果公開しても、他にあてはまらないこと多いからねぇ。 >>705 業務でもほぼSANかバックアップ用回線では。結局、発見プロトコルにブロードキャストが必須なTCP/IPと スイッチングファブリックは相性よくないんで、IPoIBで何でも置き換えられますよー、とはいかぬ。 749 名前：不明なデバイスさん mailto:sage [2013/02/06(水) 10:34:58.77 ID:JCcsM2kr.net] 研究室に導入しようとして２ちゃんに来るとはｗ にわか管理者は研究室でドヤ顔してるんだろうな… 750 名前：不明なデバイスさん mailto:sage [2013/02/06(水) 12:43:42.65 ID:ldvzEUoF.net] >>693 バックアップ待ちで時間あったからちと実験してみた。Infinihost Exと2つのInfinihost Lx、 Ex上で2つのIPoIBをブリッジしておくと、Lx同士でもIPで通信できた＠ws2012。 forcecompatibilityはONにするとかえってだめ。 なおsubnet managerはEx上に1つだけだと片側しか掴んでくれなかったので（設定だろうけど）、Lxそれぞれで起動。 751 名前：不明なデバイスさん mailto:sage [2013/02/07(木) 16:06:44.94 ID:2ikPv26v.net] winof、でないねー。 レポジトリ覗いてみたけど、SMB directっぽいのが1月末でrevertされていたり、一体何があった？ 752 名前：不明なデバイスさん mailto:sage [2013/02/21(木) 10:42:02.12 ID:jWFPHK9p.net] mellanoxのESXi 5.x用スタックがSRPをサポートした見たいだけど、 試してみた人いるー うち、今ESXiの環境無くて、テスト出来ないんだ。 >>709 ほんとどーなってるのかねぇ・・・ 753 名前：不明なデバイスさん mailto:sage [2013/02/23(土) 13:17:22.39 ID:LTxRMd12.net] >>710 情報Thx 今晩ESXi 5.1用ドライバで、SRP試してみるよ。結果わかり次第書き込むね。 1.8.1でにConnectXで動作するかも確認してみる。 754 名前：711 mailto:sage [2013/03/09(土) 12:46:41.97 ID:sdwFqXYW.net] 遅くなったけど、Mellanox Driver 1.8.1 + ConnectX-2を使ってESXi 5.1でSRPは使えた。 Target側はLinux+ SCSTで動作確認。 RAMDISK作って試したけど、RAMDISKの速度が1.5GB/s位だったのでQDRのフルスピード使えなくて泣いた orz 755 名前：不明なデバイスさん mailto:sage [2013/03/12(火) 09:00:14.46 ID:DGsD1O+p.net] ESXi 5.xでSRP使えるようになったかぁ。 Windows 2012系はOFEDの3.2待ちなんだよな・・・てか、Q4'12どころか Q1'13終わるんですけど！？ OFEDさん、どうなってんの！ まぁ、OFED3.1に細工して入れるのも有りだけど・・・ あれ、OpenSM動いてたっけ・・・ 756 名前：不明なデバイスさん mailto:sage [2013/03/12(火) 21:21:37.46 ID:32YU15EY.net] OpenSM動くよ＞orca細工なofed3.1 そろそろconnectx2あたりが欲しいなあ。オクにx3まで出てるけど、さすがにFDRはスイッチがねー。 757 名前：不明なデバイスさん mailto:sage [2013/03/13(水) 00:04:17.29 ID:fBwf9jjF.net] WinSrv 2012でOFED3.1試したら、OpenSMが固まる・・・ というか、OSごと落としてくれやがる。 休みに時間取ってやってどうなるかだが、期待は出来んなぁ。 Hyper-VでSRPを試してみたかったんだが。 758 名前：不明なデバイスさん mailto:sage [2013/03/13(水) 11:28:35.39 ID:7w2Ov2mt.net] うちでは落ちたことはないなあ。infinihost lxだし、 必要最低限のものしか入れてない(srpもなし)からかも。 759 名前：不明なデバイスさん mailto:sage [2013/03/13(水) 13:01:20.03 ID:fBwf9jjF.net] ConnectX-2でMLNX_OFED使ってたから、libかドライバ周りで なんかゴミが残ってるかなぁ。 OpenSM、起動はするんだけど、SUBNET UPにならずに Entering DISCOVERING stateで止まっちゃうんだよね。 で、Ctrl-Cで、終了出来ずに、最悪OSリセットがかかるｗ エラーも出さずにOSまで落としてくれるので、ドライバ周りが非常に怪しい・・・ 760 名前：不明なデバイスさん mailto:sage [2013/03/14(木) 16:07:53.04 ID:wsagZer1.net] とりあえずデバイスマネージャからconnectx-2を右クリック→ドライバの更新→選択、して、 ofedの奴を選んでみるといいかも。ip 761 名前：oibのドライバも。 でもMLNX_OFEDで十分だとおもうお。 [] [ここ壊れてます] 762 名前：不明なデバイスさん mailto:sage [2013/03/14(木) 16:56:23.57 ID:ffxYB2J8.net] >>718 もち試したお！ クリーンインストールした環境でやっても、症状変わらなかった・・・ とりあえずMLNX_OFEDでもうちょっと使ってます。 Hyper-Vとストレージの間に使ってるラインなので、 CM&SRPには惹かれるんですけどねぇ。 763 名前：不明なデバイスさん mailto:sage [2013/04/18(木) 10:14:37.50 ID:v9DBPrUz.net] www.openfabrics.org/downloads/Windows/v3.2/ あらでてたのね。 764 名前：不明なデバイスさん mailto:sage [2013/04/18(木) 13:17:21.98 ID:VJt2xmB1.net] Release Noteはまだか。 765 名前：不明なデバイスさん mailto:sage [2013/04/18(木) 19:12:17.00 ID:VJt2xmB1.net] Release Noteはzipの中に入ってた。そしてWindows8/2012は OFED3.3で対応、Q4'2013だよ！って、遅すぎだろ・・・orz やる気ねーなぁ、1年待てってか。。。 766 名前：不明なデバイスさん mailto:sage [2013/04/18(木) 19:36:20.14 ID:twxr0sKj.net] Q4'2013なら2013/10〜2013/12じゃねぇの そういうのに出てくる四半期は1月から数え始めるのが普通だと思うが まあ遅すぎるのには同意だけどね 767 名前：不明なデバイスさん mailto:sage [2013/04/18(木) 20:16:08.46 ID:VJt2xmB1.net] >>723 いやぁ、確かにその通り、ちゃんとQ4'2013なら、1年は無いんだけど・・・ でも、今回の3.2もOFEDはQ4'2012に出す予定って言ってた訳ですよ。 結果はご覧の通り、Q2'2013になった訳でｗ で、出るのはQ1〜Q2'2014と勝手に予想した訳なんです。 768 名前：不明なデバイスさん mailto:sage [2013/04/19(金) 18:00:15.95 ID:eaHEHXX7.net] 次からやる気出す。 769 名前：不明なデバイスさん mailto:sage [2013/05/11(土) 15:00:10.45 ID:teRxuveD.net] Connect-IBも１年近く経つけれど出てきませんね。 770 名前：不明なデバイスさん mailto:sage [2013/05/12(日) 23:16:35.01 ID:alu7WM/E.net] 久々にMellanoxのサイトチェックしたら、Linux用のMLNX_OFEDが3月に2.0にバージョンアップしてたのね。 ubuntu 12.04のサポートが新規に入ったみたいだったので、試しに入れてみた。 12.04の環境だと思って入れた環境が13.04て、opensmの起動スクリプトでエラーが出たが、 他は問題なく動いてる。 入ってるソフトのバージョン見てたら、opensmが4.0になってたけど何が変わったか調べないと。 771 名前：不明なデバイスさん mailto:sage [2013/05/21(火) 14:27:59.20 ID:UufHEn4y.net] connectx-2が1万切っていたのでひさびざにIB関連を購入、我ながら貧乏だね。 PSIDはFJT0D90200009、ファームアップデートしてWindowsServer2012の標準ドライバでsmb-directしてみたけど、 大してスピードかわらねー。(crystaldiskmark4000M,starwind ramdisk直だとリード3191MB/s ライト3776MB/s) smb-direct無効 リード1022MB/s ライト1040MB/s smb-direct有効 リード1281MB/s ライト1166MB/s MLNX-OFEDでもいろいろ試してみよっと。 772 名前：不明なデバイスさん mailto:sage [2013/05/22(水) 12:12:09.76 ID:hoqDTY4/.net] server2012対向でRAMディスクの速度テスト for ConnectX-2。 サーバクライアントともdual X5570、ConnectX-2(富士通OEM), QDR。(単位 MB/秒) ==CrystalDiskmark4000M====SR==SW===RR==RW==QD1======QD32=== starwind ramdiskローカル直　3191 3776　3159 3952　1224 1227 1008 1102 MLNX_OFED4.2,直結,チューニングなし 　ibv_send_bw -a　　　　　　　　 2935 　SMBアクセス direct無効　　 1001 1044　 907　 912　　35　 37　 389　309 　SMBアクセス direct有効　　 1258 1168　1068 1000　　58　 42　 439　390 　hyper-vでSMB経由vhd　　　1219 1371　 970　1035　　31　 33　 160　153 single_portでチューニング(IPoIBデバイスのプロパティで) 　ibv_send_bw -a　　　　　　　　 2938 　SMBアクセス direct無効　　 1093 1121　 961　 936　　49　 50　 480　272 　SMBアクセス direct有効　　 1279 1164　1088 1001　　57　 42　 434　381 　hyper-vでSMB経由vhd　　　1245 1337　 962　1027　　32　 34　 161　155 IPoIBを仮想ネットワークに入れる 　SMBアクセス　　　　　　　　　　734　 991　 657　 862　　40　 50　 254　297 メモ ・PSIDはFJT0D90200009、ファームは手動で2.9.8350に更新。 ・flint dcで書き出したiniはメモ帳等でANSIで再保存するとmlxburnでエラーが出ない。 ・Windows8の標準ドライバ(SMは4036)でもスピードはチューニングなしの場合と同じ。 ・SMB directが使えるかはPowerShellからGet-SmbServerNetworkInterface等で表示、 　directの無効化はSet-NetOffloadGlobalSetting -NetworkDirect disable。 ・ConnectX-2は元からIPoIBのオフロードがあり、SMB directでも20%程度しか向上しない。 ・single_portのチューニングはIPoIBが10%程度向上、directやIB自体には効果なし。 ・IPoIBを仮想化して仮想マシンから外にアクセスできるようになったが、 　これをするとSMB directは無効（当然)になる上、仮想スイッチ層が入るため遅い。 ・仮想マシンからのtcpスピードは6000Mbps程度だがスピードは安定しない。 ・10GbEに切り替えたらQSFP直結でも動作した。 概ねInfinihost LX(DDR)の倍出てるけど、常用するにはいろいろ考えねば。 773 名前：不明なデバイスさん mailto:sage [2013/05/22(水) 18:15:42.74 ID:N1gX5Of3.net] >>729 CM使えれば、もう一伸びしそうだけどねー。 OFEDが為体な、おっと誰か来たようだ。 774 名前：不明なデバイスさん mailto:sage [2013/05/23(木) 10:01:32.73 ID:zKOtwrc8.net] > ・ConnectX-2は元からIPoIBのオフロードがあり、SMB directでも20%程度しか向上しない。 参考になったわー。 775 名前：不明なデバイスさん mailto:sage [2013/06/08(土) 08:50:06.89 ID:9flVJQJb.net] >>730 互換性がないのは通信インフラとしての評価だと最低だから、UDで統一したほうが幸せな気がする。 もちろんオフロードでそこそこのスピードが出るconnect-x以降が前提になっちゃうけど。 776 名前：不明なデバイスさん mailto:sage [2013/06/08(土) 11:09:44.53 ID:C18/AcS8.net] >>732 UDだとフレームサイズが2kまでってのがちょっとね。。。 Windows同士なら4kまでいけるんだが、Windows以外での UDモードが4kサポートしきれてない感が。 777 名前：不明なデバイスさん mailto:sage [2013/06/20(木) 22:21:33.24 ID:9CZUAJ+r.net] >>732 CMってもしかしてベンダ独自拡張なの？ 778 名前：不明なデバイスさん mailto:sage [2013/06/24(月) 12:39:47.07 ID:A3iC9EkU.net] ofed独自拡張、かな。 CMを張れる総数がカードで決まっている現状では、その上にIPを載せるなんて危険すぎるでしょ。 （対地数がCM本数に制限される） 779 名前：不明なデバイスさん mailto:sage [2013/06/25(火) 14:53:26.29 ID:pjtmxEE8.net] >>735 それって net.rdma_ucm.max_backlog のこと？ それともハードウェア的な別の上限がある？ スパコンや不特定多数から直接叩かれる公開サーバじゃなければ困らないような気がする。 780 名前：不明なデバイスさん mailto:sage [2013/07/18(木) NY:AN:NY.AN ID:H2OZ26G8.net] >OFED for Windows (WinOFED) Roadmap >----------------------------------- >[ Last updated: 06-25-2013 ] > >WinOFED 3.2 GA released June 25, 2013 >OFED for Windows 3.3 release on hold (lack of IHV participation). 一応、3.2はreleaseされた様だが、なんか雲行きがあやすぃ、3.3がholdされちゃってるよー。 ってか、そこまで影響及ぼすIHVって、Mellanox以外思い当たらないんだがｗ 781 名前：不明なデバイスさん mailto:sage [2013/07/26(金) NY:AN:NY.AN ID:xT/zoNDp.net] Intelだったりして。 782 名前：不明なデバイスさん mailto:sage [2013/07/26(金) NY:AN:NY.AN ID:pwjnYFIr.net] >>738 その可能性もなきにしもあらずだが・・・ FDRはまだ手出してないし、市場に流れてる量から見ると、 そこまで影響力はない気がするんだよなぁ。 783 名前：不明なデバイスさん mailto:sage [2013/08/02(金) NY:AN:NY.AN ID:YJjex9m4.net] CPUから直出ししようとしてるから、プロトコルに関してなんらかのプランがあるんじゃない？ もちろん邪推だ。 784 名前：不明なデバイスさん mailto:sage [2013/08/20(火) NY:AN:NY.AN ID:D4PWX8S4.net] うちのDDR様が規格16Gbpsなのに実力12Gbpsしか出ない。 10GEより「高速」な時代 785 名前：が長かった割には中々普及しなかった理由が判る気がする。 最新のでも54.4Gbpsだっけ？が上限なのに、49Gbps位しか出ない。 いや速いんだけど、チャンピオンデータでも10%も落っこちるのは何が原因なんだろ？ RDMAは特にサイズがデカいREAD/WRITEならバス位しか制約要因なさそうなのに。 [] [ここ壊れてます] 786 名前：不明なデバイスさん mailto:sage [2013/08/20(火) NY:AN:NY.AN ID:Uz1xe9E0.net] もともとスループットよりもレイテンシ縮小に振ったプロトコルだからそんなものなのかも。 経路上にバッファを置かないから、経路できたよー、の確認にそれなりに喰われるんじゃないのかな。 787 名前：不明なデバイスさん mailto:sage [2013/08/20(火) NY:AN:NY.AN ID:6+IBr9LC.net] >>741 元々Infiniband自体、ハードウェアでのアクセラレートは全くなく、 マシンパワーで安く速度だそうぜってのが最初。 そして、>>742も書いてるが、ノード間のlatencyを極小にするのが第一目的。 さすがに、QDRでIPoIB、FCoIBとか、いろんなプロトコル扱うようになって、 辛くなってきたから、コントローラーへ処理をオフロードするようになってきた。 それがMellanoxで言えば、ConnectX/X2世代。 ConnectXなら、DDR/RDMAで15Gbps弱までは出てるぞ、ベンチでは。 同じ環境で、Infinihostだと12Gbps弱。 間にスイッチ入ると、latencyが延びるから、どうしても直結よりかは遅くなるが。 理論値54.4Gbpsに対して、実効値で49Gbps出てるなら、 製品としては結構良い線行ってる気がするけど。 788 名前：不明なデバイスさん mailto:sage [2013/08/21(水) NY:AN:NY.AN ID:OQx+Fe9U.net] IPoIBとかFCoIBはコントローラに支援機能がなければCPU処理が必要で遅くなるのは判るけど、 RDMAネイティブならキュー処理とイベントのACK以外、つまりデータ転送部分はハードウェア処理だから性能が出しやすいかと思ってた。 一応、出しやすいことは出しやすいのだけど、フル性能には中々迫れず、20Gbps, 40Gbpsともなると、データ転送部分以外の軽度の処理負担ですら馬鹿にならないんだなと。 あと、脱線だけどRoCEでパケット流してる時に、これをモニタできるツールありませんか？どこにカウンタがあるんだろう。 789 名前：不明なデバイスさん mailto:sage [2013/08/21(水) NY:AN:NY.AN ID:+BYZcZot.net] Server2012だとパフォーマンスモニタのカウンタ値にまさにRDMA Activityの大項目があるね。 あとSMB Direct Connection大項目の中にもRDMA関連のがいくつか。 実際に試してはないのでこれかどうかはわからん。 790 名前：不明なデバイスさん mailto:sage [2013/08/22(木) NY:AN:NY.AN ID:7HvQV/+r.net] なんかChelsioがRoCEをかなりdisった資料を出してるんですが、 結局RoCEとiWARPはどちらに目があるんですかね？ → www.chelsio.com/roce/ 歴史理解が甘いので誤解してるかもしれませんが 1.IB-RDMAを他の技術、特に10+GEで使えるようにしたいというニーズ・思惑があった - 思惑：IB界としてはIB Verbs互換で提唱することで、IB利用の敷居を下げたい - ニーズ：RDMAの効果は著しいので使いたいが、IBそのものの採用は腰が引ける 2.旦那、10+GEなんてこと言わずにIPベースで標準化しましょうよ、という流れに - IETFでiWARPが規格化された 3.でもiWARPはTCPを処理してRDMAしないといけないので、大変 - チップ設計がTCP offload機能どころじゃなく大変 - 他のTCP通信と共存とか頭がおかしくなりそうに大変 - IBにも10+GEにも依存しないかもしれないが、そもそも他にあるのか？誰得？ 4.なのでRoCEを作ってみた - Ethernet 791 名前：のフレーム処理だけでいいので安くて速くてうまい - でも、RFCがあるような標準規格ではない って流れでよい？ でも結局10GEならRDMAしなくてもなんとかなるし、10>GEは作っている 会社が少なすぎるので、結局RoCEもiWARPも本当に相互運用するのか わからんような、実質ベンダ依存みたいになってる？10>GE HCAの 設計元っていま何社あって、各社どれに対応しているんだろう。 [] [ここ壊れてます] 792 名前：不明なデバイスさん mailto:sage [2013/08/23(金) NY:AN:NY.AN ID:/pgL/8FP.net] 単純にiWARPはRDMA over TCP(L3)、RoCEはRDMA over Ethernet(L2)だと思ってたけど違うんかな。 ConvergedということはL2でなくてL1(実用上は他のether trafficと同時に流せない)なんで、IBと差がないような。 793 名前：不明なデバイスさん mailto:sage [2013/08/23(金) NY:AN:NY.AN ID:Y0fXD8OV.net] いやそれであってない？＞iWARP/RoCE なんでChelsioがそんなにRoCE disなのかは不明だけど。 794 名前：不明なデバイスさん mailto:sage [2013/08/23(金) NY:AN:NY.AN ID:/pgL/8FP.net] 個人的にはmyricomがさっくり性能でたんでchelsioより好きだったけど、myricom変な方向行ってるなあ。 ってそういう話は10gbeスレか。 795 名前：不明なデバイスさん mailto:sage [2013/08/24(土) NY:AN:NY.AN ID:E8oOqddF.net] このクラスのストレージへをL3でルーター超えでやりたいことってあるのかなぁ むしろあらゆるオーバーヘッドは可能な限り取り除いてやりたいと考えることのほうが多いような気が 796 名前：不明なデバイスさん mailto:sage [2013/08/24(土) NY:AN:NY.AN ID:Bu+9d+Ke.net] 大陸間InfiniBandとか・・・ 797 名前：不明なデバイスさん mailto:sage [2013/09/28(土) 00:26:13.05 ID:7tm4A4WS.net] FreeBSD 10.0-ALPHA2にkernel mode iscsi targetがマージされたみたい。 実装するって話が出たのが、今年の5月ぐらいだった気がするから、結構早く出来たもんだ。 iSCSIだけかと思ったらiSERまで実装されてた。 とりあえず、1GbEでWindowsから繋いでみたけど、普通に動いてるっぽい。 1GbEを超える負荷をかけたときにどうなるか試したいけど、 今IBでテスト出来る環境が無いorz でも、これがまともに使えるようになれば、 Solaris/COMSTARの置き換えもいけるかなぁ。 798 名前：不明なデバイスさん mailto:sage [2013/09/28(土) 01:35:14.90 ID:WfgUmsKd.net] さすがNSAパワー IT不況なんて関係ないぜ 799 名前：不明なデバイスさん mailto:sage [2013/10/01(火) 09:42:02.49 ID:salaZhdx.net] windowsイニシエータってiSER使うの？NDISがRDMA enableになってれば勝手に使うのか。 800 名前：不明なデバイスさん mailto:sage [2013/10/02(水) 00:49:49.14 ID:v83BN4ma.net] >>751 PCI-E over Ether ですら商品化されてるし、そのうち出てくるんじゃないか cloud.watch.impress.co.jp/docs/news/20120524_535036.html 801 名前：不明なデバイスさん mailto:sage [2013/10/02(水) 19:51:03.44 ID:yRp/rhU3.net] まぁディザスタリカバリ用途の遠隔バックアップとか遠隔ストレージマイグレーションなんかかね 802 名前：不明なデバイスさん mailto:sage [2013/10/06(日) 02:37:25.49 ID:DPX4vgjE.net] すみません、自宅マシンにインフィニットバンドを導入しようと思ってるん んですが、メラノックスのコネクトＸ２について教えてください 双方、シングルポートのアダプタで直結した場合でも、ＩＢも１０ＧＢＥも 普通に使えますでしょうか？（ハブを経由しなくても） なんか直結だと１０ＧＢＥは使えない、みたいな話もあるので あと、１０ＧｂＥのファームで使うのと、ＩＢのファームでＩＰｏＩＢで 使うのはどっちが早いんでしょうか？ 803 名前：不明なデバイスさん mailto:sage [2013/10/06(日) 09:59:32.80 ID:1bXX/518.net] >>757 SM立てれば、IBの直結はOK。ConnectX-2はEthの直結は×。 ベンチマーク上では10GbEよりIBのが速い。 実際にどうかは、環境次第。 2GiB/sを常時出せる足回りなら、IBの 804 名前：が速いんじゃねーかな。 一般的なPCじゃ10GbE/IBの帯域に、ストレージの帯域が追いつかない。 1行目は、あえてスルー。 [] [ここ壊れてます] 805 名前：不明なデバイスさん mailto:sage [2013/10/06(日) 13:47:05.30 ID:xpoqKciM.net] >>758 Ethでも直結できるよ 806 名前：不明なデバイスさん mailto:sage [2013/10/07(月) 02:29:15.89 ID:8g6dRzUw.net] >>759 スクリーンショットうｐ 807 名前：不明なデバイスさん mailto:sage [2013/10/07(月) 08:20:13.94 ID:4Vk4WpC4.net] やってみたけど直結できたよ。 808 名前：不明なデバイスさん mailto:sage [2013/10/07(月) 16:31:31.65 ID:M3vxO/fF.net] X-3なんとちゃうのん 809 名前：不明なデバイスさん mailto:sage [2013/10/07(月) 20:45:47.57 ID:J9BH2yQn.net] シングルポートのX2-VPIだができないモデルもあるの？ それとも製品が違うのかな 810 名前：不明なデバイスさん mailto:sage [2013/10/07(月) 23:26:15.82 ID:GUmHVZpH.net] 2ポートのMHQH29Bでも出来た。 ConnectX-3の40GbEでもできた。 無印ConnectXは持ってないから不明 811 名前：不明なデバイスさん mailto:sage [2013/10/08(火) 02:36:19.42 ID:wLK6UswA.net] 出来たとか抜かしてる奴、Mellanoxのページで出来ませんって書かれてるのに どんな魔法使ってんの？ｗ 812 名前：不明なデバイスさん mailto:sage [2013/10/08(火) 08:12:13.12 ID:Ka7Yi7Bq.net] まさかIPoIBでした、なんて事はないよな・・・ 813 名前：不明なデバイスさん mailto:sage [2013/10/08(火) 17:57:17.01 ID:cnFJ3Kk6.net] >>689-692 >>729 上にも、できる派とできない派 814 名前：729 mailto:sage [2013/10/09(水) 12:25:54.98 ID:mr6nSZiq.net] ケーブルによるのかも。QSFPは中にI2Cのチップ持ってて諸元書いてあるので、それでできたりできなかったりなのかも。推測だけど。 うちで出来たのはJESS-LINKの03M-26AWG P3002TG03000-0ってやつ。 815 名前：不明なデバイスさん mailto:sage [2013/10/09(水) 20:45:55.18 ID:J08WR+1a.net] だから、出来るとかウソ書いてる奴はスクショ貼れよ 816 名前：不明なデバイスさん mailto:sage [2013/10/09(水) 21:46:48.12 ID:dmBhmSjZ.net] ながれをよまずかきこみ >>708 > なおsubnet managerはEx上に1つだけだと片側しか掴んでくれなかったので（設定だろうけど）、Lxそれぞれで起動。 ネット検索中に上記のようなIBの両腕持つホストでのSM設定法を見つけたのでメモ www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf blogs.technet.com/b/josebda/archive/2012/07/31/deploying-windows-server-2012-with-smb-direct-smb-over-rdma-and-the-mellanox-connectx-2-connectx-3-using-infiniband-step-by-step.aspx 上記4.3 Using OpenSM with two unmanaged switches参照 817 名前：770 mailto:sage [2013/10/09(水) 21:49:02.36 ID:dmBhmSjZ.net] ・SMは(名前通り)IB subnetを管理し、ひとつのIB subnet毎に対しひとつ(以上)のSMを必要とする ・複数のIB subnetに対し同一ホスト上にSMを配置する場合、当ホストで管理するIB subnet数分のSM(SMopensm.exe)を動かす ・各opensm.exeには個々のSMの管理対象IB subnetを--guidオプションでHCA portにより指定する 的な感じ。opensm.exeのオプションはWinOFユーザーズガイドとかには直接は書かれてないけど opensm.exe /?でオンラインマニュアルで詳細が判る # うちは環境無いので試せてないけど これならinitiator 3ホスト程度をLinux targetにスター接続なんてのもいけるかも 818 名前：不明なデバイスさん mailto:sage [2013/10/09(水) 21:54:44.63 ID:mr6nSZiq.net] >>769 スクリーンショットだけで10GbEスイッチ経由とどうやって区別するんだい？ >>770 サンクス。今常用はIBスイッチ経由だけど、今度実験君するときに試してみる。 でも2012R2はいまいちテストする気もおきず・・・何か変わったんだっけ？ 819 名前：770 mailto:sage [2013/10/09(水) 23:03:54.19 ID:dmBhmSjZ.net] >>772 Infinibad関係しそうなとこだとlive migration with RDMAとか? download.microsoft.com/download/0/2/ 820 名前：1/021BE527-A882-41E6-A83B-8072BF58721E/Windows_Server_2012_R2_Overview_White_Paper.pdf [] [ここ壊れてます] 821 名前：770 mailto:sage [2013/10/09(水) 23:09:07.05 ID:dmBhmSjZ.net] それとopensm複数起動自体は2012R2固有とは限らない気がする 822 名前：不明なデバイスさん mailto:sage [2013/10/10(木) 08:21:48.61 ID:ch6HFIwI.net] >>774 登録時のサービス名を変えれば、いくつでも登録は出来るね。 それぞれのオプションで、読み込むconfを指定しておけば、 複数の設定で起動出来る。>>772 >>772 簡単な所で言えば、ローカルエリアの状態を表示すれば、リンク速度が表示される。 デバマネのシステムデバイス＞IB開いて、port protocolがどうなってるか、 辺りじゃない？ 823 名前：不明なデバイスさん mailto:sage [2013/10/10(木) 09:20:52.26 ID:F3+BFDUG.net] あれ、Live migrationって元からRDMA使ってなかったのか。それは実験君のいいネタだな。 ＃live migrationの実験ってめんどいんだよなあ。独立ネットで組むと3台は必要になるし。 >>775 10GbEに設定したなら、直結でもスイッチ経由でも速度同じでは？ 824 名前：不明なデバイスさん mailto:sage [2013/10/10(木) 20:30:22.08 ID:W76s+PON.net] 777 get ! 825 名前：不明なデバイスさん mailto:sage [2013/10/12(土) 00:41:09.17 ID:9KR+44B2.net] connectx-3で、centos6.4 kvm + sr-iovがmlnx_ofed 2.0-3.0.0で動いた。 ゲストで、centos 6.4とubuntu 12.04とfreebsd 10.0 alpha5を動かしたけど、freebsdは、ドライバの認識でこける。 Linux系では、標準のドライバだと、freebsdとはちがって、認識するけど動かなかった。 Windowsはまだテストしてないけど、多分駄目だろ〜な。 826 名前：不明なデバイスさん [2013/10/23(水) 00:31:26.94 ID:msCiN1aa.net] >>765 >Mellanoxのページで出来ませんって書かれてるのに ちなみにどこに書いてある？ 827 名前：不明なデバイスさん mailto:sage [2013/10/24(木) 01:08:57.49 ID:sc4VcQAo.net] 逆に10GbEのできない環境が気になる。 828 名前：不明なデバイスさん mailto:sage [2013/10/29(火) 10:07:49.22 ID:N/nv4CpL.net] でもできない理由もなんとなく想像できるんだよね。 ConnectX-2以降のQDR対応のやつだと、ケーブルによって10GBASE-CX(4P)と10GBASE-SFP+(1P)の両方に対応してるんで、 それを識別できないとだめなんじゃない？ mellanoxの昔のQSFP-QSFPケーブルだとケーブル内にI2Cチップ持ってない奴があったんで、そういう奴だと直結動作しないかも、 と想像はしている。 829 名前：不明なデバイスさん mailto:sage [2013/10/29(火) 20:24:36.99 ID:iT4/lznk.net] いや、直結問題ないですよ。 10G/40Gはコネクタ違うし。 830 名前：不明なデバイスさん mailto:sage [2013/10/30(水) 14:55:17.46 ID:ZBkm5E8V.net] I2C内蔵してない＝パッシブケーブルてことでいいの？ むしろ識別されない方がケーブル長が短いなら上位規格まで実力で通せる可能性があるからうれしいかと思ってた。 ええ、ファイバのQDRケーブル投資がFDRになって無駄になって涙目ですよ。FDR10は使えるけど・・・ 831 名前：不明なデバイスさん mailto:sage [2013/10/31(木) 11:32:27.76 ID:skDphSFW.net] I2C内蔵してないのがパッシブ、ではなくて、どっちかというと「初期にあった変なケーブル」です。 パッシブでもQSFPはケーブル緒元をI2Cで書くことが決まっているはず（ここらへんはSFP+からの流れ）で、 その値を見てこのケーブルにはQDR流せる、DDRまでだ、とか機器が判断するはずです。 FDRに投資できるだけすげーとか思う。 832 名前：不明なデバイスさん mailto:sage [2013/10/31(木) 22:13:40.11 ID:skDphSFW.net] 環境を入れ替える前に10GBetherでのQSFP直結試験してみた。 ・ConnectX-2、PSIDはFJT0D90200009、ファームは2.9.8350。 ・Server2012R2previewにMLNX WinOF 4.55。 ・インストール時にファームアップできなかったとか言われるが無視。まFJTだし。 ・デバイスマネージャからMellanox VPI(MT26428)をAuto→Ethernetに切り替え。 ・ケーブルJESS-LINK 03M-26AWG→ 833 名前：リンクアップ、ping OK。 ・ケーブルmlnx MCC4Q30C-001（これ確かI2Cチップなし）→やっぱりOK。 ・QSFP-CX4ケーブルでスイッチへ接続→OK。 うちの環境では直結でも全く問題ない模様。ってIB関係ないスマン。 [] [ここ壊れてます] 834 名前：不明なデバイスさん mailto:sage [2013/11/01(金) 11:26:36.99 ID:DLqhGswM.net] QSFP-CX4ケーブルでスイッチに接続、てのはHCA側はQSFPで、スイッチ側はCX4を4口消費ってことなの？ 分岐ケーブルでの接続だとどういう風にLIDの割当とかが見えてるんだろう。 スイッチ側にCX4x4を1ポート扱いするような設定ができる機能があるのかな？ 835 名前：不明なデバイスさん mailto:sage [2013/11/01(金) 12:23:11.05 ID:32zDHkE1.net] QSFPは4対、CX4も4対だからふつうに1対1ですよ。規格としてはSFF8436-SFF8470。 ケーブル内には片方向より線4対を個別シールド、行き帰りなんで信号線としては16本ね。 836 名前：不明なデバイスさん mailto:sage [2013/11/01(金) 12:28:37.38 ID:32zDHkE1.net] ちなみにQSFP-SFP+というケーブルや、QSFPに刺さるSFP+アダプタ（10GBASE-SR等用だと思う）もあるみたいだけど、 こちらは中の1対だけ利用していると思われます。 837 名前：不明なデバイスさん mailto:sage [2013/11/01(金) 12:30:53.63 ID:32zDHkE1.net] …mellanoxから分岐ケーブルも出てるね。対応ボードが何か、とかはシラネ。 www.mellanox.com/pdf/prod_cables/Hybrid_Passive_QSFP_4x_SFP_10Gbs_Cables.pdf 838 名前：不明なデバイスさん mailto:sage [2013/11/02(土) 17:32:34.45 ID:ZaaUa7Fr.net] IBじゃなくてイーサネット用のブレークアウトケーブルじゃないかな 839 名前：不明なデバイスさん [2013/11/04(月) 01:16:48.38 ID:PQe92NjE.net] 7104-HCA-LPX1P-DDRを使いたいのですが、必要機材として 銅線ケーブルともうひとつのHCAがあればいいのですか？ 840 名前：不明なデバイスさん [2013/11/13(水) 09:15:01.90 ID:+IpwTW7o.net] >>791 OS何使うん？SMさえ解決出来れば、ハード的には、それで行けると思うけど。 そうそう、FreeBSD 10のmlx4ドライバ周りが、Mellanoxからのサブミットで、 最新のVerに更新された。Linux 3.7 Base見たいなんで、OFED 3.5 Baseより、さらに新しいかも？ ま、libは今まで通りOFEDの1.5.2ベースのままなんで、出来る事に替わりは無いけれど、 ipoib使用時のmtuが2044→4092(4k)に変わってるとか、若干の変化がある。 物が無いんで、確認出来無いけど、これで、ConnectX-3も行けるんかな？ と、思って調べたら、ConnectX-3は、まだ動かないっぽいな。 でも、まぁ、iscsiのkernel targetも実装されたし、IB周りもぼちぼち手が入ってるし、 OFED周りのメンテさえして行ってくれるなら、Solaris系から乗り換えてもいいなぁ。 841 名前：不明なデバイスさん mailto:sage [2013/11/13(水) 14:58:56.97 ID:XATodvRG.net] >>792 OSはLinuxとWindows、LinuxとLinuxのどちらかを使用しようと思うので大丈夫だと思います。 7104-HCA-LPX1P-DDRを2つ使用する場合 ケーブルのコネクトタイプはCX4？4X？どれなのでしょうか？ 842 名前：不明なデバイスさん [2013/11/13(水) 15:48:36.47 ID:+IpwTW7o.net] >>793 CX4-CX4のLatchタイプで良いんじゃね。 843 名前：不明なデバイスさん mailto:sage [2013/11/13(水) 16:07:08.54 ID:9xQWn75V.net] でもconnect-X2 QDRがオクで1万切ってコンスタントに出てるのに、いまさらその世代もなあ、とは思う。 844 名前：不明なデバイスさん mailto:sage [2013/11/13(水) 16:48:47.51 ID:+IpwTW7o.net] それは、俺も思うが、すでに7104-HCA-LPX1P-DDRが有る状態っぽいし、 とりあえず、これで動くところから始めても良いんじゃねーかなと。 ま、はまる可能性もあるけどな、マイナーなQlogic品だし。 同世代でも、MellanoxのInfiniHostの方が、まだ情報多くて楽なのは確か。 845 名前：不明なデバイスさん mailto:sage [2013/11/13(水) 19:37:00.47 ID:YpJwUzmc.net] windows server 2012R2でinfinihost III認識したよ＼(^o^)／ 846 名前：不明なデバイスさん mailto:sage [2013/11/13(水) 19:54:53.64 ID:0ifyM4d7.net] 顔文字見て、脳内で勝手に認識しないオワタに読み変えていた 鬱だ・・・ 847 名前：不明なデバイスさん mailto:sage [2013/11/14(木) 21:47:55.78 ID:lFT49gB5.net] voltaire 4036が出てるな・・・ 848 名前：不明なデバイスさん mailto:sage [2013/11/15(金) 18:06:48.07 ID:ur+1LvbX.net] さくらが クラウドで頑張って使ってたけどやめちゃったんだね... 849 名前：不明なデバイスさん mailto:sage [2013/11/15(金) 23:38:18.03 ID:cjY+h1jG.net] かといって今更10GbEも割高感がすごくて買う気になれん。 はやく100GbEをくれー 本気を出したイーサネット先生の怒涛の値下がりはまだかー 850 名前：不明なデバイスさん mailto:sage [2013/11/16(土) 08:36:50.40 ID:LTSXzmOQ.net] copperで通せるのが15〜20Gbitがほぼ限界、だとするとx4でも100Gbitは出せなくてたとえ近距離でも光必須になってしまう （ここでいう近距離とはKRなどの内部規格を含む）から、40GbEでほぼ限界なんじゃない？ あとは40GbEのボンディングでうまいことやっていくしかないような。 851 名前：不明なデバイスさん mailto:sage [2013/11/20(水) 10:42:00.89 ID:duywLFUQ.net] さくらが放出したのなら4036、そこそこ出回るかな？　糞うるさいからうちでは常用してないけど（ｗ ＃個人的には4036Eキボンヌ。 閑話休題。IBのスイッチってバッファなくて（本当にないわけではなくて、バッファ用のトランクは必要） クロスバスイッチそのもので、PCIeのチップセットもそうだよなあ、と。 そう考えると最近のブレードサーバやマイクロサーバでIBを出してそれを筐体内部のIBスイッチで集約＆外部出し、って かなり無駄っぽいというか、ブレードの内部でPCIeのレベルでスイッチングしてくれれば少なくともハードウェアレベルでは かなり安くなるんじゃないかと。 Dellのvikingとか(c5000)、微妙にそういう設計になってるんだよなあ。対応ソフトがゼロだから製品としては出せないだろうけど。 852 名前：不明なデバイスさん mailto:sage [2013/11/20(水) 13:46:24.66 ID:OO9EhThE.net] Bonet思い出した www.akibnetworks.com www.akibnet.com 旧サイトでは本社ダイビルとあるけど現サイトには台湾支社の住所しか載ってないね www.atmarkit.co.jp/ait/articles/1303/18/news004.html www.geekpage.jp/blog/?id=2012/6/13/3 スイッチレスお試し直結セットが予価10万とか Let's IYH!! 853 名前：不明なデバイスさん mailto:sage [2013/11/20(水) 17:07:28.84 ID:duywLFUQ.net] Bonetはもちろん、前からそういう試みはあるし、pci-eの規格書にもseparate refclock archが最初から定義されてるんだけど、 問題はソフトウェア、というか標準化で、どっかで旗振らないと筐体の外部に出ないものだから 各メーカが個別開発→結局安くも安定したりもしない、という気が。 854 名前：不明なデバイスさん mailto:sage [2013/11/20(水) 19:43:21.43 ID:VLj1wHFV.net] Cabled PCIeになってもツリートポロジ前提のままだから 多対多のFabricを想定するならseparate refclkだけでどうこうってものでもないが まぁ標準化してくれないとってのには同意 855 名前：不明なデバイスさん mailto:sage [2013/11/20(水) 20:22:21.72 ID:aapU07US.net] 元はといえば、そもそも次世代PCI競争の中で出てきたNGIO/3GIOがベースだからな、それぞれ。 Intelは一時期両方に首突っ込んでたし。（あ、Qlogic買ったから、今もか） 時代背景やら、隣の庭見ながら、規格化進めてた訳で、当然、基本的な考え方は 似てて当然って所かと。 PCIeも規格的には一応、外部へ引っ張り出せるようになってはいるけど、 どちらかと言えば、やっぱオンボード上の利用を� 856 名前：�心に置いて機能実装してるから、 ほいほいと外へ出して、ネットワーク化するのは、面倒なんだろう、標準化するにも。 現状は、餅は餅屋に任せて、次の世代で、一緒に出来るかどうかって所じゃないかなぁ。 [] [ここ壊れてます] 857 名前：不明なデバイスさん mailto:sage [2013/11/20(水) 20:40:29.16 ID:HW5sxrZY.net] ネットワーク化の障害要素としてはroot　complexとend pointで機能非対称なアーキテクチャが一因かと 858 名前：不明なデバイスさん mailto:sage [2013/11/21(木) 09:17:37.33 ID:6Wj9sThJ.net] 外部引き出しを考えるならoculinkが本命だろうけど、 thunderboltにしろpci-e直結にしろ、IPが標準的に載らない＆互換性がないことには如何ともし難いわけで。 頼むからIP(&rdma)を標準化してくれ＞oculink。ブレード筐体内部接続もそれで。 859 名前：不明なデバイスさん mailto:sage [2013/11/23(土) 11:40:54.47 ID:1RyY+XMl.net] 752でFreeBSD 10.0で、ctlでiSERが使用可能にと書いてあったから調べてみたが、対応途中みたいね。 Makefileでコメントになってたから、コメントアウトしてからコンパイルしてみたけど、ctlのモジュールのコンパイルで こけるのと、あと存在しないファイルがあったりしたから、正式対応はもう少し先になるのかな。 とりあえず、手持ちのカードでFreeBSDで使えるIBカードの一覧作成しておく。 ConnectXで、OS起動後にポートの種類をethに変更しようとすると、上手く動いてないような。 ConnectX-2だと問題ないけど。 860 名前：不明なデバイスさん mailto:sage [2013/12/30(月) 04:56:28.54 ID:Hks1mtvT.net] 外部PCIeしたことあるけど相性問題が。 やっぱ外に出していいもんじゃないな。 861 名前：不明なデバイスさん mailto:sage [2013/12/30(月) 15:50:29.62 ID:Wcur1aep.net] >>809 そういやIP over thunderboltってあるけど あれってなにがしかの標準があるのかな? それともOSX独自実装とかそんなかんじ? 862 名前：不明なデバイスさん mailto:sage [2014/02/11(火) 14:18:51.83 ID:6kYD/Iqv.net] ここで触発されて最近IB始めました。先輩方よろしくお願いします。 PC1: Lenovo TS130 + ConnectX無印 + ESXi 5.1u2 + OFED 1.8.2.0 + ib-opensm PC2: ストレージ機 富士通 TX100S3 + InfinihostIII + OI151a9 の直結。 テスト機でうまくいったのに本番PC1では Initializing から進まず悩みましたが、 BIOS で VT-d 無効にしたら Active になりました。 ストレージは Giga接続のNFSから、IPoIBのNFSにそのまま移行。 サクサク感に満足です。これでまだSDRなんて。 ESXi 上の opensm の partitions.conf で切った 0x8001〜 が 、 vswitch で VLAN 1〜 として使えています。 OI 側は dladm create-part -l ibp1 -P 0x8001 p8001.ibp1 ← PKEY が存在しているので、-f 不要。 ipadm create-if p8001.ibp1 ipadm create-addr -T static -a 169.254.1.1/24 p8001.ibp1/ipv4 こんな感じ。IPoIBで複数IP VLANを扱えるとこまでは来れました。 次に目指すのは Ether over IPoIB っていうんでしょうか、 物理界dot1q trunk--PC1--(IB上に何語かでトンネル) --PC2--vSwitch1--△--vSwitch2--VSTで仮想世界へ を実現したいです。 △はトンネル終端・ブリッジ用ゲスト。たぶん必要になるのでしょう。 トンネル両側 Linux なら何とかできそうな気はしてますが (GREとか?) 物理Solaris で対向に何置いて何語喋ればいいのか。調べはじめたばかりです。 863 名前：不明なデバイスさん mailto:sage [2014/02/11(火) 22:19:02.55 ID:6kYD/Iqv.net] TAP driver for Solaris used for OpenVPN and any other virtual network solution. ttp://www.whiteboard.ne.jp/~admin2/tuntap/ のおかげで、 物理 -- OI --openvpn over IPoIB-- Linux(VyOS) -- 仮想 L2ブリッジできそうな気がしてきました。 864 名前：不明なデバイスさん mailto:sage [2014/02/18(火) 16:53:23.82 ID:MzJMGXZ0.net] 素人童貞がふと思ったんだけど。 ConnectX-2とかはfirmでIBにも10GbEにもなれるけど、最初から10GbEカードと して売られているConnectX-2はファームを入れ替えてIBとして使うことは出来 出来ないんでしょうか？ 865 名前：不明なデバイスさん mailto:sage [2014/02/18(火) 20:40:00.17 ID:pnrZNLtY.net] ConnectX-2 EN は IB にはなれない。 866 名前：不明なデバイスさん mailto:sage [2014/02/18(火) 21:15:28.27 ID:MzJMGXZ0.net] ありがとうございます 逆は出来るのに、商品の差別化の一環ですかね。 867 名前：不明なデバイスさん mailto:sage [2014/02/19(水) 20:01:33.64 ID:AZn/ZBMf.net] >815 ConnectX-2 ENはコネクタ形状がSFP+固定だから物理的に無理かと。 ConnectX-3 ENの40GbEだと形状一緒(QSFP)だけど、多分書換は無理じゃないかなー？ 868 名前：不明なデバイスさん mailto:sage [2014/03/01(土) 02:59:43.63 ID:rZOCEjvv.net] Windows Azure の中でも動いている InfiniBand って何? www.slideshare.net/harutama/windows-azure-infiniband さくらはやめたけど、MS は使ってるのね 869 名前：不明なデバイスさん mailto:sage [2014/03/01(土) 03:42:35.41 ID:d5GA9cBD.net] さくらがインフィニットバンドを止めた理由ってなんでしょうか？ あと、やめたって事は代わりになる代替技術（テクノロジー）があるからだと おもうんですが、今はインフィニットバンドの代わりに何を使ってるんでしょ うか？１０ＧＢＥ？ 870 名前：不明なデバイスさん mailto:sage [2014/03/01(土) 04:30:46.58 ID:rZOCEjvv.net] >>820 クラウド事業者から見た課題と今後 〜さくらのクラウド編〜 mpls.jp/presentations/20131029-ohkubo-mplsjapan.pdf 上の資料から 理由：シンプルにしたい？SDN入れたい？（同じことのような逆のことのような） 代わりの技術： 10GbE 871 名前：不明なデバイスさん mailto:sage [2014/03/01(土) 05:44:02.55 ID:d5GA9cBD.net] 速度面では圧倒的にインフィニットバンドが圧倒的に有利な気がするんですが それを考慮しても１０ＧＢＥに全面移行したほうがメリットがある、と思わせる 程にインフィニットバンドの運用には面倒な点があったってことですかね。 872 名前：不明なデバイスさん mailto:sage [2014/03/02(日) 16:23:29.74 ID:7V4/sAp7.net] Windows Server 2012 R2 のネットワークの注意事項 - InfiniBand - 仮想化でプリセールスしてるSEの一日 d.hatena.ne.jp/ogawad/20140228/1393542157 VLAN ないのはやっぱキツイよな〜 873 名前：不明なデバイスさん mailto:sage [2014/03/02(日) 19:00:56.96 ID:QvwDzZnA.net] Mellanox OFED Driver for VMware ESXi Server ttp://www.mellanox.com/related-docs/prod_software/Mellanox_IB_OFED_Driver_for_VMware_vSphere_User_Manual_Rev_1_8_2.pdf 5.2.3 Virtual Local Area Network (VLAN) Support To support VLAN for VMware ESXi Server users, one of the elements on the virtual or physical network must tag the Ethernet frames with an 802.1Q tag. (略) Ethernet VLANs are implemented on InfiniBand using Partition Keys (See RFC 4392 for informa- tion). Thus, the InfiniBand network must be configured first. This can be done by configuring the Subnet Manager (SM) on your subnet. Note that this configuration is needed for both VLAN configu- ration modes, VGT and VST. 874 名前：不明なデバイスさん mailto:sage [2014/03/02(日) 19:25:45 ] [ここ壊れてます] 875 名前：.58 ID:QvwDzZnA.net mailto: MLNX WinOF VPI User Manual Rev 4.60 ttp://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.60.pdf part_man - Virtual IPoIB Port Creation Utility part_man is used to add/remove virtual IPoIB ports. Currently, each Mellanox IPoIB port can have a single virtual IPoIB only which is created with a default PKey value of 0xffff. [] [ここ壊れてます] 876 名前：不明なデバイスさん mailto:sage [2014/03/03(月) 00:12:25.48 ID:/wfnPDwi.net] さくらがIBやめたのはオラクルのストレージで障害おこしたからだろ 原因追究するのに時間がかかるようなのはやめたと www.publickey1.jp/blog/12/post_203.html 877 名前：不明なデバイスさん mailto:sage [2014/03/03(月) 00:35:21.50 ID:fmOlB6ex.net] 結局NECのストレージに替えたんだよな あっちはデフォで10GbEついてんだろうか 878 名前：不明なデバイスさん mailto:sage [2014/03/03(月) 06:31:06.06 ID:Sxf2gndm.net] ストレージのトラブルは大変だよ。 Infinibandに関係ないチラ裏だけど、某大手DCで冗長構成の片方が死んで、 片肺運転＆リビルド中にもう負荷かけたら片方も死んで、顧客に「データが 復旧できなければ会社を畳む」とまで言わせたことがあるしなーｗ ストレージベンダごと乗り換えて対応したけど。 879 名前：不明なデバイスさん mailto:sage [2014/03/03(月) 06:43:01.40 ID:6pVSWXUZ.net] ttp://research.sakura.ad.jp/wp-content/uploads/2013/10/20131023-wakamonog-post.pdf という話のようです。 880 名前：不明なデバイスさん mailto:sage [2014/03/03(月) 12:15:30.58 ID:MSvSRMc4.net] リビルド中に負荷かけるのって場合によっては完全死亡フラグだよねｗ 壊れないはずだからと重要データのバックアップ取らないのもどうかしてる 881 名前：不明なデバイスさん mailto:sage [2014/03/06(木) 06:56:41.27 ID:Lj6DTPus.net] ありがちな死亡フラグ�� �@ 「この戦争が終わったら、俺、結婚するんだ」�� �A 「いいか、俺が帰ってくるまでここを動くんじゃないぞ」�� �B セックスする前のシャワー�� �C いわく付きの場所で若者がいい雰囲気�� �D 「必ず戻ってくるから」「必ず迎えに来るから」�� �E 「この中に犯罪者がいるかもしれないのに一緒に寝れるか！俺は自分の部屋に戻るぞ！」�� �F 「明日は娘の誕生日なんだ」�� �G この最後の仕事を終えたら足を洗うと決意してる状態�� �H 「この仕事が終わったら２人で暮らそう」�� �I 「××様が出るまでもありませんよ。ここは私めにお任せを…」�� �J 今まで目立たなかった脇役が急に目立つ�� �K 「今度の仕事でまとまったカネが入るんだ」�� �L 「おのれ〜！ええぃ、出合え！出合えーぃっ！！ 」�� �M 「おいガキ！足手まといになる様なら、容赦なく置いていくからな！」�� �N��「私に構わず早く行って！…アナタは私達みんなの希望なの！こんなところで死なせはしない！」�� �O 今まで苦労ばかりかけて泣かせてきた家族や恋人宛にプレゼントを買いに行く�� �P 「父さんにもしもの事があったら…その時はお前が母さんや妹を守るんだ…いいな？」�� �Qリビルド中の高負荷 882 名前：不明なデバイスさん mailto:sage [2014/03/06(木) 08:04:15.39 ID:FK0qU1cf.net] リビルド中の高負荷つーか、リビルドそのものが高負荷なわけでｗ RAID6のHDDが1台死亡→交換してリビルド→リビルド中に別のHDDが死亡 ていう事が某データセンターで実際に発生した事がｗｗｗｗ 別媒体へのバックアップ� 883 名前：Hやってるわけ無いｗｗｗ [] [ここ壊れてます] 884 名前：不明なデバイスさん mailto:sage [2014/03/06(木) 12:39:43.95 ID:9YLLT/2p.net] そんな想定内の珍しくない話をされましてもｗ 885 名前：不明なデバイスさん mailto:sage [2014/03/06(木) 13:28:30.64 ID:cmlje4xd.net] RAID6なら2台死んでも想定内ダロ 886 名前：不明なデバイスさん mailto:sage [2014/03/06(木) 13:40:15.49 ID:9YLLT/2p.net] 同様にヘタってた別のHDDが連鎖的に壊れたとか ファームウェアやハードウェアが悪くて過負荷でクラッシュとか 887 名前：不明なデバイスさん mailto:sage [2014/03/31(月) 13:45:21.99 ID:eMNfTyiN.net] InfiniBand プログラムに必要な基本的な概念 www.nminoru.jp/~nminoru/network/infiniband/iba-concept.html 素晴らしい資料 888 名前：不明なデバイスさん mailto:sage [2014/04/01(火) 10:41:15.94 ID:ix6eFyEm.net] おお、すばらしいね。あと標準的なコマンド群（含ベンチマーク用）の解説がちょろっとあれば完璧。 889 名前：不明なデバイスさん mailto:sage [2014/06/30(月) 16:38:40.11 ID:HTq8FnrA.net] www.geocities.jp/andosprocinfo/wadai14/20140628.htm IntelがやっぱりCPUにInfiniband(互換)を集積してきたね。コンシューマ向けは来ないだろうけど。 890 名前：不明なデバイスさん mailto:sage [2014/06/30(月) 18:50:24.97 ID:I7xk59oh.net] CPUって言うけどXeon Phiじゃん 891 名前：不明なデバイスさん mailto:sage [2014/07/02(水) 08:14:11.42 ID:h1B780ZY.net] >ファブリックを集積するのは当然の方向ですが，InfiniBandの雄のMellanoxにとっては憂慮すべき事態で，どのような対応を取るのかも興味が持たれます。 NVIDIAとAMDにIPライセンス提供でグラボにIB載せる方針でｗ 892 名前：不明なデバイスさん mailto:sage [2014/07/02(水) 09:37:27.93 ID:bfXeq1ok.net] グラボにIBとか、って思ったけどtesla用にhicとか必要だしアリなのかも。 893 名前：不明なデバイスさん mailto:sage [2014/07/02(水) 11:46:30.68 ID:nxMwd+7u.net] >>840 NVLinkってのが発表されてた 894 名前：不明なデバイスさん mailto:sage [2014/07/08(火) 14:01:47.39 ID:BqRXsEpS.net] NVLinkより半2重、というのが興味深いよね。実質通信なんて片方向にしか１度には起きないわけで、 全2重は無駄といえば無駄だし。だけどクロックどうしてんだろ。embedにしたら同期するまで時間かかるし、 下手に分離とかするとどこかの特許にひっかかりそうだし。あと光との相性が悪いか。 895 名前：不明なデバイスさん mailto:sage [2014/09/05(金) 19:18:07.16 ID:k09LHYvu.net] 過疎スレにメモ： FJT0D90200009（富士通OEMのMHQH19B）、CX4にしたときにリンクアップするのに疎通しない相手先があって、 IBでは使えるんで放ってあったんだけど原因判明。flint dcのeth_rx_lane_polarity_port1=0x1を0x0にしたらOK。 896 名前：不明なデバイスさん mailto:sage [2014/09/17(水) 08:59:10.61 ID:1H23Fgmb.net] 富士通oemのsdr Dualport HCA買いました 初inifinibandなんでドライバー入れて認識させるまでドキドキです 897 名前：不明なデバイスさん mailto:sage [2014/09/17(水) 14:19:56.49 ID:+sQpF3OO.net] >>845 オメ。でも >>795 だと思う。 まあいろんなボードやケーブルあったほうが楽しいし（ｗ 898 名前：不明なデバイスさん mailto:sage [2014/09/18(木) 03:23:02.02 ID:SRR2mtLN.net] >>846 スイッチ込みなのでsdrがお財布の限界でした… なお、esxi5.5にinfinihost IIIを認識させる方法が見つからず、詰んでおります… 899 名前：不明なデバイスさん [2014/09/18(木) 09:03:58.25 ID:6FOrdwju.net] >>847 ESXiだと、5.0以上はConnect-X2以降じゃ無いと、使えなかったような。 InfiniHost系は認識すらされず、Connect-Xは、認識されてドライバも入るけど、疎通不可だったような・・・ ここの過去スレか、ソフトウェア板のESXiの過去スレか、どっかにあったはず。 5.0未満 900 名前：なら、使えるはず。 Windows系も含めて、もうConnect-X以下のサポートバンバン切られてるから、 >>795こういう意見になるのかと。 別にQDRとして使わなくても、SDRでリンクするから、あえて古い世代選ぶ必要、無いんだよね。 ここの所の雰囲気だと、Connect-X2系も、そろそろヤバメではあるんだけど。。。 [] [ここ壊れてます] 901 名前：不明なデバイスさん mailto:sage [2014/09/18(木) 09:17:59.38 ID:onvUpuGz.net] ConnectX-2よりもInfiniband自体がヤバメ、というか（笑） CX4-QDRケーブルでSDRスイッチとつないでリンクアップもできるんで、ConnectX-2系に乗り換えるのもいいかと。 902 名前：不明なデバイスさん mailto:sage [2014/09/18(木) 09:21:20.35 ID:SRR2mtLN.net] >>848 理解しました。 スピードネゴしてくれるの完全に頭から抜けてたんで、qsfp to sff8470とかで対応しようと思います。 connectx2探してきます ありがとうございます！ 903 名前：不明なデバイスさん mailto:sage [2014/09/19(金) 00:05:00.21 ID:pbkgkNXa.net] 3年使ってたConnectX2-VPIが突然死した eBayでまた調達しないと… 904 名前：不明なデバイスさん mailto:sage [2014/09/19(金) 11:00:10.29 ID:G2l4CI/c.net] 円安だしヤフオクの方が安いんじゃない？ 無くなったけどMHQH29CがeBayでも見たことない値段だった。 905 名前：不明なデバイスさん mailto:sage [2014/09/19(金) 15:30:33.80 ID:P4zDC9lb.net] mellanoxで検索すると出るよ。ロープロファイルが欲しいなら9000円ので、フルがいいのならこれかな。 906 名前：不明なデバイスさん mailto:sage [2014/09/19(金) 16:34:52.85 ID:G2l4CI/c.net] でも3年後を考えるとConnectX-3ってことなのかな？ ebay調べたら ConnectX3 $400 ConnectIB $800 ぐらいだった。ConnectIBはまだ落ちてきてないみたい。 907 名前：不明なデバイスさん mailto:sage [2014/09/19(金) 17:14:54.26 ID:G2l4CI/c.net] 値段調べてたらConnectX-3が欲しくなってしまった ConnectX-3 VPI 　PCIe3.0 x8 　QDR,FDR10,FDR14,40GigE,10GigEタイプが混在 ConnectX-3 Pro 　PCIe3.0 x8 　FDR14,40GigE,56GigE Connect-IB 　PCIe2.0 x16,PCIe3.0 x8,PCIe3.0 x16 　FDR14のみ？ 908 名前：不明なデバイスさん mailto:sage [2014/09/20(土) 16:04:37.33 ID:mUO+8D0f.net] CoonectX-3、ヤフオクでいつもの人がもっと安く出してるよ。 909 名前：不明なデバイスさん mailto:sage [2014/09/20(土) 18:25:44.90 ID:WWvD/IAs.net] ENだから違う 910 名前：不明なデバイスさん mailto:sage [2014/09/21(日) 17:38:34.24 ID:lJzeNqTb.net] あ、本当だ。すいません。 911 名前：不明なデバイスさん mailto:sage [2014/09/24(水) 10:01:33.72 ID:w6r/KawC.net] mellanox QSAを調達したのでSFP+の試験。といっても MHQH19B(FJT0D90200009、polarity_port1変更済)およびMHQH29C(MT_0FC0110009)で 問題なくSFP+DAおよびLR(Brocade 57-0000076-01)で動作した。つまらん（ｗ QSA、構造のわりに値段が高いけど、これがあるとConnectX-2のつぶしが効く(IB-QDRでも 10GBe-SFP+でも10GBe-CX4でも使える）のでなかなか良いかも。 912 名前：不明なデバイスさん mailto:sage [2014/09/24(水) 10:12:40.15 ID:w6r/KawC.net] あ、一応、QSAはopticsを刺すと放熱的に問題ありそうなので、たぶんメラ的にはDAしか薦めてないと思う。 913 名前：不明なデバイスさん mailto:sage [2014/10/13(月) 11:07:26.40 ID:0GTHmU44.net] (ESXi5.5 + ConnectX-2 + OFED 1.9.10)*2台直結 10GbE にしてみた。 ゲストOmniOS同士、vmxnet3s だと IPoIB でも 10GbE でも大差ない。 iperf 60秒平均で6Gbpsほど。EnableLRO=0 にしないと安定しない。 ESXi上にはストレージアダプタでiSERが出てくるけど、 ゲスト視点ではNIC vmxnet3sだけなので、遊べない。 SR-IOV動く使えるマシンならゲストからでもiSER提供できるんでしょうか? 914 名前：不明なデバイスさん mailto:sage [2015/02/04(水) 09:14:02.60 ID:kOADHgCC.net] Mellanox WinOF Rev 4.90.50000が出てたけど、 ついにConnectX-2 adapter cards Unsupportedｷﾀｰ。 まぁ、雰囲気そんな感じはしてたけど。 次期Windowsからは、10GbEカードとして使うしか、 無くなるかなー、I 915 名前：nboxドライバが入ればだけど。。。 [] [ここ壊れてます] 916 名前：不明なデバイスさん mailto:sage [2015/02/08(日) 16:19:54.99 ID:KXDz9QA/.net] IBよりもEtherがメインになっちゃってるから仕方ないかもね。IB関連で何か新機能あるんだっけ？ でも次期windowsでもorcaでごにょればきっと前のWinOFが入るから気にしない。 917 名前：不明なデバイスさん mailto:sage [2015/02/09(月) 01:58:26.02 ID:CMw06GPO.net] 次期Windowsの頃には10GBase-T環境がもうちょっと手が出る値段で買えるといいなあ InfiniBandスレで言うことじゃないことかもしれんけどさｗ 918 名前：不明なデバイスさん mailto:sage [2015/02/09(月) 09:15:26.95 ID:Xf/nI/nG.net] 10GBase-Tはカード側はオクで1万〜2万程度で出物があるけど、ハブ側がねぇ。 消費電力もばかにならないし。個人でやるのならSFP+が正解だと思う。 919 名前：不明なデバイスさん mailto:sage [2015/02/16(月) 00:53:24.30 ID:ERIY5h4U.net] 遅ればせながら家庭内IB環境作りたいなと物色中です やりたいのは ESXi<--OmniOS-->Linux(Xen) での2vs1の接続なんですが 今だとお手軽に始めようと思うとConnectX-2あたりをオクで仕入れるのが無難でしょうか？ (新しい世代に越したこたないのは確かですが、ConnectX-3はさすがにお小遣い的に手が出ない） この場合、仕入れるのはDualPort1枚+SinglePort2枚、SFP+ケーブル２本、で良いですよね？ また、上記構成の場合、SMはOmniOSに入れる必要がありますか？Linux側でも良いでしょうか？ 920 名前：不明なデバイスさん mailto:sage [2015/02/16(月) 08:34:34.50 ID:0fwP0lw8.net] ConnectX2 の IB なカードは、QSFP。 SMは2つ必要。(1) ESXiかOmni (2) OmniかLinux でもOmni用のOpenSMは見つからないと思うので 必然的にESXiとLinux上に。 921 名前：不明なデバイスさん mailto:sage [2015/02/16(月) 17:18:03.55 ID:gIkxzs3r.net] ん？ESXiでOpenSM動くんだっけ？ ESXで動く物は有ったけど、ESXiで動くものは無かったような？少なくとも公式では。 Solaris系をストレージにする限り、ESXiは無理な気がする。 ZFSでストレージ作りたい＆IB使いたいなら、Linux+ZFS on Linuxか、 FreeBSDで作るしか無いんじゃない？ 後は、OpenSM積んだ、マネージドスイッチを使うか。 922 名前：不明なデバイスさん mailto:sage [2015/02/16(月) 21:33:04.10 ID:J9FERcLf.net] SolarisとESXi両方で動かしてるよ 923 名前：不明なデバイスさん mailto:sage [2015/02/16(月) 21:44:02.59 ID:0fwP0lw8.net] >>868 もちろん公式ではありませんが ttp://www.bussink.ch/?p=1306 で。 924 名前：不明なデバイスさん mailto:sage [2015/02/16(月) 22:42:16.26 ID:gIkxzs3r.net] へー、ビルドしてくれてる人居るんだ。 まぁそれならそれ使っても良いかもね。 うちは、随分前にHyper-V+FreeBSD ctldに乗り換えちゃったんで、 ESXiでIBの情報はそんなに追っかけてなかった。 最近FreeBSDのtargetの開発著しいんで、Solarisに戻る事はないかなぁ。 925 名前：不明なデバイスさん mailto:sage [2015/02/17(火) 10:33:41.61 ID:j2sNM51B.net] >>869 情報ありがとうございます 商用利用でもない自宅環境ので、野良ビルドでもいいのでESXiにopensm突っ込もうと思います napp-itの楽ちんさに慣れてしまったので、FreeBSDに乗り換えるのが億劫なのでｗ 926 名前：不明なデバイスさん mailto:sage [2015/02/20(金) 17:35:45.08 ID:CtH6X0qi.net] ちなみにConnectX2の2ポート品だとPCIe側の帯域が足らないよ。同時にがっつり使わなければ大丈夫、 というかがっつり使うと他の部分がどうせ間に合わないけど。 927 名前：不明なデバイスさん mailto:sage [2015/02/20(金) 19:21:19.60 ID:FZXM01WY.net] まぁ大丈夫っしょ。 がっつり使わなくても、ストレージが最初に根を上げる（SSDのRAIDじゃ無い限り）、多分。 928 名前：不明なデバイスさん mailto:sage [2015/02/26(木) 09:21:37.99 ID:k99ZkXqy.net] すまん、教えてください。 QDRのHCAとケーブル使って、DDRのスイッチ利用して通信って可能なのだろうか？もちろん、速度は落ちることはわかってるけど、ネットワークハブみたいに互換性ってあるのかどうか� 929 名前：�からずで、、、。 どなたか教えて下さい！！ [] [ここ壊れてます] 930 名前：不明なデバイスさん mailto:sage [2015/02/26(木) 13:22:10.37 ID:z0y2CIH/.net] >>875 スイッチがDDRなら、DDRでリンクするよ。 931 名前：不明なデバイスさん mailto:sage [2015/02/26(木) 21:47:44.95 ID:6opmRDu2.net] ありがとです！！早速購入しますっ！！ 932 名前：不明なデバイスさん mailto:sage [2015/03/18(水) 06:10:13.75 ID:O5cA0c/Y.net] 再び、教えて下さい！！ ConnectX2のQDRで二台のPCを繋いでいるが、どうしても速度がでない。iperfで6Gくらいしかでない、、、。リンクは40Gだし、ケーブルも中華な人からebayで購入したけどQDR対応。 二つのマシンは片方がAMDのAPU A-3650でメモリ8G、もう一方がi7の4790でメモリ32G。両方ともcentos6.6でドライバーはmellanoxのです。ファームも2.9にしてる。 マシンの差によって速度がこんなに変わるかな？？ 933 名前：不明なデバイスさん mailto:sage [2015/03/18(水) 08:10:28.01 ID:7MrWvc0/.net] >>878 ドライバーのバージョンとか構成とかなしでは何とも。 単にTCP的に頭うちしてるのかも。 iperf -w を送受両端で十分に大きくする。 iperfを複数同時実行して、TCP本数増やしてみる。 934 名前：不明なデバイスさん mailto:sage [2015/03/19(木) 16:40:54.75 ID:5P/PZ0rn.net] >>878 とりあえずCnQとC3〜C7ステートoffってからだな。 後はネットワーク周りのチューニングがどうなってるか。 935 名前：不明なデバイスさん [2015/03/21(土) 09:51:46.51 ID:BDCv4bg/.net] すんません、情報不足で、、、。 以下、ibstatの内容です。GUIDは削ってます。 CA 'mlx4_0' CA type: MT26428 Number of ports: 1 Firmware version: 2.9.1000 Hardware version: b0 Port 1: State: Active Physical state: LinkUp Rate: 40 Base lid: 1 LMC: 0 SM lid: 1 Capability mask: 0x0251086a Link layer: InfiniBand まずは、上記でいただいたことを試してみます。 936 名前：不明なデバイスさん [2015/03/21(土) 11:30:48.21 ID:BDCv4bg/.net] iperf3 -c DestinationIP -P 4 -w 1M とかにしてみましたが、変わらずでした。。。Windowを大きくしたり、本数換えてみたりしましたが、最終的には、こんな感じになってしまいます。。。 TCPの頭打ちってどうやって調べるんでしょうか？ ちょっと調べて見たんですがわからなくて。。。 念のため、iperfの結果を。。。 ――――――――――――――――― Connecting to host 192.168.2.10, port 5201 [ 4] local 192.168.2.1 port 37266 connected to 192.168.2.10 port 5201 [ ID] Interval Transfer Bandwidth Retr Cwnd [ 4] 0.00-1.00 sec 699 MBytes 5.86 Gbits/sec 0 424 KBytes [ 4] 1.00-2.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes [ 4] 2.00-3.00 sec 700 MBytes 5.87 Gbits/sec 0 424 KBytes [ 4] 3.00-4.00 sec 696 MBytes 5.84 Gbits/sec 0 424 KBytes [ 4] 4.00-5.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes [ 4] 5.00-6.00 sec 696 MBytes 5.83 Gbits/sec 0 424 KBytes [ 4] 6.00-7.00 sec 695 MBytes 5.83 Gbits/sec 0 424 KBytes [ 4] 7.00-8.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes [ 4] 8.00-9.00 sec 698 MBytes 5.84 Gbits/sec 0 424 KBytes [ 4] 9.00-10.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 6.81 GBytes 5.85 Gbits/sec 0 sender [ 4] 0.00-10.00 sec 6.81 GBytes 5.85 Gbits/sec receiver 937 名前：不明なデバイスさん mailto:sage [2015/03/21(土) 15:45:03.02 ID:eLWTIgqq.net] -P 4 での Sum は? 938 名前：不明なデバイスさん mailto:sage [2015/03/21(土) 15:59:53.86 ID:eLWTIgqq.net] ttps://fasterdata.es.net/host-tuning/linux/ ttps://fasterdata.es.net/host-tuning/40g-tuning/ 他、勉強になりますね。 939 名前：不明なデバイスさん mailto:sage [2015/03/21(土) 16:01:28.74 ID:eLWTIgqq.net] つけわすれ ttps://fasterdata.es.net/host-tuning/nic-tuning/mellanox-connectx-3/ 940 名前：不明なデバイスさん mailto:sage [2015/03/21(土) 16:06:51.59 ID:BDCv4bg/.net] sumも単独時と同じでした。なので、一本は1.4g程度でした、、、。 941 名前：不明なデバイスさん mailto:sage [2015/03/21(土) 17:35:41.82 ID:Dz/qw046.net] AMD APUだとそんなも 942 名前：んかもしれんけど。linuxってvstatとか叩けないんだっけ？ [] [ここ壊れてます] 943 名前：不明なデバイスさん mailto:sage [2015/03/21(土) 17:59:05.57 ID:eLWTIgqq.net] cwnd 424KB までしかいってないってことは、 TCP 周り全然チューンしてないんと違いますか。 944 名前：不明なデバイスさん [2015/03/22(日) 06:31:31.56 ID:ogMIGPMc.net] 亀レスですみません、、、。 で、、、TCP周りとかちゃんと知っていなくて、色々調べましたが、いまいちよくわからなくて。。。 （ipコマンドなんかで設定変えてみたけど） Connecting to host 192.168.2.10, port 5201 [ 4] local 192.168.2.1 port 37352 connected to 192.168.2.10 port 5201 [ ID] Interval Transfer Bandwidth Retr Cwnd [ 4] 0.00-1.00 sec 727 MBytes 6.09 Gbits/sec 0 2.94 MBytes [ 4] 1.00-2.00 sec 725 MBytes 6.08 Gbits/sec 0 2.97 MBytes [ 4] 2.00-3.00 sec 728 MBytes 6.11 Gbits/sec 0 2.97 MBytes [ 4] 3.00-4.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes [ 4] 4.00-5.00 sec 726 MBytes 6.10 Gbits/sec 0 2.97 MBytes [ 4] 5.00-6.00 sec 726 MBytes 6.09 Gbits/sec 0 2.97 MBytes [ 4] 6.00-7.00 sec 726 MBytes 6.09 Gbits/sec 0 2.97 MBytes [ 4] 7.00-8.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes [ 4] 8.00-9.00 sec 726 MBytes 6.10 Gbits/sec 0 2.97 MBytes [ 4] 9.00-10.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 7.10 GBytes 6.10 Gbits/sec 0 sender [ 4] 0.00-10.00 sec 7.10 GBytes 6.10 Gbits/sec receiver >884,>885がくれたページでちょっと勉強してみます。 945 名前：不明なデバイスさん mailto:sage [2015/03/23(月) 15:14:55.24 ID:nuvPBkz+.net] voltaire 2036(?)がオクに出てるな。不思議な型番になってるけど。 946 名前：不明なデバイスさん mailto:sage [2015/04/17(金) 14:55:15.56 ID:F7lqCgBH.net] Omni-Pathって何なん？ タダでさえ限られたハイエンドインターコネクト市場を分断する意味あんのかな？ 947 名前：不明なデバイスさん mailto:sage [2015/04/21(火) 09:22:30.29 ID:pSon0oem.net] ハイエンドインターコネクト自体がローカルなものだからねぇ。 自社→ラック借り→クラウド借り、という流れの中ではなかなかInfinibandの出番はない、というか、 表面上には見えてこないから、スループットさえ出てれば中身はIBでも40GBeでもOmni-Pathでも 気にしなくなってるような。 ＃という流れではやはりさくらの件は痛いな。 948 名前：不明なデバイスさん mailto:sage [2015/04/21(火) 22:39:21.81 ID:iWzGX2cJ.net] 世の中ビッグデータだー、データマイニングだー なってるけど、そういう大量データが全部AWSやAzure上に集約されてクラウド上で機械学習なんかをするって そりゃーそういうの可能なモノもあるだろうけど やっぱりローカルでデータ溜め込んで、自社のクラスタPCで処理するってほうが 少なくともあと10年位は主じゃないかと思う だからInfinibandでもOmni-Pathでもいいけど 今後も高速インターコネクトは中規模程度の会社でも導入できる値段であって欲しい 949 名前：不明なデバイスさん mailto:sage [2015/04/22(水) 00:20:16.96 ID:Gwr1nSro.net] >>893 置くスペース的な問題があるんだよね どうしても 自社にデータセンターもってても何百台となればね 950 名前：不明なデバイスさん mailto:sage [2015/04/24(金) 13:22:48.91 ID:RxYa96i/.net] ＞やっぱりローカルでデータ溜め込んで、自社のクラスタPCで処理する 「それはコストはどうなのかね？　クラウドと比較して理由書をうんぬん」 と言われてセキュリティがどうだとか言い訳沢山書かされる、と。 というかそういうのがない会社はうらやましー。 951 名前：不明なデバイスさん mailto:sage [2015/04/24(金) 22:46:20.81 ID:Ak3kF0Xo.net] ビッグデータと言える程度のサイズのログデータなりをクラウドに溜め込んで マトモな統計解析をHadoopなり何なりでやるなんてのを 日常的にパブリッククラウドサービスでやったら無茶苦茶な金かかるよ。 あれは、数回やったらそれでおしまいって案件に設備投資をしないためのもの。 952 名前：不明なデバイスさん mailto:sage [2015/04/25(土) 01:06:04.41 ID:lNiI/PyI.net] えっ 953 名前：不明なデバイスさん mailto:sage [2015/04/27(月) 10:03:11.28 ID:C+GaPeWE.net] HPCな需要� 954 名前：ﾍ昔から計算機センタ、という名前で共用するのが当たり前だったような。 [] [ここ壊れてます] 955 名前：不明なデバイスさん mailto:sage [2015/05/27(水) 00:13:37.11 ID:mv49rLKq.net] Voltaire 4036 ジャンク 956 名前：不明なデバイスさん mailto:sage [2015/05/27(水) 13:26:59.21 ID:clQxb9CN.net] filesystemエラー出まくってるね。さすがにこれを復旧するのは無理な気が。 957 名前：不明なデバイスさん mailto:sage [2015/06/10(水) 11:20:24.83 ID:h6pT4NRM.net] sriovでinfinibandを複数のゲストに割り当てると外からどう見えるんだろうか 仮想的にポートが複数あるデバイスとして使われるのかな 958 名前：不明なデバイスさん mailto:sage [2015/06/26(金) 14:48:47.24 ID:uWdZ5LtI.net] 亀レス。 Server2012R2/HyperV/ConnectX2-2.9.8350/WinOF-4.80ではGet-VMSwitch | fl では 　IovSupportReasons : {このネットワーク アダプターは SR-IOV をサポートしません。} というか原理的にIPoIBではsriovはサポートできない気がする。 959 名前：不明なデバイスさん mailto:sage [2015/06/27(土) 00:51:27.33 ID:FPduUtAE.net] SR-IOVに対応するのはConnectX-3からでは？ 960 名前：不明なデバイスさん mailto:sage [2015/06/28(日) 17:42:08.34 ID:vIotSRNf.net] そうなんだ。connectx-3が手に入ったらやってみるね。 961 名前：不明なデバイスさん mailto:sage [2015/07/19(日) 23:02:49.38 ID:jVKNgeMQ.net] InfinibandドライバがWindows 10でインボックスに まあインボックスドライバで使う奴はいないと思うけど 962 名前：不明なデバイスさん mailto:sage [2015/07/31(金) 09:48:49.89 ID:q1uIFkS9.net] でもおかげでconnectX-2でibとethを切り替える時にいちいちwinofドライバ指定しなきゃならなくて面倒。 963 名前：不明なデバイスさん mailto:sage [2015/08/28(金) 18:29:06.86 ID:SJXUDahv.net] https://technet.microsoft.com/en-us/library/mt421238.aspx ＞Hyper-V Virtual Switch only supports Ethernet, and does not support any other wired local area network (LAN) technologies, such as Infiniband and Fibre Channel. 964 名前：不明なデバイスさん mailto:sage [2015/08/29(土) 02:30:27.89 ID:h27M2kQ/.net] Infinibandは時代の徒花って事？ 965 名前：不明なデバイスさん mailto:sage [2015/08/29(土) 04:00:45.47 ID:RIMY7upc.net] Hyper-Vがゴミって事です 966 名前：不明なデバイスさん mailto:sage [2015/08/29(土) 23:41:10.65 ID:WOfna8H4.net] それな 967 名前：不明なデバイスさん mailto:sage [2015/08/30(日) 09:19:15.51 ID:JYL2bnBD.net] 簡易システムであり続けることを選択したという。 968 名前：不明なデバイスさん mailto:sage [2015/09/04(金) 09:12:33.65 ID:289s5xbk.net] Hyper-Vの仮想スイッチ機能っていわゆるアプライアンス（ファイアウォール、負荷分散、DPI等々）を仮想化するためのものだから、 Etherだけで十分、という判断では？ 969 名前：不明なデバイスさん mailto:sage [2015/09/04(金) 10:18:24.63 ID:lZozm7dD.net] Azureで必要になれば実装される 970 名前：不明なデバイスさん mailto:sage [2015/09/05(土) 00:25:12.70 ID:Ed7YdjKB.net] >>912 L2が必要なのにIPoIBが使用できるわけねえだろ 971 名前：不明なデバイスさん mailto:sage [2015/10/23(金) 21:32:01.76 ID:eTneqIQD.net] 　2年ぶりにきました。ESXi4.1でとまっていますが、これはinifibandのしばりで 仕方ないかなと思っています。最近5.5系あるいは6.0系でmlx4が使えるとの 報告をみて、ちょっと気になっています。当方はconnect-X以前のinfinihost なので、mthcaドライバが使えないと意味ないですが、5.5系か6.0系でmthca 使えている方いませんか？ 972 名前：不明なデバイスさん mailto:sage [2015/10/24(土) 00:04:35.33 ID:XgTR0J0W.net] 正直mthcaをプロプラ環境で使うのは、もう諦めた方が良い。Connect-X 2ですら、怪しくなってきてる。 Connect-X 2ももう十分安くなってるから、これを機に、 買い換えること考えた方が良いかと。 973 名前：不明なデバイスさん mailto:sage [2015/10/24(土) 15:43:24.87 ID:OWK97stD.net] 　ebayみてきたらConnectX-2が50ドルぐらいでありますね。再度 infinibandで組んでみようと思います。情報ありがとうございました。 974 名前：不明なデバイスさん mailto:sage [2015/10/29(木) 14:25:4 ] [ここ壊れてます] 975 名前：7.35 ID:L5J4H9FD.net mailto: ヤフオクでも5000円ぐらいであるよ＞MHQH でももうConnect-X2も怪しいしなあ。 [] [ここ壊れてます] 976 名前：915 mailto:sage [2015/11/07(土) 22:59:22.13 ID:DrUaCq0/.net] 　ebayからHCAが届きました。ConnectX-2の2ポートですが、一枚42ドルでした。yahooの方が 安く購入できたみたい。low profile bracketだったのはショック。ブラケットを再度購入するもの 面倒なので、ブラケットの詰めを伸ばして、適当に補強を入れて固定しました。MHQH29C相当の OEMです。 以前はInfinihostでしたが、今度はQDRでオフロードもしてくれます。 Esxi5.5 update2　+　SRP + Ubuntu14.04( ZFS + LIO )な設定ですが、このサイトの情報のおか げで設定できました。 ネットワークアダプタのところが、速度10000から40000に変化して大変気持ちがいい。ESXi5.xが 2018年、VMのCentOS6.xが2020年までのサポートですので、あと数年はこれでいけるでしょう。 977 名前：不明なデバイスさん mailto:sage [2015/11/10(火) 10:19:40.98 ID:uQBRpujo.net] おめ。ヤフオクのconnect-X2の1ポート品はある意味値崩れしてるよなあ。 connect-X2はQSAアダプタ使うと10GBase-SFPにもなるから、Infinibandやめてもそこそこ使えるのがいいね。 978 名前：915 mailto:sage [2015/11/11(水) 07:04:08.29 ID:G0b7/m4V.net] 　ありがとうございます。利用目的がESXiのＶＭでたいしたことやってないので、 環境的には過剰でしょう。まあ手段が目的なところもあります。 アダプタの件は、.>652、>859でも見ていて気になっていました。Ｉｎｆｉｎｉｂａｎｄの 終焉後も、2次利用できそうですね。だれか徒花って書いていましたが、技術的 に発展性がないからでしょうかね。個人的には10GbEよりいいものだと思います。 979 名前：不明なデバイスさん [2016/01/20(水) 21:39:03.60 ID:j2YsH0vL.net] こんなスレがあったとは。もっと早く知ってれば… 最近IBを調べ始めました。1対1で直結するESXi用のZFSストレージを安く作りたく、 Primergy TX1310 M1とWDの4TBの赤4個を買いました。SANネットワークは8Gbpsの FCかQDRのIBで迷ってます。 ・中古価格は、HBA (HCA) はだいたい同じくらい、ケーブルはFCが安い ・簡単でトラブル起きにくそうなのはFC ・スイッチはどちらも高いので買わないけどIBの方は将来手が届きそう ・OSは、FCだとLinuxもSolarisもOK、IBだとLinux一択（OpenSMがSolarisで動かないため） ・速度は（カタログ数値なら）圧倒的にQDR IB こんな認識で合ってますか？ 980 名前：不明なデバイスさん mailto:sage [2016/01/20(水) 23:18:38.61 ID:1LOmrt6V.net] 頭痛が痛い 981 名前：不明なデバイスさん mailto:sage [2016/01/21(木) 02:14:54.01 ID:oaSW0jRp.net] 関係無いけどちなみにメモリはいくら？ 982 名前：922 mailto:sage [2016/01/21(木) 02:43:37.88 ID:jb96ISIz.net] TX1310のメモリは8GB 983 名前：不明なデバイスさん mailto:sage [2016/01/21(木) 03:09:53.08 ID:GXgdraJH.net] スイッチはFCの中古が安いかもナ。 984 名前：不明なデバイスさん mailto:sage [2016/01/21(木) 11:44:25.52 ID:LEArpA3a.net] >>922 【SAN,NAS】ストレージ鯖総合【iSCSI,FC,IB,10GbE】 peace.2ch.net/test/read.cgi/hard/1321055812/ こっちでも良さそうな内容ではあるが、多分見てる人は同じだな（笑 4Gまでならスイッチ考えても、恐らくFCが一番安くて手っ取り早い、 直結なら８Gもあり、スイッチはどうだったか・・・中古の玉が少ないかも。 IBスイッチは、まぁDDRまでならともかく、QDRは絶望的かな。有ってもFC程安くない。 latency 985 名前：は圧倒的にFC、SRP/iWARPが使えれば、IBでも？ IPoIBでiSCSIだと多分勝負にならない。 targetはFreeBSDでもいけるけど、IBだと一手間かかる、FCはwwnのアクセス制御が まだ実装されてない。 FCならQlogic鉄板、間違ってもEmulexは買わないように。targetとして使えん。少なくともSolaris系とFreeBSDは。 Linuxは知らん。（知ってる範囲で、出来たって情報見た記憶が無い） Initiatorならありだけど、あえて選ぶ必要は多分無い。 [] [ここ壊れてます] 986 名前：不明なデバイスさん [2016/02/03(水) 01:23:04.51 ID:yTeaPjWA.net] ConnectX-2を入手しました。最終的にはWindows10でSRPをしたいんですが WinOF-3.2が入りません。このスレの上の方に出てくるorcaってなんですか？ 987 名前：不明なデバイスさん [2016/02/03(水) 01:59:56.68 ID:yTeaPjWA.net] レイテンシーはFCとSRPで比較してFCのがいいんですか？SRPだと思ってました。 なんとなく。 FCは自分もCOMSTARでかなり苦労しました。emulexとqlogicで4G，8G，合計4パターン 全部試してqlogicは全勝，emulexは全負でした。oracleの公式サイトではemulexも 行けそうなふうに読めるんだけど… 988 名前：不明なデバイスさん mailto:sage [2016/02/03(水) 02:01:31.52 ID:yTeaPjWA.net] >>929は>>927へのコメントです。 989 名前：不明なデバイスさん mailto:sage [2016/02/03(水) 11:13:56.85 ID:Ua3q8SeF.net] orcaはmsiをいじるツールで、orca msiで検索すればダウンロード先とかわかると思う。 ACT（互換性データベース）のほうを編集する手もあるけど、これもごにょり技だよなあ。 990 名前：不明なデバイスさん mailto:sage [2016/02/03(水) 14:52:23.98 ID:4ws8gJvv.net] >>929 Emulexでのtarget。確かに使えそうな書き方されてるけど、駄目なんだなーこれが。 どっかで試した人の情報見た気がするけど、成功した記録無し。 現行世代のLPe16xxx(一部LPe15xxx)に限っては、 www.emulex.com/downloads/emulex/onecore-storage-drivers/overview/ Emulexが公式でSDK出したので、多分targetとして使える。 ま、現行世代のカードなんて高くて使えんから、試せてないけど。 レイテンシーはSRP/iWARPの方が良いかも？ 結構環境が限られるんで、自分もテストはしてない。 SRP/iWARPでまともなtargetってSolaris系一択？Linuxがよく分からん、使わないので。 Initiator側がOFEDポシャったおかげで、Windowsで使うのは面倒になったし。 仮想系のインフラ組んでる人が使うぐらい？ 991 名前：不明なデバイスさん mailto:sage [2016/02/03(水) 23:10:15.19 ID:yTeaPjWA.net] >>931 ありがとう。しかしよくわからないのでVisual StudioとかWindows SDKとかたくさん 入れてみるもorcaが見当たらず。まだまだ先は長そうです。まさか Windowsやinitiator側で苦労するとは思わなかった… >>932 solarisはopensmが動かないのが痛恨。 992 名前：不明なデバイスさん mailto:sage [2016/02/04(木) 18:16:28.89 ID:KxpO74Mr.net] >>931 orcaでLaunchConditionの(VersionNT=601) [ProductName] requires Widnows 7 or Server 2008 R2 to install.をdrop row してインストール試みました。 Windows 7 or Windows 2012 R2うんぬんというエラーは出なくなりましたが OpenFabrics Enterprise Distribution v3.2 (GA) x64 Setup Wizard ended prematurely と出てインストール中断します。何を調べればいいですか？ 993 名前：不明なデバイスさん mailto:sage [2016/02/06(土) 14:18:24.04 ID:Lzj5wgzL.net] だとするとWinOF-3.2とWin10ではだめなのかもしれん。 994 名前：不明なデバイスさん mailto:sage [2016/02/06(土) 14:24:29.05 ID:Lzj5wgzL.net] そういやConnectX-2ならMLNX_OFEDのちょい古い版とかでいいん� 995 名前：ｶゃない？ SRPがだめなんだっけ？ [] [ここ壊れてます] 996 名前：不明なデバイスさん mailto:sage [2016/02/07(日) 22:50:56.47 ID:SwdVZWY/.net] ConnectX-3をゲットした SR-IOVを使ってみたけどゲストの2012R2で動かん VirtualFunctionEthernetAdapterは認識はするけど ドライバがだめっぽい ちなみにホストはproxmox(debian8.3)なんだが ゲストがdebian8.3なら動作した WinOFの更新待ちかな 997 名前：不明なデバイスさん mailto:sage [2016/05/03(火) 23:53:36.96 ID:yTn19sKj.net] どっかに落ちてないかな 998 名前：不明なデバイスさん mailto:sage [2016/05/04(水) 01:22:40.71 ID:GYC3vzdJ.net] うーむ、やっぱりqdrケーブルだと56gbeでリンクしないか あとConnectX3は公式ファームじゃないと56gbeでリンクしてくれない しかしOEM用のファームはなぜ公式と設定が違うのだろうか 999 名前：不明なデバイスさん mailto:sage [2016/05/12(木) 10:04:19.31 ID:ESzPQ74C.net] gbeなのか？ FDRとかFDR10とかブランディングで制限かけてるだけだったり＆混乱してるからかもしれない。＞56Gbps 1000 名前：不明なデバイスさん mailto:sage [2016/11/11(金) 17:32:42.02 ID:hTPjvsQf.net] voltaire 4036がオクに出てる。なんかファンのところによごれ見えるけど。 ちなみにクソ五月蠅いよ。当たり前のことだけど書き込んでみました。 1001 名前：不明なデバイスさん mailto:sage [2016/11/13(日) 21:10:04.80 ID:rTm+feMM.net] KVM環境でSRIOVがまともに動くようになってるな 56GB x2 portのsmb directが物理仮想間でちゃんと動く 1002 名前：不明なデバイスさん mailto:sage [2016/11/25(金) 10:21:22.45 ID:+llrVi8C.net] itpro.nikkeibp.co.jp/atcl/column/16/111800261/112100002/?P=2 1003 名前：不明なデバイスさん mailto:sage [2017/04/01(土) 23:48:24.97 ID:iTocyRPe.net] うーん、OpenSM起動しない・・・ 1004 名前：不明なデバイスさん mailto:sage [2017/04/15(土) 12:31:50.40 ID:OmvYEFzt.net] 久々にやってきたけど、このスレまだ続いてたんだ。 うれしかったので、ネタ投下。 ConnextX-3のMCX354A-FCBTのOEM版使ってる人は自己責任だけど、Mellanox版のものに変更できるよ。 https://forums.servethehome.com/index.php?threads/connectx-3-hp-to-mellanox-firmware-help.12452/ OEM版だと40GbE制限あったけど、上記の書換した後は56GbEがちゃんと出てきた。 >942 見られてないと思うけど、56GBx2ってIBでしょうか? 自分のKVM環境だとWindows 2012R2 の仮想マシンのEtherでSMB Directが動かないっす。 IBの方だと、SMB Direct動いてるんですが。 >944 環境書いてくれたら、ヘルプできるならするよー 1005 名前：不明なデバイスさん mailto:sage [2017/04/15(土) 19:48:11.64 ID:OVyYBDwU.net] 知人からコネクトx2を何枚かタダで貰ったんですけど（背面シールにはMHQH19B-XTR Rev.A1） コネクトx2ってうるおぼえですがファームを入れ替えて10GbEとしても使えたように記憶しています WIN-WIN間のファイル共有が高速になってくれれば十分なんですが、インフィニットバンドとして 使うのと10GbEで使うのはどっちがいいんでしょうか？ スイッチとかは無いので2台のマシンを直結の予定です 1006 名前：不明なデバイスさん mailto:sage [2017/04/15(土) 20:58:35.12 ID:OmvYEFzt.net] >946 その型番なら、ファーム入れ替えしなくても10GbEで使えるよ。 あと、使ってるWindowsがServer系か10とか8.1とかProとかHomeとかで違ってくるので、 いまの情報だと、どっちが良いかは言えないかな。 楽なのは、10GbEとして使うのが楽だと思う。 Windows Server 2012以降とWindows10Enterpriseで、ストレージが1GB/s以上でるなら インフィニバンドでの接続を薦める。 1007 名前：不明なデバイスさん [2017/04/16(日) 14:26:43.77 ID:yo3fUb6X.net] SGIのNUMAのように、InfiniBandで接続した複数のノードを1台の仮想的なSMPマシンに見せかけるソリューションはありませんか？ 1008 名前：不明なデバイスさん mailto:sage [2017/04/16(日) 15:17:37.33 ID:UC4qbPkZ.net] >>946 ブツがタダで流れてくるなんて羨ましいなぁ ファイル共有なら10GbEで使うのが普通っぽいけど インフィニにした場合共有形態はどうなるんだ？ [] [ここ壊れてます] 1010 名前：不明なデバイスさん mailto:sage [2017/04/16(日) 17:07:01.76 ID:Knr7cwku.net] >>949 ConnectX2だと、WinでRDMA使えん気がしたので、 SMB Directは無理。 そうすると、IPoIBでCIFSしか無いのでは。 1011 名前：不明なデバイスさん mailto:sage [2017/04/16(日) 17:17:30.63 ID:LLNX3LoS.net] ファームのバージョン上げればConnectX2でもリモートDMA使えたと思ったが 最新の2.9.1000なら使えたような気が 1012 名前：不明なデバイスさん mailto:sage [2017/04/16(日) 17:36:41.01 ID:zPRwP/lp.net] >950 確か、WinOFの4.70辺りのFirm当てたらRDMA使えるようになるはず。 質問者のカードだと多分いけるけど、MHZH29B-XTRはダメだった。 MHQH29B-XTRは行けたけど。 1013 名前：不明なデバイスさん mailto:sage [2017/04/16(日) 22:12:50.09 ID:zxlDdvEW.net] >>948 ないと思う。openMPIなりでセコセコ書くしかないかと。 1014 名前：不明なデバイスさん mailto:sage [2017/04/16(日) 22:20:14.42 ID:zxlDdvEW.net] そういやopenmpのほうはInfinibandに載るのかな？そんなライブラリがofedにあったようななかったような。 載るならMPIを意識せずに書けるね。遅いだろうけど。 1015 名前：不明なデバイスさん mailto:sage [2017/05/20(土) 08:55:03.46 ID:99THfoCe.net] Mellanoxのカスタムファームウェアダウンロードするページ無くなった？ oemに純正のあたるのかなぁ 1016 名前：不明なデバイスさん mailto:sage [2017/05/23(火) 00:14:15.01 ID:tZy0OIh6.net] >>955 ちょっとこれちょっと気になりますねー 気になりますねー、これ。ちょっと気になりますねー 最近OEMのConnectX-2を買ったところなので私、すごく気になります 1017 名前：不明なデバイスさん mailto:sage [2017/05/25(木) 09:12:19.18 ID:1Y7WW9R+.net] HPのconnectX3買って56G対応のケーブル付けたらOEMファームでも56Gでリンクした。IBMブランドの00D9552は公式ファームにしても40Gのリンクだった。残念。 1018 名前：不明なデバイスさん mailto:sage [2017/05/25(木) 09:20:43.91 ID:qm5PyFC4.net] 俺の使ってるHPのはデフォだとだめだったな カスタムファームウェアで56G用のリンク設定書き込んだらいけた 1019 名前：945 mailto:sage [2017/05/26(金) 03:38:59.84 ID:IShtCY/1.net] >955 自分が書いた時点では､まだカスタムファームは www.mellanox.com/supportdownloader/ のページから落とせたけど､今確認すると無くなってるね｡ (こっそりみたいな感じでカスタムファームへのリンクあったんだけど) カスタムファームはSTHのページからのリンクからは落とせるからそっちから落とすしかないかな｡ www.mellanox.com/downloads/firmware/disclaimer.php?download=/downloads/firmware/ConnectX3-rel-2_40_5030.tgz は､まだ落とせるからこっちから落として､一回純正PSIDへ書換しやってやる必要がある｡ flind -d /dev/mst/mt4099_pci_cr0 q で､PSIDがMT_1090120019(これ多分カードによるので注意) に書き換わってたら､ あとは､LinuxのMLNX_OFEDでFWバージョンアップしてやったら､最新のFWに書き換わってた｡ これは､あくまで自分でやって成功した事例なので､参考までに｡ >957 OEM先によっていけたりいけなかったりするのね｡ 参考になりました｡ >958 HPでも駄目なやつあるんだ｡ 自分でも､純正のカードとHPのOEMカードで設定の比較してみたけど､かなり違うよね｡ 純正はConnectX3-rel-2_40_5030.tgz ベースで比較したけど､HPの設定項目が少なくて えらい純正と差を付けてるなーと思った｡ HPのカードで､純正書換いけたカードリビジョン見てみるよ｡ カードのリビジョンによってはいけたりいけなかったり有るかもしれないので｡ 1020 名前：不明なデバイスさん mailto:sage [2017/11/02(木) 08:11:37.71 ID:kRAC/zqA.net] MLNX OFED 4.2やっと公開か これでDebian9に入れられる 1021 名前：不明なデバイスさん mailto:sage [2017/11/03(金) 14:53:15.67 ID:zCiqPSUt.net] インフィニットバンドはケーブルが太すぎて取り回しがえらい １０Ｇベースに走ってしまうわ 1022 名前：不明なデバイスさん mailto:sage [2017/11/03(金) 16 ] [ここ壊れてます] 1023 名前：:08:33.38 ID:GK+LHFGv.net mailto: その単語で登録されてるんだ。 [] [ここ壊れてます] 1024 名前：不明なデバイスさん mailto:sage [2017/11/04(土) 01:59:47.42 ID:lzNs/RaI.net] そういうわざとやってるかまってちゃんは黙殺推奨 1025 名前：不明なデバイスさん [2018/01/01(月) 19:09:25.80 ID:zbLcFcaT.net] 興味がある人だけどうぞ。ネット小遣い稼ぎ方法など。 グーグル検索⇒『工藤のジョウノウノウ』 YEDQIKDYF4 1026 名前：不明なデバイスさん mailto:sage [2018/01/02(火) 17:25:56.18 ID:sXYqtjyB.net] インフィニ 1027 名前：不明なデバイスさん [2018/07/05(木) 10:22:59.50 ID:to6k2B8a.net] 友達から教えてもらった自宅で稼げる方法 興味がある人はどうぞ 検索してみよう『ネットで稼ぐ方法 モニアレフヌノ』 CQR 1028 名前：不明なデバイスさん mailto:sage [2018/08/26(日) 04:07:04.19 ID:heIPyWlT.net] いくらなんでも寂れすぎ 1029 名前：不明なデバイスさん mailto:sage [2018/09/07(金) 13:23:43.46 ID:aZGDeoGt.net] 個人ではうるさすぎるからねー。 1030 名前：不明なデバイスさん mailto:sage [2018/09/07(金) 23:31:49.96 ID:GqBleuM5.net] うるさい？何が？何がうるさいの？うるさいって？ 何がうるさいの？うるさいって何が？ 1031 名前：不明なデバイスさん mailto:sage [2018/09/08(土) 00:34:37.02 ID:zWil2rKR.net] 突っ込み待ちですねわかります 1032 名前：不明なデバイスさん mailto:sage [2019/03/22(金) 11:05:15.24 ID:LpimGuu9.net] うぉーメラがNVidiaに買われたのか。 nvlinkのコンシューマ向けスイッチとかストレージプロトコル出るかな？ 1033 名前：不明なデバイスさん mailto:sage [2020/04/28(火) 16:36:38 ID:mCinIjGf.net] >>971 4/27に買収完了とのこと 1034 名前：不明なデバイスさん mailto:sage [2020/07/16(木) 06:05:14.50 ID:H5zyA0En.net] MCX354A-FCCTを3枚買ったった 使い道はこれから考える 1035 名前：不明なデバイスさん [2020/07/23(木) 11:34:36.79 ID:qjtssT8w.net] qsfp+ を導入したいと考えています。候補はQLOGIC 12200-18 です Netgear の 1g sfp switch　は持っているのですが、 ブレイクアウトケーブルを用いて、通信できるのでしょうか？ 1036 名前：不明なデバイスさん mailto:sage [2020/07/24(金) 15:39:28.67 ID:j5WNnXP/.net] ブレイクアウトで分岐したSFP+をSFPポートに挿して動くかどうか？ それダメなヤツ。 https://community.fs.com/jp/blog/sfp-vs-sfp-vs-sf-p28-vs-qsfp-vs-qsf-p28-what-are-the-differences.html 1037 名前：974 mailto:sage [2020/07/25(土) 09:01:03.13 ID:zoGUVFRJ.net] レスありがとうございます Router が無いと swithing hub が使えない者です RJ45 と qsfp+ を接続するにはどうすればいいんでしょうか？ CRS305 とトランシーバーを用いて stack させれば通信出来るのでしょうか？ 1038 名前：不明なデバイスさん mailto:sage [2020/07/25(土) 11:36:29.52 ID:9DYL8FuT.net] >>976 とりあえず、qsfp+でrj45を使いたいならqsfp+からsfp+に変換するアダプタ挿してrj45モジュールを挿せばいいかと。 で、QLOGIC 12200-18ってinfinibandのSWだと思うんだけど、これってcrs305とかと接続できないじゃない？ mellanoxのnicみたいにinfinibandとetherのモード切り替えとかないですよね。 1039 名前：974 mailto:sage [2020/07/25(土) 12:22:25.18 ID:zoGUVFRJ.net] レスありがとうございます infiniband 初心者で良く分かってませんでした Mellanox MIS5023Q-1BFR ならqsfp+変換アダプタかまして通信できますでしょうか？ 1040 名前：不明なデバイスさん mailto:sage [2020/07/25(土) 13:22:33.65 ID:9DYL8FuT.net] >>977 ebayあたりで安い中古探して40G環境作ろうとしてる？ とりあえず直結から始めたら？ 1041 名前：974 mailto:sage [2020/07/25(土) 13:40:02.34 ID:zoGUVFRJ.net] そうです。 使う環境は、Windows,ESXi,NAS なのでswitch が欲しいです 1042 名前：不明なデバイスさん mailto:sage [2020/07/25(土) 14:34:56.58 ID:9DYL8FuT.net] >>980 それらが各1台ずつで40G接続したいのがwindows-esxi間だけならsw無くても直結でいいだろ ブロードバンドルー� 1043 名前：^ 　　　| 192.168.0.0/24 　　ESXi(仮想ルータ) 　　　| 192.168.1.0/24 　windows 上記構成でブロードバンドルータにwindowsに対するルーティングを仮想ルータ宛に書けばいい。 esxi上の仮想ルータはなんでも良くて面倒ならwindowsでもrouting and remote accessを有効にすればいい。 これでnasをブロードバンドルータに接続すればokかと。 そもそもESXiっていったらドライバあるの？から始まるわけだがその辺は大丈夫なのか？ [] [ここ壊れてます] 1044 名前：974 mailto:sage [2020/07/25(土) 16:49:21.11 ID:zoGUVFRJ.net] その辺は調べました ESXi は公式にサポートされています、FreeNASは動かしている人がいるようです NAS の速度を主に改善したいと考え、懸案しています。 いずれはiSCSIで接続しようとしています。 1045 名前：不明なデバイスさん mailto:sage [2020/07/25(土) 17:08:29.64 ID:9DYL8FuT.net] うーん… サポートされてるってカードのことだよね？ mellanoxだとは思うけどそれをinfinibandとして使うのか、イーサネットで使うのか？だな。 mellanoxでESXiのHCL確認するとenドライバ(イーサネットドライバ)しか出てこないと思うんだが… イーサネットドライバ使う前提ならinfinibandスイッチは使わないかと。 1046 名前：974 mailto:sage [2020/07/25(土) 17:18:12.72 ID:zoGUVFRJ.net] 大人しく 10G sfp+ LAN にしといたほうが無難ですかね？ 1047 名前：不明なデバイスさん mailto:sage [2020/07/25(土) 18:16:01.82 ID:9DYL8FuT.net] infinibandを使いたいなら、それって何？くらいは調べないと。 wikipediaでも「非常に高いRAS（信頼性・可用性・保守性）を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。」とある。 インターコネクト用なんだから内部接続にしか使えないだろ。 逆に内部接続を高速化したいならアリかと。 ま、10G SFP+で問題ないならそっちの方がいいだろね。 1048 名前：974 mailto:sage [2020/07/25(土) 19:31:32.51 ID:zoGUVFRJ.net] 欲しいカードは消費電力を考えて、Connetx-3 or AQC107　なんだけども cost のことも考えて、アドバイス通り infiniband で直結してみます。 1049 名前：不明なデバイスさん mailto:sage [2020/07/25(土) 20:10:21.09 ID:9DYL8FuT.net] >>986 まだ選択肢があって10Gでいいなら普通にイーサネットカードでよくね？ この辺とDACで安くできるだろ https://www.ebay.com/itm/Mellanox-MCX341A-XCGN-MCX311A-XCAT-ConnectX-3-EN-10G-Ethernet-SFP-Network-Card/124186551829?hash=item1cea186615 sw買うにしてもmikrotekで安くあるからな 完全にスレチで申し訳ない 1050 名前：974 mailto:sage [2020/07/25(土) 20:32:44.93 ID:zoGUVFRJ.net] 長々とお付き合いいただきありがとうございました。 それを買わせて頂きます 1051 名前：不明なデバイスさん mailto:sage [2020/08/12(水) 11:37:03.64 ID:yjd493KF.net] FDRの環境を仮構築した。 接続が速くなると、内部ストレージと外部ストレージの境目が曖昧になるね。 こりゃ楽しい。 使い道もなしに買ったけれど、これで一年くらい楽しめそうだ。 1052 名前：989 mailto:sage [2020/08/13(木) 10:20:50.83 ID:/5TtSDc8.net] 自動メトリックが効いていないのか1000BASE-Tで接続する時がある 手動設定しないとダメかな 2ndポートがactiveにならない問題もあるし、サブネットマネージャーの挙動は怪しいし、HCAは発熱激しいしホント楽しい 現在、IPoIBで実効速度は14Gbpsが限界 ボトルネック探しもしないといけない 皆さんは、実効速度はどのくらい出てらっしゃいますか？ 1053 名前：不明なデバイスさん mailto:sage [2020/08/13(木) 15:15:48.94 ID:llFoqrdY.net] infinibandではなくてスレチかもしれんがrdma繋がりということで。 こちらは2秒間隔での瞬間値でこんな感じ 読込36.9Gbps 書込32.3Gbps connectx 4/4 lxをQSF+で直結、ストレージはGen4NVMeの� 1054 名前：痰ﾌやつ。 ファイルサーバはwindows server 2019でクライアントはwin10 シーケンシャルについてはローカルとほぼ同等の速度がでていて動画編集とかはかなり快適な感じです。 https://i.imgur.com/N7xhbaB.png [] [ここ壊れてます] 1055 名前：不明なデバイスさん mailto:sage [2020/08/13(木) 17:46:17.37 ID:AizG8fax.net] おおおシーケンシャルならRWとも4000Mbyte/s超えますか ネットワーク越しとは思えない爆速 ちなみにストレージはGen4NVMeの例のやつが思い当たらない メーカーどこですか？ 1056 名前：不明なデバイスさん mailto:sage [2020/08/13(木) 18:10:55.19 ID:gCQnUpTu.net] >>990 ConnectX2直結のIPoIBでiperf 30gbpsとか出てた記憶。(FreeBSD) 取り合えずCPUの省電力系の機能全OFFから確認。 CPUが熱いとかアイドル時の電気食い過ぎとか、全部無視すること。 両立出来ないので。 CPUはSandyクラスなら通信自体は実効値の限界は行くはず。 後はサービス側がどこまで頑張れるか。 1057 名前：不明なデバイスさん mailto:sage [2020/08/13(木) 19:45:28.27 ID:llFoqrdY.net] >>992 今gen4.0のnvmeって一種類しかないよ。 ウチはcssd-m2b1tpg3vnf >>993 ethernetの限界か、rdmaなしだと全然性能でない。 改めてiperf3やってみたけど7〜10Gbpsくらいしかでない。 まあsmbが早ければ困らないからいいんだけど。 1058 名前：不明なデバイスさん mailto:sage [2020/10/14(水) 22:03:32.16 ID:O3oKuxs0.net] 羅津 1059 名前：不明なデバイスさん mailto:sage [2020/10/14(水) 22:03:55.31 ID:O3oKuxs0.net] 民意 1060 名前：不明なデバイスさん mailto:sage [2020/10/14(水) 22:04:21.97 ID:O3oKuxs0.net] 偵察 1061 名前：不明なデバイスさん mailto:sage [2020/10/14(水) 22:04:49.94 ID:O3oKuxs0.net] 横山緑地 1062 名前：不明なデバイスさん mailto:sage [2020/10/14(水) 22:05:31.90 ID:O3oKuxs0.net] 腕白 1063 名前：不明なデバイスさん mailto:sage [2020/10/14(水) 22:05:52.05 ID:O3oKuxs0.net] なんでも実況Jまでおいでませ！ 1064 名前：1001 [Over 1000 Thread.net] このスレッドは１０００を超えました。 新しいスレッドを立ててください。 life time: 3438日 23時間 40分 16秒 1065 名前：過去ログ ★ [[過去ログ]] ■ このスレッドは過去ログ倉庫に格納されています

---

---

[ 新着レスの取得/表示 (agate) ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef