InfiniBandについて語るスレ

InfiniBandについて語るスレ at HARD

1045:不明なデバイスさん
20/07/25 17:08:29.64 9DYL8FuT.net
うーん…
サポートされてるってカードのことだよね？
mellanoxだとは思うけどそれをinfinibandとして使うのか、イーサネットで使うのか？だな。
mellanoxでESXiのHCL確認するとenドライバ(イーサネットドライバ)しか出てこないと思うんだが…
イーサネットドライバ使う前提ならinfinibandスイッチは使わないかと。

1046:974
20/07/25 17:18:12.72 zoGUVFRJ.net
大人しく 10G sfp+ LAN にしといたほうが無難ですかね？

1047:不明なデバイスさん
20/07/25 18:16:01.82 9DYL8FuT.net
infinibandを使いたいなら、それって何？くらいは調べないと。
wikipediaでも「非常に高いRAS（信頼性・可用性・保守性）を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。」とある。
インターコネクト用なんだから内部接続にしか使えないだろ。
逆に内部接続を高速化したいならアリかと。
ま、10G SFP+で問題ないならそっちの方がいいだろね。

1048:974
20/07/25 19:31:32.51 zoGUVFRJ.net
欲しいカードは消費電力を考えて、Connetx-3 or AQC107　なんだけども
cost のことも考えて、アドバイス通り
infiniband で直結してみます。

1049:不明なデバイスさん
20/07/25 20:10:21.09 9DYL8FuT.net
>>986
まだ選択肢があって10Gでいいなら普通にイーサネットカードでよくね？
この辺とDACで安くできるだろ
URLﾘﾝｸ(www.ebay.com)
sw買うにしてもmikrotekで安くあるからな
完全にスレチで申し訳ない

1050:974
20/07/25 20:32:44.93 zoGUVFRJ.net
長々とお付き合いいただきありがとうございました。
それを買わせて頂きます

1051:不明なデバイスさん
20/08/12 11:37:03.64 yjd493KF.net
FDRの環境を仮構築した。
接続が速くなると、内部ストレージと外部ストレージの境目が曖昧になるね。
こりゃ楽しい。
使い道もなしに買ったけれど、これで一年くらい楽しめそうだ。

1052:989
20/08/13 10:20:50.83 /5TtSDc8.net
自動メトリックが効いていないのか1000BASE-Tで接続する時がある
手動設定しないとダメかな
2ndポートがactiveにならない問題もあるし、サブネットマネージャーの挙動は怪しいし、HCAは発熱激しいしホント楽しい
現在、IPoIBで実効速度は14Gbpsが限界
ボトルネック探しもしないといけない
皆さんは、実効速度はどのくらい出てらっしゃいますか？

1053:不明なデバイスさん
20/08/13 15:15:48.94 llFoqrdY.net
infinibandではなくてスレチかもしれんがrdma繋がりということで。
こちらは2秒間隔での瞬間値でこんな感じ
読込36.9Gbps
書込32.3Gbps
connectx 4/4 lxをQSF+で直結、ストレージはGen4NVMeの�

1054:痰ﾌやつ。ファイルサーバはwindows server 2019でクライアントはwin10 シーケンシャルについてはローカルとほぼ同等の速度がでていて動画編集とかはかなり快適な感じです。 https://i.imgur.com/N7xhbaB.png

1055:不明なデバイスさん
20/08/13 17:46:17.37 AizG8fax.net
おおおシーケンシャルならRWとも4000Mbyte/s超えますか
ネットワーク越しとは思えない爆速
ちなみにストレージはGen4NVMeの例のやつが思い当たらない
メーカーどこですか？

1056:不明なデバイスさん
20/08/13 18:10:55.19 gCQnUpTu.net
>>990
ConnectX2直結のIPoIBでiperf 30gbpsとか出てた記憶。(FreeBSD)
取り合えずCPUの省電力系の機能全OFFから確認。
CPUが熱いとかアイドル時の電気食い過ぎとか、全部無視すること。
両立出来ないので。
CPUはSandyクラスなら通信自体は実効値の限界は行くはず。
後はサービス側がどこまで頑張れるか。

1057:不明なデバイスさん
20/08/13 19:45:28.27 llFoqrdY.net
>>992
今gen4.0のnvmeって一種類しかないよ。
ウチはcssd-m2b1tpg3vnf
>>993
ethernetの限界か、rdmaなしだと全然性能でない。
改めてiperf3やってみたけど7～10Gbpsくらいしかでない。
まあsmbが早ければ困らないからいいんだけど。

1058:不明なデバイスさん
20/10/14 22:03:32.16 O3oKuxs0.net
羅津

1059:不明なデバイスさん
20/10/14 22:03:55.31 O3oKuxs0.net
民意

1060:不明なデバイスさん
20/10/14 22:04:21.97 O3oKuxs0.net
偵察

1061:不明なデバイスさん
20/10/14 22:04:49.94 O3oKuxs0.net
横山緑地

1062:不明なデバイスさん
20/10/14 22:05:31.90 O3oKuxs0.net
腕白

1063:不明なデバイスさん
20/10/14 22:05:52.05 O3oKuxs0.net
なんでも実況Jまでおいでませ！

1064:1001
Over 1000 Thread.net
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 3438日 23時間 40分 16秒

1065:過去ログ ★
[過去ログ]
■ このスレッドは過去ログ倉庫に格納されています