【IT】バックアップ、5年「OFF」　富士通のマニュアルに誤り　東証システム障害 [田杉山脈★]

【IT】バックアップ、5年「OFF」　富士通のマニュアルに誤り　東証システム障害 [田杉山脈★] at BIZPLUS

[前50を表示]
250:名刺は切らしておりまして
20/10/20 23:59:12.89 7NMxCXWA.net
導入の初っ端ならしっかりテストするだろうが
途中からの変更だと、
このテストはやらないかもな
多分、こんな機能を把握もしてなかっただろう

251:名刺は切らしておりまして
20/10/20 23:59:37.94 04/ioawL.net
IT あるあるだな
アメリカ製の仕様がいつの間にか変わってるってやつ
明らかなテスト不足だな
バージョンアップ時には切り替えテストしておかないと

252:名刺は切らしておりまして
20/10/21 00:00:52.83 OV+BMtvG.net
まあ別に珍しくもないだろ、昔、マイナーOSだけど、Oracleのインストールマニュアルが間違ってるのみつけた事あるぞ。
バックアップとか試すのも面倒な上に、スケジュールはびっちりだ。

253:名刺は切らしておりまして
20/10/21 00:08:15.60 OV+BMtvG.net
根本原因は気付かなかったことじゃない
「危機入れ替えならテストいらないよね」という上層部の判断だ。
上層部ももちろん気付けるわけもないけどな。

254:名刺は切らしておりまして
20/10/21 00:11:14.33 tifIHtK+.net
インフラのように２４時間稼働し続けてるシステムじゃないんだから、いくらでもメンテナンスや動作確認できるのに

255:名刺は切らしておりまして
20/10/21 00:24:51.11 9yAL3h5M.net
まああるあるだよな。マニュアル通りに作っていても動かなくてメーカーに問い合わせると間違いが発覚って日常的にあるし。
テスト甘かったね

256:名刺は切らしておりまして
20/10/21 00:25:27.82 WA10U5Ht.net
やっちゃったねえ

257:名刺は切らしておりまして
20/10/21 00:25:40.15 9yAL3h5M.net
↑メーカーの間違いが発覚、ね

258:名刺は切らしておりまして
20/10/21 00:26:35.57 XG7qYA/e.net
富士通が投資家の被った損を保証金するのか？

259:名刺は切らしておりまして
20/10/21 00:32:20.38 jFqgGRMr.net
ぶっちゃけnetappのストレージ使いにくい。
大人しく自社のETERNUSいれておけば良かったのに

260:名刺は切らしておりまして
20/10/21 00:34:31.45 rZmXThH0.net
もう東証のシステムをやることがリスクしかない。
俺がプロマネなら関わらないな。

261:名刺は切らしておりまして
20/10/21 00:40:13.45 pN5ny9CK.net
>>2
ああいう大規模で一点モノはどうなんだろうね
寿命は

262:名刺は切らしておりまして
20/10/21 00:58:48.58 ITDH82/1.net
>259
dedupeがアホな富士通自社製がゴミなのが問題で

263:名刺は切らしておりまして
20/10/21 01:01:10.93 KTVBD81q.net
>>179
マニュアルには何も記載されていなかったので、機能変更なしとしてテストしなかった
だが、実際には機能変更はあったというのが顛末

264:名刺は切らしておりまして
20/10/21 01:02:00.43 IVzgmtn/.net
詳しい発表
URLﾘﾝｸ(japanese.engadget.com)
当該装置はETERNUS NR1000（OEM製品）
メモリ故障で切り変わるかの試験は
実際に稼働中の機器からメモリを抜くなりしないと試験出来ないので普通はしない
（その行為で機器を壊してしまう可能性があるため）
ファームアップで設定の仕様が変わったことを把握できなかったのが唯一の原因

265:名刺は切らしておりまして
20/10/21 01:05:02.53 KTVBD81q.net
試験をマニュアルの差分基準で決めたなら
今回の件はすり抜けるだろうなぁ

266:名刺は切らしておりまして
20/10/21 01:10:19.03 +JPayzae.net
>>264
OEMとは言え自社ブランド製品だと
「当然、製品の仕様変更は押さえてるよね？」と言われてしまいそうだな…

267:名刺は切らしておりまして
20/10/21 01:14:47.26 wIzYX1+1.net
切り替えテストしていないのがバレてしまった

268:名刺は切らしておりまして
20/10/21 01:16:42.57 Z62K44eE.net
アメリカってこういうことするよね
一言仕様変更入ってますよと言うだけで回避できた

269:名刺は切らしておりまして
20/10/21 01:17:57.51 Z62K44eE.net
まさに現場猫案件だわ

270:名刺は切らしておりまして
20/10/21 01:21:54.35 j6CKZnVq.net
何のためのバックアップなのかな
非常時に切り替わるから意味があるんだろ
テストしてないだろ！
市場関係者は黙ってないだろうな

271:名刺は切らしておりまして
20/10/21 01:26:18.91 faGPNJAO.net
>>237
いいや東証の方はそれでいい。
システムなんてどこがいつ壊れるか分からないし、テロとか災害などの防止不可能なトラブルもある。
東証の役目はそういうときでも速やかに（代替システムとか使って）業務を復旧させる枠組みを作っておくこと。
今回の場合、午後一に復旧できず翌日からになっちゃったのは東証のそのあたりの手落ちが大きい。

272:名刺は切らしておりまして
20/10/21 02:09:42.72 GNOtrhFMX
OSバージョンアップでテストしてなかったと

273:名刺は切らしておりまして
20/10/21 01:27:47.72 ga/BXTbc.net
これは説明書読まずに右から左へ流した富士通の100%過失ですやん

274:名刺は切らしておりまして
20/10/21 01:30:41.76 ga/BXTbc.net
これどうなっちゃうの、5年前の証券データで継続になっちゃうの？
マーベルで指パッチンで消えた人が消えてない人と一緒に暮らすようなもんだな

275:名刺は切らしておりまして
20/10/21 01:31:58.55 IVzgmtn/.net
試験自体が機器を故障させるような試験は、しないのが普通
CPU、メモリ、電源等、取外しや抜線以外に故障状態を作れないが
実施することで本当に故障してしまう。
ソフト的に環境を作ったとして、それでは実際に試験した事にならないというジレンマ

276:名刺は切らしておりまして
20/10/21 01:36:06.36 KQS/4HH5.net
テストするのが当たり前って。。。
ほんとか？
キャリグレードを求められる機器ならまだしも
ハードの二重故障を想定したテストを「自主的」に
行ってる金融システム請け負ってるメーカーってどこよ。
実名で会社名あげて欲しいわ。

277:名刺は切らしておりまして
20/10/21 01:38:14.25 bFMc/IH3.net
富士通は5年間気付きもしないの？
メンテしてたんじゃないの？
バカなの？

278:名刺は切らしておりまして
20/10/21 01:40:45.79 mQtxqShX.net
ある日ある時　末端の若手が
「あれ？このスイッチオフでいいのかな？　ま、いっか
いじったら俺の責任になるかもしれないし、放っておこう」

279:名刺は切らしておりまして
20/10/21 01:43:11.95 j6CKZnVq.net
>>275
ソフト的に環境を作って試験していれば今回のは見つかっただろうなぁ

280:名刺は切らしておりまして
20/10/21 02:14:26.05 TY4nFcVy.net
F:
MTBF5年ですよ
凄い性能じゃないですか(ﾋﾟｷ

281:名刺は切らしておりまして
20/10/21 02:33:02.56 HdSBiE4j.net
やっぱりそうか
掃除のおばちゃんが
コンセントぬいたとかとかみたいだ

282:名刺は切らしておりまして
20/10/21 02:41:35.74 TY4nFcVy.net
>>279
ソフトでエラーのエミュレーションしても、気休め
完全なハードエラー再現はできない

283:名刺は切らしておりまして
20/10/21 03:13:04.65 j6CKZnVq.net
>>282
そんな高度なことじゃなくて
ココイカれたらサブに切り替わるはずだよね。やってみよう。ソレ！！
あれ、切り替わらない…
程度のことだと思うんだけどね

284:名刺は切らしておりまして
20/10/21 03:22:15.92 j6CKZnVq.net
ソフトで簡単な例外を発生させて、これやると確実にサブ切り替わるはず
あれ、切り替わらない…　ﾏｼﾞｶﾖ
という話じゃないのか
ってこと

285:名刺は切らしておりまして
20/10/21 04:15:00.34 zKhxBKy2.net
普通に切替動作試験すれば見つかっただろ。バックアップの切替試験を机上だけでやってたという話にしか見えないけど。仕様変更がある無いに関わらず実際の動作確認は必須だろ。

286:名刺は切らしておりまして
20/10/21 05:54:42.02 sQGl6R6y.net
これは
前の人が・・・ヨシッ!
の1例だな

287:名刺は切らしておりまして
20/10/21 06:01:56.83 1b4kBAWo.net
非常停止のテストとか訓練をやらないからこうなる。
富士通らしいわ。

288:名刺は切らしておりまして
20/10/21 06:04:53.13 nqjcceZb.net
>>1
富士通って本当にテストしないよね
その割にコストだけは高いし(´・ω・｀)

289:名刺は切らしておりまして
20/10/21 06:13:32.56 oAn5nFl9.net
これ米企業に訴訟起こしてやったらええやん
おもろそー

290:名刺は切らしておりまして
20/10/21 06:31:29.56 DOe7BZLf.net
美味しくなってリニューアルの被害者か
仕様変えてコストダウンするならちゃんと表示しろよ

291:名刺は切らしておりまして
20/10/21 06:34:13.99 Dq2gnu/C.net
読んだけど・・・これでアメリカのせいにするのは苦しいだろうな

292:名刺は切らしておりまして
20/10/21 06:41:53.59 NBFGOoZN.net
最初から設定をOFFにしていた・・・ありえない！
仕様変更を把握していなかった・・・ありえない！

293:名刺は切らしておりまして
20/10/21 06:53:09.71 K2x3+LbD.net
切り替え関係の設定が２つあって
1.通信断などトラブル　ON
2.メモリ障害とかの内部エラー系トラブル　OFF
って聞いたけど

294:名刺は切らしておりまして
20/10/21 06:58:46.82 oM6ru6QV.net
>>264、>>275、まったくその通り
ハードウェアの知見がないとそれが理解できないんだよね
メモリ故障時の切替試験なんてメモリを故障させないと試験できないので
納入案件ごとにはやらない
（メモリモジュールは基板上に挿入されていてホットスワップではないので
通電中に引き抜くような破壊試験になってしまう）
普通はメーカーが最初に製品の社内評価として破壊試験を行う
今回の富士通のリリース見る限りでは、そもそもONTAPの
バージョンアップでメモリ故障時のバックアップ動作の仕様が
変更されていることを知らなかったと言っているので当然試験しない

295:名刺は切らしておりまして
20/10/21 07:16:57.65 +3hzupgZ.net
富士通自体がバグだらけの企業でことだろ。
本来すべき、バージョンアップや、機器取り換えに
際して、当たり前に行う、テストを省いていたって
ことでしょ。
大体、文系のバカが上層部で勝手に「大丈夫じゃね？」
とやり始めると、まともなエンジニアがうまく機能しな
くなるんじゃないのかね。

296:名刺は切らしておりまして
20/10/21 07:21:57.88 PTiGyHqL.net
調達した製品の仕様変更なんていくらでもある話
テストしなかった東証とインテグレーターの責任やろ

297:大島栄城
20/10/21 07:22:12.04 HEusd/rI.net
>>295
ふつー俺がしてた時代とか、IBMもマイクロソフトも
認証のできてる組み合わせしか機材構成許可しないんだけどな
なんか俺を巻き込んで犯しなKOとばっか言ってる

298:名刺は切らしておりまして
20/10/21 07:26:19.83 mWzLaekj.net
重大事故につながるアイテムなのにテスト項目から外れてたのがまずい
東証丸1日止めた訳だし
これは責任取らされて当然

299:名刺は切らしておりまして
20/10/21 07:37:12.24 4l+yRLN9.net
またアメリカ製か
アメリカ製クソ過ぎる

300:名刺は切らしておりまして
20/10/21 07:40:31.70 YMPgPWv0.net
>>295
ぶんけい社長は先代の田中
あいつは無能だった

301:名刺は切らしておりまして
20/10/21 07:43:05.42 /NvETbf3.net
>>246
オンでもオフでも切り替わるまでの時間が違うだけでどちらも切り替わるから。
ファーム改版でその仕様が変わっていたけど、製品マニュアルは変更されてなくて気付かなかった。

302:名刺は切らしておりまして
20/10/21 07:45:41.93 UMc5ZXa/.net
成果主義で大失敗の教科書富士通らしいなw

303:名刺は切らしておりまして
20/10/21 07:50:11.29 /NvETbf3.net
これ、富士通版NetAppだけなのか、NetApp全般なのか、後者ならIT業界総点検だなw

304:名刺は切らしておりまして
20/10/21 07:51:38.91 LUFgvKpA.net
「15秒後に自動で切替え」は、バックアップ用のシステム/HDDの電源が
立ち上がる時間かな？運用者とすれば、バックアップを長期間電源ON
で運用するより、休ませて運用した方がいいと判断して15秒遅延でも
いいと OFF 設定にしたのではないかと推測しますね。

305:名刺は切らしておりまして
20/10/21 07:53:09.86 HQHUcF7c.net
富士通では動作検証しないのか

306:名刺は切らしておりまして
20/10/21 07:53:39.96 s1exgbzE.net
どうせ異常な短納期で作らせたとか、そんなんでしょ
東証はエンジニアリング企業じゃないので、システム開発の常識は無いわけだし
東証と富士通で話が噛み合わないまま導入が進んだのだろうな

307:名刺は切らしておりまして
20/10/21 07:54:11.89 X5cYDO2A.net
オフである場合には15秒後に切り替わるのが仕様なら当然テストすべきだろ
テスト仕様書の漏れ

308:名刺は切らしておりまして
20/10/21 07:55:07.61 +Waq/ONa.net
ハードウェア故障の擬似的信号送って、切り替わる事の擬似的テスト位出来ないのかよ
それが出来ないなら、個体不良なんてどうやって排除できるんだ？
やらないのが普通ではなくて、やらなくていい理由のレベル低いから今回の様な事が起きる

309:名刺は切らしておりまして
20/10/21 07:55:26.28 TEvX1yBr.net
もうスレ的に答えは出ているな
富士通のテスト漏れが原因

310:名刺は切らしておりまして
20/10/21 07:58:03.04 s1exgbzE.net
単体テスト→システムテスト→運用テスト
の順にテストを行うけど、運用テストまでやる時間が無くなったんだろうな
下手すりゃシステムテストも碌にやってないのかも

311:名刺は切らしておりまして
20/10/21 07:59:32.49 EReYp2IE.net
>>294
> 普通はメーカーが最初に製品の社内評価として破壊試験を行う
個々のプロジェクトで障害テストはできない内容だとしても
富士通が自社ブランドつけてOEM販売している製品なんだから
富士通のストレージ製品部門で社内評価していないとおかしいよ

312:名刺は切らしておりまして
20/10/21 08:01:28.20 EINGWjON.net
韓国かよ

313:名刺は切らしておりまして
20/10/21 08:04:37.95 oidjPBWb.net
大元の責任は他国に持っていく方向にしたかw
その機器開発元からクレームこないといいな

314:名刺は切らしておりまして
20/10/21 08:22:06.95 oM6ru6QV.net
>>311、うん、社内評価してないとおかしい
なので富士通は責任を認めて担務役員を処分すると発表した

315:名刺は切らしておりまして
20/10/21 08:26:36.89 +QBRioxs.net
>>313
どうみても富士通が100パーセント悪い案件なのになｗ

316:名刺は切らしておりまして
20/10/21 08:29:09.25 wBSDH/Gh.net
避難訓練みたいに定期的にテストして
手順確認とかしないのか？

317:名刺は切らしておりまして
20/10/21 08:29:52.33 6oxU6MGd.net
オンにしとかないといけないんだね

318:名刺は切らしておりまして
20/10/21 08:34:57.40 xi8DW0m0.net
>>315
悪いのは下請けですっ

319:名刺は切らしておりまして
20/10/21 08:37:11.09 lSeM/+IF.net
>>313
いやいや、これで責任回避は無理でしょ(笑)

320:名刺は切らしておりまして
20/10/21 08:42:47.11 XWasZpAQ.net
アメリカだったら富士通潰れてたな
日本の温情社会に救われたな

321:名刺は切らしておりまして
20/10/21 08:42:53.58 mhuYF52X.net
不治痛のSEはたるんどるなあ
SEはSEXのことばかり考えうっかり見落としたのか？

322:名刺は切らしておりまして
20/10/21 08:46:28.36 i26SOBR3.net
東電だって、福島原発は全電源喪失のとき、手動でベントするのに必要な機材とマニュアルがなく、
東京から取り寄せるまで、すぐにはできなかった。

323:名刺は切らしておりまして
20/10/21 09:10:54.26 W3V3wZzr.net
むかし固定電話がアナログ交換機だった頃、予備交換機の制御が出来ていなくて通信出来なくなった事件があったような・・・。東京２３区内で

324:名刺は切らしておりまして
20/10/21 09:19:11.11 HIAsyKSF.net
旧システム踏襲だからヨシ！

325:名刺は切らしておりまして
20/10/21 09:32:08.91 qniUJEY4.net
>>1
> 、機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。これを富士通が把握せず、「オフ」にして東証に納入。マニュアルにも反映させなかった

富士通ヤベーな

326:名刺は切らしておりまして
20/10/21 09:41:47.23 WKRq6iz/.net
>>316
富士通のミスはあるが、定期的に切り替え試験を行わなかった東証もポンコツすぎる

327:名刺は切らしておりまして
20/10/21 09:52:13.22 R9PpgS7s.net
> 機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。
なんだｗ　グローバリストによる経済テロかｗ　
よっぽど都合の悪い取引があったんだなｗ　
９１１感覚で自分勝手に好き放題やってくれるぜｗ

328:名刺は切らしておりまして
20/10/21 09:57:58.37 LnUa4MPZ.net
【別の理由アリwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww】

【あちこちの国で　同様の障害が続いている!!!!!!!!!!!!!!!!!!!!!!!!!!!】

329:名刺は切らしておりまして
20/10/21 09:58:49.44 xqqdFJtN.net
いままでoffだったからoffのまま運用しちゃったってのはわかるんだが
でも稼働前にテストするよね？しないの？

330:名刺は切らしておりまして
20/10/21 10:23:21.93 KQS/4HH5.net
>>314
この中のコメントで、筋が通ってるやりとりに思えた
OEMでPCを売ってるメーカーって多いと思うけど
OSのバグで、CPU１００％なったり、メモリーリークする場合も
OEMメーカー何故出荷時に試験しない！
ってなるのかな。

331:名刺は切らしておりまして
20/10/21 10:42:36.87 T8Hmfxv3.net
動作試験できやすいように、
設計して製造するのが
富士通の仕事じゃないの？
外資のOEMしかないもんな。

332:名刺は切らしておりまして
20/10/21 10:48:12.73 AFlrDgcC.net
これを信じる人がどのくらい居るんですか？

333:名刺は切らしておりまして
20/10/21 10:50:07.17 T8Hmfxv3.net
レベルの低い単純なプログラムミスと
動作試験サボってたのでは？っていう
2点を指摘したけど、
ほぼ当たってたな。
富士通だもんなw

334:名刺は切らしておりまして
20/10/21 10:51:18.03 AFlrDgcC.net
>>325
製造時に変更されてて、マニュアルに反映されてないって
設計して実働ポンってこと？さらっと恐ろしいこと書いてるんだが

335:名刺は切らしておりまして
20/10/21 10:57:16.06 T8Hmfxv3.net
>>326
納品先は、動作テスト拒否するのが割と普通かと。
その間使えないとか、新しい不具合発生を
恐れて嫌がるんだよ。
それを出来るように設計するのが
腕の見せ所のはずなんだけどなあ。
設計なんて富士通はやらなくなって
すでに長い年月が経過しているだろうし。
試験しなくても大丈夫ですって判子押すだけの
安易な仕事してるんだろう。

336:名刺は切らしておりまして
20/10/21 10:59:18.73 6i7wjx15.net
確認してないの？
ギャグなの？

337:名刺は切らしておりまして
20/10/21 11:01:42.53 6i7wjx15.net
>>18
これは東証側の確認ミスだな。
まあ本来は富士通がテストしてないといけないけど。

338:名刺は切らしておりまして
20/10/21 11:08:27.23 ZfBEJATh.net
普通装置新しくしたら切替テストするやろ…
さすが不治痛
でもあれか、切替テストできる環境がありませんってオチかな
もしそうならテスト環境作ってない東証も悪いな

339:名刺は切らしておりまして
20/10/21 11:31:48.30 ZvshFylk.net
ストレージ機器の仕様変更ってのはハードウェアを新型機に入れ換えたのか、ファームウェアのアップデートだけしたのか判然としないなあ。
多分後者だとして、ファームウェアのアップデート後にどこまで動作確認するか。
リリースノートをちゃんと読んで変更点を試験するなんて大手SIはやらんだろうな。
ハードウェアアップデート時の試験内容の規定とか前例とかがあって、そのとおりに一通りの動作確認して終わりだろ。
気が利く担当者がリリースノートの記述に気付いて進言しても通らない。
規定にない対応は嫌われるから。

340:名刺は切らしておりまして
20/10/21 11:44:13.20 nsfTwDLL.net
終わったな(´・ω・｀)

341:名刺は切らしておりまして
20/10/21 11:47:49.76 pGCwbUFX.net
>>330
> OSのバグで、CPU１００％なったり、メモリーリークする場合も
それ、ほぼ間違いなくアプリ側のバグか、デバイスドライバのバグだと思うな。

342:名刺は切らしておりまして
20/10/21 11:50:57.42 nsfTwDLL.net
たった１ビットで世界を止められるってすげーな
悪い奴が中に入り込んだら終わる世界(´・ω・｀)

343:名刺は切らしておりまして
20/10/21 11:52:37.35 pGCwbUFX.net
>>295
そんくらいの故障試験、メモリバスのどっかにテストクリップ繋いで、数kΩの抵抗
を直列に入れたジャンパー線の他端を、VddかVss(GND)に一瞬だけ短絡させれば
メモリエラーを発生させられる。
平成ゆとりエンジニアの知見のなさ。　これが、今の日本のものづくり。

344:名刺は切らしておりまして
20/10/21 11:56:14.15 V+kYillh.net
マニュアル読んでませんでした
さすが派遣親方さんの技術力はすごいっすねー

345:名刺は切らしておりまして
20/10/21 12:00:13.81 nsfTwDLL.net
まさに中抜き丸投げ日本の成れの果てだわ(´・ω・｀)

346:名刺は切らしておりまして
20/10/21 12:03:12.91 KQS/4HH5.net
>>344
マニュアルに書いてなかったという話なんだがｗ

347:名刺は切らしておりまして
20/10/21 12:04:20.45 r+RCo4q8.net
>>339
> リリースノートをちゃんと読んで変更点を試験するなんて大手SIはやらんだろうな。
腐ってるな

348:名刺は切らしておりまして
20/10/21 12:09:07.65 2OB21/Ht.net
>「オフ」でも15秒後に予備に切り替わる仕組み
「それ「オフ」じゃなくなくね？」
って米メーカーは思って仕様変えちやったのか

349:名刺は切らしておりまして
20/10/21 12:09:53.65 ooPErQcN.net
>>1
ジャップ企業ってほんと無能だなww

350:名刺は切らしておりまして
20/10/21 12:13:56.10 TsqwwMDJ.net
>故障した機器のバックアップへの切り替えが作動しない「オフ」の設定
時限作動テロ

351:名刺は切らしておりまして
20/10/21 12:14:05.75 AttmWp50.net
で…
責任は誰かとるんだよ…

352:名刺は切らしておりまして
20/10/21 12:14:09.49 +Waq/ONa.net
ドル箱のユーザーには、社内でも出来る奴が投入されるはずだが、もう社内もポンコツしかいなくなったんだろうな
こんなミスありえん

353:名刺は切らしておりまして
20/10/21 12:17:40.81 L6/FHvs/.net
ある意味のおいて韓国と変わらないお粗末さ

354:名刺は切らしておりまして
20/10/21 12:22:32.22 igKA7inI.net
普通にレベルダウンだな。
富士通ならありそう。

355:名刺は切らしておりまして
20/10/21 12:23:44.78 D799VKIt.net
ヨシっ！

356:名刺は切らしておりまして
20/10/21 12:35:24.46 SldnjWuO.net
こんな子供だましの説明で納得したんかなぁ。こんな原因のわけがない。

357:名刺は切らしておりまして
20/10/21 12:39:50.67 E59Ju0AK.net
>>348
15秒でも止まればメインに異常が起きたとわかるが、自動切り替えだとメイン異常がすぐにわからないからかも。
バックアップがない状態だと、万が一を考えて色々対応することがあるのだろう

358:名刺は切らしておりまして
20/10/21 12:41:51.92 /wkABdUk.net
>>222
お前は何を言っているんだw
富士通のCM知らんのかW

359:名刺は切らしておりまして
20/10/21 12:48:58.84 VvdwGlPf.net
東証クラスでこの対応。さすが富士通
凄すぎて震えるわ

360:名刺は切らしておりまして
20/10/21 12:52:52.97 Zzf6qYFr.net
これは、回避不可能。
従来の仕様を変更する必要がないのに、
通知せず勝手に変更したのは悪質だな。
製造元は、コストダウンのために機能削減しました。ってとこだろうか。

361:名刺は切らしておりまして
20/10/21 13:03:58.54 FuGnN2R5.net
通常システムの試験するよなぁ　なんで動作確認してないんだろ　バカなんだろうな

362:名刺は切らしておりまして
20/10/21 13:41:37.54 /zon4P9/.net
これだけの規模を支えるシステムなんだから
テストなんて毎年やらなないと
東証自身がやってないのバレバレやん

363:名刺は切らしておりまして
20/10/21 14:09:27.80 n+JPmkK1.net
>>345
同感

364:名刺は切らしておりまして
20/10/21 14:16:05.03 IVzgmtn/.net
テストテストと唱えてる人がいるが、このテストは
「納品された自動車のエアバッグが実際に作動するか衝突試験しろ」
と言ってるのと同じ

365:名刺は切らしておりまして
20/10/21 14:16:40.07 5WxiPCAo.net
普通は、稼働前に
テストで稼働停止、バックアップに切り替え、バックアップからメインに復旧
この切り替えテストを何度もやるだろう？　と、思うが

366:名刺は切らしておりまして
20/10/21 14:24:15.56 1xpEhWL+.net
>>364
全然違う

367:名刺は切らしておりまして
20/10/21 14:28:32.24 0wHJAFI6.net
>2015年9月のシステムの仕様変更前までは「オフ」でも15秒後に予備に切り替わる仕組みだった
オフの意味あるのか？
用途を考えれば、予備に切り替えないという選択はないだろう
無意味な機能つけるから事故が起きる

368:名刺は切らしておりまして
20/10/21 14:33:32.72 IVzgmtn/.net
>>264、>>275で書いたんだが、
ソフトウエア部分の試験と違ってハード故障の試験はしないのが普通。
監視ソフトでのフェールオーバーなどは当然試験するが
ハード故障だと今回の場合の試験項目は
「電源が入った状態でメモリを引き抜いて、正常に待機系に切り替わる事」となる
これは実施することで正常な機器が故障してしまうため、「実際の試験は未実施」
として納品し、顧客もそれで受け入れる。

369:名刺は切らしておりまして
20/10/21 15:01:19.50 sLyGhJ4M.net
シーケンステストしたらわかるはずやけど？

370:名刺は切らしておりまして
20/10/21 15:17:50.86 fsPI/SS7.net
変更前　ON=即時切替する　OFF=15秒後に切替える
変更後　ON=即時切替する　OFF=切替えない

371:名刺は切らしておりまして
20/10/21 15:19:44.04 ZvshFylk.net
>>360
海外メーカーだと仕様変更はリリースノートに書いておけば十分と思ってそうだな。
一方、日本のお偉いさんは仕様変更なんてあったら納品時にでかでかと書いて知らせるべきだと思ってる。
というわけで担当者がリリースノートで重大な変更点を見つけてもお偉いさんが報告を受け入れてくれない…
ってなことがありそうだ。

372:名刺は切らしておりまして
20/10/21 15:26:00.61 +QBRioxs.net
>>364
全く違う
恥ずかしすぎる

373:名刺は切らしておりまして
20/10/21 15:33:04.86 IVzgmtn/.net
>>372
具体的に指摘できない？

374:名刺は切らしておりまして
20/10/21 15:40:37.95 n+JPmkK1.net
試験できないとか、
子供騙しにも程があるだろ。
どんだけ落ちぶれてるんだよ。

375:名刺は切らしておりまして
20/10/21 15:44:43.86 V1E7xeBr.net
共有ディスク製造元の言い分を知りたいわ
「富士通の担当者と幹部社員にタイトルに重要事項と記載、詳細はPDFに書いて添付したメール
を５年前に送信済みで、富士通からも返信のメール受け取った」とかあるかも

376:名刺は切らしておりまして
20/10/21 15:48:23.00 5WxiPCAo.net
そもそも会見で、稼働テストでバックアップの切り替えはやってのか聞いてないのか？

377:名刺は切らしておりまして
20/10/21 15:53:34.87 0wHJAFI6.net
マニュアルが間違ってるのが原因なのにテストもクソもない
ソフト的なスイッチならひと目で、わかりそうなものだろうから
たぶんディップスイッチで設定みたいなタイプだったんじゃないの？

378:名刺は切らしておりまして
20/10/21 16:14:13.22 pJYZZg6T.net
富士通が相変わらずでワロタ

379:名刺は切らしておりまして
20/10/21 16:21:14.79 WKRq6iz/.net
テストしないのが当たり前、みたいなことを言って東証を擁護してる人もいるけどさ、
はっきり言って日本のSIerなんて全然技術力無いぞ
信じるヤツも同罪です

380:名刺は切らしておりまして
20/10/21 16:24:59.14 xm+pfNVq.net
>>372 >>374
YOUはNR1000の実機を見た事ないでしょう。だからそんな事が言えるですよ。
>>376
クラスタが完全に死んだ状態(クラスタ間のケーブルを抜いたり電源を落としたり)での
切り替えテストはやっていたようですよ。
今回のは、パニックが発生した際に切り替わらない設定になっていたという事です。
URLﾘﾝｸ(www.fujitsu.com)

間違っていた設定はこれのようです。
URLﾘﾝｸ(library.netapp.com)
options cf.takeover.on_panic {on|off}
>>377
ディプスイッチの設定ではなくファームの設定ですね。
ファームの中身はONTAPというUnixライクのOSです。(Linuxではないです。)
一般的な話として、メモリ故障(マルチビットエラー)が発生すると、OSが稼働し続ける
事ができなくなるのでパニックリブートが発生します。その後、再起動時のPOST診断で
故障したメモリを切り離して起動します。
もしもメモリ故障(マルチビットエラー)を再現させるとしたらBIOSレベルで割り込みを
上げるなどの仕掛けを作る必要がありますが、そのような機能が備わった機器を
私は見た事がないです。
活電交換未対応のメモリを動作中に引っこ抜くなんてありえないです。
それで故障したら有償交換です。

381:名刺は切らしておりまして
20/10/21 16:27:40.68 0wHJAFI6.net
>>379
物理破壊が起きた時のテストを現場でやるキチガイSIerってどこ？ｗ

382:名刺は切らしておりまして
20/10/21 16:32:12.99 0wHJAFI6.net
>>380
え？ファームでの設定なら
BackUp　OFF
みたいな設定じゃないの？
コマンドにしても、さすがに違和感をおぼえるはずだがｗ

383:名刺は切らしておりまして
20/10/21 16:35:09.66 5WxiPCAo.net
>>380
それだと、何が悪かったのか？
運、、、でしょうか？　か　ｗ
つうか入れ換え前の設定を、どこで誰が変更する判断を下したのか
※システムの仕様変更前までは「オフ」でも15秒後に予備に切り替わる仕組みだったが、
機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。
これを富士通が把握せず、「オフ」にして東証に納入。
マニュアルにも反映させなかったため、東証は気付かないままシステムを運用していたという。

384:名刺は切らしておりまして
20/10/21 16:43:47.65 ZfBEJATh.net
>>380
メモリ引っこ抜きテストは無理だとしてもソフト的にパニック
発生させて切替できるかのテストはできるし、それをやってたら
気付けてたんじゃねーの？

385:名刺は切らしておりまして
20/10/21 16:50:43.57 n+JPmkK1.net
>>384
だよなあ

386:名刺は切らしておりまして
20/10/21 16:50:59.89 bFyvix3q.net
異常の再現が難しいにせよ、必ず実施すべきテストだよね。
何のために、高い費用払って共有メモリの２重化したんだよ。
片方に壊れたメモリ挿して、パワーＯＮしたらどうなの。

387:名刺は切らしておりまして
20/10/21 16:54:53.99 AFlrDgcC.net
非常時にバックアップに切り替わらなかった時点でシステムは完全に破綻している
切り替えないんだったらバックアップ機体が存在する必要もない
５年間もサーバールームに置物が置いてあったって話でいいのだろうか

388:名刺は切らしておりまして
20/10/21 17:07:38.35 IVzgmtn/.net
>>383
設定の「意味」が変更されているのを把握できていなかった富士通が悪い、と富士通が公式に発表済み
１）ETERNUSの中身はアメリカ企業からのOEM供給
２）アメリカ企業が設定の「意味を変更」
３）富士通は２）の内容を把握せず
４）結果、構築時とは意味が違ったまま稼働してしまって今回の不具合
 >>384
BIOSレベルの故障試験を開発現場レベルで検証はしないのが普通（世界共通）
>>386
最初から壊れてる状態では試験にならない（正常→異常の状態変化が必要）
>>387
今回の装置は4Uサイズの筺体内部にサーバが2台入ってる構造
見た目は1台のデカイサーバ

389:名刺は切らしておりまして
20/10/21 17:11:35.79 2SnBlzY9.net
汎用機のパラメーター、ＯＦＦ

390:名刺は切らしておりまして
20/10/21 17:12:05.79 2SnBlzY9.net
設計ミスｗｗｗｗ

391:名刺は切らしておりまして
20/10/21 17:21:58.42 xm+pfNVq.net
>>382
この装置の場合、optionsコマンドで設定します。
URLﾘﾝｸ(library.netapp.com)
optionsコマンドでcf.takeover.on_panicの環境変数を変更するようなイメージです。
>>383
「※」に書いてあるように仕様が変更されているのに、それを知らずに変更前の設定(オフ状態)で
富士通が出荷し、マニュアルにも「オフ」でも15秒後に切り替わる書いてあったので東証側も気が
付かなかったという事だと思います。
だから、他のユーザーでも同じ設定(オフ)になっているのではないかという事で他のユーザーも
設定が間違えていないか確認しているようです。
この装置、オートサポートメールと言う機能があり故障時や、週単位でweeklyログが富士通に
送信されているので、それを見れば、設定を確認できるのいではないかと思います。
>>384
たしかにそうですね。数年前の事なのでうる覚えですが、どこかのユーザーで
同様のトラブルがあり、ユーザーから「パニックを発生させても切り替わらなかった
が、メモリ故障が発生した際に本当にテイクオーバーが実行されるのか？」と聞かれ、
サポートに相談したところ、「１５秒後に切り替わるから大丈夫」と言われて、その内容
をそのままユーザーに報告したような気がします。うる覚えなので、この事は忘れてください。
完全に富士通側のミスだと思います。

392:名刺は切らしておりまして
20/10/21 17:27:23.23 WKRq6iz/.net
>>381
は？
東証のこと書いてるんだけど

393:名刺は切らしておりまして
20/10/21 17:54:49.16 KQS/4HH5.net
>>384
>>385
ソフトで疑似テストやっても意味がないと結論が前出です
破壊テストしか意味がない。
それが考慮できていなかったということは、あなたたちでは防げなかったトラブルなのかもですね。

394:名刺は切らしておりまして
20/10/21 18:03:08.10 0wHJAFI6.net
>>392
え？顧客が物理破壊テストやるの？
SIerがやるより、ありえない話なんだけど
何でドヤ顔なの？ｗ
富士通の技術力語る前に、お前の常識力をどうにかしろｗ

395:名刺は切らしておりまして
20/10/21 18:05:49.80 kybNjFxg.net
"You should not turn this option off unless you are instructed by technical support to do so."
明確に言ってるじゃん感
まーしらんｋど

396:名刺は切らしておりまして
20/10/21 18:07:51.23 kybNjFxg.net
というか、これがいつ時点の資料かわからないしなあ（）

397:名刺は切らしておりまして
20/10/21 18:46:21.08 4IUo5UDd.net
>>373
量産品と一品物のシステム製品の違い
型式認証も知らないレベルなら黙ってた方がいいぞ

398:名刺は切らしておりまして
20/10/21 18:49:39.63 4IUo5UDd.net
>>393
> ソフトで疑似テストやっても意味がないと結論が前出です
意味がないと言ってる奴が馬鹿なだけ
完全にテストはできないからやらないと言うならほとんどのテストはやっても無駄だぞw

399:名刺は切らしておりまして
20/10/21 18:52:45.35 Z/vreBLc.net
じゃ「テスト時には切り替えがうまくいってた」話はウソだったのかよ？
しかも1週間前くらいのこの間の東証発表は「システムじゃなくて再立ち上げ時を想定したルールがなかったから一日止めざるを得なかった」ってのはこのバックアップ切り替わらない時の対応も抜けてたっていう話なんだな
あっちもこっちもダメじゃん
アメリカだけ抜けてたわけじゃないじゃん
関係者全員抜けてたんだよ

400:名刺は切らしておりまして
20/10/21 18:59:32.15 IVzgmtn/.net
>>397
ETERNUSは量産品

401:名刺は切らしておりまして
20/10/21 19:01:45.51 Zz7gHOFZ.net
サクッと設定変えれば良いだけの話でよかったじゃん(良く無いけど)
これどうすんだよってバグでも潜んでたら目も当てられない

402:名刺は切らしておりまして
20/10/21 19:17:33.18 MIBBbXtx.net
東証はテストめんどくさかったんだね
富士通はマニュアル確認めんどくさかったんだね
米企業は風評被害でかわいそう

403:名刺は切らしておりまして
20/10/21 19:19:12.07 KR12wgwh.net
> 2015年9月に導入した2代目からは「オフ」時にはバックアップが作動しない方式に変更されていた。
これは気づけないわ。
テストをしておけば良かったのにね。。。

404:名刺は切らしておりまして
20/10/21 19:27:11.39 oM6ru6QV.net
NetAppが富士通に変更箇所を伝えていたのかが焦点になるけど
富士通は担当役員の首を差し出してまで有耶無耶のまま幕引きしたがっているように見える

405:名刺は切らしておりまして
20/10/21 19:46:15.04 P45mKqrg.net
>>400
みんなはシステムテストの話をしてる
君だけズレてることにそろそろ気づけ

406:名刺は切らしておりまして
20/10/21 19:50:11.23 xi8DW0m0.net
金融庁は東証にお仕置を
東証は富士通に1日取引停止させた損害の賠償請求を
この手の障害が起きても、保険で片付けられるから、いつまでたっても誰も学習しない

407:名刺は切らしておりまして
20/10/21 19:50:27.77 TFu+LmF9.net
えっこのテストって防災訓練の日に実際に家を燃やして避難するのと同じだよね？

408:名刺は切らしておりまして
20/10/21 19:58:18.64 TR3YSy08.net
>>42
契約不適合だね
過失責任になったから、裁判でその辺を争うのだろう

409:名刺は切らしておりまして
20/10/21 19:59:42.70 IVzgmtn/.net
>>405
テスト項目として上がってても、実際には実施せずに検収される。
>>368に書いてるんだけど
テスト項目「電源が入った状態でメモリを引き抜いて、正常に待機系に切り替わる事」
テスト結果「実施することで正常な機器が故障してしまうため試験は未実施とする」
というテスト結果報告書になる
これが現実。富士通だけでなく世界中のどの現場でもこの手のテストはこういう風に扱う。
おかしいと思う人は、複数ノードで多重化されたシステムのフェールオーバーを想像して無いか？

410:名刺は切らしておりまして
20/10/21 20:09:56.78 IVzgmtn/.net
東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について
URLﾘﾝｸ(pr.fujitsu.com)
「ETERNUS NR1000」は他の開発・製造メーカーから供給された当社ブランドの製品（OEM製品）です。
その出荷品質の責任は当社にあります。
マニュアルの記載が変更されていなかったこと、およびその状況を製品出荷時等の試験で検出できなかったことは
当社の試験・確認が不十分であったことによるものです。
原因も責任も富士通にあると富士通自身が明言してる

411:名刺は切らしておりまして
20/10/21 20:12:11.10 S0ws/pMu.net
多分このシステムには物理スイッチが5000ほどあって、今回はその一つが間違っていた
あと4999個のスイッチが正しいかどうかの長く苦しい戦いが始まる

412:名刺は切らしておりまして
20/10/21 20:19:51.71 S0ws/pMu.net
ウォーターフォールのクソみたいな書類まみれの開発でも結局こうなるんだろ、
しかもたんまりカネかかってそうな案件だ
やっぱり開発体制と社内政治で疲弊してる

413:名刺は切らしておりまして
20/10/21 20:25:20.02 n+JPmkK1.net
要するに切り替えテストやってないんだよ。
事件直後にそう指摘したら
ここの連中はやってると言っていたくせに
今は、やってないのが
当たり前だと言い出したw
うそばっかり。

414:名刺は切らしておりまして
20/10/21 20:26:09.68 S0ws/pMu.net
>>249
これが原因じゃねえんだよなぁ
改訂版マニュアルを読んで無かった奴がいるんだろ
その辺りの労務体系に大問題がある
技術者が読んで知ってたとなればなおの事大問題だ
英語マニュアルをスラスラ読める奴がいないとするとこれも大問題だ
なんにせよ、機器のスイッチのON/OFFが原因じゃないよ
数千ページある全マニュアルのうち１ページが改定されてた、あたりだからな
ドキュメントの方法にも問題がある
印刷して納入とかになるとさらに手直しの手間が掛かる
その機器の部分だけドキュメント差し換えとか出来ないんでしょきっと

415:名刺は切らしておりまして
20/10/21 20:29:37.38 qP5Gf1jp.net
>>411
いや、仕様変更をチェックしてなかった凡ミスやん

416:名刺は切らしておりまして
20/10/21 20:33:52.01 6/E/Fltu.net
運用前に試験をしている筈。
嘘はやめろ

417:名刺は切らしておりまして
20/10/21 20:35:22.84 H3vg3ULM.net
問題が発生しない限り何もしない、それじゃ公務員と同じじゃないか東証は。
東証は廃止した方がいい、世界の笑いものだ。
マニュアルが間違っていることに誰一人５年間も気づかないなんてアホ揃いだな

418:名刺は切らしておりまして
20/10/21 20:38:11.26 DBhobd9V.net
そもそもバックアップ系統への切り替えのON/OFFスイッチがついてるのが間違いだろ
どういう状況で冗長構成のストレージをOFFにする必要があるんだ
記憶装置の機種選定ミスだわこれ

419:名刺は切らしておりまして
20/10/21 20:38:53.24 IVzgmtn/.net
よく分からないけどスレ開いた人用に詳細貼っとくぞ
10月1日に株式売買システムで発生した障害について
www.jpx.co.jp/corporate/news/news-releases/0060/nlsgeu0000051l46-att/trading_system.pdf
（補足資料）NAS設定値について
www.jpx.co.jp/corporate/news/news-releases/0060/nlsgeu0000051l46-att/trading_system2.pdf
東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について
pr.fujitsu.com/jp/news/2020/10/19-2.html

次ページ