RAID総合スレッド No.5

1 名前：login:Penguin mailto:sage [2009/09/16(水) 23:34:35 ID:JK/kMdkU] Linuxでも標準でソフトウェアRAIDが可能となってきました。 マターリとLinuxのRAIDやその周辺技術、設定等について情報交換しましょう スレ 1 pc5.2ch.net/test/read.cgi/linux/1013875908/ スレ 2 pc10.2ch.net/test/read.cgi/linux/1111348512/ スレ 3 pc11.2ch.net/test/read.cgi/linux/1168487758/ スレ 4 pc11.2ch.net/test/read.cgi/linux/1208263754/ Linux RAID 一般 ttp://linas.org/linux/raid.html ttp://www.linux.or.jp/JF/JFdocs/The-Software-RAID-HOWTO.html ttp://linas.org/linux/Software-RAID/Software-RAID.html Adaptec Japan ttp://www.adaptec.com/ja-JP/_common/os_support/linux/ Linux EVMS 一般 ttp://evms.sourceforge.net/ Adaptec Japanのアドレス修正。EVMSに関するIBMのサイトが404で見つからないので削除。 ... あと続けてくらさい。 528 名前：522 mailto:sage [2011/09/05(月) 03:41:43.66 ID:Gem/5tJp] おそらくは/dev/sdb1のみが Array State : AAAA ('A' == active, '.' == missing) と成っていてHDD4台ともActiveと認識しているのに対し 残り3台は Array State : .AAA ('A' == active, '.' == missing) となっているあたりが原因のような気がしています。 529 名前：login:Penguin mailto:sage [2011/09/06(火) 03:20:24.29 ID:pUNE1oun] ﾅﾙﾎﾄﾞ('A' 530 名前：login:Penguin mailto:sage [2011/09/06(火) 08:21:56.98 ID:znO8rUOJ] >>528 Update Timeから、/dev/sdb1が真っ先にアクセス不能になったのは分かるけど、 spareになるのは想像つかん superblockのフォーマット↓ ttps://raid.wiki.kernel.org/index.php/RAID_superblock_formats dev_rolesが0xFFFFになってるのがスペア 異常なDiskと正常(?)なDiskのsuperblockを見比べて見ると何か分かるかも # dd if=/dev/sdb1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc # dd if=/dev/sde1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc 531 名前：522 mailto:sage [2011/09/06(火) 22:35:23.61 ID:Bbl4LkEB] >>530 アドバイスありがとうございます。実行してみました。 # dd if=/dev/sdb1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc 001000 a92b4efc 00000001 00000000 00000000 001010 b1034723 c5fe4c5d bb05fc95 2f0d1678 001020 6e756275 303a7574 00000000 00000000 001030 00000000 00000000 00000000 00000000 001040 4e2c3138 00000000 00000005 00000002 001050 e8e07400 00000000 00000400 00000004 001060 00000000 00000000 00000000 00000000 001070 00000000 00000000 00000000 00000000 001080 00000800 00000000 e8e07800 00000000 001090 00000008 00000000 00000000 00000000 0010a0 00000000 00000000 45df8d8c edc964f1 0010b0 8cb930a1 2716812d 00000000 00000000 0010c0 4e6386e1 00000000 00000053 00000000 0010d0 00000000 00000000 fdf9230e 00000180 0010e0 00000000 00000000 00000000 00000000 0010f0 00000000 00000000 00000000 00000000 001100 00010000 fffe0002 fffe0003 fffefffe 001110 fffefffe fffefffe fffefffe fffefffe # dd if=/dev/sde1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc # /dev/sdb1　側にのみ　a92b4efc　が存在しているようです。 532 名前：login:Penguin mailto:sage [2011/09/07(水) 00:39:07.00 ID:0NsdsTrQ] >>531 sde1のsuperblock飛んでる？ だとするとmdadm --examineで表示されるのが変なんだけど 同様に↓は？ # dd if=/dev/sdg1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc # dd if=/dev/sdh1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc 533 名前：522 mailto:sage [2011/09/07(水) 00:50:40.62 ID:6aXKWA2G] >>532 大変失礼しました。　#　も含めてコピペしてコメント扱いになっているだけでした。残り3台分の実行結果です。 # dd if=/dev/sde1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc 001000 a92b4efc 00000001 00000000 00000000 001010 b1034723 c5fe4c5d bb05fc95 2f0d1678 001020 6e756275 303a7574 00000000 00000000 001030 00000000 00000000 00000000 00000000 001040 4e2c3138 00000000 00000005 00000002 001050 e8e07400 00000000 00000400 00000004 001060 00000000 00000000 00000000 00000000 001070 00000000 00000000 00000000 00000000 001080 00000800 00000000 e8e07800 00000000 001090 00000008 00000000 00000000 00000000 0010a0 00000001 00000000 fdbc9851 4236d0a5 0010b0 0b4ec314 d422a606 00000000 00000000 0010c0 4e6387ba 00000000 000004d2 00000000 0010d0 00000000 00000000 35e6562b 00000180 0010e0 00000000 00000000 00000000 00000000 0010f0 00000000 00000000 00000000 00000000 001100 0001fffe fffe0002 fffe0003 fffefffe 001110 fffefffe fffefffe fffefffe fffefffe 534 名前：522 mailto:sage [2011/09/07(水) 00:51:21.93 ID:6aXKWA2G] # dd if=/dev/sdg1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc 001000 a92b4efc 00000001 00000000 00000000 001010 b1034723 c5fe4c5d bb05fc95 2f0d1678 001020 6e756275 303a7574 00000000 00000000 001030 00000000 00000000 00000000 00000000 001040 4e2c3138 00000000 00000005 00000002 001050 e8e07400 00000000 00000400 00000004 001060 00000000 00000000 00000000 00000000 001070 00000000 00000000 00000000 00000000 001080 00000800 00000000 e8e07800 00000000 001090 00000008 00000000 00000000 00000000 0010a0 00000002 00000000 77fd6b25 83801f42 0010b0 332ea095 064d1619 00000000 00000000 0010c0 4e6387ba 00000000 000004d2 00000000 0010d0 00000000 00000000 4b7ac530 00000180 0010e0 00000000 00000000 00000000 00000000 0010f0 00000000 00000000 00000000 00000000 001100 0001fffe fffe0002 fffe0003 fffefffe 001110 fffefffe fffefffe fffefffe fffefffe 535 名前：522 mailto:sage [2011/09/07(水) 00:52:03.35 ID:6aXKWA2G] # dd if=/dev/sdh1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc 001000 a92b4efc 00000001 00000000 00000000 001010 b1034723 c5fe4c5d bb05fc95 2f0d1678 001020 6e756275 303a7574 00000000 00000000 001030 00000000 00000000 00000000 00000000 001040 4e2c3138 00000000 00000005 00000002 001050 e8e07400 00000000 00000400 00000004 001060 00000000 00000000 00000000 00000000 001070 00000000 00000000 00000000 00000000 001080 00000800 00000000 e8e07800 00000000 001090 00000008 00000000 00000000 00000000 0010a0 00000004 00000000 43c31fe8 5949113e 0010b0 b1903c00 c610d2e8 00000000 00000000 0010c0 4e6387ba 00000000 000004d2 00000000 0010d0 00000000 00000000 2b2ec42c 00000180 0010e0 00000000 00000000 00000000 00000000 0010f0 00000000 00000000 00000000 00000000 001100 0001fffe fffe0002 fffe0003 fffefffe 001110 fffefffe fffefffe fffefffe fffefffe 536 名前：login:Penguin mailto:sage [2011/09/08(木) 00:02:44.15 ID:O6bwqAQc] superblock上ではスペアになっているDISKは無い /proc/mdstatで"(S)"になってるのは起動時のチェックで エラーがあったからだと思う 起動時のログに何かエラー出てない？ あと、↓は実行出来る？ # mdadm --detail /dev/md126 sdb1外して再起動すれば復活するような気がするんだけど 537 名前：522 mailto:sage [2011/09/08(木) 01:10:05.32 ID:X3JJWFjL] >>536 度々ありがとうございます。　/var/log/dmesg　上のログ全ては出し切れないので怪しそうな部分の抜粋です。 ↓/dev/md127に関するログは当然あるが、　/dev/md126に関するログが何も出ていない（エラー系のものも含めて） [ 6.544320] sd 1:0:5:0: [sdg] Attached SCSI disk [ 6.593606] md: bind<sdf1> [ 6.597609] md: bind<sdc1> [ 6.606304] md: bind<sdb1> [ 6.612664] md: bind<sde1> [ 6.619733] md: bind<sdd1> [ 6.622390] bio: create slab <bio-1> at 1 [ 6.622417] md/raid:md127: device sdd1 operational as raid disk 2 [ 6.622420] md/raid:md127: device sdc1 operational as raid disk 0 [ 6.622423] md/raid:md127: device sdf1 operational as raid disk 1 [ 6.622951] md/raid:md127: allocated 3230kB [ 6.623015] md/raid:md127: raid level 5 active with 3 out of 3 devices, algorithm 2 [ 6.623019] RAID conf printout: [ 6.623021] --- level:5 rd:3 wd:3 [ 6.623024] disk 0, o:1, dev:sdc1 [ 6.623026] disk 1, o:1, dev:sdf1 [ 6.623028] disk 2, o:1, dev:sdd1 [ 6.623064] md127: detected capacity change from 0 to 6001180803072 [ 6.639598] EXT4-fs (sda1): mounted filesystem with ordered data mode. Opts: (null) [ 6.651689] md: bind<sdg1> [ 6.662636] md127: p1 [ 6.674039] md: bind<sdh1> [ 6.963670] ses 1:0:7:0: Attached Enclosure device [ 38.039547] Adding 1325356k swap on /dev/sda5. Priority:-1 extents:1 across:1325356k 538 名前：522 mailto:sage [2011/09/08(木) 01:17:27.06 ID:X3JJWFjL] 気になるログその2　ATA14のHDDでエラー。こいつが今件の初発の原因？？ [ 5.680895] /build/buildd/linux-2.6.38/drivers/scsi/mvsas/mv_sas.c 1388:found dev[6:5] is gone. [ 5.685621] ata14.00: ATA-8: WDC WD20EARS-00MVWB0, 51.0AB51, max UDMA/133 [ 5.685624] ata14.00: 3907029168 sectors, multi 0: LBA48 NCQ (depth 31/32) [ 5.689622] ata14.00: configured for UDMA/133 [ 5.689676] scsi 1:0:5:0: Direct-Access ATA WDC WD20EARS-00M 51.0 PQ: 0 ANSI: 5 [ 5.693872] /build/buildd/linux-2.6.38/drivers/scsi/mvsas/mv_sas.c 1388:found dev[7:5] is gone. [ 39.559395] ata14: translated ATA stat/err 0x01/04 to SCSI SK/ASC/ASCQ 0xb/00/00 [ 39.559400] ata14: status=0x01 { Error } [ 39.559403] ata14: error=0x04 { DriveStatusError } [ 39.564298] ata14: translated ATA stat/err 0x51/04 to SCSI SK/ASC/ASCQ 0xb/00/00 [ 39.564303] ata14: status=0x51 { DriveReady SeekComplete Error } [ 39.564307] ata14: error=0x04 { DriveStatusError } [ 39.564735] ata14: translated ATA stat/err 0x01/04 to SCSI SK/ASC/ASCQ 0xb/00/00 [ 39.564739] ata14: status=0x01 { Error } [ 39.564742] ata14: error=0x04 { DriveStatusError } あと、以前も試して同じ結果でしたが # mdadm --detail /dev/md126 mdadm: md device /dev/md126 does not appear to be active. でした。 正常に動作しているmd127は、/dev/md/以下に別名のアレイ名称のシンボリックリンクが作成されていますが md126については、シンボリックリンクは作成されていませんが、 /dev/md126　自体は生成されている状態になっています。 539 名前：522 mailto:sage [2011/09/10(土) 13:46:51.44 ID:NMszAiJM] 復旧を継続して試みていますが、　sdb1　のHDDを取り外して起動しなおしても状況は変わりませんでした。 # mdadm -D /dev/md126 /dev/md126: Version : 1.2 Creation Time : Sun Jul 24 23:50:32 2011 Raid Level : raid5 Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB) Raid Devices : 4 Total Devices : 3 Persistence : Superblock is persistent Update Time : Sun Sep 4 23:14:18 2011 State : active, degraded, Not Started Active Devices : 3 Working Devices : 3 Failed Devices : 0 Spare Devices : 0 Layout : left-symmetric Chunk Size : 512K Name : ubuntu:0 (local to host ubuntu) UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f Events : 1234 Number Major Minor RaidDevice State 0 0 0 0 removed 1 8 65 1 active sync /dev/sde1 2 8 97 2 active sync /dev/sdg1 4 8 113 3 active sync /dev/sdh1 540 名前：522 mailto:sage [2011/09/10(土) 13:50:59.81 ID:NMszAiJM] sdb1のHDDを Number Major Minor RaidDevice State 0 0 0 0 removed 1 8 65 1 active sync /dev/sde1 2 8 97 2 active sync /dev/sdg1 4 8 113 3 active sync /dev/sdh1 のremovedの位置に認識させられればアレイを起動できる状態になりそうなのですが、 一旦sdb1のsuperblockを飛ばすなり、パーティションを作成しなおしてからでないとスペアとして組み込めないのですかね・・・？ 541 名前：login:Penguin mailto:sage [2011/09/10(土) 16:18:48.11 ID:efd1VIH5] >>540 取り外したDISKがremovedになってるのは当然 これの↓実行結果は？ # cat /sys/block/md126/md/array_state あと、/proc/mdstatでまだ"(S)"付いてる？ 542 名前：522 mailto:sage [2011/09/10(土) 16:27:16.54 ID:NMszAiJM] なんとか　sdb1　をスペアに組み込むところまではたどり着きました。 再起動を何回か実施しているので、　md126　が　md127　に入り繰りになってます。 # cat /proc/mdstat Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] md126 : active raid5 sdd1[3] sdf1[1] sdc1[0] 5860528128 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU] md127 : inactive sdg1[2] sdh1[4] sde1[1] sdb1[5](S) 7814049792 blocks super 1.2 543 名前：522 mailto:sage [2011/09/10(土) 16:28:11.25 ID:NMszAiJM] # mdadm --detail /dev/md127 /dev/md127: Version : 1.2 Creation Time : Sun Jul 24 23:50:32 2011 Raid Level : raid5 Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB) Raid Devices : 4 Total Devices : 4 Persistence : Superblock is persistent Update Time : Sun Sep 4 23:14:18 2011 State : active, degraded, Not Started Active Devices : 3 Working Devices : 4 Failed Devices : 0 Spare Devices : 1 Layout : left-symmetric Chunk Size : 512K Name : ubuntu:0 (local to host ubuntu) UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f Events : 1234 Number Major Minor RaidDevice State 0 0 0 0 removed 1 8 65 1 active sync /dev/sde1 2 8 97 2 active sync /dev/sdg1 4 8 113 3 active sync /dev/sdh1 5 8 17 - spare /dev/sdb1 544 名前：522 mailto:sage [2011/09/10(土) 16:30:05.08 ID:NMszAiJM] >>541 # cat /sys/block/md127/md/array_state inactive mdstatの各HDについていた　(S)　は無くなりました。 ただ、この状態からでもアレイの起動はできずの状態です。 # mdadm -R /dev/md127 mdadm: failed to run array /dev/md127: Input/output error 545 名前：login:Penguin mailto:sage [2011/09/10(土) 17:25:26.05 ID:efd1VIH5] >>544 sdbって新品？ 元々使ってた奴なら、アレイに追加する前に単体で読み書きテストした？ とりあえず、強制的にactive # echo active > /sys/block/md127/md/array_state ttp://lxr.linux.no/#linux+v3.0.4/drivers/md/md.c#L3354 546 名前：522 mailto:sage [2011/09/11(日) 11:24:57.03 ID:AqZU9mQD] >>545 sdbは使い回しています。　まだメーカーのHDDチェックツールでのHDD単体全体のスキャンチェックは完了していませんが、読み込みは問題ないようです。 # hdparm -Tt /dev/sdb /dev/sdb: Timing cached reads: 2108 MB in 2.00 seconds = 1054.63 MB/sec Timing buffered disk reads: 366 MB in 3.00 seconds = 121.99 MB/sec 復旧できなくなる要員になるようなことは極力避けようと思い、sdbへの書き込みチェックはまだ実施していません。 547 名前：522 mailto:sage [2011/09/11(日) 11:27:14.34 ID:AqZU9mQD] 強制activeを試みましたが原因不明の入出力エラーの状態で、ここにアレイを起動できない原因があるのかもしれません。 # ls -l /sys/block/md127/md/array_state -rw-r--r-- 1 root root 4096 2011-09-11 11:15 /sys/block/md127/md/array_state # cat /sys/block/md127/md/array_state inactive # echo active > /sys/block/md127/md/array_state bash: echo: 書き込みエラー: 入力/出力エラーです # ls -l /sys/block/md127/md/ 合計 0 -rw-r--r-- 1 root root 4096 2011-09-11 11:00 array_size -rw-r--r-- 1 root root 4096 2011-09-11 11:18 array_state drwxr-xr-x 2 root root 0 2011-09-11 11:00 bitmap -rw-r--r-- 1 root root 4096 2011-09-11 11:00 chunk_size -rw-r--r-- 1 root root 4096 2011-09-11 11:00 component_size drwxr-xr-x 2 root root 0 2011-09-11 11:00 dev-sdb1 drwxr-xr-x 2 root root 0 2011-09-11 11:00 dev-sde1 drwxr-xr-x 2 root root 0 2011-09-11 11:00 dev-sdg1 drwxr-xr-x 2 root root 0 2011-09-11 11:00 dev-sdh1 -rw-r--r-- 1 root root 4096 2011-09-11 11:00 layout -rw-r--r-- 1 root root 4096 2011-09-11 11:00 level -rw-r--r-- 1 root root 4096 2011-09-11 11:00 max_read_errors -rw-r--r-- 1 root root 4096 2011-09-11 11:00 metadata_version --w------- 1 root root 4096 2011-09-11 11:00 new_dev -rw-r--r-- 1 root root 4096 2011-09-11 11:00 raid_disks -rw-r--r-- 1 root root 4096 2011-09-11 11:00 reshape_position -rw-r--r-- 1 root root 4096 2011-09-11 11:00 resync_start -rw-r--r-- 1 root root 4096 2011-09-11 11:00 safe_mode_delay 548 名前：login:Penguin mailto:sage [2011/09/11(日) 23:05:24.48 ID:lb+4D791] >>547 んじゃ、↓で。"active"と違って縮退状態のままアレイ開始 # echo clean > /sys/block/md127/md/array_state ここまで動かないと、ハードウェア側を疑いたくなるんだけど 549 名前：login:Penguin mailto:sage [2011/09/12(月) 13:01:15.87 ID:Bts/njAy] たった4台のraid5でなにを大騒ぎしてんだろ…… ステータスのクリーンは筋が悪い。 b1が腐ってるんだろ？ 新台入れるか（パチンコみたいだなｗ） 普通に mdadm -S /dev/md127 mdadm -A /dev/md(新しい数字) -a /dev/sd(e, g, h)1 これが通ったら、 mdadm --zero-superblock /dev/sdb1　←ここがポイントのはず mdadm -A /dev/md(新しい数字) -a /dev/sdb1 でよかないか？ 書き換えるのが怖いなら/dev/sdbをコピーとってからやればよい。 550 名前：login:Penguin mailto:sage [2011/09/12(月) 13:08:18.91 ID:Bts/njAy] 蛇足。 mdadm -A /dev/md(新しい数字) -a /dev/sd(e, g, h)1 この記法ってあってたかどうか自信ない。 素直に mdadm -A /dev/md(新しい数字) -a /dev/sde1 /dev/sdg1 /dev/sdh1 にすべきか。 551 名前：login:Penguin mailto:sage [2011/09/12(月) 21:29:15.15 ID:5pzJNgRd] >>550 # mdadm -A /dev/md(新しい数字) -a /dev/sd[egh]1 では？ www.ioss.jp/sohodiy/mdadm8-1_5.html だと、 # mdadm -A /dev/md(新しい数字) -a /dev/sd['egh']1 だけど。 552 名前：550 mailto:sage [2011/09/15(木) 08:13:23.76 ID:sKBE5Whs] ああ、思い出した。 >>551 の前者で正しい。 -C の場合は認識順が意図した順番と違っちゃうけど、 -A なら問題ない。 553 名前：login:Penguin mailto:sage [2011/09/16(金) 23:15:29.48 ID:BraekazM] ARC-1880ix-24の"Advanced Configurations"に関するドキュメントってどっかに無いですかね。 554 名前：login:Penguin mailto:sage [2011/10/02(日) 17:50:56.90 ID:kYnPDMiF] mdadmによるRAID6でchunkサイズの違いによるパフォーマンスを計測したのでチラ裏を。 　ML110G6 　WD25EZRX-00MMMB0を4台(OSは別HDD) 　CentOS 5.7(x86_64) 　mdadm-2.6.9-3.el5 　各HDD上で2GB領域を作成しmd0を構成 　ext3フォーマット WRITE：# dd if=/dev/zero of=/storage/1GB.img bs=1M count=1024 READ ：# hdparm -t /dev/md0 計測結果は次レスで。 (ほかにもいろいろテストしたかったけど疲れたのでｗ) 555 名前：login:Penguin mailto:sage [2011/10/02(日) 17:54:55.86 ID:kYnPDMiF] ■chunk 4k READ ：Timing buffered disk reads: 332 MB in 3.01 seconds = 110.46 MB/sec WRITE：1073741824 bytes (1.1 GB) copied, 2.25816 seconds, 475 MB/s ■chunk 64K (default) READ ：Timing buffered disk reads: 488 MB in 3.00 seconds = 162.43 MB/sec WRITE：1073741824 bytes (1.1 GB) copied, 2.77056 seconds, 388 MB/s ■chunk 128K READ ：Timing buffered disk reads: 548 MB in 3.00 seconds = 182.54 MB/sec WRITE：1073741824 bytes (1.1 GB) copied, 1.72971 seconds, 621 MB/s 556 名前：login:Penguin mailto:sage [2011/10/02(日) 17:58:51.36 ID:kYnPDMiF] ■chunk 256K READ ：Timing buffered disk reads: 546 MB in 3.00 seconds = 181.93 MB/sec WRITE：1073741824 bytes (1.1 GB) copied, 1.92294 seconds, 558 MB/s ■chunk 512K READ ：Timing buffered disk reads: 522 MB in 3.01 seconds = 173.50 MB/sec WRITE：1073741824 bytes (1.1 GB) copied, 2.23327 seconds, 481 MB/s ■chunk 1024K READ ：Timing buffered disk reads: 542 MB in 3.02 seconds = 179.54 MB/sec WRITE：1073741824 bytes (1.1 GB) copied, 4.35082 seconds, 247 MB/s 557 名前：login:Penguin mailto:sage [2011/10/02(日) 18:04:10.65 ID:XKBCXxnC] RAIDなし単体でのベンチマークと見比べたかったな。 558 名前：login:Penguin mailto:sage [2011/10/02(日) 18:22:22.99 ID:kYnPDMiF] /dev/sdb1 として 2GB 領域を作成し ext3 フォーマット、コマンドは同じで。 READ ：Timing buffered disk reads: 304 MB in 3.01 seconds = 100.83 MB/sec WRITE：1073741824 bytes (1.1 GB) copied, 3.07366 seconds, 349 MB/s 559 名前：login:Penguin mailto:sage [2011/10/04(火) 23:51:41.62 ID:2uRB3/YB] こないだ作ったraid5は、過去256kだったのをなんとなく 128kに変えたけど、それで無難だったのか。 560 名前：login:Penguin mailto:sage [2011/10/25(火) 11:37:42.73 ID:9XR7fcw7] >>492,493 > そもそもddでなくてもmdにアレイの整合性をチェックさせて > 問題があればエラーを吐かせる為のメソッドがsysfsに用意されてるし 読んだ時なるほどれならリビルドの時の障害起きにくくなるなと思ったんだけどそもそもシステムにそういう機能があるからやらなくてok てこと? 561 名前：login:Penguin mailto:sage [2011/10/25(火) 16:54:38.88 ID:/PmSxWz5] 機能があっても使われなきゃ意味が無い RedHat系なら自分で仕込むまでもなくcron.weeklyにraid-checkが入れられる Ubuntuには無いみたいだけどね 562 名前：login:Penguin mailto:sage [2011/10/25(火) 20:32:10.73 ID:RuQRT1PJ] >>561 てことはUbuntu(Debian も?)だとraid-check というのを自分で設定するか，dd で舐めるとかしなきゃ駄目ってことなのかな raid-check 調べてみる 563 名前：login:Penguin [2011/11/25(金) 02:01:00.42 ID:DfspjuOn] HDD2台のraid0とHDD4台のraid5について質問です。 ベンチマークとか見るとHDD2台のraid0が200MB/s、HDD4台のraid5が150MB/sくらいになってるけど、 実際の体感速度はどうなんでしょう？　主に動画編集などで使います。 564 名前：login:Penguin mailto:sage [2011/11/25(金) 04:47:32.00 ID:x3Tq0gHW] 体感速度は自分で確かめるしかないべ、マジで。 565 名前：login:Penguin mailto:sage [2011/11/25(金) 16:51:59.33 ID:FaCKtUuk] 編集だから書き込み速度はあまり気にしなくてもいいのかもしれないけど、 それ読み込み速度でしょ。 巨大なストレージの確保で見たら RAID5 でいいんじゃないのかなと。 566 名前：login:Penguin mailto:sage [2011/11/27(日) 23:08:23.83 ID:CjNOkzQ7] 1TBのHDD×4でRAID0組んでみた seq READ 400MB/s WRITE 350MB/s ってがんばってる方？ 567 名前：login:Penguin mailto:sage [2011/11/28(月) 01:54:44.62 ID:zJmMr8wx] 良い成績だと思うよ ブロックサイズは64KBだっけ？の方が良い成績が残ったような気がする。 568 名前：login:Penguin [2011/11/28(月) 14:31:17.43 ID:SzpgZCSv] だれか助けてください。 CentOS5.7からScientificLinux6.1への乗り換えのさい、 CentOSで運用していたRAID5のアレイがScientificLinuxでmd127と認識されたのが気に入らず、 # mdadm /dev/md127 -f /dev/sd[bcd]1 # mdadm --misc --stop /dev/md127 # mdadm -C /dev/md0 -l 5 -n 3 /dev/sd[bcd]1 としたところ、データが飛びましたorz どうにかしてサルベージすることはできませんか・・・・ 569 名前：568 [2011/11/28(月) 14:42:31.84 ID:SzpgZCSv] 現在分かっていることは、CentOS5.7とScientificLinux6.1では アレイを作る際のメタデータのバージョンが違うようです。 CentOSは0.9で、Scientificでは1.2です。 また、無指定でアレイを構築した際の、chunksizeも違うようです。 CentOSは64K、Scientificは512Kのようです。 もともと64Kだったchunksizeが512Kで構築しなおされてしまったようです。 なんとか助ける方法はありませんか 570 名前：568 [2011/11/28(月) 14:50:52.12 ID:SzpgZCSv] 連投すみません。 仮想環境で # mdadm -C /dev/md0 --chunk 64K -l 5 -n 3 /dev/sd[bcd]1 とすればデータは無傷だったということは確認しました。 また、一旦chunksize=512Kで構築されたアレイを解除して、 64Kで作り直してもデータは復旧しませんでした。 571 名前：568 [2011/11/28(月) 15:01:22.13 ID:SzpgZCSv] はたまた連投すみません 512Kで再構築されてしまった場合でも、mkfsなど余計なことしなければ # mdadm /dev/md0 -f /dev/sd[bcd]1 # mdadm --misc --stop /dev/md0 # mdadm -C /dev/md0 --chunk 64K -l 5 -n 3 /dev/sd[bcd]1 で仮想環境では復旧しました。 一人で勝手に騒いですみません。 現実環境のリビルドが完了したら試してみようと思います。 おっちょこちょいな自分の失敗が誰かの役に立てばと思います。 572 名前：568 [2011/11/28(月) 15:38:35.38 ID:SzpgZCSv] 現実環境でやってみましたがダメでした。 メタデータのバージョンが同じでないとうまくいかないような感じです。 CentOSで64kで構築 ↓ Scientificで512kで構築 ↓ Scientificで64kで再構築 ↓ ダメ　←いまここ です。 これからCentOSで64kで再構築してみます。 まずは仮想環境でやってみようと思います。 573 名前：568 [2011/11/28(月) 16:23:08.43 ID:SzpgZCSv] バージョンによってメタデータの書き込まれる場所が違うことがわかりました hellokitty68.main.jp/wiki/Mdadm#metadata ここにあるように、0.9と1.2ではずいぶんと違うようです。 これは困りました。 さらに、これだけがわかっても自分にはどうしたらいいのかわかりません。 574 名前：login:Penguin mailto:sage [2011/11/28(月) 16:47:50.20 ID:zJmMr8wx] dd でディスク毎に吸い上げて処理したほうが早くないか？ 575 名前：568 [2011/11/28(月) 16:54:58.39 ID:SzpgZCSv] >>574 現在、本番環境でのddでの吸い上げ先がない状態ですが、 ddで吸い上げた後にどう処理すればいいのか教えていただけますか？ metadataがあると思われる部分をddでファイルに書き出して hexdumpなんてしてみましたが、どうしたらいいのかさっぱりわかりませんでした。 576 名前：login:Penguin mailto:sage [2011/11/28(月) 18:43:29.50 ID:GpepBfXK] dd で吸い出してそこで作業したら失敗してもやり直しが効く そのデータがどのくらい大事かに寄るね 失ってもいいのであれば実HDDで作業してもいいかも 577 名前：login:Penguin mailto:sage [2011/11/28(月) 19:55:43.30 ID:nPrmxBAd] >>575 losetupでloopデバイスを割り当てる ddで吸い上げたイメージをdisk1.img, disk2.imgとすると ↓こんな感じでloopデバイスを割り当てられる(未使用のloopデバイスはlosetup -f で確認) # losetup /dev/loop0 disk1.img # losetup /dev/loop1 disk2.img /dev/sd*の代わりに、このloopデバイスでRAID1を作ったり出来る # mdadm --create /dev/md0 --raid-devices=2 --level=1 --verbose /dev/loop0 /dev/loop1 mdadm: size set to 131008K mdadm: array /dev/md0 started. 578 名前：login:Penguin mailto:sage [2011/11/29(火) 10:25:15.02 ID:00jPXJK8] 吸い上げたイメージ同士でデータとメタデータ領域が重なってるので、稀だけど壊れることないか。 真面目にするならメタデータ領域分は切り貼りして揃えてから再構築、かな？ 579 名前：login:Penguin mailto:sage [2011/11/29(火) 12:25:33.10 ID:Yf0+yFDJ] RAID0組んでるHDDにOS再インストールするときって、そのままOSインストール作業する？ それとも、一度、Delete RAID Volumeで崩してからCreate RAID VolumeでまたRAID構築してからOSインストールしてる？ 580 名前：login:Penguin mailto:sage [2011/11/29(火) 15:13:40.75 ID:iTSjKJPG] バージョンが同じならそのまま 違う場合は別の環境でテストしてOKならそのまま 違うなら別のPCを用意 かな 581 名前：568 [2011/11/29(火) 15:46:31.33 ID:nWLFZrGz] >>577 わざわざ丁寧にありがとうございます。 その方法ももちろん考えたのですが、 いかんせん、退避場所がありません。 タイの洪水でHDDの価格が高騰しているため手軽に買えない状況です・・・ 582 名前：568 [2011/11/29(火) 15:54:45.87 ID:nWLFZrGz] さて、今日もシコシコと仮想環境で試行錯誤していましたら、 もしかしたら、完全復活はできなくても 一部の復活はできるかもしれない方法を見つけました。 簡単に言うとアレイをバージョン0.9のメタデータで構築しなおし、 思い切ってfsckをかける方法です。 仮想環境でやってみたところ、とりあえずデータの復活を確認しました。 後は本番環境ですが、>>581に書いたとおり、HDDが高くてすぐには実行できません。 アレイのサイズが1TBが3台のRAID5なので、余裕を持って2TBを 2本ほどRAID0で動かして作業をしたいところです。 それか、2TB1本にして縮退状態でやるかといった感じです。 ちなみにメタデータ、chunksizeを指定してアレイを構築する場合は以下のようになります mdadm -C /dev/md0 -l 5 -n 3 --chunk=64K --metadata=0.9 /dev/sd[bcd]1 583 名前：login:Penguin mailto:sage [2011/11/30(水) 10:23:52.58 ID:/CGQEQQw] md127の何が気にくわないのか。 自分はそのまま使ってるぞ。 直すスキルがないってのは内緒・・・ 584 名前：login:Penguin mailto:sage [2011/11/30(水) 13:28:21.02 ID:OuQeDi8o] >>583 ちゃんと流れを読めよｗ 585 名前：login:Penguin mailto:sage [2011/12/03(土) 20:43:01.66 ID:TtU/rjkx] 127が気に入らないならアレイ止めてからこれだけでよかったのにずいぶん余計なことを mdadm -A /dev/md0 /dev/sd[bcd]1 586 名前：login:Penguin mailto:sage [2011/12/05(月) 23:56:34.31 ID:6e/+yMbn] /boot を RAID1, swap を RAID0 にして、 あと全部 / で RAID1 にして普通にインストール成功 (ScientificLinux) 再起動してみるとBIOS直後から何も表示せず立ち上がらない。 どうしてかわかる人いる？ 587 名前：login:Penguin mailto:sage [2011/12/06(火) 16:20:07.48 ID:D33FO92h] >>586 ドライバが足りなくて > /boot を RAID1 のとこで転けてるんじゃ? 588 名前：login:Penguin mailto:sage [2011/12/06(火) 22:50:52.50 ID:ICuP3dI/] >>586 レイドパーティションを/bootにする場合は、メタデータを0.90にしないと だめだよ。それかメタデータを1.2にして、grubを1.0以上にする。 589 名前：586 mailto:sage [2011/12/08(木) 19:52:18.26 ID:Hmnoh3H0] >>587-588 ありがとう。インストーラのバグなのか grub が default では /dev/md0 に入ってしまっていた。 オプションで grub を /dev/sda1 の MBR に書くと起動した。 片方が死んだときのために RAID 構成ディスクの /dev/sdb1 にも grub を入れた。 これで大丈夫だといいんだが。 590 名前：login:Penguin mailto:sage [2011/12/09(金) 00:31:48.61 ID:u1j4XOSq] /bootなんか、わざわざRAIDに置かずに別途USBメモリに保存したほうが トラブルも無く、運用も楽。 そりゃ、万一の時は多少手間が増えるが。

---

---

[ 新着レスの取得/表示 (agate) ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef