ファイルシステム総合スレ その18

1 名前：login:Penguin mailto:sage [2017/12/28(木) 23:50:51.14 ID:/phfY+r1.net] ● 前スレ ファイルシステム総合スレ その17 mao.5ch.net/test/read.cgi/linux/1421502118/ ● 関連スレ ジャーナリングファイルシステム mevius.5ch.net/test/read.cgi/unix/979408065/ OpenSolaris/Illumos (OpenIndiana, etc.) 6 mevius.5ch.net/test/read.cgi/unix/1337411922/ FS関連スレ medaka.5ch.net/test/read.cgi/os/1137387538/ 過去スレ, 関連リンクは >>2-10 あたりで. 700 名前：login:Penguin mailto:sage [2019/08/29(木) 09:31:29.66 ID:oTY9cNJu.net] ntfsも公開してくれよん 701 名前：login:Penguin mailto:sage [2019/08/29(木) 10:37:08.37 ID:IgCGENYH.net] >>685 ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!! 702 名前：login:Penguin mailto:sage [2019/08/29(木) 11:53:24.06 ID:ayv/fTUM.net] >>688 NTFSは公開してもファイルシステムの高度なセキュリティ能力を Linuxにマッピングできないのであまり意味がないな 703 名前：login:Penguin mailto:sage [2019/08/29(木) 12:26:30.72 ID:5xSjyKa3.net] >>682 瓦最適化はWDの中の人がbtrfsにパッチ投稿中。 704 名前：login:Penguin mailto:sage [2019/08/29(木) 18:23:14.00 ID:17OYqypV.net] Microsoft、Linuxカーネルで公式に「exFAT」サポート https://www.itmedia.co.jp/news/spv/1908/29/news059.html 705 名前：login:Penguin mailto:sage [2019/08/29(木) 18:31:46.62 ID:3gIOV6hV.net] >>691 はえー。俺の鯖ちょうど瓦でbtrfsだわ、ありがてえ 706 名前：login:Penguin mailto:sage [2019/08/29(木) 20:54:27.48 ID:7ODgbVNJ.net] >>687 反MSって具体的になに？Oracleとか？ 707 名前：login:Penguin mailto:sage [2019/08/29(木) 21:12:57.84 ID:V76BsNE3.net] Windows Storage Server 2016の重複排除機能、優秀すぎてﾜﾛﾀ 708 名前：login:Penguin mailto:sage [2019/08/29(木) 21:56:07.88 ID:71eCL6Dr.net] >>689 どちらかというと、ユーティリティ側の出来がよくなってほしいな(´･ω･`) 今、fsck.exfatがチェック出来るだけ状態だからね。 マウントするだけならfuse経由でできるし。 709 名前：login:Penguin mailto:sage [2019/08/29(木) 22:30:20.18 ID:/Ysvkkai.net] >>695 今のところ重複排除がまともに運用できるのWindows Serverだけだな ZFSも一応使えるけど使う人居ないだろって感じの実装 710 名前：login:Penguin mailto:sage [2019/08/30(金) 01:10:38.60 ID:49Usa2R4.net] >>690 同じ理由でextXもWindows上では使い勝手が非常に悪い NTFSもextXもシステムに特化しすぎて細かい仕様がなじまない 低機能なFATがいまもデータ交換用に普及してる理由でもある 711 名前：login:Penguin mailto:sage [2019/08/30(金) 01:11:23.89 ID:49Usa2R4.net] exFATの構造 homepage3.nifty.com/k-takata/diary/exFAT.txt 712 名前：login:Penguin mailto:sage [2019/08/30(金) 01:18:35.79 ID:49Usa2R4.net] exFATは他の近代ファイルシステムに合わせてメタデータをファイル化したのはいいけど FATが固定テーブルのままだから空き領域ビットマップも固定テーブルで良かったと思う あとFATエントリが32bitのままだから16TB超えると影響出始める リムーバブルで16TBは当分先とは言え将来はわからないぞ 713 名前：login:Penguin mailto:sage [2019/08/30(金) 01:41:03.03 ID:49Usa2R4.net] MSがさっそく公式に公開してたじゃないか https://docs.microsoft.com/ja-jp/windows/win32/fileio/exfat-specification 714 名前：login:Penguin mailto:sage [2019/08/30(金) 04:24:29.13 ID:itEjT5Wb.net] >>700 > あとFATエントリが32bitのままだから16TB超えると影響出始める exFATの理論上の最大ボリ� 715 名前：�ームサイズは128PB（ペタバイト）だよ 128 * 1024TB = 131,072 TB。実装上の問題で 512TBが推奨とされてるけど https://en.wikipedia.org/wiki/ExFAT [] [ここ壊れてます] 716 名前：login:Penguin mailto:sage [2019/08/30(金) 04:38:30.70 ID:itEjT5Wb.net] なるほど、FAT32は名前に反してクラスタ数として28bitしか使ってなかったのか。（exFATは32bit） 1クラスタのサイズがFAT32は32KBまでだから、FAT32の理論上のボリュームサイズは8TB exFATでは32bit全部を使うから、これだけでも128TBまで使えることになるが、 さらに1クラスタの最大サイズが32KBから32MBに増えたから、理論上のボリュームサイズは128PBになるんだな FAT32もexFATも実際の実装はそこまで対応してないから減るわけだけど 将来的に対応の必要性があれば互換性を保ったまま増やせるわけか 717 名前：login:Penguin mailto:sage [2019/08/30(金) 11:49:45.26 ID:xVO3b390.net] >>691 btrfsなんて不安定で微妙なFSじゃなくってext4とかXFSで瓦対応してクレヨン…… と思ったが瓦はCoW向きなのか だったら仕方ないかorz 718 名前：login:Penguin mailto:sage [2019/08/30(金) 18:29:14.36 ID:BfSogZjl.net] マジかよ今後はexfat一択じゃん 719 名前：login:Penguin mailto:sage [2019/08/30(金) 19:36:46.24 ID:wK/ekzyO.net] でもexfatってジャーナリングファイルシステムじゃ無いんでしょ 720 名前：login:Penguin mailto:sage [2019/08/30(金) 20:17:53.57 ID:BfSogZjl.net] マジかよじゃあexfat要らね 721 名前：login:Penguin mailto:sage [2019/08/30(金) 21:52:37.76 ID:xOfxtSvx.net] やっぱりntfsが最強だな 722 名前：login:Penguin mailto:sage [2019/08/30(金) 22:33:18.67 ID:lt7x2d9b.net] >>704 xfsはSMR対応やる気あるだろ 723 名前：login:Penguin mailto:sage [2019/08/31(土) 01:01:49.85 ID:PjcUVRL7.net] xfsのCoWがどんな感じかだな btrfsはCoWだけじゃなくパケットライトのような構造でSSDへの負担の軽減と効率化を図っている 副作用でデータベースのようなランダム書き換えを繰り返す用途と非常に相性悪いけどな 724 名前：login:Penguin mailto:sage [2019/08/31(土) 07:09:26.49 ID:R786WVAl.net] >>706 > でもexfatってジャーナリングファイルシステムじゃ無いんでしょ ジャーナル対応は可能だよ。 725 名前：login:Penguin mailto:sage [2019/08/31(土) 09:11:35.30 ID:PjcUVRL7.net] 可能なのと実装しているのは大きく違う ext2にジャーナルファイルを追加してext3としたように後付ならどうにでもなるが それでも名前を変えるレベルの変更になる 互換性が重要なリムーバブル向けで大きな変更はできないだろうな exFATは冒険を避けたのか内部的にはけっこう中途半端な拡張になっている 726 名前：login:Penguin mailto:sage [2019/08/31(土) 11:53:17.85 ID:M9ADFjBr.net] ディレクトリエントリ構造がvfat引き継いでんのがクソ 727 名前：login:Penguin mailto:sage [2019/08/31(土) 12:43:47.93 ID:KGfTBrB+.net] kwsk 728 名前：login:Penguin mailto:sage [2019/08/31(土) 14:12:33.52 ID:JnSDyXRZ.net] kwskっていうのはクソの理由だぞ。 vfat引き継いでるということの説明をされても クソの理由にはならないからな ってかvfat引き継いでないがなｗ 729 名前：login:Penguin mailto:sage [2019/09/03(火) 17:02:34.99 ID:yL/ahKNe.net] Linuxに関して言えば， 組込みLinuxが入ってる携帯端末とかはexFATを採用しそう。 そうじゃないのはXFSやext4でいい(「でいい」というか，「が十分使える計算機資源がある」 730 名前：login:Penguin mailto:sage [2019/09/03(火) 17:44:40.69 ID:xfgJCc5v.net] exFATを使うというのが単に外部ストレージのファイルシステムとして受け付ける(マウントして読み書きに対応できる)という話なら対応が進むだろうが、 システムやユーザーディレクトリがexFAT上に置かれるようになる、システムパーティションとしてexFATが採用されるという話なら、それは無いんじゃないの？ システムパーティションとしてFATやexFATを利用可能な実装、あるならそれがデフォルトの実装というものが実在するなら、むしろ見てみたい(提示して欲しい)。 パーミッションなにそれという無法の罷り通る組み込み実装というものが実在するなら恐ろしい話だ。 NTFSならUNIXの(POSIXの)パーミッション機能を全て内包した上でより高度かつ緻密な権限設定なども可能だが、それらの機能をUNIXからは満足に扱えず持ち腐れるしかないし、 NTFSをシステムパーティションとして設定可能なディストリというものも記憶に無い(Windowsとの共存を念頭に既存のNTFSパーティション内に構築されるものならあったが) 731 名前：login:Penguin mailto:sage [2019/09/03(火) 19:05:09.69 ID:B9+IOgvJ.net] Androidではf2fsとext4が使われているな これは端末によって分かれる それとユーザー領域にsdcardFSとか言うのが使われている 732 名前：login:Penguin mailto:sage [2019/09/03(火) 19:52:16.19 ID:8FoKpEbS.net] >>717 今北産業 733 名前：login:Penguin mailto:sage [2019/09/03(火) 20:37:54.95 ID:2aAU5+p7.net] >>717 今でも使えるか知らないけどUMSDOSというFAT用の拡張があるよ 仕組みはVFATのような感じで長いファイル名とパーミッション等を使える いにしえの文書 ttp://archive.linux.or.jp/JF/JFdocs/archive/UMSDOS-HOWTO.html それとNTFSのACLと同等の機能はXFS等でも使えるようになっているよ 734 名前：login:Penguin mailto:sage [2019/09/03(火) 20:56:32.09 ID:2aAU5+p7.net] >>717 ACL関係もいにしえの文書だけど ttps://www.itmedia.co.jp/enterprise/0403/06/epn01.html POSIX ACLはSamba以外では積極的に使われない機能だから あまり解説されていないだけ 735 名前：login:Penguin mailto:sage [2019/09/04(水) 01:58:46.87 ID:AfE9OQrQ.net] >>721 NTFSと同等なのはPOSIX ACLじゃなくてNFSv4 ACLとか、HFSやAPFSに実装されている方 736 名前：login:Penguin mailto:sage [2019/09/09(月) 22:59:51.66 ID:SszYAJmS.net] 互換性は別にして、機能としてPOSIX ACLになくて、NTFSやNFSv4 ACLにある物って何があるの？ デフォルト値とかが違ってWindowsと全く同じ挙動にはできないけど、機能的には同等だと思ってた。 737 名前：login:Penguin mailto:sage [2019/09/10(火) 02:47:59.60 ID:7v2JkFhP.net] >>723 POSIX ACLはパーミッションの素直な拡張で、 ・ユーザーやグループ毎にRWXの3種類の許可のオンオフ ・ディレクトリにデフォルト値を設定して子孫に継承させる だけ。 NTFSの方は、そもそも権限が13種類ぐらいあって複雑怪奇。例えば、 ・属性(タイムスタンプとか)の読み込みだけ許可 ・ファイルへの追記だけ許可(上書きは不可) ・ファイルは作れるけどサブディレクトリは作れないディレクトリの実現 ・ファイルの削除権限をファイル自体に設定 ・ファイルを作れるけど消せないディレクトリの実現 ・ACL自体の変更権限や所有者の変更権限を設定 などが可能。継承も、 ・ファイルとディレクトリで別々に設定 ・子には継承させるが孫には継承させない設定 ができる。更に ・許可/拒否の設定が両方ある ・ACLの適用順を明示的に設定できる ので、ホワイトリスト式とブラックリスト式を複雑に組み合わせられる(これはGUIでは設定不可で、コマンドでやる) 738 名前：723 mailto:sage [2019/09/10(火) 03:14:54.16 ID:ux9dqJdd.net] >>724 おお。確かに全然違う。NTFSそんなに機能あったのか。 勉強になった。ありがとう。 739 名前：login:Penguin mailto:sage [2019/09/10(火) 04:08:11.19 ID:QHsS5imR.net] 機能的にはミニコンやメインフレームで大規模なDB載せるような用途にも対応できるような作りだしねえ… これでもう20年も実績あるんだから、いっぱしのファイルシステムですな >NTFS 740 名前：login:Penguin [2019/09/10(火) 04:31:51.09 ID:c/QawrHU.net] そのNTFSの機能はだいたいZFSで網羅してるな 741 名前：login:Penguin mailto:sage [2019/09/10(火) 05:23:00.38 ID:h9c2d3nY.net] ZFSで網羅してるとして、何のコマンドでやるの？ ZFS専用コマンド？ 742 名前：login:Penguin mailto:sage [2019/09/10(火) 06:24:47.98 ID:hXcE461p.net] ZFSってIRIX発祥だったように記憶しているのだけど IRIXはつまり一般的なPOSIXの枠を超えたACLを独自に実装していたということですかね？ 743 名前：login:Penguin [2019/09/10(火) 06:35:34.93 ID:c/QawrHU.net] >>728 意外なchmodで全部 744 名前：行ける。まるで呪文だがw setfacl -m owner@:full_set:allow,group@::allow,everyone@::allow acl_test.txt https://docs.oracle.com/cd/E24845_01/html/819-6260/gbacb.html#scrolltoc >>729 Solarisでそ？ [] [ここ壊れてます] 745 名前：login:Penguin [2019/09/10(火) 06:41:05.19 ID:c/QawrHU.net] >>730 自己レス ごめん chmod A3=user:venkman:read_acl:allow filename はSolaris freebsd はsetfaclでやる実装だった「 746 名前：login:Penguin mailto:sage [2019/09/10(火) 13:55:09.50 ID:6sIzNa2X.net] > 729 XFSはIRIX ZFSはSolarisです。 747 名前：login:Penguin mailto:sage [2019/09/10(火) 15:10:51.24 ID:TIJq+nNn.net] ext4でいいじゃん 748 名前：login:Penguin mailto:sage [2019/09/10(火) 16:55:49.82 ID:+5M9tkhk.net] >>724 詳しい解説サンクス！ 多すぎて頭がフットーしそうだよお 749 名前：login:Penguin mailto:sage [2019/09/10(火) 16:56:33.60 ID:+5M9tkhk.net] >>730,731 こっちも詳しい解説サンクス！ 750 名前：login:Penguin mailto:sage [2019/09/10(火) 19:00:28.68 ID:nfLMQN5s.net] >>732 ああそうだ、IRIXはXFSだったわごめん おれ個人では普通に信頼してるFSだけど、Linux界隈では個人だと使ってる人あまり見ないよね… 751 名前：login:Penguin mailto:sage [2019/09/11(水) 01:29:58.78 ID:U4ts0n/J.net] LinkStationのデフォルトがXFSだったはずたから知らないうちにXFS使ってる人は案外いそう 752 名前：login:Penguin mailto:sage [2019/09/11(水) 02:15:06.94 ID:XGTr0XqS.net] CentOS7のデフォルトがXFSだから、個人でも使っている人は沢山いるはず 753 名前：login:Penguin mailto:sage [2019/09/11(水) 09:22:32.33 ID:Im0aUzbI.net] NTFSってマジで「多」機能なんだな 754 名前：login:Penguin mailto:sage [2019/09/11(水) 20:34:04.82 ID:U4ts0n/J.net] 多機能すぎてその詳細を理解してる人も使いこなせる人も少ない…MSにさえ おまけにフルに機能使いこなそうと思ったら非公開API使わなきゃいけないとかいう残念さ 755 名前：login:Penguin mailto:sage [2019/09/11(水) 22:52:50.67 ID:Im0aUzbI.net] https://m.facebook.com/dnobori/posts/2142836202459674 これを思い出した 756 名前：login:Penguin mailto:sage [2019/09/12(木) 08:02:48.44 ID:A7RqdNx4.net] 素直にXFS使っとけ 757 名前：login:Penguin mailto:sage [2019/09/12(木) 14:07:40.59 ID:kpioEvUr.net] XFSは多機能すぎて誰も使いこなせない 758 名前：login:Penguin mailto:sage [2019/09/13(金) 10:02:05.12 ID:/kG8R/3p.net] LinuxのXFSにもGRIOあるのかなぁ 759 名前：login:Penguin mailto:sage [2019/09/15(日) 08:26:10.55 ID:A0tbtNjH.net] EROFSがLinux5.4でメインライン入りするらしい リードオンリーファイルシステムだから使いどころは限られるが すでにスマホで動いているので実績はある 760 名前：login:Penguin mailto:sage [2019/09/15(日) 09:51:04.18 ID:uMzOqD6G.net] え、エロFS…… 761 名前：login:Penguin mailto:sage [2019/09/15(日) 13:31:08.77 ID:ua5r3kDz.net] エッチFS! 762 名前：login:Penguin mailto:sage [2019/09/15(日) 17:37:09.38 ID:3/04JcE1.net] >>743 何で圧縮は無いの？ 763 名前：login:Penguin mailto:sage [2019/09/16(月) 01:54:38.69 ID:rJPiMVYE.net] huawaiのスマホのsystemパーティションでEROFS使われてるのか androidのsystemは元々リードオンリーでマウントされてたから有用だろうな 764 名前：login:Penguin mailto:sage [2019/09/16(月) 21:49:59.06 ID:8Mnz6MjR.net] くだらない質問で恐縮なのだが、 既存の、RW可能なファイルシステムで作成したボリュームをROでマウントするのはわかる。 しかしリードオンリーのファイルシステムとなると、 マウントするボリュームは、一体どのような手段で作成されるのだろうか？ 卵が先か、鶏が先か… 765 名前：login:Penguin mailto:sage [2019/09/16(月) 22:16:57.15 ID:Fjxy1taP.net] >>750 .iso (ISO9660 ファイルシステム、DVD-ROM 等に使われるリードオンリーのファイルシステム) ファイル作ったことないですかそうですか 766 名前：login:Penguin [2019/09/16(月) 22:20:45.35 ID:M+XuPW8F.net] >>750 別のファイルシステムから変換するのでは？ 少なくともISO9660はそういう感じだよね。 原理的に、仕様がわかっていて、どう� 767 名前：｢う風にファイルを用意したいか決まっていれば、 ビット列は生成可能なのだから、鶏が先か、卵が先かという問題ではないような気がするけど。 [] [ここ壊れてます] 768 名前：login:Penguin mailto:sage [2019/09/16(月) 22:23:33.54 ID:v2xaK5dV.net] erofs-utilsに入っているmkfs.erofsで作るらしい ttps://git.kernel.org/pub/scm/linux/kernel/git/xiang/erofs-utils.git/tree/README 769 名前：login:Penguin mailto:sage [2019/09/17(火) 00:23:24.54 ID:tEkIjiM2.net] >>750 いや、roなファイルシステムも使用時にroでマウントしてるだけで 作成時はイメージファイル上にFSを作ってrwマウントしてファイルコピーするだけ 770 名前：login:Penguin mailto:sage [2019/09/17(火) 02:01:04.20 ID:C2z//eYW.net] >>753 圧縮の有無に違いはあるけど、使い方はSquashFSみたいな感じらしい 771 名前：login:Penguin [2019/09/17(火) 09:41:47.16 ID:mAQfPWIi.net] >>754 なるほど，まあ当然っちゃ当然そうだよな。 772 名前：login:Penguin mailto:sage [2019/09/17(火) 12:22:17.37 ID:8KO1t32N.net] >>754 isofsはwrite()が実装されてないらしいし、rwマウントしてコピーってのはちょっと違うのでは？ 773 名前：login:Penguin mailto:sage [2019/09/17(火) 21:24:20.70 ID:2Wuln3eF.net] fuseとかでrwマウント出来るようにした物はあるだろうけど、最初からrwでマウント出来たらroファイルシステムじゃないだろｗ 774 名前：login:Penguin mailto:sage [2019/09/17(火) 22:27:12.02 ID:q0qVtnVz.net] ro専用のファイルシステムって、誰が書き込むの？ 775 名前：login:Penguin mailto:sage [2019/09/17(火) 22:50:56.62 ID:uhDzaob2.net] mkfsが｢XXバイト目にマジックナンバー書き込んでYYバイト目にはこのフラグの値書き込んで｣みたいにやってる時に一緒にファイルも書き込むだけ 776 名前：login:Penguin mailto:sage [2019/09/21(土) 04:11:32.07 ID:H9H9TTsk.net] これでZFSの重複排除が実用的になるだろうか？ まともに使えそうなら革命的だが https://www.phoronix.com/scan.php?page=news_item&px=OpenZFS-Better-Dedup 777 名前：login:Penguin mailto:sage [2019/09/21(土) 23:27:31.72 ID:bKqCk4Ie.net] 重複排除なんてバックグラウンドでやればいいだけじゃないの？ 778 名前：login:Penguin mailto:sage [2019/09/22(日) 05:53:45.18 ID:CqaW/Zfz.net] 今時のバックアップソフトや専用NASはリアルタイムに重複排除出来る 779 名前：login:Penguin mailto:sage [2019/09/30(月) 15:09:29.89 ID:/fxpH8Tk.net] >>762 重複するデータが既にストレージ上に存在するのなら後続の書き込みは行われないのが理想 780 名前：login:Penguin mailto:sage [2019/10/01(火) 01:58:35.48 ID:xLonTYnk.net] >>764 コピーするときだけで十分だろ どうせ上書きしたら内容は変わるんだし 781 名前：login:Penguin mailto:sage [2019/10/01(火) 02:38:11.33 ID:C0EfQGgt.net] 重複データは書き込み時に判定というのは実際どう判定するのか 書き込み前に一度ファイルを舐めて双方のハッシュでも比較するのか、すごい手間だな そんなものシステムワイドでファイル作成時や最終書き込みの時にハッシュ引いてファイルの属性データの方に持たせておけばいいのに それでもハッシュの衝突とか無いとも限らないしな…どうやって検出すればいいんだ …などと考え始めると眠れなくなる 782 名前：login:Penguin mailto:sage [2019/10/01(火) 03:54:30.13 ID:O/YTzUB3.net] うん、だからバックアップでやればいいんじゃねーのって思ってる 最終的にはファームウェア側で実装するのもありかもね 783 名前：login:Penguin mailto:sage [2019/10/01(火) 04:01:48.13 ID:O/YTzUB3.net] >>766 ファイルレベルでハッシュ比較しても駄目だよ。 少しデータが変わっただけの巨大なファイルで重複排除ができなくなる。 でもまあそういう例って仮想イメージのスナップショットぐらいしか無いんだよねｗ んで、仮想イメージは仮想マシン側がスナップショットを差分で保存してくれるから関係ない ファイルレベルならバックグラウンドでファイル検索して ファイルサイズが同じ→中身を比較→全部一緒ならハードリンクにする これだけで十分だろう 784 名前：login:Penguin mailto:sage [2019/10/01(火) 04:34:23.91 ID:LD5IBfg0.net] ログファイルとか重複排除すると効果大きいんだけど 785 名前：な 一般家庭の用途だとストレージのほとんどがメディアファイルで埋まるから効果薄いよね [] [ここ壊れてます] 786 名前：login:Penguin mailto:sage [2019/10/01(火) 08:13:43.35 ID:O/YTzUB3.net] >>769 なんで同じ内容のログファイルが 大量にできるんだ？ 圧縮ならまだしも何の意味もないだろ 787 名前：login:Penguin mailto:sage [2019/10/01(火) 08:17:03.18 ID:O/YTzUB3.net] Windowsは95の時代からドライブの圧縮機能があって 昔はお世話になったもんだが、他のファイルシステムには そういう機能あるのかな？ 788 名前：login:Penguin mailto:sage [2019/10/01(火) 10:03:19.94 ID:oU66RV/q.net] >>770 そもそもファイル単位という前提が間違ってる 789 名前：login:Penguin mailto:sage [2019/10/01(火) 10:26:58.35 ID:mUwF5icW.net] >>772 ブロック単位とか言いたいんだろうが、何単位であっても ログファイルなんて同じ内容にはまずならんだろうが 1バイト違っていたりアドレスがずれてるだけでも だけでも違うものと判断されるんだからさ 790 名前：login:Penguin mailto:sage [2019/10/01(火) 22:11:05.16 ID:d4igWScA.net] ZFS とか重複排除はかなりメモリ食うらしいね NTFS は指定日数経過後のファイルに対してだけ実行するとか バックグラウンドで実行/高負荷時には実行しないとか 使用メモリ制限とか色々オプションがあるみたい モードも一般/VDI/バックアップと用途向けに用意されてる 中小規模、ホームユースで考えると NTFS の方式はわかりやすくて かつ優秀だと思う 791 名前：login:Penguin mailto:sage [2019/10/01(火) 22:33:23.76 ID:acLZahM8.net] 確かNTFSの重複排除は対象ディスク領域1TiBあたり1GiBのメモリを確保することが推奨されていて、 これはZFSでの重複排除使用時の推奨値と変わらないはずですよ。 重複排除での処理単位のブロックサイズが同じ程度なら、 管理情報のオーバーヘッドはそれほど変わらんでしょう。 792 名前：login:Penguin mailto:sage [2019/10/01(火) 22:34:34.00 ID:acLZahM8.net] あ、推奨値じゃなくてこれぐらい消費しますよの目安だったかも。 793 名前：login:Penguin mailto:sage [2019/10/01(火) 23:59:37.95 ID:d4igWScA.net] >>775 メモリ使いすぎないオプションもあるよって書いたんだが... 794 名前：login:Penguin mailto:sage [2019/10/02(水) 10:24:24.64 ID:MFUU2o8w.net] NTFSって複雑奇怪な仕様のくせにムダに安定してるよな 795 名前：login:Penguin mailto:sage [2019/10/02(水) 20:38:07.52 ID:gqMjbdgw.net] NTFSの重複除去処理って理想的な実装じゃね？ https://www.gmo.jp/report/single/?art_id=234 > 重複除去機能はWindows Server2012ですでに搭載されていましたが、 > 最新のWindows Server 2019の重複除去では、重複除去率とパフォーマンスが改善されており、 > ファイル単位ではなくバイナリのデータ単位で重複を検出して除去するため、 > 大幅に重複除去率が向上しています。 > 重複除去は一度設定すればボリューム内のすべてのファイルが対象となり、定期的に実行されます。 > 書き込みごとに圧縮される場合、継続的なパフォーマンスの懸念がありますが、 > 重複除去はスケジュール設定が可能なため、慢性的なパフォーマンスへの影響を回避することができます。 796 名前：login:Penguin mailto:sage [2019/10/03(木) 00:59:58.79 ID:OEBySPhx.net] NTFSは本当に優秀だ NT3.1の頃から業務で使っているが、FS起因でのトラブルには一度も遭遇したことがない さすが天才カトラーが設計しただけある 797 名前：login:Penguin mailto:sage [2019/10/03(木) 02:03:54.40 ID:7cVKYu14.net] MSの開発者のスキルは世界一だからね 本当凄いよ 798 名前：login:Penguin mailto:sage [2019/10/03(木) 08:52:36.44 ID:tzg7uxom.net] 優秀つっても Isilon や NetApp とかの後追いじゃないか？ OneFS, WAFL, NTFS 以外は完全において行かれた感がある。 zfs や btrfs はそれなりに資金力ある企業傘下だったが残念だ。 799 名前：login:Penguin mailto:sage [2019/10/03(木) 0 ] [ここ壊れてます] 800 名前：8:52:50.20 ID:47VJX03k.net mailto: 昔との互換性を重視して、仕様は謎みたいな話もあったけどNTFSは問題ないのか？ [] [ここ壊れてます] 801 名前：login:Penguin mailto:sage [2019/10/03(木) 15:39:46.94 ID:06JgUDhC.net] zfsはSunがあんなことにならなければ… 802 名前：login:Penguin mailto:sage [2019/10/05(土) 20:56:50.83 ID:6SloAFsk.net] NTFSの仕様はマジで謎。 803 名前：login:Penguin [2019/10/22(火) 03:48:30 ID:sLMeSFJA.net] Ubuntu 19.10でZFSをルートファイルシステム利用やっとかよ 804 名前：login:Penguin mailto:sage [2019/10/22(火) 04:05:31 ID:sWREnU7X.net] ルートにzfs使うことある？ 805 名前：login:Penguin mailto:sage [2019/10/22(火) 16:37:32.09 ID:bJW2ueVJ.net] zfs重くて泣いた 806 名前：login:Penguin mailto:sage [2019/10/22(火) 23:17:46.10 ID:4WVgaPY2.net] zfs raid-1 807 名前：login:Penguin mailto:sage [2019/10/24(木) 07:14:24.88 ID:e5plJI2y.net] ZFSの優秀さはメモリと引き換えなのでパソコンクラスのメモリ量だとあまり使えない 808 名前：login:Penguin mailto:sage [2019/10/24(木) 14:36:52.38 ID:87akmZa+.net] パソコンクラスってよく分からない表現だな 今のサーバーはほとんどPCサーバーになってきてるのに 809 名前：login:Penguin mailto:sage [2019/10/24(木) 15:34:41.99 ID:V0q9EpU/.net] パーソナルなやつだろ 810 名前：login:Penguin mailto:sage [2019/10/24(木) 19:01:35.46 ID:XtN2MzoY.net] ZFS出た2005年当時のメモリなんてどれだけだったと思ってるんだ 811 名前：login:Penguin mailto:sage [2019/10/25(金) 09:09:25.10 ID:Krt8XDYr.net] うちのパソコンはメモリ512GBだけど足りないかな？ 812 名前：login:Penguin mailto:sage [2019/10/25(金) 09:54:42.46 ID:dtRwUszk.net] OpenZFSはメモリ要件が改善されたらしくはあるけど キャッシュヒットが環境によって変わるとはいえメモリの必要量が明確に分からないのは正直つらい L2ARCの追加もメモリ消費するらしいから安易にできないし でもZILとかスナップショットとか透過圧縮とか使いたい 813 名前：login:Penguin mailto:sage [2019/10/25(金) 10:31:10.97 ID:fu1VNf4G.net] NASでZFSのdedup onで使ってるけど2TBでメモリ10Gも使わない メモリ512GB積んでおけば100TBぐらいまでは対応できそうだから個人だとこれで十分そうだ 814 名前：login:Penguin [2019/10/25(金) 13:35:51.25 ID:+KpuEA9M.net] 重複排除設定で使用済みブロックが2TBも使ってるなら相当ゴツいシステムだな 815 名前：login:Penguin mailto:sage [2019/10/25(金) 23:24:59.22 ID:IP6r7udF.net] 重複排除ってサイズが1バイトずれてるだけのやつも 排除してくれるの？ 816 名前：login:Penguin [2019/10/25(金) 23:52:06.19 ID:dtVaeIT3.net] な訳ねー 817 名前：login:Penguin mailto:sage [2019/10/25(金) 23:54:37.46 ID:IP6r7udF.net] あんまり排除できなくないか？ 同じファイル見つけたらハードリンクに 置き換えるツールで十分そうｗ 818 名前：login:Penguin mailto:sage [2019/10/25(金) 23:57:34.59 ID:dtVaeIT3.net] そうだよ、専ら仮想鯖みたいな同じユーザランドが無数に作られる様な用途を想定してるんだろう 819 名前：login:Penguin mailto:sage [2019/10/26(土) 01:22:02.81 ID:vQVY0Sjj.net] 一日1万枚ぐらいエロ画像を漁ってると20%ぐらいはかつて落としたエロ画像だったりするから 重複排除は容量の20%ぐらい浮く計算になる 820 名前：login:Penguin mailto:sage [2019/10/26(土) 01:25:37.95 ID:bm797MDp.net] >>802 そういうのって重複ファイル削除ツール使えばいいだけなんじゃない？ 重複させておく必要ないでしょ？ 821 名前：login:Penguin mailto:sage [2019/10/26(土) 01:29:08.15 ID:Pwsut+Es.net] 重複排除はリアルタイムである必要はないわな ZFSが採用しているようなリアルタイムでの重複排除はメモリを食うし デスクトップ用途ではデメリットの方が大きい。 XFSの重複排除はパフォーマンスに影響しないし実際に使っているけど便利だよ。 822 名前：login:Penguin mailto:sage [2019/10/26(土) 02:04:42.61 ID:/XO9wWRE.net] 後で重複を排除するとなると重複かどうかがわからないから結局一度書き込みに行く事になる zfsはデスクトップ用途だとアレだけどサーバ用途だと理に適ってはいる あと画像だと今や同じ画像が違うファイル形式であちこちに散乱してたり 同じJPEGでも品質が違ってたりするからあんまし意味ないんじゃ？ 823 名前：login:Penguin mailto:sage [2019/10/26(土) 02:47:15.22 ID:bm797MDp.net] でも書き込むたびに、これ重複してるかな？って 確認してたら、書き込みが遅くなるじゃん 824 名前：login:Penguin mailto:sage [2019/10/26(土) 06:32:43.54 ID:/XO9wWRE.net] それを高速化する為にメモリ内にハッシュの類を持ってるんだろうに 825 名前：login:Penguin mailto:sage [2019/10/26(土) 10:45:29.30 ID:ZfJ5IMnc.net] でも書き込むごとに、データのハッシュ値を計算してるんですよね？ 826 名前：login:Penguin mailto:sage [2019/10/26(土) 11:39:20.84 ID:+7ZIaVI7.net] >>807 非同期書き込みなら書き込み遅いのは気にならないが同期書き込みについては 遅くなるのは致命的だよな 同期・非同期で重複排除をバックグラウンドでやるかリアルタイムでやるか決め られるだろうけど仮想環境用途の仮想ディスクとかはその上の同期・非同期って NAS側まで伝わるのかね >>808 ZFSの場合はハッシュの計算以外にもRAIDの計算もしているが、それをいうなら 商用NASハードはそれで百本越えのHDDとか面倒みながら処理してるわけで ハッシュ計算はそんなに負担ではないのでは？ 827 名前：login:Penguin mailto:sage [2019/10/26(土) 11:54:16.15 ID:kG6Y+7fi.net] いやめちゃくちゃ負担だけど やらなきゃ駄目だから 828 名前：login:Penguin mailto:sage [2019/10/27(日) 15:53:27.45 ID:eiS+LtlM.net] >>800 重複排除はファイル単位ではなくブロック単位 もしファイル単位ならそりゃハードリンクと同じだ 829 名前：login:Penguin mailto:sage [2019/10/27(日) 17:06:24.41 ID:707D9EX6.net] 異なるファイルでブロックが同じってまずないだろ？ 830 名前：login:Penguin mailto:sage [2019/10/27(日) 23:20:14.99 ID:3lwG/9wl.net] それをファイルレヴェルでやってたらでかいファイルの一部が変更されただけで ハッシュの類を再度算出しなおさなきゃいけなくなる 831 名前：login:Penguin mailto:sage [2019/10/28(月) 00:15:16.75 ID:IKPi8ihE.net] >>812 世代でバックアップとってるファイルとかゲストOSのイメージとか 832 名前：login:Penguin mailto:sage [2019/10/28(月) 20:47:04.72 ID:dxvlefLW.net] ファイル単位の重複排除もあるらしい。 更新されなくなったファイルを圧縮するついでにやる？だったかな。 他にもウイルススキャンとかも定期的に走らせるとかあるからハッシュの 再計算を何かのついでにすることで負担は減らせそうだね。 833 名前：login:Penguin mailto:sage [2019/10/28(月) 22:31:04.60 ID:9iH4PItu.net] >>814 そういうのって仮想マシンソフト側が対応してますよね？ 834 名前：login:Penguin mailto:sage [2019/10/28(月) 23:10:44.32 ID:WlwazsDj.net] ファイル単位でやるにしてもどうしても大きさに制限ができる COWの事を考えるとどうせブロック単位に回帰する 835 名前：login:Penguin mailto:sage [2019/10/29(火) 00:52:41.78 ID:fdP/pgCQ.net] >>816 横から失礼 同じ仮想マシンイメージのPCを移動ユーザープロファイルで利用する ならわかるが、サーバだと初期イメージから離れていくだけだから 差分に対しては仮想マシンソフト側での吸収は難しいと思うが >>817 データベースの表領域を考えるとそうだけど、それ故最近アクセスしていない ファイルに限定してるんじゃないかな そうなると話は変わって逆に大きさがわかる/ファイルサイズがわかるのは 寧ろメリットになってしまう ブロック単位に回帰する理由を挙げるならスナップショットやシンプロ ビジョニング、ブロック単位のレプリケーションなど併用すると効率的な 機能要件挙げるべきかな 836 名前：login:Penguin mailto:sage [2019/10/29(火) 03:00:41.08 ID:L6q0zJPq.net] 自宅のCDデータ倉庫で排除率のシミュレーション'(zdb -S)したけど1%も無くてがっかりだった やっぱZFSの重複排除は仮想化とセットなんかな バックアップは取得時だけソフトで差分の処理するほうが安くできそうだし 837 名前：login:Penguin mailto:sage [2019/10/29(火) 08:54:54.57 ID:tiBJfX00.net] >>819 zfsは仰る通りだと思う。 コピーオンライトのお陰でスナップショットが高速・少容量な感じに仕上がってる。 838 名前：login:Penguin mailto:sage [2019/11/16(土) 21:42:02.73 ID:JSAAagCz.net] 重複排除に夢を見ないほうがいいよ 元から圧縮をはじめとする各方面で無駄を無くす努力がなされている現状で 小手先の策は効果がない 839 名前：login:Penguin mailto:sage [2019/11/20(水) 20:25:14.01 ID:6yGwAp7b.net] そうか？今日保存したエロ画像は以前見てHDDのどこかに保存したような気がするんだが 840 名前：login:Penguin mailto:sage [2019/11/20(水) 20:40:58.51 ID:oxDwVSd5.net] 同じ画像に見えてもバイナリ的に同一じゃない要素があってなぁ というかそういう画像を探すための同一画像判定をしてくれるアプリがあったな 841 名前：login:Penguin mailto:sage [2019/11/21(木) 05:47:34.09 ID:FXPGTnmV.net] 画像はまだいいけど同一の動画を判定するのは難しそうだなあ できるソフトあるのだろうか？ 842 名前：login:Penguin mailto:sage [2019/11/21(木) 09:09:11.59 ID:xIJF9Sc2.net] Googleなら持ってるだろうが 843 名前：login:Penguin mailto:sage [2019/11/21(木) 09:58:12.19 ID:qhCu6Ui0.net] おれは一期一会派だから 844 名前：login:Penguin mailto:sage [2019/11/21(木) 20:44:46.78 ID:FOikuE8m.net] >>826 年々規制が厳しくなるからいつか後悔するぞ 845 名前：login:Penguin mailto:sage [2019/11/23(土) 07:34:28.58 ID:RKp6gT6E.net] すでに御禁制の品です 846 名前：login:Penguin mailto:sage [2019/11/26(火) 09:21:12.69 ID:WiM8NUkS.net] >> 826 俺は市毛良枝派だった。 847 名前：login:Penguin mailto:sage [2019/11/26(火) 19:19:34.18 ID:dryjMwbD.net] 仮想マシンのイメージのように重複排除が効果的なものはあるけど そういうのは個別に専用の仕組みで対応したほうが早い 例えば掲示板の画像なら重複を探してハードリンクを貼るスクリプトを定期的に回すだけで事足りる 一応btrfsは重複ブロックを探して共有するプログラムが用意されている さまざまなリスクと制約を負ってでもリアルタイムにファイルシステムでやる必要性が少ない 848 名前：login:Penguin mailto:sage [2019/11/26(火) 22:41:02.69 ID:KV/Dsi98.net] >>830 いやそれだったら画像を保存するだけのプール作ってそこだけdupすればいいだけ 849 名前：login:Penguin mailto:sage [2019/11/27(水) 01:03:11.01 ID:j6YMclKw.net] https://www.phoronix.com/scan.php?page=news_item&px=Linux-5.4-Released > Linux 5.4 Kernel Released With exFAT Support, Faster Radeon Graphics, New Hardware exFATｷﾀ━━━━(ﾟ∀ﾟ)━━━━!! 850 名前：login:Penguin mailto:sage [2019/11/27(水) 01:10:07.14 ID:vV9+H2A1.net] これでexFATが汎用性最強になったね 851 名前：login:Penguin mailto:sage [2019/11/27(水) 01:36:26.23 ID:twkxM08i.net] でもジャーナリングファイルシステムじゃないからなぁ 852 名前：login:Penguin mailto:sage [2019/11/27(水) 01:39:22.97 ID:BHucuGJr.net] 全く用途が違うだろ・・・ 何を見当違いな 853 名前：login:Penguin mailto:sage [2019/11/27(水) 03:08:57.62 ID:zVRigbnf.net] そう言えばRaiserさんはFS開発に戻らないんだろうか 854 名前：login:Penguin mailto:sage [2019/11/27(水) 07:27:41 ID:yuP2HKak.net] そもそもSDXCカードの標準に採用されてるのに読み書きできない方がおかしい 855 名前：login:Penguin mailto:sage [2019/11/27(水) 10:28:42.57 ID:aEg54iqa.net] fatは先頭からデータ埋めてくだけだったけどexfatはそのへんどうなの? 856 名前：login:Penguin mailto:sage [2019/11/29(金) 08:14:02.98 ID:Vz7mdWod.net] スパースファイルのことなら対応してない アロケーションのことなら実装次第でFATと変わらんだろう メタデータの一部がファイル化してるが位置がころころ変わるものじゃないから断片化には影響しない 857 名前：login:Penguin mailto:sage [2019/12/03(火) 19:17:30.18 ID:fFA/yNYa.net] Valid Data Length、Linuxで言う所のUnwritten Extentsなら有る https://docs.microsoft.com/en-us/windows/win32/fileio/exfat-specification#765-validdatalength-field 858 名前：login:Penguin mailto:sage [202 ] [ここ壊れてます] 859 名前：0/01/01(水) 11:10:00.15 ID:scCDRay6.net mailto: https://www.phoronix.com/scan.php?page=news_item&px=Reiser5-Development > Reiser5 File-System In Development - Adds Local Volumes With Parallel Scaling Out > Hans is still serving his fifteen year sentence until 2023 for > murdering his wife but can see parole eligibility as soon as next month (January 2020). Hans Reiser仮釈放でReiser5爆誕 [] [ここ壊れてます] 860 名前：login:Penguin mailto:sage [2020/01/01(水) 12:31:59.53 ID:20dym0cL.net] まじかｗｗｗ　まさか復帰するとは思わなかった 861 名前：login:Penguin mailto:sage [2020/01/01(水) 21:13:48.67 ID:p37tb7FW.net] キラーFSになるな 862 名前：login:Penguin [2020/01/11(土) 02:19:39.98 ID:UAAx1hWz.net] 2020年1月10日　Don't use ZFS ―Linus，ZFSをマージしない姿勢をあらためて強調　階戸アキラ https://gihyo.jp/admin/clip/01/linux_dt/202001/10 「Don't use ZFS. ―ZFSは使わない。その理由はシンプルだ。ZFSはこれまでずっと，バズワード以上の 何物でもなく，そして実感するのだけど，例のライセンシング問題は僕にとってZFSを価値のない存在と 思わせるだけだ」 1月6日，IT業界に特化したオンラインメディア「Real World Tech」のフォーラムで繰り広げられたある スレッドにて，Linus TorvaldsはZFSをメインラインにマージする予定がないことをあらためて明確に主張 している。(中略) 今後のZFSの扱いについては「Oracleの正式なリーガル担当者が署名したオフィシャルレターが届くか， もしくはラリー・エリソン自身が“⁠ああ，いいよ，手続きを進めよう⁠”といってZFSをGPLにするか，そういう 事態でも起こらないかぎり，僕はZFSに関するいかなる成果もマージしない」と強調，つづけて「ZFSの コードやインタフェースを取り入れたければ，個々の環境（ディストリビューションなど）で好きにやるのは かまわないが，訴訟好きなOracleの体質，さらにはライセンスに関する数々の疑念を考慮するなら，僕は とても安心してそれをやる気にはなれない」とZFSをメインラインに取り入れない理由を説明している。 また，ZFSを直接カーネルに統合しないだけでなく，Shimレイヤのような透過的なインタフェースを通した 実装にも「まったく興味がない。我々にとってなんの価値もなく，Oracleに（Javaのような）コピーライト 訴訟のよいきっかけを与えるだけ」と一刀両断している。 旧Sun Microsystems由来のファイルシステム技術であるZFSに関しては，何度となくLinuxカーネルでの 実装が議論された過去があり，たとえばUbuntuでは2016年ごろからZFSをサポート，最新版の「Ubuntu 19.10」ではZFSをrootファイルシステムにしたインストールが可能となっている。Linusはこうしたディストリ ビュータの動きに関しては「やらないほうがいいと思うけど，自分たちの責任でやるなら好きにやれば」という スタイルを通してきたが，今回あらためてZFSのメインライン統合に対し，明確なNoを突きつけたといえる。 863 名前：login:Penguin mailto:sage [2020/01/11(土) 04:42:55.15 ID:jnlXzU71.net] マージ無いのはまあ当然だろう ZFSの為だけに 864 名前：全てのコードをリスクに晒すわけにはいかない [] [ここ壊れてます] 865 名前：login:Penguin mailto:sage [2020/01/11(土) 13:42:21.31 ID:6TxpLfrk.net] 枯れたjfsで運用しとる奴居らんの？ 866 名前：login:Penguin mailto:sage [2020/01/11(土) 13:44:36.61 ID:6TxpLfrk.net] LinuxはSiliconGraphics謹製のxfsと添い遂げろ 867 名前：login:Penguin mailto:sage [2020/01/11(土) 14:05:29.73 ID:+MC8qtlu.net] jfs いいぞ。 と、言いたいけどAIX由来じゃなくてOS/2からだし 868 名前：login:Penguin mailto:sage [2020/01/11(土) 16:12:02.81 ID:ICeSTzlT.net] OS/2ってHPFSじゃないの？ 869 名前：login:Penguin mailto:sage [2020/01/11(土) 18:40:44.21 ID:K/LCgiW1.net] >>847 どうせならReiserFSがいいな 870 名前：login:Penguin mailto:sage [2020/01/11(土) 18:57:24.78 ID:FZkUfr0E.net] >>849 wikipedia の jfs からだが、 1999年4月、新しい JFS が OS/2 Warp Server for e-business に、2000年10月には OS/2 Warp クライアントに向けてリリースされた。 1999年12月、OS/2 の JFS ソースコードがオープンソースコミュニティに提供され、それを受け JFS の Linux への移植が始まった。2001年6月、JFS for Linux の最初の安定版がリリースされた。 871 名前：login:Penguin mailto:sage [2020/01/11(土) 19:17:27.72 ID:ptgZv5Qn.net] JFSはビデオレコーダーとかのHDDのフォーマットに使われている場合が結構ある/あったか 今はXFSとかか？ 872 名前：login:Penguin mailto:sage [2020/01/13(月) 11:25:23.35 ID:mGzs+Xmt.net] >>852 むしろレコーダーにはXFSが使われてるイメージ 873 名前：login:Penguin mailto:sage [2020/01/14(火) 04:51:06.14 ID:iZnsu89D.net] うちにちょっと古めのRegza(TV)が2台があるが、録画HDDが認識されなくなって xfs_repairで3回くらい復活させたことがあるわ 874 名前：login:Penguin mailto:sage [2020/01/14(火) 08:15:51.05 ID:bK6lhlF1.net] ZFS厨死亡のお知らせ ttps://www.phoronix.com/scan.php?page=news_item&px=Linus-Says-No-To-ZFS-Linux 875 名前：login:Penguin mailto:sage [2020/01/14(火) 08:55:56.23 ID:U+JHY6EW.net] 典型的な老害 876 名前：login:Penguin mailto:sage [2020/01/14(火) 09:01:27.05 ID:/3xc9qkj.net] じゃあbtrfs使いますかって話よ 俺はトラウマあるから無理 877 名前：login:Penguin mailto:sage [2020/01/14(火) 09:36:14.17 ID:Tzu77Qmb.net] >>855 今までと変えるつもりはないからこれ以上話を出すな、ってだけだと思うんだけど RedHatがxfsベースで似た機能を持ったもの作るのと、ReiserFSがそこまで取り込んでくれるのを期待 878 名前：login:Penguin mailto:sage [2020/01/14(火) 10:05:18.06 ID:3ySwGeCo.net] >>856 法的な問題が解決されない関わらないっていうのを改めて明確にしただけだと思うけど 879 名前：login:Penguin mailto:sage [2020/01/14(火) 11:40:03.53 ID:kTd0knbb.net] ZFSなんかバズワードだって一刀両断は胸がすくね Macが採用を謳ってからの持ち上げようったらおかしかった 880 名前：login:Penguin mailto:sage [2020/01/14(火) 12:03:54.46 ID:Co6d2U6R.net] linuxではバズワードかもしれないけれど、 FreeBSDなんかは、UFSの代替として一般化してると思うよ。 881 名前：login:Penguin mailto:sage [2020/01/14(火) 14:46:05.21 ID:s3yt3V1I.net] ソースも見ないアホが語っとるわ リーナスが言ってるZFSはOracleのZFSのことであってOpenZFSではないぞ 882 名前：login:Penguin mailto:sage [2020/01/14(火) 17:03:51.82 ID:QOKr6lO9.net] xfsが進化しまくってるから問題ない 俺も早速1年くらいxfsのcowで使っているけど btrfsとは違ってド安定で一切不具合はないよ ただしメモリの使用量はなんか多い気がする 883 名前：login:Penguin mailto:sage [2020/01/14(火) 17:24:05.89 ID:vHb4j94C.net] >>863 xfsは昔からメモリ大好きっ子やけんな 884 名前：login:Penguin mailto:sage [2020/01/14(火) 17:26:23.56 ID:t+wcCOjj.net] スナップショットと圧縮が欲しいんだよー 885 名前：login:Penguin mailto:sage [2020/01/14(火) 17:29:22.78 ID:J8UtrzpS.net] >>862 ライセンスがGPLにならないかぎりは同じこと 886 名前：login:Penguin mailto:sage [2020/01/14(火) 17:38:02.82 ID:3ySwGeCo.net] >>862 誰にアホといってるのか分からんけど OpenZFSだろうがライセンスが変わらない限り一緒だといってるだろ 887 名前：login:Penguin mailto:sage [2020/01/21(火) 20:00:20.75 ID:ugNUCPRp.net] たとえGPLになって取り込まれたとしてもZFSに使いどころがないわ ガリガリ読み書きする部分にはメタデータアクセス遅すぎて使えん ガチ性能と可用性が必要なところはハードウェアRAID組む ニアライン用なら機能いらんからもっと安定してるやつ使う 888 名前：915 [2020/01/21(火) 22:45:23 ID:iC7ldWE7.net] LinuxはZFS並みのファイルシステムができるまでまだまだかかりそうね 889 名前：login:Penguin mailto:sage [2020/01/22(水) 00:52:27.43 ID:RmlHZiYt.net] 超サーバ用途には使わんし、かと言って一般的なPCじゃ必要メモリが大き過ぎて使えんし、 運用のハードルが高い割には使いどころが難しいのよね 890 名前：915 [2020/01/22(水) 00:59:56.25 ID:97fPzXLY.net] 使ったことないんじゃない？メモリ2GBでも快適だよ 今時のマシンなら16-32G積んでるしちゃんと使ってみてから評価すればいい 891 名前：login:Penguin mailto:sage [2020/01/22(水) 01:20:43 ID:sJWFkN+Y.net] 2GBで快適に動くような使い方してるならZFSでなくてもいいのではって思うけどな 892 名前：login:Penguin mailto:sage [2020/01/22(水) 01:58:33 ID:wZeNZHAR.net] メタデータ触ると遅いしメモリ食いなのは確かだけどlvmでスナップショットはかなり無理矢理感あるし透過圧縮ないファイルシステムも多い 893 名前：login:Penguin [2020/01/22(水) 07:16:30 ID:97fPzXLY.net] snapshot、promote、細かいACL、send|reciveに透過圧縮など非RAIDでも恩恵はでかいよな 894 名前：login:Penguin mailto:sage [2020/01/22(水) 11:38:59 ID:sjf0Rz/o.net] >>874 だね 俺はデスクトップユーザーだからそれら機能の簡易版でもあればbtrでもxfsでも構わないのだが 現時点では選択肢がzfsしかない 895 名前：login:Penguin mailto:sage [2020/01/22(水) 16:00:37 ID:vGgGBPjr.net] うんうんZFSは素晴らしいみたいだからFreeBSDでつかっててね 896 名前：login:Penguin mailto:sage [2020/01/23(木) 01:55:54.94 ID:7qSP8O0Q.net] FreeBSDもOpenZFSになるのでLinuxで使いますね 897 名前：login:Penguin mailto:sage [2020/01/23(木) 14:10:17.07 ID:ZAgXInmL.net] 有料でも良ければGPFSが最強なんだけどねえ 898 名前：login:Penguin mailto:sage [2020/01/23(木) 14:14:08.14 ID:ZAgXInmL.net] 今時は1デバイスで100TB、トータル1PBぐらいのシステムを持っている個人も普通にあるよね そういうとこで実運用に耐えるファイルシステム、って観点だとこれが以外と難しい 899 名前：login:Penguin mailto:sage [2020/01/23(木) 23:53:42.57 ID:6UDxr1tc.net] NTFS 900 名前：login:Penguin mailto:sage [2020/01/24(金) 18:35:07 ID:mXgeSarq.net] 巨大パーティションは下手すればエラーチェックもままならなくなるから 動画用でもない限り1T程度で切ることにしている 901 名前：login:Penguin mailto:sage [2020/01/25(土) 04:40:01 ID:hgworRLd.net] 重複排除の実装によくハッシュが使われるがハッシュの計算と保存のコストが馬鹿にならない 例えばKSMは最初ハッシュで実装してたのに結局ツリーを作った上で直接比較する方法に変更した 902 名前：login:Penguin mailto:sage [2020/01/25(土) 06:07:36 ID:v2Q4em8k.net] NTFSって理論上は64ビットの番地だけど 現在の実装は32ビットなんだろ (2^32-1)*2048KiBの8PiBくらいしか管理できない 903 名前：login:Penguin mailto:sage [2020/01/25(土) 06:30:47 ID:RUYaEyw5.net] そんな容量が要求される様な用途だとReFSが使われるんじゃ？ 904 名前：login:Penguin [2020/01/25(土) 07:53:48 ID:TTbJFqbp.net] ファイルシステム上には64ビットで書かれてるよ、 読み書きするときに上位の32ビットを0に固定してるだけ。 たしか、4KBクラスタまでの時代で論理限界16EBとか言ってた。 今は2MBだから増えてる？ 905 名前：login:Penguin mailto:sage [2020/01/25(土) 10:14:39 ID:9dDjJPoq.net] 個人だとだいたい100TBもあれば足りるからな 906 名前：login:Penguin mailto:sage [2020/01/25(土) 13:29:15 ID:FQlZOJvl.net] まあストレージやメモリのこれだけあれば十分なんて数字は数年で倍になるし10年で2桁変わる 907 名前：login:Penguin mailto:sage [2020/01/25(土) 15:54:16.50 ID: ] [ここ壊れてます] 908 名前：Pn3gpz30.net mailto: 世の中にPBクラスの規模で動いてるファイルシステムって実際にあるのか…？ 普通はそんな肥大化する前に設計の見直ししないか [] [ここ壊れてます] 909 名前：login:Penguin mailto:sage [2020/01/25(土) 16:15:25.18 ID:XUbXy/+j.net] 10年前でメモリ80MBとかPentium IIを10年使っていらしたんですか？ 910 名前：login:Penguin mailto:sage [2020/01/25(土) 17:43:01 ID:FQlZOJvl.net] 10年前だとメイン機のRAMは8GB、サブ機で2GBだったかな 今はメインで64GBサブ機8GBだから、まあ10倍にはなっていないか ストレージは1TB→20TB さらに10年前、2000年時点だとRAM256MBストレージ4GB 1990年頃だとRAM4MBストレージ80MBくらいか 10年で10倍、25年で1000倍目安くらいだな 911 名前：login:Penguin mailto:sage [2020/01/25(土) 20:54:00 ID:9YpFJvCS.net] >>888 そこまでいくと実質的に青天井だからS3などのクラウドを選択するだろう もう自前でストレージを持つ時代じゃない 912 名前：login:Penguin mailto:sage [2020/01/26(日) 10:26:40 ID:AHO9IC4m.net] >>888 資源系を筆頭にいくつかの業界や世界規模の大手企業ではPBなんて珍しくないよ そういうところでは単一ネームスペースでアクセスできるところに意味があるからそうなる >>891 むしろ逆、そこまで大きくなるとクラウドストレージはI/Oが高すぎて話にならなくなる 913 名前：login:Penguin mailto:sage [2020/01/26(日) 11:00:01 ID:OzJ+Z2xw.net] >>892 事業の性質によるだろう 多くのBtoCビジネスでは、必要なストレージ容量やIOはユーザー数に比例するから問題ない それで赤字ならそもそも商売として成立しない 914 名前：login:Penguin mailto:sage [2020/01/26(日) 11:21:19 ID:kSy9PDTE.net] >>892 PBクラスのシステムのファイルシステムは実際は Lustre や GPFS などの分散ファイルシステムで、その中身は ext4 などのファイル システムを並列に並べたものだから、単一のファイルシステムとしては PB 超えれてない ここでの議論は単一のファイルシステムに限定したほうがいいと 思うんだがどうだろう 915 名前：login:Penguin mailto:sage [2020/01/26(日) 11:44:24 ID:kSy9PDTE.net] >>893 > 事業の性質によるだろう 具体的にはスパコン(HPC)と映像系だけかな CIFS/NFS(autofs)/オブジェクトストレージあたりは複数のストレージを 束ねて１つのネームスペースに見せかけられるからそこそこ安定してて こなれた価格のストレージを並べるから PB のファイルシステムは不要 テキトーなこと言うけど、PB クラスのファイルシステムが必要になる のは１ファイルがTB超えるとか１バッチあたりの中間ファイルがTB超える とかぐらいからじゃないかな 916 名前：login:Penguin mailto:sage [2020/01/26(日) 11:53:39 ID:AHO9IC4m.net] >>894 LustreもGPFSもPanFSも中身は独自でext4等の下層fsを持たないよ、何か別のものと勘違いしてない？ 917 名前：login:Penguin mailto:sage [2020/01/26(日) 12:22:35 ID:AHO9IC4m.net] >>895 HPCはそうだけど映像系は実は必ずしも該当しない、ガチなとこは階層化ファイルシステム使うから 日本では技術力がないのか金があるのか知らないけど単一でゴリ押す映像系の話きくけどね PB越え単一ファイルシステムが必要なのは、一ファイルの大きさが問題じゃなくて アクセスする可能性があるファイルが大量にあって、かつテープでは遅すぎる場合 だから金融系・資源系・生命系みたいにデータが大量で時間が金に直結するところで良く使われる 918 名前：login:Penguin mailto:sage [2020/01/26(日) 12:26:01 ID:AHO9IC4m.net] >>896 おっとすまない、Lustreは下層がext4だった、ごめん勘違いしてたのは俺だった でもGPFSやPanFSが下層を持たないのは本当 まあ現状エンタープライズのファイルシステムの最前線はGPFS vs PanFSみたいな雰囲気はある 919 名前：login:Penguin mailto:sage [2020/01/26(日) 13:52:42.43 ID:kSy9PDTE.net] >>897 それは失礼。 ちなみに Lustre は ext4 と他に ZFS の実装もあるそうな。 > アクセスする可能性があるファイルが大量にあって、かつテープでは遅すぎる場合 使ってる業種と使い方に異論はないんだけど単一ファイルシステムを使う理由が 920 名前： それかというとちょっとなんか釈然としないなぁ 結局入力ファイルや中間ファイルを複数のファイルサーバに負荷分散するように組むのが 面倒くさいから使ってるってだけって印象だわ 面倒くさがらなった結果の一つが Hadoop/HDFS だと思ってます、ハイ [] [ここ壊れてます] 921 名前：login:Penguin mailto:sage [2020/01/26(日) 14:09:39.49 ID:aLHVJ+JL.net] 1ファイル1'PBのエロ動画とかどうやって保存してるんだろう 922 名前：login:Penguin mailto:sage [2020/01/27(月) 01:02:02 ID:SjNVe4Yy.net] >>900 Display Portが2.7Gb/s最大なんで少なく見積もっても823時間分あるんだが どういう人向けなのか説明Plz 923 名前：login:Penguin mailto:sage [2020/01/27(月) 12:29:14 ID:0w7PQcpt.net] >>901 DPは最大25Gbps出るしDSC使えばもっといける そもそもファイルサイズとモニターへの転送速度は関係ないでしょ？ 実際に販売する段階になったらエンコードして小さくするとしても編集前のマスターデータをそのまま保存しておく場合なら再生するモニター以上の解像度、フレームレート、色域が記録されていても保存に必要な容量が用意できれば全く問題ない 924 名前：login:Penguin mailto:sage [2020/01/27(月) 14:05:19 ID:vU+1ytkI.net] >>886 得ろ動画溜め込むのに少ない 925 名前：login:Penguin mailto:sage [2020/01/27(月) 18:07:52 ID:udH3RDqL.net] 8K24bitの24時間ハメ撮りAVだと無圧縮で計算上約8TBだな 926 名前：login:Penguin mailto:sage [2020/02/02(日) 12:09:33 ID:Hg2ze+cG.net] >>836,841,843 この流れ好き 927 名前：login:Penguin mailto:sage [2020/02/02(日) 15:16:02 ID:GHB58PtI.net] Linuxのファイルシステム「Btrfs」を5年間使用した記録 https://gigazine.net/news/20200202-btrfs-five-years/ 928 名前：login:Penguin mailto:sage [2020/02/02(日) 15:26:44.86 ID:U7jFn1mT.net] RAIDはmd使った方が無難に思える 929 名前：login:Penguin mailto:sage [2020/02/02(日) 17:40:25 ID:HE+GXCHP.net] RAID10はmd raidよりbtrfsのほうが安定してる RAID 1ならmdのほうがいいけど 930 名前：login:Penguin mailto:sage [2020/02/02(日) 23:14:15.47 ID:cDfryaOr.net] >>907,908 md の上に何乗せてるん? ext4? xfs? 931 名前：login:Penguin mailto:sage [2020/02/02(日) 23:40:34.80 ID:iaNiREzj.net] スーパー32Xに決まっておる 932 名前：login:Penguin mailto:sage [2020/02/03(月) 05:01:47.23 ID:9XLDxuL9.net] >>909 RAID1なら何でも乗っける ESPの多重化もしたいし それ以外ならファイルシステムのネイティブ機能の方がいいと思う 933 名前：login:Penguin [2020/02/03(月) 11:50:13 ID:1h1DB/oS.net] >>910 その発想はなかった。俺は評価する。 934 名前：login:Penguin mailto:sage [2020/02/03(月) 23:45:36 ID:OVT3+6Po.net] セガファンは面白いやつ多いのにセガはあれだな 935 名前：login:Penguin mailto:sage [2020/02/11(火) 01:11:17 ID:gTMJQSdw.net] 2020年2月10日　Linus，次期カーネル「Linux 5.6」の最初のリリース候補版を公開 https://gihyo.jp/admin/clip/01/linux_dt/202002/10 ここで触れられているZonefsは開発したWDによるとSMR HDDやSSDに適したファイルシステムらしい What is Zoned Storage and the Zoned Storage Initiative? https://blog.westerndigital.com/what-is-zoned-storage-initiative/ 936 名前：login:Penguin mailto:sage [2020/02/11(火) 10:00:56.86 ID:JmaZPai6.net] ZonefsはPOSIXに準拠していないので既存のファイルシステムを置き換えるものじゃないけどな 937 名前：login:Penguin mailto:sage [2020/02/11(火) 22:35:10 ID:F8Fgy0xz.net] f2fsじゃあかんのかね 938 名前：login:Penguin mailto:sage [2020/02/15(土) 20:40:39 ID:ko2/1+4j.net] F2FSは最大FSサイズが16TBなのがSMR HDDには今後ネックになる 939 名前：login:Penguin mailto:sage [2020/02/15(土) 20:51:22 ID:fQlV7izm.net] FlashFriendly File Systemだからな HDDとか知らんよ 940 名前：login:Penguin mailto:sage [2020/02/15(土) 21:41:41 ID:7ROaKxuF.net] HDDも大容量キャッシュ付き瓦だとあんまりfs側でいじらない方がいいような気がする 941 名前：login:Penguin mailto:sage [2020/02/15(土) 23:17:25 ID:Aj0iDWta.net] WinFS でやりたかったDB の機能も付いたファイルシステムってあります？ 942 名前：login:Penguin [2020/02/16(日) 09:36:26.82 ID:tFc9/bu5.net] >>920 じゃあそれDBでよくね？ってなってどこも開発やめた 943 名前：login:Penguin mailto:sage [2020/02/16(日) 11:11:50 ID:Cl0cNLYW.net] 最近はDBのためにダイレクトIOのパフォーマンス上げる改善が多い 944 名前：login:Penguin mailto:sage [2020/02/19(水) 08:46:06 ID:+vuP13XZ.net] Googleが新しいファイルシステム作ってる Android用だからLinuxのメインラインに取り込まれるのか分からんけど ダウンロード中の不完全なファイルでも実行できるらしい https://lore.kernel.org/linux-fsdevel/20190502040331.81196-1-ezemtsov@google.com/T/#Z2e.:..:20190502040331.81196-2-ezemtsov::40google.com:0Documentation:filesystems:incrementalfs.rst 945 名前：login:Penguin [2020/03/20(金) 16:46:34 ID:oDz6Qr3S.net] btrfsはUUIDの変更が鬼門だな メタデータとUUIDが紐付いているらしくてデータを読めなくなる 946 名前：login:Penguin mailto:sage [2020/03/29(日) 17:30:13 ID:ZSfzV/DF.net] btrfs使わなええ 947 名前：login:Penguin mailto:sage [2020/03/29(日) 19:29:33.05 ID:A9QWVCnu.net] カーネル5.4で追加されたネイティブexFATは日付の処理にバグ有り Windows7とfuse-exFATで作成したファイルを5.4のネイティブexFATドライバで見ると、 更新日付がちょうど 1ヶ月＋9時間 遅く表示される アクセス日付は常に 1979/12/31 9:00:00 と表示される 5.4のネイティブexFATドライバで作成したファイルをWindows7で見ると、 更新日付とアクセス日付がちょうど 9時間 早く表示される また、5.4のネイティブexFATドライバでマウントしなおすと上記の症状が起こる つまり、 ・読み書き共にタイムロケールが正しく反映されない (日本設定では9時間ずれる) ・読み込みのみ暦月がずれて読み込まれる (書き込み直後はキャッシュされるので症状が見えない) 948 名前：login:Penguin mailto:sage [2020/03/29(日) 19:38:05.23 ID:A9QWVCnu.net] あと、5.4のネイティブexFATは日本語処理は問題なかった 日付のずれは地味に困るから一旦fuse-exFATに戻す 949 名前：926 mailto:sage [2020/03/29(日) 20:21:00.98 ID:A9QWVCnu.net] アクセス日付を更新するだけでも更新日付が一ヶ月後ろにずれることも分かった サムネイル表示機能を有効にしてたから試しに開いたSDカードの日付情報も派手にやられた 950 名前：login:Penguin mailto:sage [2020/04/08(水) 08:54:17.25 ID:ctV6ZAP7.net] Windows10 5000個以上のPDFをAドライブからBドライブに移動させたら、ファイル数はそのまんまなのに総サイズが250MBも減少した なんで？ 951 名前：login:Penguin mailto:sage [2020/04/08(水) 09:48:50 ID:h2p5sSpc.net] 圧縮ディスクだった 952 名前：login:Penguin mailto:sage [2020/04/08(水) 16:48:38 ID:nNfYJP3N.net] Aドライブってフロッピー？ 953 名前：login:Penguin mailto:sage [2020/04/08(水) 18:26:58 ID:9nhczXSy.net] A側はexfat でアロケーションユニットサイズが 1MB (平均512KB/ファイル余計に消費)で、 B側はNTFSで同サイズが4KBで(同平均2KB/ファイル)だったって感じか？ (意図的にやらない限り 1MB なんて値にはならないはず) それ以外の可能性としてはA側には隠しファイルがあってサイズは隠しファイル込みだった 954 名前：login:Penguin mailto:sage [2020/04/09(Thu) 01:04:11 ID:NYHCWS9d.net] exFatをWindowsで初期設定でフォーマットするとクラスタサイズが128KiBになる 1ファイルあたり平均64KiB余計に消費するので、64KiB×5000個=約312MiB >>929 は順当な結果 955 名前：login:Penguin mailto:sage [2020/04/09(木) 01:09:19.65 ID:NYHCWS9d.net] 1件1ファイルで保存するタイプのメールデータをexFatに保存すると大変なことになる (1件ごとにほぼ128KiB無駄になる) あとNTFSは約700バイト未満のファイルはメタデータに直接格納しちゃうから細かい設定ファイルやらメールデータの収納効率が非常に良い 956 名前：login:Penguin mailto:sage [2020/04/09(木) 08:50:59.38 ID:tHpWeU4o.net] Ubuntu 20.04β試していて初めて知ったんだけどlinux-5.3あたり（？）からNILFS2へ書き込もうとするとクラッシュする（といってもNIFS2を扱っているカーネルのサブシステムだけ）というトラップ（バグ）が仕掛けられてたのね。 /homeをNILFS2で運用していて18.04でバックポートカーネルを入れるとログインできなくなるんで何でだろうと思っていた。 当分18.04+5.0系カーネルで保持かなあ？ 957 名前：login:Penguin mailto:sage [2020/04/09(木) 10:29:58.44 ID:wTSYL5PJ.net] NILFS2って保守されてるのか？ いつか消されるんじゃないかと思っているのだけど 958 名前：login:Penguin mailto:sage [2020/04/09(木) 12:30:14.75 ID:7wAsdCRN.net] 4TB の外付けHDDを exFAT でアロケーションユニットサイズを NTFS と同じ 4kB で使う場合、 大きなデメリットってある？ それとも、アロケーションユニットサイズを変更するくらいなら、素直に NTFS で使ったほうがいい？ Linux でもネイティブ対応しそうな exFAT を考慮したいけど、 今までの外付けHDDが全部 NTFS なので、 ちょっと躊躇してしまう。 959 名前：login:Penguin mailto:sage [2020/04/09(木) 12:47:50.43 ID:f9lVta1Z.net] 数十〜数百GB程度ならexFATでも何でも構わんけど テラバイトサイズのボリュームはジャーナリングファイルシステムでないと怖すぎないか 960 名前：937 mailto:sage [2020/04/09(Thu) 13:13:20 ID:7wAsdCRN.net] >>938 確かに、ジャーナルのない点は少し気になるねぇ。 サルベージするときの復元率の違いも気になる。 FAT32 のときは、復元できても断片になることもあった。 もっとも、NTFS の場合、復元できなければ断片すら拾えないという感じだから、 優劣という感じじゃないしなぁ。 961 名前：login:Penguin mailto:sage [2020/04/09(Thu) 17:40:41 ID:vpGccY6F.net] >>936 ジャップ製モジュールはこれが怖い 962 名前：login:Penguin mailto:sage [2020/04/09(木) 18:04:57.35 ID:9fEj1NQk.net] チョン？ 963 名前：login:Penguin mailto:sage [2020/04/09(Thu) 22:32:27 ID:4pQr46JD.net] 手伝お？ 964 名前：login:Penguin mailto:sage [2020/04/10(金) 16:47:03 ID:mZNoA7ar.net] >>937 そのFSを読めるOSが壊れたときなんて想定は別の同じOSを用意すればいいでしかないぞ 965 名前：login:Penguin mailto:sage [2020/04/11(土) 22:41:34.77 ID:XDts1cPd.net] >>937 Windows95/98と同じ程度の信頼性はあるはず 966 名前：login:Penguin mailto:sage [2020/04/24(金) 00:01:20.91 ID:OEQFvFGC.net] CoWはその性質上、空き領域をどんどん上書きするからSSDの速度低下が起きやすいようだ 定期的にトリムした方が良い、例えば毎朝と毎夕 マウントオプションでdiscardオプションを付けても良いがLinuxでは遅くなることが多い fstrim -v / 967 名前：login:Penguin mailto:sage [2020/05/03(日) 18:58:52 ID:njMyCBBl.net] >>935 NILFS2開発者のMLにとりあえずの回避策が流れてた。 起動からマウントまでの間にそのFSのデバイスへの書き込みがあればいいので、 マウントの前に dd if=/dev/なんとか of=/dev/なんとか count=1 みたいにダミーの書き込みを発生さればいいのだそう。 例えば、fstabから削除かnoautoにしてrc.localとかでdd, mountという流れとか。 968 名前：login:Penguin mailto:sage [2020/05/05(火) 05:14:55 ID:AUhfSTN7.net] >>946 ありがとう。 たぶんこれかな↓ https://marc.info/?l=linux-kernel&m=158825033005228&w=2 自分の場合も/homeがnilfs2なんでどうしたものかな？？？というところですわ。 サブ機のほうはbtrfsに替えてUbuntu20.04に上げたけどメイン機の方はどうするかなあ？ 969 名前：login:Penguin mailto:sage [2020/05/26(火) 11:43:00 ID:1H93WhIH.net] Btrfsとかzfsって一台のhddだけで運用するのはたいしてメリットないの？ 970 名前：login:Penguin mailto:sage [2020/05/26(火) 12:46:01.35 ID:+ELcO//y.net] あるだろ 圧縮とかスナックショトとか 盛りだくさんだわ >>948 971 名前：login:Penguin [2020/05/26(火) 17:16:39.31 ID:o4/8jJLs.net] デュアルブートしてたらNTFSのMFTがミラー毎壊れたんですけどなんとかMFTを修復できませんかね？ EaseUS Data Recovery Wizardを使うとディレクトリやファイル名がそのままでデータ救出できるんですけど という事はMFTも修復できるはずですよね？ 972 名前：login:Penguin mailto:sage [2020/05/26(火) 22:43:28.04 ID:6YtvPgat.net] Btrfsの将来は 973 名前：login:Penguin mailto:sage [2020/05/27(水) 08:05:49.48 ID:uLCM26Hl.net] 君の頑張り次第 974 名前：login:Penguin mailto:sage [2020/05/27(水) 12:56:13.77 ID:XCSTzVNb.net] まだ始まったばかりだ！ Oracke先生の次回作にご期待ください 975 名前：login:Penguin mailto:sage [2020/05/27(水) 20:57:11.66 ID:acGll7c1.net] xfsのCoWを有効化したまま1年以上使ったけど時々フリーズするなやっぱり あとメモリ使用量がちょっと大きすぎるね。 まだまだext4安定の時代は続きそうだ 976 名前：login:Penguin [2020/05/27(水) 21:38:26 ID:0U4TUkPK.net] それならBtrfsの方が安定してるな。できたばかりでこれからなんだろうけど 977 名前：login:Penguin mailto:sage [2020/05/27(水) 21:42:16 ID:wyekam7t.net] 2017年8月3日　Red Hat，RHEL 7.4リリースで"脱Btrfs"を明らかに https://gihyo.jp/admin/clip/01/linux_dt/201708/03 978 名前：login:Penguin mailto:sage [2020/05/27(水) 22:26:06 ID:sT3KZO5+.net] ext5開発開始まだー 979 名前：login:Penguin mailto:sage [2020/05/28(木) 05:14:42.87 ID:6u6TfIVC.net] うーむbtrfsで組んでる領域どうしよう compress標準サポートが貴重なんだけどな。 乗り換え先おすすめ教えてください。 980 名前：login:Penguin mailto:sage [2020/05/28(木) 09:40:13.16 ID:lg5ytPVY.net] なんでBtrfsなんか選択したんや… 981 名前：login:Penguin mailto:sage [2020/05/28(木) 09:46:17.62 ID:bvSCyOR7.net] Synologyが推してるBtrfs Googleが使ってるBtrfs 982 名前：login:Penguin mailto:sage [2020/05/28(木) 09:54:45.61 ID:EreFZKCr.net] btrfsはヤヴァいと何度言えば（ｒｙ 983 名前：login:Penguin mailto:sage [2020/05/28(木) 10:35:33.75 ID:kpVDAvmO.net] >>958 zfs 984 名前：login:Penguin [2020/05/28(木) 11:26:26.96 ID:ztRPopnD.net] なんだかんだでLinuxで高機能モダンファイルシステム使おうと思うととりあえず何も考えずに使えるのがBtrfsなんだよね。 こまめにバックアップ取りながら人柱のつもりで突っ込んだのに、意外と問題出ないし…… 985 名前：login:Penguin mailto:sage [2020/05/28(Thu) 12:31:52 ID:A6PA4iBR.net] Google遣ってるならBtrfsの未来は明るいと思ってしまう不思議 986 名前：login:Penguin mailto:sage [2020/05/28(Thu) 12:36:38 ID:rCbDOGHF.net] >>963 俺も数年使ってるけど何も問題起きてないわ ぼんやり使ってるだけだから気付いてないだけの可能性もあるけど 987 名前：login:Penguin mailto:sage [2020/05/28(木) 14:51:58.35 ID:kpVDAvmO.net] ぐぐたすヲもう忘れたのか? 988 名前：login:Penguin mailto:sage [2020/05/28(Thu) 16:25:14 ID:qJC8ExER.net] IT巨人で信頼できるのはMSだけだわ Window以外はブッチギリで有能 989 名前：login:Penguin mailto:sage [2020/05/28(木) 22:47:31.09 ID:35G/ZT7g.net] Vista以降のWindowsもNTFSも優秀だよ 今時こんな堅牢なOSちょっと無いよ 990 名前：login:Penguin mailto:sage [2020/05/29(金) 01:50:04.11 ID:/sA5f8CX.net] https://wiki.archlinux.jp/index.php/Btrfs 本当に隅から隅まで問題が起きていないのか、問題が起きた時にfsckの類が動くのか、etc よくbtrfsなんぞ使えるな・・・ 991 名前：login:Penguin mailto:sage [2020/05/29(金) 05:52:56.10 ID:BCgb8iXY.net] そんなこと言ったらext4もxfsも使えんぞ 992 名前：login:Penguin mailto:sage [2020/05/30(土) 22:19:12.00 ID:rxDacgPJ.net] ext4もxfsもBtrfs程の問題は抱えてないだろうて Btrfsは解決の目途が立ってない既知の問題点が多すぎる 993 名前：login:Penguin mailto:sage [2020/05/31(日) 00:36:23.90 ID:O/t7Lowh.net] 具体的に何が既知の問題なんだ？ 994 名前：login:Penguin mailto:sage [2020/05/31(日) 00:46:30.60 ID:4i1+bTSg.net] 何故>>969すら見ないのか・・・ 995 名前：login:Penguin mailto:sage [2020/05/31(日) 00:56:48.74 ID:O/t7Lowh.net] >>973 そこ見たら実験的な機能が多いのは分かるけど 普通に使って問題が起きるようなことは書いていないが 996 名前：login:Penguin mailto:sage [2020/05/31(日) 01:04:37 ID:4i1+bTSg.net] マウントオプションを貪らずに一切エラーが起きなきゃな 起きた時が問題だからbtrfs checkで全部を直せないとかマウントオプション云々だとか散々警告されてんだろうに RedHatが匙を投げたって時点でお察し 997 名前：login:Penguin mailto:sage [2020/06/01(月) 15:44:25 ID:RZhBr4iC.net] Googleってbtrfs使ってんの？ 998 名前：login:Penguin mailto:sage [2020/06/01(月) 18:14:25 ID:7+mv9XDP.net] redhat引き合いに出してbtrfsオワコン唱えるやつ多いけどbtrfs開発者がredhatやめたってだけ んでまともに触れる社員いないfsはサポート無理ってのとチーム内にXFS開発者ならいっぱいいるからだって元社員がいってたぞ googleは知らんが大御所で使ってる、貢献してるのはfacebookと富士通とかだな 999 名前：login:Penguin mailto:sage [2020/06/01(月) 18:38:32.80 ID:uT4k0Fz5.net] GoogleはChromeOS内のLinux環境で使ってるだけ 1000 名前：login:Penguin [2020/06/01(月) 18:40:48.93 ID:2PrO6u28.net] >>978 それってけっこうデカくね？ 1001 名前：login:Penguin mailto:sage [2020/06/01(月) 19:50:25 ID:OAVwE/lA.net] 遭遇してもクリーンインスコすりゃいいって程度のシステムならbtrfsでも問題にならんのだろうけどな redhatの件が無くてもbtrfsは昔からモグラ叩きの繰り返しだし、 未だにRAIDやファイルチェック周辺すら完全にできてないし、どこに地雷があるかわからん 一部のfsのエラーを修復できませんって、そのエラーに遭遇した時にどうすんだよと 1002 名前：login:Penguin mailto:sage [2020/06/01(月) 21:36:44.83 ID:9JaREmBh.net] クライアント(スナップショット/RAIDなし)で使えててもファイルサーバで 安心して使えるかというとそうじゃないからなあ 1003 名前：login:Penguin [2020/06/01(月) 21:56:25.70 ID:2PrO6u28.net] スナップショットもRAIDも使ったし、オンラインでストレージ構成変えまくったけど問題出なくて（しかも構成変更が柔軟過ぎて）拍子抜けしたんだよなぁ。 ファイルサーバ用途でこそ輝くよこれ（バックアップはこまめにね） 1004 名前：login:Penguin mailto:sage [2020/06/02(火) 11:47:13 ID:6oGgMjKL.net] ファイルサーバーっていう言葉で考えているものが全然違う二人で会話してる感じがする 1005 名前：login:Penguin mailto:sage [2020/06/02(火) 12:27:10 ID:sg8jbCA1.net] Terastation クラスの NAS(Btrfs 利用だと Synology の製品)/エントリークラスか 会社のファイルサーバ(Isilon や NetApp やその対抗製品クラス)/ エンタープライズクラスかってことかな クラウド化やセキュリティ強化が進むにつれてエントリークラスの需要は 落ちる/落ちてるんじゃないかな 1006 名前：login:Penguin mailto:sage [2020/06/04(Thu) 01:47:45 ID:xNtEdgfL.net] ノートPCをCoW有効にしたXfsにしてるけど メモリ使いすぎて本気で後悔してる。 省メモリなFSだとext4が良いのかな？ どこかにFSごとのメモリ使用量の比較データとかあたりしない？ 1007 名前：login:Penguin mailto:sage [2020/06/04(木) 07:54:18.56 ID:gBysGF/t.net] そんなにメモリ食うの？ 1008 名前：login:Penguin mailto:sage [2020/06/04(木) 09:23:07.24 ID:Bs6FKlOi.net] 信じられないくらい食う プロセスの合計メモリ使用量は大したことないのに 簡単にスワップ突入するよ。 1009 名前：login:Penguin mailto:sage [2020/06/04(木) 09:40:20.48 ID:DMZuMarq.net] CoWとジャーナリングなら比べるのも愚かというレベル 1010 名前：login:Penguin mailto:sage [2020/06/04(木) 09:51:37.00 ID:Bs6FKlOi.net] というかカーネル4.18からDefaultでreflink有効になったのかよ・・・ https://blogs.oracle.com/linux/xfs-data-block-sharing-reflink もはやxfsは別物じゃん 1011 名前：login:Penguin mailto:sage [2020/06/04(木) 11:31:13.32 ID:DQZXMKEK.net] >>985 使ってないけどメモリ制限できるんでは？ 1012 名前：login:Penguin mailto:sage [2020/06/04(木) 12:01:52.27 ID:gBysGF/t.net] dedup使ってるとかでもなしにそんなメモリ食うのか。 Btrfsがメモリ食わないからCoW自体は対してメモリ食わないものだと思ってた 1013 名前：login:Penguin mailto:sage [2020/06/04(木) 15:07:25.35 ID:x4v3XzWR.net] CoWを無効にしたXFS使って比較しろよ 1014 名前：login:Penguin mailto:sage [2020/06/04(木) 17:36:35.28 ID:7r9XEAZX.net] >>946 これはGood News? >> Wondering if it can be reproduced on mainline with c3aab9a0bd91 >> ("mm/filemap.c: dont initiate writeback if mapping has no dirty pages") >> reverted? > > For mainline kernels with that commit reverted, this oops actually > doesn't occur. https://marc.info/?l=linux-nilfs&m=159101200114980&w=2 1015 名前：login:Penguin mailto:sage [2020/06/05(金) 14:07:47.91 ID:jA3wZpDc.net] >>993 で引用された部分は 「ホントにc3aab9a0bd91なしだと起きないん？」「そだよ」 と言ってるだけだけど、 落ちるまでの流れはわかったっぽいしまだ不安定ながらパッチもできた、 というのが現状かな。 1016 名前：login:Penguin mailto:sage [2020/06/08(月) 15:13:54.40 ID:PPU2wP+g.net] >>994 で、もう正式に入れてちょうだいってパッチも出たんだけど、 実質1行追加するだけだった。 こういうパッチ好き。 実際どうかは知らないけど、いかにも問題を追求し切ったって感じがして。 1017 名前：login:Penguin mailto:sage [2020/06/13(土) 14:52:24.01 ID:Qx8FdC0t.net] 次スレ https://mao.5ch.net/test/read.cgi/linux/1592027147/l50 1018 名前：996 mailto:sage [2020/06/13(土) 14:53:58.96 ID:Qx8FdC0t.net] なぜか、NGに引っかかったので、関連スレの途中までしか書けていません。 あと、リンク切れの場合は、ご容赦ください。 1019 名前：login:Penguin mailto:sage [2020/06/13(土) 14:54:55.61 ID:Qx8FdC0t.net] 次スレ ファイルシステム総合スレ その18 https://mao.5ch.net/test/read.cgi/linux/1592027147/l50 1020 名前：login:Penguin mailto:sage [2020/06/13(土) 14:55:57.84 ID:Qx8FdC0t.net] 間違えた。 ファイルシステム総合スレ 「その19」 でした。 https://mao.5ch.net/test/read.cgi/linux/1592027147/l50 1021 名前：login:Penguin mailto:sage [2020/06/13(土) 14:56:51.52 ID:Qx8FdC0t.net] ファイルシステム総合スレ その19 https://mao.5ch.net/test/read.cgi/linux/1592027147/l50 1022 名前：1001 [Over 1000 Thread.net] このスレッドは１０００を超えました。 新しいスレッドを立ててください。 life time: 897日 15時間 6分 0秒 1023 名前：過去ログ ★ [[過去ログ]] ■ このスレッドは過去ログ倉庫に格納されています

---

---

[ 新着レスの取得/表示 (agate) ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef