【gzip】圧縮対決【bzip2】

1 名前：login:Penguin [2008/06/28(土) 12:02:14 ID:yqbrlAKF] さあ語れ！ 17 名前：login:Penguin mailto:sage [2008/07/01(火) 15:12:55 ID:SCsR7P7s] >>16 ヒント: シャノンの理論 18 名前：login:Penguin [2008/07/01(火) 16:02:48 ID:sogkEXkC] >>17 シャノンの定理は対象の情報源以外から情報を得られないから 成り立っているように見えるんだよ。 19 名前：login:Penguin mailto:sage [2008/07/01(火) 20:24:40 ID:/jkPTzMU] 圧縮が遅いのは放っておけばいいので問題ないんだが、展開が遅い奴は嫌だな。 20 名前：login:Penguin mailto:sage [2008/07/01(火) 21:06:14 ID:sCmwJD84] >>16 解凍は bzip2 より lzma のほうが速いよ。 圧縮時間も bzip2 並でよければ変わらんし。 ・ Average compression ratio of LZMA is about 30% better than that of gzip, and 15% better than that of bzip2. ・ Decompression speed is only little slower than that of gzip, being two to five times faster than bzip2. ・ In fast mode, compresses faster than bzip2 with a comparable compression ratio. 21 名前：login:Penguin mailto:sage [2008/07/01(火) 23:25:16 ID:21AKert0] >>16 釣りか？ それなら圧縮してる時間をダウンロードにあてれば解決するだろ。 22 名前：login:Penguin mailto:sage [2008/07/01(火) 23:44:12 ID:5YakOucX] >>9の書庫ファイルシステムについてfuse-zipとの性能比較があった。 PerformancePage - VFS performance comparison code.google.com/p/fuse-zip/wiki/PerformancePage 他の圧縮もlibzip使って比較してるのか分らないけど、 fuse-zipとavfs-fuseがunpackfsより軽いみたいだ。 それぞれ CompressFileSystems（圧縮ファイルシステム）は、1ファイルごとにgzなど圧縮ファイルと対応させて管理されて、 ArchveFileSystems（書庫ファイルシステム）zip書庫などをマウントポイントからディレクトリとして使える物みたい 23 名前：login:Penguin mailto:sage [2008/07/02(水) 00:13:11 ID:8emwfkfD] FuseCompress - compressed filesystem　www.miio.net/fusecompress 性能測定したらこんな感じになった ■ファイルサイズ（MyISAMのデータファイル） file 1,127,594,052 (lzo) /tmp/lzo/file 294,154,987 (26.1%) (gz) /tmp/gz/file 183,510,660 (16.3%) (bz2) /tmp/bz2/file 未測定 ■同一HDD: cp file file2 real 1m5.670s, user 0m0.187s, sys 0m6.112s 動作時のcpu利用率 10% (cp 10%) ■同一HDD(lzo): cp file /mnt/lzo/file real 0m44.970s, user 0m0.310s, sys 0m4.768s 動作時のcpu利用率 50% (cp 10%, fusecompress 40%) ■同一HDD(gzip): cp file /mnt/gz/file real 2m8.807s, user 0m0.331s, sys 0m4.469s 動作時のcpu利用率 100% (cp 4%, fusecompress 95%) ■同一HDD(bz2): cp file /mnt/bz2/file 動作時のcpu利用率 100% (cp 2%, fusecompress 98%) ■ヌル出力: cat file > /dev/null real 0m21.486s, user 0m0.121s, sys 0m1.477s cat 6% ■ヌル出力(lzo): cat /mnt/lzo/file > /dev/null real 0m11.340s, user 0m0.211s, sys 0m1.406s 動作時のcpu利用率 60% (cat 10%, fusecompress 50%) ■ヌル出力(gzip): cat /mnt/gz/file > /dev/null real 0m19.671s, user 0m0.152s, sys 0m1.153s 動作時のcpu利用率 100% (cat 6%, fusecompress 94%) ■ヌル出力(bz2): cat /mnt/bz2/file > /dev/null 動作時のcpu利用率 100% (cat 1%, fusecompress 99%) 24 名前：login:Penguin mailto:sage [2008/07/02(水) 00:14:31 ID:8emwfkfD] ■lzop -o file.lzo file real 0m43.200s, user 0m8.009s, sys 0m2.727s lzop 24% 25 名前：login:Penguin mailto:sage [2008/07/04(金) 00:14:59 ID:0OG1epWX] ttp://gihyo.jp/magazine/wdpress/archive/2008/vol42 このDB+WEBの簡潔データ構造の記事みて、いろいろ読んでたら なんか世の中変わってた。 圧縮データ構造とその最新動向 ttp://www-or.amp.i.kyoto-u.ac.jp/ramp2006/program.html 透過的データ圧縮 ttp://keisan-genkai.lab2.kuis.kyoto-u.ac.jp/reports/2005/zentai_2/ ttp://tcslab.csce.kyushu-u.ac.jp/~sada/lectures/algoeng2006.html WAN/LANやDB、ファイルシステム、RAM、Cache、内部通信にもこういうものを使う研究もあるみたいだし、 結構わくわくしてきたぞ。 26 名前：login:Penguin mailto:sage [2008/07/07(月) 13:53:12 ID:DoQMtzeM] $ time rzip -9 emacs-21.4a.tar real 0m31.523s user 0m28.823s sys 0m1.306s $ ls -l emacs-21.4a.tar* -rw-rw-r-- 1 xxxx xxxx 14472688 Jul 7 13:49 emacs-21.4a.tar.rz $ >>13と同じ環境。 合わせて評価すると速さと圧縮率のバランスがいいかもしれない。 27 名前：login:Penguin mailto:sage [2008/07/17(木) 03:07:45 ID:A+BRuM6X] lzmaはシングルスレッドだし、p7zipはパイプで使えないしで、 lzmaの4.999α版コンパイルしてみたけど、マルチスレッドにならないし。 7zファイル形式がパイプで使えない原因らしいから、 p7zipがlzmaファイル形式をサポートして、パイプで使えるようになったら良いな〜 28 名前：login:Penguin mailto:sage [2008/07/19(土) 00:41:00 ID:ai76BlOh] >>26 これいいな〜と思ったら標準入出力に未対応か・・・ 29 名前：login:Penguin mailto:sage [2008/08/16(土) 00:02:13 ID:GvqWjEmC] Zlibc zlibc.linux.lu/ 30 名前：login:Penguin mailto:sage [2009/06/07(日) 19:25:33 ID:eb8s04gy] lbzipもpbzip2とか・・・ 31 名前：login:Penguin [2009/06/12(金) 18:42:18 ID:WAZGDfix] >>30 lbzip2みたいだぞ A multi-threaded bzip2/bunzip2 filter phptest11.atw.hu/ Parallel BZIP2 (PBZIP2) compression.ca/pbzip2/ マルチコアCPUを活用したファイル圧縮 sourceforge.jp/magazine/08/02/15/0115238 pbzip2 vs bzip2 shrine-bell.seesaa.net/article/107520046.html どっちも並列bzip2の実装。 最近bzip2との互換性が確保されたようなのでpbzip2を試してみた。 カーネルソースを圧縮展開してみたがこれはかなりいい。 LZMAも好きだが圧縮率を求める時代の流れはそろそろ打ち止めだろう。 バランスの面ではpbzip2の方がかなりいい印象。Linuxではpbzip2がすぐに主流になるはず。 32 名前：login:Penguin mailto:sage [2009/06/13(土) 03:03:18 ID:ejf5oGI/] ソースコードの配布じゃ、今のところ、tar.gz　か　tar.bz2　がほとんど 33 名前：login:Penguin mailto:sage [2009/06/13(土) 08:01:41 ID:0tnCgkV1] >>31 pbzip2はよさげだね >>32 tar.gzは互換性のために生き続ける。 lzmaも場合によってはメリットも大きいはずなのに普及してはきてるけど あまり表に出てこないのはなんでだろう。 34 名前：login:Penguin mailto:sage [2009/06/13(土) 09:53:04 ID:vy3ykwBi] ユーザが入れてなさそうな圧縮形式なら、誰だって配布に使わない。 配布に使われないんだから、ユーザもインストールする動機がない。 ...の環から、なかなか抜け出せないことが多いだろうな。 ディスクもメモリもネットワークも豪奢な当世、圧縮率に拘るのも少数派だろうし。 あ、lzmaも、ぽちぽち使われているよ。 Linuxカーネル2.6.30とか。 35 名前：login:Penguin mailto:sage [2009/06/13(土) 10:03:53 ID:0tnCgkV1] >>34 それは書こうかと思ったけどまだ新しすぎるよな・・って思って普及してきてるに止めた。 7zipとしてWindowsでかなり有名なんじゃないかと。 elinksか何かがgzip,deflate以外にbzip2,lzmaが使えたと思うが ネットでは対応サーバーが皆無だわな 36 名前：login:Penguin mailto:sage [2009/06/13(土) 14:34:22 ID:QBNkjNcg] いつの間にかgnu tarがlzmaに対応してるな。 dpkgの依存にlzmaが入っていたりもするし、そろそろlzmaが入ってない環境っていうのは珍しいくらいなのかも。 37 名前：login:Penguin mailto:sage [2009/06/13(土) 14:54:01 ID:pu4qsGER] dpkgでほほぅ、と思ったがtarもか。 〜1GhzのCPUでは結構しんどい仕事だから標準をどうするかは難しそう 38 名前：login:Penguin mailto:sage [2009/06/13(土) 17:07:22 ID:anrCvK7u] >>33 lzmaは解凍にメモリを多く使うんじゃなかたっけか それで使いにくいんじゃないかなぁ 39 名前：login:Penguin mailto:sage [2009/06/13(土) 22:56:07 ID:5NJGz6mZ] ファイルサイズとMD5メモしておけば、 そのうち元のファイルが復元できると言い張る奴がいたな 40 名前：login:Penguin mailto:sage [2009/06/14(日) 00:35:26 ID:d8gKzCk8] ファイルで思い出したが、 file(1)では、まだlzma形式を認識できないようだ 少なくとも file-5.00 は。 41 名前：login:Penguin mailto:sage [2009/06/14(日) 20:53:33 ID:Mb+BA8Wb] >>35 こんなのがあった。 p7zipでWindows用の自己解凍アーカイブを作成 ttp://www.commandlinefu.com/commands/view/1402/create-a-self-extracting-archive-for-win32-using-7-zip cat /path/to/7z.sfx /path/to/archive > archive.exe 42 名前：login:Penguin [2009/06/22(月) 15:09:23 ID:nPX8bYX0] xz 43 名前：login:Penguin mailto:sage [2009/10/16(金) 21:16:27 ID:zxtkfFrH] >>41 へぇー。 でも.exeってウィルス疑惑で忌避される傾向にある気がする。 44 名前：login:Penguin mailto:sage [2009/11/01(日) 16:47:53 ID:jDaGKrnO] 自己解凍exeは不安なのに 解凍したzip中のexeは普通に開く不思議

---

---

[ 新着レスの取得/表示 (agate) ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef