お勧めの重複・類似・近似画像処理ソフト3

お勧めの重複・類似・ ..

255:名無しさん＠お腹いっぱい。
10/03/20 23:11:34 VvY3CR4s0
こんな認識してる

1.完全一致検索 ( 1pass )
　　同じサイズのファイルをリストアップ
　　リストアップされた同じサイズのファイルどうしを先頭から最後まで比較する(以下全比較)
　　同じサイズのファイルが10個あったら9*8*7*6*5*4*3*2回全比較する
　　(全比較中に違いを見つけたら中断)
2.完全一致検索 ( 2pass )
　　同じサイズのファイルをリストアップ
　　リストアップされたファイルのCRCを計算する
　　最後に同じサイズで同じCRCのファイルがあったら全比較する
3.簡易検索 (CRC32)
　　同じサイズのファイルをリストアップ
　　リストアップされたファイルのCRCを計算する
4.サイズを無視(部分一致)
　　1～3は同じサイズのものがあったファイルしか開かないのに対し、これは指定したサイズ範囲の上限
　　以上の大きさのファイルを全て開き部分一致チェックする
※1～3は「部分一致検索をする」にチェックを入れても無視される

2と3は拾い集めた画像フォルダ等、同じファイルが多数存在する可能性がある場合に有効
　　拾い集めた画像フォルダなら3で十分
　　サイズとCRCの両方が万が一一致してしまうのがいやな完璧主義なら2を使う

1はファイル構成が同じはずもしくはほぼ同じ(バックアップとか)のフォルダ同士を比較する時等に有効
　　同ファイルが基本的に1対1ならCRCの計算と全比較の両方やるのはムダ
　　それ以前にフォルダ比較ツールでも使った方がいい
　　拾い集めた画像フォルダでもまめに一致検索をしている人は同じファイルが多数存在している
　　可能性が低いのでこっちを使った方がいいかも

256:255
10/03/20 23:13:57 VvY3CR4s0
4は1～3のどれかで同ファイルを処分した後、一部破損で不一致になったファイルやダウンロード
ミスで途中で切れてしまっているファイルを探したい時に有効
　　指定したサイズ範囲以上の全ファイルを開くので大量にある画像フォルダより、でかいゴミとなる
　　動画等の大きなサイズのファイル向き
　　より完璧にしたいなら比較範囲をずらして2回やる
　　その際、指定した範囲が動画等のヘッダ部にかぶってしまうと違うファイルでも一致してしまう
　　可能性があるので、多少先頭からずらした位置を指定する
　　拾い集めた画像の場合一度目で見てキャッシュになっているものを保存するので途中で切れている
　　可能性はまず無いし、ヘッダのみが違っているファイルはたいがいファイルサイズも違うので無意味
　　(ヘッダを無視を使った方がいい)

257:255
10/03/20 23:23:25 VvY3CR4s0
訂正
×9*8*7*6*5*4*3*2回
○9+8+7+6+5+4+3+2回

258:名無しさん＠お腹いっぱい。
10/03/21 00:31:20 VCxUSgn70
>>255
とりあえず、その1から4はそれぞれ比較方法の一つであって（UnDupには7通りの比較方法がある）
オプションである「部分一致検索をする」と同列に話すのはどうかなあとは思う
あと、「サイズを無視」には「部分一致検索をする」オプションが必ずセットでついてくるだけの話で、
基本的には(おそらく）全てのファイルを対象にCRC32での簡易検索をするものかと
他の比較方法の時はしたい人だけ「部分一致検索をする」にチェックを入れればいいよと

正直「部分一致検索をする」の使い道があまり思いつかなかったんだけど、確かに破損ファイルは探せるかもねえ
一度比較して重複をなくした後、部分一致検索してもし一致するファイルが有れば破損・不完全ファイルの可能性はあるね
少量の動画ファイルくらいならエクスプローラ上でファイル名やサイズでソートして人の目で確かめた方が速い事が多いだろうけど

259:名無しさん＠お腹いっぱい。
10/03/21 04:15:23 M0W9f3rM0
難しい
CRCもよくわからんから読んでも理解できんわ

260:255
10/03/21 04:24:24 KXz/0NQ40
>>258
>あと、「サイズを無視」には「部分一致検索をする」オプションが必ずセットでついてくるだけの話で、
>基本的には(おそらく）全てのファイルを対象にCRC32での簡易検索をするものかと
>他の比較方法の時はしたい人だけ「部分一致検索をする」にチェックを入れればいいよと

全て違うサイズで1対だけわざと部分一致したファイル(サイズは違う)を入れたフォルダに対して
「サイズを無視」検索をやると当然1組の重複として表示されるけど、1～3は「部分一致検索をする」に
チェックを入れてもヒットしないし、File Monitorで見ても1ファイルも開いてないよ
だから、　「>基本的には(おそらく）全てのファイルを対象にCRC32での簡易検索をするものかと」　は×
(「サイズを無視」は全ファイル開いてる)

1～4以外の名前とかサイズとか日付とかのオプションを選択した時は「部分一致検索をする」がグレーに
なって使えなくなるから「部分一致検索をする」は「サイズを無視」以外では無効ってことだね

も1度訂正
○9+8+7+6+5+4+3+2+1回

261:255
10/03/21 06:30:52 KXz/0NQ40
すまん、間違ってた
1～3で「部分一致検索をする」にすると、同じサイズのファイルがあったらそれらの部分比較をするみたい
ファイルをコピーして片方の一部を意図的に変更して比較実行すると1～3ともヒットする
1は指定範囲のみの完全一致
2は指定範囲のみのCRCと完全一致
3は指定範囲のみのCRCの一致
ということかな？
ファイルサイズが同じものだけしか比較しないから一部破損とかフォーマットが決められたサイズ固定の
データの部分比較とかに使えるかな？
でも上限値がキロバイトでしか指定できないからデータ等には使いにくそう