1 名前:login:Penguin [03/10/14 18:47 ID:NbbwJR2M] Linux環境でのダウンロードで泣かない為のノウハウや ダウンロード中の暇な時間にチョットした雑談 今日のおかずなどガンガンどうぞ。 正しファイルなどへの直リン厳禁。
100 名前:login:Penguin mailto:sage [2009/03/24(火) 10:56:08 ID:kFYSnsox] orbitみたいにyoutubeとかのflv系リンク解析やってくれるダウンローダーって無い?
101 名前:login:Penguin mailto:sage [2009/03/29(日) 16:33:36 ID:sqNLlUf1] >>100 firefoxのdownload helperは?
102 名前:login:Penguin mailto:sage [2009/07/01(水) 04:06:18 ID:3OeIBl6N] echo "What terms?"; read terms; terms="${terms// /+}" T="$HOME" mkdir -p $T/${terms} for n in $(seq 0 10); do w3m -dump_source \ "images.google.com/images?hl=en&lr=&safe=off&um=1&sa=1&q=${terms}&svnum=30&start=${n} " \ | sed -e 's/","http/\n","http/g; s/","/\n","/g' | grep -E -w "\",\"http:.*.jpg" | sed -e 's/^.*http/http/g' | wget -P $T/${terms} -r -l 1 --timeout=60 --tries=3 -c -e robots=off -U 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' -i - done
103 名前:login:Penguin mailto:sage [2009/07/02(木) 22:46:59 ID:sUoFv0PL] 眠れない夜に #! /bin/bash echo "What terms?"; read terms; terms="${terms// /+}" T="$HOME" mkdir -p $T/${terms} for n in $(seq 0 20 300); do w3m -dump_source \ "images.google.com/images?hl=en&lr=&safe=off&q=${terms}&svnum=30&start=${n} " done | sed -e 's/","http/\n","http/g; s/","/\n","/g' | \ grep -w "\",\"http:.*.jpg" | sed -e 's/^.*http/http/g' | \ while read URL ; do wget -P $T/${terms} -r -l 1 --timeout=30 --tries=2 -c -e robots=off -U 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' $URL done sleep 3 I="`date +${terms}%Y%m%d`" ( cd $T/${terms} find . -name "*.jpg" -a -size +30k | while read list; do eval convert -strip $list $I$(printf %05d $num).jpg let num=$num+1 done )
104 名前:login:Penguin mailto:sage [2009/07/05(日) 15:29:35 ID:szIvdAE1] Flickrのoriginal画像一括ダウンロードってみんなどうやってる?Fxで GreasemonkyのFlickr Link Original Imagesとdownthemallの組み合わせ 以外に便利な方法あるかなぁ。Flickr Link Original Imagesでlink読めない画像が あってFlikr originalというアドオン使えば読めるんだけどこれだと1枚1枚ちまちまと 保存することになる。
105 名前:login:Penguin mailto:sage [2010/03/05(金) 19:53:59 ID:pzqRoAZY] どこで質問していいか悩んだのでここで…。 にこさうんどからブラウザを使わずにmp3を、 「wget」「perl」を使ってダウンロードしたいのですが…。 「パソコンへ転送」の文字列がURLでなく、うまくいきません。 最終的にバッチにしたいのです。 どなたか誘導、もしくはご教授下さいませ。
106 名前:login:Penguin mailto:sage [2010/06/02(水) 00:20:07 ID:QRgDxQY/] FC2動画ダウンロードスクリプト #!/bin/sh ua="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)" curlopts="-L" function getfc2 { vidinfo=$(curl -b $cookies -c $cookies -A "$ua" $curlopts "$1") flashvars=$(echo "$vidinfo" | grep 'param name="FlashVars"') i=$(echo "$flashvars" | sed -e 's/.*"i=\([[:alnum:]]*\)&.*/\1/') tk=$(echo "$flashvars" | sed -e 's/.*&tk=\([[:alnum:]]*\)&.*/\1/') if [ -z "$i" -o -z "$tk" ] ; then return 1 fi ginfourl="video.fc2.com/ginfo.php?onLoad=%5Btype%20Function%5D&v=$i&tk=$tk&otag=0&playid=undefined&playlistid=undefined&upid=$i " echo "ginfourl=$ginfourl" filename=$(echo "$vidinfo" | grep '<div class="video_thumb">' | sed -e 's@.*/content/\([^/]*\)/.*@\1.flv@' | nkf -w --url-input | sed -e 's/[ \t ]/_/g') filepath=$(curl -b $cookies -c $cookies -A "$ua" $curlopts "$ginfourl" | sed -e 's/^filepath=//' -e 's/\&.*//') if [ -z "$filepath" ] ; then return 1 fi echo "filepath=$filepath" echo "filename=$filename" curl -b $cookies -c $cookies -o "$filename" -A "$ua" $curlopts "$filepath" } cookies=~/.getfc2cookies oldumask=$(umask) umask 0077 touch $cookies umask $oldumask for url in "$@" ; do getfc2 "$url" done
107 名前:login:Penguin mailto:sage [2010/06/02(水) 00:28:27 ID:QRgDxQY/] ログインしてフレンドのみ公開の動画を落とすには 下のログインスクリプトを先に実行しておく XXXXXXXXXXの部分にメールアドレス、ZZZZZZZZの部分にパスワード #!/bin/sh ua="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)" curlopts="-L" umask 0077 cookies=~/.getfc2cookies cp /dev/null $cookies logindone=$(curl -c $cookies -A "$ua" $curlopts \ -d "email=XXXXXXXXXX" -d "pass=ZZZZZZZZ" \ "https://secure.id.fc2.com/index.php?mode=login&switch_language=ja" | \ sed -e 's/.*http-equiv="Refresh" content="0; url=//' -e 's/">.*//') curl -b $cookies -c $cookies -A "$ua" $curlopts "$logindone" >/dev/null curl -b $cookies -c $cookies -A "$ua" $curlopts "video.fc2.com " >/dev/null loginvideo="https://secure.id.fc2.com/?done=video&switch_language=ja" memlogin=$(curl -b $cookies -c $cookies -A "$ua" -e "video.fc2.com " $curlopts "$loginvideo") memloginurl=$(echo "$memlogin" | sed -e 's/.*content="0; url=\([^"]*\)".*/\1/') curl -b $cookies -c $cookies -A "$ua" $curlopts "$memloginurl" >/dev/null
108 名前:login:Penguin mailto:sage [2010/06/03(木) 16:27:55 ID:r9B8lAgG] まだ試してないけどありがたい 得ろ動画down
109 名前:login:Penguin mailto:sage [2010/06/03(木) 21:34:01 ID:QAdW/QGQ] エロ動画の閲覧回数制限を回避するには クッキーを保存してある~/.getfc2cookiesを削除すればいい
110 名前:login:Penguin mailto:sage [2010/06/04(金) 12:38:09 ID:yVAlhaim] 早速ドメイン変更かよ ブラウザでもログイン出来なくなってるしw
111 名前:login:Penguin mailto:sage [2010/06/04(金) 13:09:07 ID:yVAlhaim] お、直った ていうか元に戻った