２ちゃんブラウザ作ろうと思うのだが。

２ちゃんブラウザ作ろうと思うのだが。 at SOFTWARE

103:名無しさん＠お腹いっぱい。
08/12/08 10:35:13 liF827Ou0
ブラウザではないが、自分専用の2chクローラーは作った。
鯖への負担を考慮し、キャッシュサーバ経由でアクセスし、
200レス以上進んだレスだけ取得させている。

ついでに、

・スレタイに特定文字が含まれていたらJaneで開く「Yahooアラートもどき機能」
・1つのスレ内に、興味のある特定単語が10個以上含まれていたらJaneで開く

という機能をつけたら、興味のあるスレが自動的に開くようになって、超便利になった。

パラメータは、単語ごとに優先順位と点数（＊点以上でスレを開く）を指定できるようにした。
点数は、httpd.confのallow、denyみたいな感じで通過したものだけ点数が加算され、
ボーダを超えたらスレが開く。

こういう機能を万人に与えると鯖に負担がかかってしまうから公開はできないと思うが、
同様にクローラーツールを作ってる人は多いだろうね。

自分用に作ったプログラムで「これは便利」って機能、なにかある？

104:名無しさん＠お腹いっぱい。
08/12/10 23:26:32 2kJXIYHa0
キャッシュサーバって何？
自分もクローリングしてるけど
1000を取りこぼさないように頻繁にチェックしてたら
リロードバーボンくらった
hissi.org とかどうやってんだろ？

105:名無しさん＠お腹いっぱい。
09/04/10 14:58:51 Q5DLwmbK0
(ﾟдﾟ)

106:名無しさん＠お腹いっぱい。
09/04/11 16:20:59 1LwfVSuV0
1

107:名無しさん＠お腹いっぱい。
09/04/18 00:10:51 en1PYgr90
0

108:名無しさん＠お腹いっぱい。
09/04/19 18:08:19 g5l/BHx80
誰かもっとスマートなやつ考えろよ

109:シベリアよりのお手紙
09/04/23 16:37:07 VMVPYLE80
URLﾘﾝｸ(karimofu.org)
標準ZIP　DLパス:siberia

HTAアプリとして代行ツール作ったんですよ。
実行部分はVBScriptです。
subject.txtとdatを取って来て表示して、書き込むのはIEを使ってます。
でも、ちょうど今規制食らってて、IEでは書き込めないんです。
p2proxyは普通のブラウザは使えないので、janeとかと同じように直接書き込むコードを書こうかと思ってます。

とりあえずと～く２ちゃんねるの情報を元に書き込みアドレス作ってみたんですが、リファラがどうのとエラーになります。
URLﾘﾝｸ(pc12.2ch.net)
&MESSAGE=%E6%9B%B8%E3%81%8D%E8%BE%BC%E3%81%BF%E3%83%86%E3%82%B9%E3%83%88

リファラでぐぐると2003年くらいに規制されたみたいな書き込みがあるので、どげんかせんといかんのでしょうけど、分かりません。
やりかた知ってる人いませんか？

110:名無しさん＠お腹いっぱい。
09/04/23 18:45:29 Yapps/OS0
リファラ設定すればいいんじゃないの
俺はやり方分からないけど
URLﾘﾝｸ(www.monazilla.org)

111:名無しさん＠お腹いっぱい。
09/04/24 10:47:03 /DD6qFT60
>>109
getじゃなくてpostするように書き直してヘッダにreferer入れて送れ

112:名無しさん＠お腹いっぱい。
09/04/26 11:07:08 1gqcFHww0
てすつ

113:109
09/04/26 12:04:27 gJLbBe8fP
>>110-111
ありがとう。
なんかいろいろしないといけないのは分かった。

でも、今規制されてて、p2proxy通さないといけないんだけど、
IEの串にp2proxy設定して書き込みのアドレス直接入力では、p2proxyに蹴られちゃってるんですけど、
XMLHTTPオブジェクトを使ってp2proxy経由の書き込みって可能なんでしょうか。

いや、可能なんじゃないかとは思うけど・・
ブラウザで直リンから飛ぶとGETでしかアクセスしないからとかかな・・

114:名無しさん＠お腹いっぱい。
09/04/26 13:26:17 1gqcFHww0
てすつ

115:名無しさん＠お腹いっぱい。
09/04/26 13:28:02 1gqcFHww0
てすつ3

116:名無しさん＠お腹いっぱい。
09/04/26 21:08:13 Kp5rpRNK0
HTTP/1.1 200 OK

117:名無しさん＠お腹いっぱい。
09/04/26 21:16:24 Kp5rpRNK0
Set-Cookie: tepo=don

118:名無しさん＠お腹いっぱい。
09/04/26 21:20:38 Kp5rpRNK0
Content-Encoding: gzip

119:名無しさん＠お腹いっぱい。
09/04/27 11:36:41 Ai1Dk3nN0
0660590644

120:名無しさん＠お腹いっぱい。
09/04/27 12:36:39 Ai1Dk3nN0
てすつ6

121:名無しさん＠お腹いっぱい。
09/04/28 18:16:08 lagyuQtDP
解決策１．オブジェクトを”WinHttp.WinHttpRequest.5”に変更。しかし、串設定を変更できないので没。

解決策２．フィルタソフトで串通すようにしてくれるやつなら簡単にできるらしいけど、別途ソフトがいる。それは避けたい。
URLﾘﾝｸ(www.pluto.dti.ne.jp)

解決策３．ServerXMLHTTP
URLﾘﾝｸ(sshida.com)
串通せるオブジェクトはServerXMLHTTPで、SetProxy()プロパティを設定するだけっぽいけど、２ちゃんねるカキコに必要なリファラの上書きができないらしい。
p2proxyは書き込み専用なので、Getできない。
だからリファラを設定することができない。
いや、串通さずにGetして、Postだけ串通せばいいのか？
でもその場合どうやって通信先を切り替えればいいんだろう。

オブジェクトを作成→Open→Get→Close→Open→Post→Closeなんて流れでリファラが正しく設定されるか？

122:めも
09/04/29 16:04:25 5hebVqH7P
URLﾘﾝｸ(age.s22.xrea.com)
URLﾘﾝｸ(www.openspc2.org)
URLﾘﾝｸ(www.monazilla.org)
URLﾘﾝｸ(docs.sun.com)
URLﾘﾝｸ(www.7korobi8oki.com)
URLﾘﾝｸ(www.atmarkit.co.jp)
URLﾘﾝｸ(msdn.microsoft.com)(VS.85).aspx
URLﾘﾝｸ(tmp.2ch.net)
URLﾘﾝｸ(sshida.com)
URLﾘﾝｸ(www.youtube.com)

123:めっけ
09/04/29 19:47:29 5hebVqH7P
URLﾘﾝｸ(cyclon.s11.xrea.com)
>ただし "Referer:" のようにコロンをつけて指定すると Referer ヘッダとして、指定した値が送られます。