- 1 名前：デフォルトの名無しさん mailto:sage [2008/10/20(月) 05:58:19 ]
- ２ちゃんねる専用のブラウザを作っちゃおう
というプロジェクトです。
Part 1 pc.2ch.net/test/read.cgi/tech/981726544/
Part 2 pc.2ch.net/test/read.cgi/tech/1005282763/
Part 3 pc3.2ch.net/test/read.cgi/tech/1012544484/
Part 4 pc2.2ch.net/test/read.cgi/tech/1042432238/
Part 5 pc11.2ch.net/test/read.cgi/tech/1057329161/
monazilla.org (w
www.monazilla.org/
- 369 名前：デフォルトの名無しさん mailto:sage [2012/05/03(木) 04:28:13.68 ]
- だれか教えてください
kage.monazilla.org/system_DOLIB100.html
ここ見て書いてみたんですがなぜか動かないです。
<?php
$sid="取得したセッションID";
$sid=urlencode($sid);
$fp = fsockopen('toro.2ch.net', 80);
$out = array(
'GET /test/offlaw.cgi?bbs=tech&key=1224449899&sid=$sid HTTP/1.0',
'Host: toro.2ch.net',
'User-Agent: Monazilla/1.00',
);
fwrite($fp, implode($out, "\r\n") . "\r\n\r\n");
ob_start();
fpassthru($fp);
$response = ob_get_clean();
fclose($fp);
$response = explode("\r\n\r\n", $response, 2);
echo 'ヘッダ<pre>' . $response[0] . '</pre>';
echo '中身<pre>' . mb_convert_encoding($response[1] , "UTF-8", "Shift_JIS"). '</pre>';
exit;
?>
- 370 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 02:31:59.68 ]
- 誰もいない・・・
- 371 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 02:38:20.07 ]
- いるお
- 372 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 03:11:19.00 ]
- いるよ
でもPHPわからない
- 373 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 03:12:57.01 ]
- gzip 圧縮した content を受け取る場合は URI に raw=0.0 を 付加してヘッダに Accept-Encoding: gzip をつける
これでやらないとダメじゃなかったっけ？
- 374 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 03:19:16.21 ]
- (´；ω；｀)ﾌﾞﾜｯネットでも一人かと思った
- 375 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 03:24:56.27 ]
- 本当はくろーら作りたいんだけど
公式が重すぎて話にならないしどうしようもないなPHPでやってる人少ないのか
info.2ch.net/wiki/index.php?%A4%C8%A4%AB%A4%B2%A4%CE%BF%AC%C8%F8%C0%DA%A4%EA%A1%A6%A5%D0%A1%BC%A5%DC%A5%F3%A5%CF%A5%A6%A5%B9#content_1_19
- 376 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 06:38:01.53 ]
- PHPでクローラー作るやつなんているわけないだろｗｗ
- 377 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 07:21:21.82 ]
- (;ﾟДﾟ)!ログ速とかunkerとかphpだと思ってたわ
- 378 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 09:27:25.26 ]
- unkerはgooglebotがアクセスしたタイミングでログ取得しているだけでクローラーではないな
- 379 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 10:22:30.42 ]
- PHPだとなんでだめなの？
- 380 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 10:38:43.06 ]
- >>379
ログが取得できないから・・・っていうより俺の技術不足・・・
- 381 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 12:40:14.20 ]
- PHPってテンプレートエンジンから始まったもので
汎用言語ではないだろ
- 382 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 13:54:33.66 ]
- 昔は昔。
- 383 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 16:29:54.57 ]
- もっとソースとかガンガンアップして活発になったらいい！
のになぁ
- 384 名前：デフォルトの名無しさん mailto:sage [2012/05/07(月) 16:34:32.29 ]
- どうぞどうぞ。
- 385 名前：デフォルトの名無しさん mailto:sage [2012/05/08(火) 01:05:58.48 ]
- 俺の長年継ぎ足してきた秘伝のソースを…！
- 386 名前：デフォルトの名無しさん mailto:sage [2012/05/08(火) 09:27:18.44 ]
- そして結局過去ログを取得できないのであった完
- 387 名前：デフォルトの名無しさん mailto:sage [2012/05/08(火) 10:16:39.60 ]
- 日記？
- 388 名前：デフォルトの名無しさん mailto:sage [2012/05/08(火) 10:17:46.00 ]
- >>369
だけどPHP専用スレでも聞いてみることにします
- 389 名前：デフォルトの名無しさん mailto:sage [2012/05/12(土) 11:12:11.64 ]
- gzip圧縮かけて動かないんだったらまず圧縮しない状態で
やってみるのが早いんじゃないかな。
- 390 名前：デフォルトの名無しさん mailto:sage [2012/05/12(土) 11:25:06.52 ]
- やってみたけど動かなかった
●はおためし●なら放置でいいんじゃねって言われて放置
- 391 名前：デフォルトの名無しさん mailto:sage [2012/06/08(金) 09:19:23.21 ]
- unagiで5回ずつ一時間間隔？でしかテストできないんだけど
開発用に制限無い板とかない？
- 392 名前：391 mailto:sage [2012/06/08(金) 09:22:15.41 ]
- ああ忍法帳新規取得のテストです
- 393 名前：デフォルトの名無しさん mailto:sage [2012/06/24(日) 16:55:00.11 ]
- PT3のDrop対策のtimeBeginPeriodを見て
昔、WMPを動かしているとIEコンポの描画が速くなる、という話があったのを思い出した。
- 394 名前：デフォルトの名無しさん [2012/06/24(日) 19:14:35.24 ]
- GOBAKU
- 395 名前： 忍法帖【Lv=22,xxxPT】 [2012/06/26(火) 08:12:16.83 ]
- PHPからレス書き込みするプログラムを書いてるんですが、Client-IPやX-Forwarded-Forを
リクエストヘッダに指定しても「公開ＰＲＯＸＹからの投稿は受け付けていません！！」と言われてしまいます。
根本的に間違ってるんでしょうか…
- 396 名前：デフォルトの名無しさん mailto:sage [2012/06/26(火) 12:10:44.93 ]
- その鯖のIPアドレスがBBQされている
- 397 名前：デフォルトの名無しさん [2012/06/28(木) 09:11:55.73 ]
- スレが落ちてから見れなくなるまでどれくらいですか？
2時間くらい？
- 398 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 10:05:08.53 ]
- 見れなくなることを「落ちる」って言うんじゃないのか？
- 399 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 10:07:33.29 ]
- dat落ちのことだろ
- 400 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 10:16:35.79 ]
- いみわかんね
- 401 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 10:23:04.06 ]
- 「スレが落ちると同時に見れなくなります。」でいいのかな。
- 402 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 12:19:49.83 ]
- 1000逝ってから落ちるまでの時間を聞きたかったのかも
- 403 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 13:02:01.98 ]
- であればおれの観測では24時間。
- 404 名前：デフォルトの名無しさん [2012/06/28(木) 13:22:03.72 ]
- 板にもよる
速報系の板は結構速い
VIPとかだと特に
対して専門板はあまり・・・
- 405 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 14:14:45.92 ]
- >>404
それは1000(正確には981以上)行ったからじゃなく
スレ圧縮の方で落ちてんじゃないかな。
- 406 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 15:32:13.30 ]
- 1000とか980とかじゃなくても10未満とかでも落ちるときがあるな
- 407 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 15:34:02.56 ]
- >>406
そっちは1週間とか2週間とか。板によって違う。
でも最近はそれ止まってる模様。
- 408 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 15:43:03.57 ]
- ・圧縮
板のスレ数がある値（板により違う）を越えると発動。
最終書き込み時刻が古いスレから落とされる。
・即死1
レス数が981以上になって24時間書き込みがないと落とされる。
全板共通な気がする。
これが>>402。
・即死2
レス数がある値以下のまま一定期間書き込みがないと落とされる。
設定値は板により違う。
10レス以下で一週間、がデフォルトな気がする。
最近は止まってる模様。
- 409 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 15:49:47.11 ]
- 圧縮の値は toro.2ch.net/kakolog.html とかに書いてある。
> toroサーバは 730超えたら 700スレッドに圧縮実施中。。。
- 410 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 19:53:19.48 ]
- C#でしたらばに書き込み成功
需要あったら貼る
- 411 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 20:04:55.81 ]
- はよ
- 412 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 20:10:33.09 ]
- ttp://ideone.com/CRGyf
dat取得とスレ欄取得もあるが完全ではないのでまた今度
- 413 名前：デフォルトの名無しさん [2012/06/28(木) 20:13:40.84 ]
- あとgetNowUnixTime()は
ttp://www.atmarkit.co.jp/fdotnet/dotnettips/980unixtime/unixtime.html
からコピペしてくれ。
- 414 名前：デフォルトの名無しさん [2012/06/28(木) 20:20:01.92 ]
- 少し書きなおしてWriteShitaraba(~)を呼び出すための関数を追加
正規表現でdir,bbs,keyを抽出
- 415 名前：名前です mailto:メールです [2012/06/28(木) 20:59:36.50 ]
- 通信している情報を取得するためブラウザから通常の書き込み
- 416 名前：名前です mailto:メールです [2012/06/28(木) 21:11:18.57 ]
- 通信している情報を取得するためブラウザから通常の書き込み
- 417 名前：デフォルトの名無しさん mailto:sage [2012/06/28(木) 22:51:58.86 ]
- 1000に達したスレを全てクロールしたいとすると
何時間隔でsubject.txtをチェックすればいいですか？
と聞きたかったのですが、意外と長いのか。
- 418 名前：デフォルトの名無しさん mailto:sage [2012/06/29(金) 00:06:31.50 ]
- 言ってることぜんぜん違うじゃねーか。
- 419 名前：デフォルトの名無しさん [2012/06/29(金) 01:29:14.99 ]
- 何が違うって？
- 420 名前：デフォルトの名無しさん mailto:sage [2012/06/29(金) 10:50:34.78 ]
- 夢と希望に満ちたあの頃の俺と今の俺がだよ
- 421 名前：デフォルトの名無しさん mailto:sage [2012/06/29(金) 11:18:08.62 ]
- わろえない
- 422 名前：デフォルトの名無しさん mailto:sage [2012/06/29(金) 16:36:52.08 ]
- 書き込めた
>>412
乙
- 423 名前：デフォルトの名無しさん mailto:sage [2012/06/30(土) 20:02:21.80 ]
- >>412
すげえ
ちょっとコード汚いけどな
- 424 名前：webapp2ch ◆I348uNQZxrTn [2012/07/02(月) 21:32:08.78 ]
- まだα版と言ってもいい出来ですが、Webアプリケーション版の2chブラウザを開発中です。
wa2ch.net/
webアプリケーション版の2chブラウザという事で"WebApp2ch"です。
HTML+CSS+JavaScriptで、ネイティブアプリ版の2chブラウザの使い勝手に出来るだけ近付けて行きたいと思います。
2chサーバとの通信はphpで実装しています。
* 出来ない事
- レス投稿は出来ません(phpでレス投稿すると、投稿者のIPアドレスが全てwa2ch.netのものになってしまうため)。
レス投稿は直接2ch.netでやってもらうしかないです。。。
* これから実装したい機能
- レスポップアップ
- 板/スレ/レス 検索
* いずれ実装したい機能
- 履歴
- お気に入り
- スマホ対応
など。
- 425 名前：webapp2ch ◆I348uNQZxrTn [2012/07/02(月) 21:33:12.27 ]
- phpによるdat取得の通信は、wa2ch.net自体がバーボン規制に掛からないように、公開プロキシ経由で行なっています。
従って遅いプロキシを経由してしまうとレスポンスも遅くなってしまいます。
一人の人間が2ch.netに過剰な負荷を掛けるわけではないので、バーボン規制の条件に当てはまらないと考え、
このような方法を取っています。何かもっと良い方法があればよいのですが。。。
感想やアドバイス、バグ報告などもらえるとありがたいです。
よろしくおねがいします。
- 426 名前：webapp2ch ◆I348uNQZxrTn [2012/07/02(月) 21:44:03.27 ]
- 書くのを忘れていましたが、対応ブラウザはFirefoxかGoogle Chromeです。IEには対応していません。
IE9だともしかすると動くかもしれないですが。
- 427 名前：デフォルトの名無しさん mailto:sage [2012/07/02(月) 21:56:24.42 ]
- すげ
- 428 名前：デフォルトの名無しさん mailto:sage [2012/07/02(月) 22:47:46.86 ]
- rep2でいいやん
- 429 名前：デフォルトの名無しさん mailto:sage [2012/07/02(月) 23:34:31.11 ]
- >>425
完全にdiv病だなｗｗ
html5なんだからheaderとかfooterとかnavとか使ったらええのに
複数スレ開けたらいいなーと思った
- 430 名前：デフォルトの名無しさん mailto:sage [2012/07/03(火) 18:13:24.14 ]
- バカなこと言ってたらすまんが、ユーザ側でdat取得してサービス側にアップロードして表示みたいなことはできないの？
そうすれば公開櫛とか通らなくていいと思う
いちいち取得してアップロードしないといけないから表示はその分遅くなるかもしれないけど
- 431 名前：デフォルトの名無しさん mailto:sage [2012/07/03(火) 18:19:53.28 ]
- こういう板だとそれでいいかもしらんが
速報板とかじゃ無理だね
- 432 名前：WebApp2ch ◆I348uNQZxrTn [2012/07/03(火) 21:02:54.58 ]
- wa2ch.net/
みなさんありがとうございます。
>>428
rep2知りませんでした。ダウンロードしてみます。
>>429
DOCTYPEはhtml5にしておいたんですが、自分の知識はhtml4で止まってます。
これからhtml5を勉強します。
とりあえずですが複数スレに対応してみました。
>>430
初めは、phpを経由せず通信部分も含めて最初から最後まで全てJavaScriptで実装したかったんですが、
今のバージョンのJavaScriptは、セキュリティの制約で他のドメイン(wa2ch.netから2ch.net)にはアクセス出来ないようなんです。
JavaScriptで通信出来れば、リクエスト側のIPはクライアントのものになるので、バーボン規制の事は考えなくて済みます。
JavaScriptでドメインを超える方法はJSONPがありますが、これは2ch側で対応してもらわないと実現出来ません。
運営にJSONP対応して欲しいという提案は、既に誰かが行なってそうですが。
- 433 名前：WebApp2ch ◆I348uNQZxrTn [2012/07/03(火) 21:03:52.37 ]
- info.2ch.net/wiki/index.php?%A4%C8%A4%AB%A4%B2%A4%CE%BF%AC%C8%F8%C0%DA%A4%EA%2F%A5%D0%A1%BC%A5%DC%A5%F3%A5%CF%A5%A6%A5%B9
バーボン規制について質問なのですが、規制はsubject.txtも対象になるんでしょうか？
現在は、datのみ公開プロキシを経由させており、subject.txtはプロキシなしで取得しています。
プロキシなしの方が当然速いので出来れば使いたくないのですが、subject.txtもバーボン規制の
対象になるなら、プロキシ経由の方がいいかと考えています。
まあ、今は全くサイトにアクセスがないので、もしアクセスが沢山来るような事態になれば、
その時に初めて考えればいいのかも知れないですが。
ちなみに、プロキシがタイムアウトした場合はbg20サーバからdatを取るようにしています。
使った事がある人は知っていると思いますが、bg20はめちゃくちゃ遅いですね。
- 434 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 05:25:59.90 ]
- >>433
unkar.orgはAmazon EC2を大量に借りてやっているらしい
年間300万くらいかかってるらしいが
- 435 名前：名前 mailto:メール [2012/07/04(水) 06:11:17.45 ]
- C#からのてすと
- 436 名前：デフォルトの名無しさん [2012/07/04(水) 06:12:16.91 ]
- C#から
- 437 名前：デフォルトの名無しさん [2012/07/04(水) 06:13:17.25 ]
- C#から
- 438 名前：デフォルトの名無しさん [2012/07/04(水) 06:22:39.10 ]
- 書き込みできたがまだスレ読む機能実装してないし・・・
Cookieも普通のウェブブラウザから拾ってきたものStringで書いただけだし・・・
15でこれは正直自分でもすごいと思う
- 439 名前：デフォルトの名無しさん [2012/07/04(水) 06:24:04.54 ]
- テストするスレどこかに無いですかね？
- 440 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 07:08:10.73 ]
- 最悪板やなんでもあり板など制限のゆるい板にスレ立てて
テスト用に使うといい。
- 441 名前：委員長 ◆/DABoneCRY mailto:sage [2012/07/04(水) 07:29:08.25 ]
- 私はその昔、よく厨房！板でテストしてましたなぁ。
「厨房？なにそれ、叩かれまくるんぢゃないの？」と
ドキドキしながらテストしてましたが、案外応援してくれて
むしろテストが楽しかった思い出が。
- 442 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 08:36:01.94 ]
- >>434
料金体系がよくわからん…
大量にログ読むサービスはみんなそんな感じでやってんのかな
- 443 名前：デフォルトの名無しさん [2012/07/04(水) 08:36:50.38 ]
- あ
- 444 名前：デフォルトの名無しさん [2012/07/04(水) 08:43:52.24 ]
- あ
- 445 名前：デフォルトの名無しさん [2012/07/04(水) 08:46:50.35 ]
- あ
- 446 名前：デフォルトの名無しさん [2012/07/04(水) 08:48:35.96 ]
- あ
- 447 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 08:49:33.59 ]
- 隠し項目の取得ができないでござる・・・
学校行ってくる
- 448 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 11:18:32.90 ]
- unkarは2chにもbbspinkにも歓迎されてないからね。
IP分散してイタチごっこしてるよ。
- 449 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 14:22:24.87 ]
- ログ保存サイトの使い勝手が良くなると●が売れなくなりそうだしなあ
- 450 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 15:08:33.45 ]
- >>438
これが厨二病か・・・
- 451 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 15:08:50.23 ]
- 金払ったら負け
- 452 名前：デフォルトの名無しさん [2012/07/04(水) 17:31:21.74 ]
- あ
- 453 名前：デフォルトの名無しさん [2012/07/04(水) 17:35:30.84 ]
- あ
- 454 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 17:37:01.34 ]
- テストはよそでやっとくれ。
- 455 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 17:59:35.12 ]
- [test]書き込みテスト 専用スレッド511[ﾃｽﾄ]
qb5.2ch.net/test/read.cgi/operate/1341129232/
↑ここでやれ！
名前欄に ﾉtasukeruyo でＵＡ表示だ！
ﾉ がないとＩＰも出ちゃうだろが！！
ボケが！！
死ね！
- 456 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:03:33.42 ]
- UAはやっぱりたくさん指定しといた方がいいの？
- 457 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:09:06.87 ]
- は？
- 458 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:19:51.22 ]
- 2chだとあんま関係ない希ガス
- 459 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:22:58.11 ]
- >>456
どういうこと？
- 460 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:30:31.12 ]
- User-Agentヘッダーの値のこと
- 461 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:35:18.34 ]
- んなこた解ってるんだよアホ
- 462 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:37:28.24 ]
- GoogleChromeのUAかなり多いから・・・
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11"
だって
- 463 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:38:24.64 ]
- それは多いじゃなくて長いだろ
- 464 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:39:19.74 ]
- そういうのはUAでブラウザの判定して挙動変えてくるようなサイトに対して互換性を確保するための物だから
多くすると強いとかそういう訳じゃない
2ch専用ブラウザなら気にする事は無い
- 465 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 18:42:24.89 ]
- 「ChromeのUAが多い」からなんで「多い方がいい」になるのかわからん。
- 466 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 19:54:57.63 ]
- >>455のスレがある板とニュース系の板は忍法帳の仕様とか違う？
・・・
忍法帖なくても書き込める？
- 467 名前：デフォルトの名無しさん mailto:sage [2012/07/04(水) 19:58:36.80 ]
- わけわかめ
- 468 名前：デフォルトの名無しさん mailto:sage [2012/07/09(月) 03:44:46.72 ]
- スレの爆撃には串刺した方がいい？
- 469 名前：デフォルトの名無しさん [2012/07/10(火) 11:47:21.40 ]
- www.2ch.net/matomesites.html
>2ch内の書き込みを再掲載するいわゆるまとめサイトの運営をされている方へ。
>
>具体的にどういったサイトがあるのか把握したいと考えています。
>広告を載せる等の商業利用をしている運営者の方は、必ず登録してください。
>非営利で運営しているサイト運営者の方は、任意で結構です。
ウェブベースのブラウザも登録したほうがいいのかな
|
 |
