- 1 名前：デフォルトの名無しさん [2020/12/25(金) 04:24:27.68 ID:aa9Khe9z0.net]
- プログラミング言語 Rubyについての、初心者向けスレです。質問・要望・雑談などをどうぞ
質問するときは、OSやRubyのバージョン、エラーメッセージを書いて下さい。
Ruby on Rails については、WEBプログラミング板で
前スレ
Ruby 初心者スレッド Part 66
https://mevius.5ch.net/test/read.cgi/tech/1578068134/
るりまサーチ （リファレンス検索）
rurema.clear-code.com/
Rubyist Magazine - るびま
jp.rubyist.net/magazine/
逆引きRuby
www.namaraii.com/rubytips/
Ruby コミュニティ公式
https://www.ruby-lang.org/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured
- 231 名前：218 mailto:sage [2021/07/20(火) 10:14:09.06 ID:nphTU9tH0.net]
- >>227
自己回答
ユーザーの入力値により、条件判断してはいないけど、
改訂4版 基礎 Ruby on Rails、黒田努・佐藤和人、2018
の400 ページで、
アクションのcreate/update で、
コントローラーのstrong parameters を変える例が書いてある
例えば、下のような感じ
params.require(:person).permit(:name)
params.require(:person).permit(:age)
- 232 名前：デフォルトの名無しさん mailto:sage [2021/07/21(水) 10:26:17.53 ID:GSJrQWT80.net]
- >>231
別に構わんが環境次第でUnpermittedParameters例外出そうな気がするので
@person.update(xxx_params.except(:age))
的な感じのほうがよいかも
- 233 名前：デフォルトの名無しさん mailto:sage [2021/07/24(土) 17:53:55.08 ID:niZ/VlC90.net]
- pythonなみの公式チュートリアルがあればいいのに
- 234 名前：デフォルトの名無しさん mailto:sage [2021/07/27(火) 10:21:46.39 ID:y9fA4YVt0.net]
- Railsでも何でもいいんですが、ecサイトの様なユーザー登録とログインシステム
をRubyを使って簡単に構築するライブラリの使い方が書かれている良い本は
有りませんか？
- 235 名前：デフォルトの名無しさん mailto:sage [2021/07/27(火) 11:24:07.05 ID:ic7RAKIO0.net]
- >>234
Ruby on Railsのチュートリアル
でいいのでは？
簡単に済ませたいならば、
Shopifyとか外部決済システムに外注すれば？
- 236 名前：デフォルトの名無しさん mailto:sage [2021/07/30(金) 18:21:13.72 ID:7AkGA5GJ0.net]
- スクレイピングしたいんですけど何を勉強すればいいですか
不正アクセスに問われたりしないでしょうか？
セキュリティ対策はどのようなことに注意すればよいでしょうか？
- 237 名前：デフォルトの名無しさん mailto:sage [2021/08/03(火) 20:29:25.38 ID:1SQdlJBzr.net]
- NOKOGIRI
- 238 名前：デフォルトの名無しさん mailto:sage [2021/08/03(火) 22:35:38.25 ID:3PGqGTvy0.net]
- >>236
踏み台を準備してそこ経由でスクレイピングする
- 239 名前：デフォルトの名無しさん mailto:sage [2021/08/04(水) 01:04:19.47 ID:wXXobJu90.net]
- >>236
スクレイピングの勉強
- 240 名前：デフォルトの名無しさん [2021/08/04(水) 11:12:04.78 ID:Ud4GmCQc0.net]
- >>236
とりあえず、関心のあるページをローカルに保存してnokogiriでアクセスしてみれば？
crawler部分とscrap部分を分けるのが吉。
つまり、100pagesをスクレーピングするなら、まずhtmlをblob型でDBにinsertしてから欲しいデータをnokogiriで取り出すのだ。
- 241 名前：デフォルトの名無しさん mailto:sage [2021/08/04(水) 11:45:59.21 ID:BE8GLseK0.net]
- >>234
よく見るのは、devise gem を使う
パーフェクト Ruby on Rails、2020/7 には、載っていない
改訂4版 基礎 Ruby on Rails、黒田努・佐藤和人、2018/9 には少しだけ載っている。
ただし、この本は、Ruby 2.5.1, Rails 5.2
Ruby on Rails 6 実践ガイド、黒田努、2019/12、には載っている
ただし、上の黒田努の2冊の本では、devise を使わず、自作している
Rails チュートリアル・Rails ガイドも参照
YouTube で有名な、雑食系エンジニア・KENTA のサロンでは、
2千人の未経験者が、Rails の転職用ポートフォリオを作っている。
そこへ入って、聞いた方がよい
- 242 名前：デフォルトの名無しさん mailto:sage [2021/08/04(水) 12:01:13.97 ID:BE8GLseK0.net]
- >>236
サイトのrobots.txt を遵守すること！
これを守らないと、営業妨害で逮捕される
CSS Selector を勉強する。XPath は勉強しなくてよい。
JavaScript も、jQuery 程度は出来た方がよい
gem は、Nokogiri, Selenium Webdriver
Udemy の山浦清透、2021/6
【作業工程フル公開】エンジニアが30万円案件の制作過程を公開
www.youtube.com/watch?v=tYbVl6N8oxI
PHP のLaravel で、マイナビ転職をスクレイピングして、データベースへ保存する
基本、この動画と同じ。
これを、Ruby on Rails へ置き換えるだけ
- 243 名前：241 mailto:sage [2021/08/04(水) 15:15:35.32 ID:BE8GLseK0.net]
- >>234
Ruby on Rails, devise の動画
Farstep、2019/9
【Rails】deviseを使ったログイン機能の実装（名前でログインする方法を解説）
www.youtube.com/watch?v=Lmq_WLkxp9c
- 244 名前：241 mailto:sage [2021/08/04(水) 15:35:06.48 ID:BE8GLseK0.net]
- YouTube で「ruby on rails devise」で検索すれば、日本人の動画も多い
Farstep, うるぞー、もぐらストア、
やんばるCODE 守護神・バグ取り名人 たけ
- 245 名前：デフォルトの名無しさん mailto:sage [2021/08/04(水) 22:15:34.77 ID:y1FxFhCLr.net]
- jQueryって単語、１万年ぶりに見たわ
- 246 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 00:10:48.44 ID:r/zZzNU40.net]
- >>245
一万十歳かな？
- 247 名前：デフォルトの名無しさん [2021/08/05(木) 12:32:32.94 ID:dqIKXfcM0.net]
- >>242
>>サイトのrobots.txt を遵守すること！
>>これを守らないと、営業妨害で逮捕される
どういうことですか？
詳しくお願いします
- 248 名前：218 mailto:sage [2021/08/05(木) 13:11:38.51 ID:bqGeTZjz0.net]
- >>231
パーフェクト Ruby on Rails 【増補改訂版】 (Perfect series)、2020/7
の92 ページで、
コントローラー内で、private メソッドを定義して、
条件によって、strong parameters を変える例が書いてある
管理者・一般ユーザーで変える例
params.require(:user).permit(:name, :admin)
params.require(:user).permit(:name)
- 249 名前：242 mailto:sage [2021/08/05(木) 13:20:50.00 ID:bqGeTZjz0.net]
- >>247
>>242
に書いてある、山浦清透の動画を見れば分かる
各サイトには、robots.txt が置いてあって、
スクレイピングする場合は、必ず30秒空けるとか、
このフォルダはスクレイピングしてはならないとか、多くの条件が書いてある
それを守っていないと、営業妨害になる
スクレイピングは初心者向きじゃないので、各サイトと契約して、API を使うべき！
なぜかと言うと、初心者のプログラムにはバグが多いから、
無限ループしたりして、サイトへ無限にアクセスしたりする
それで、営業妨害で逮捕されるかも知れないから、すごく危険！
プロでも、スクレイピングはしない。
必ず、サイトと契約して、APIを使う
5ch もそう。契約して、APIを使えと言ってる。
勝手にスクレイピングすると、訴えてくるかも知れない
- 250 名前：デフォルトの名無しさん [2021/08/05(木) 13:38:00.10 ID:/9S9EoKc0.net]
- >>249
私のスクレイピングしたいサイトにはAPIは公開されていません
またrobots.txtも設置されていません
robots.txtでリクエスト間隔の指定なんてあるのですか？
常識的に数十秒から数分に一回程度のリクエストなら問題ないと思いますが
営業妨害ってどういう意味ですか
IT企業に勤める知り合いはスクレイピングで求人を出すことがあると言ってましたが嘘でしょうか？
５ｃｈでスクレイピングしたら相手にバレて訴えられることがあるのですか？
- 251 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 14:04:49.73 ID:RzFkoDJoM.net]
- >>250
あるよ
数分に一回のリクエストで落ちるゴミサイトだろうと、結果的に相手の業務に支障が生じれば業務妨害罪に問われる可能性がある
- 252 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 14:10:13.57 ID:5L8sIm7d0.net]
- >>250
> 常識的に数十秒から数分に一回程度のリクエストなら問題ないと思いますが
> 営業妨害ってどういう意味ですか
誰にとっての「常識」ですか？
某岡崎市の某図書館の「りぶらはっく」の件を知りませんか？
（情報リテラシのある側からしたら、）
あんな程度のアクセスで逮捕されるわけない「はずだと思う」なのに、
実態は、全部ゾンビ化（作った業者がアレ）していて、
け●さつがわも情報リテラシがなくアレだから、
結果がアレになっちゃったんですよ。
いいですかー、ここは日本です。
訴える側の後ろ側の行政側がアレな場合が多々あり、
情報リテラシがまったくない、矛盾しまくった法治国家なわけですよ。
誰の常識かは、サイトを提供している側が情報リテラシがない場合、その情報リテラシがない前提が常識なわけです。
つまり、その場合、何らかスクレイピングした時点で営業妨害とみなされても仕方ないですよ？
- 253 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 14:53:47.22 ID:/9S9EoKc0.net]
- >>252
結局その事件は不起訴処分ですよね？
なぜ不起訴になったかわかりますか
検察側が有罪に出来ないと判断したからです
インターネット業界に携わる者たちからすれば余りにも「一般常識」から外れた言いがかりですからね
あなたのような無知蒙昧で従順な子羊は司直にとっては美味しいお客様ですね
これからも「常識」に則った素晴らしいプログラムを書き続けてくださいね
- 254 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 15:24:32.14 ID:5L8sIm7d0.net]
- >>253
もし本当に訴えられたとき、実際の裁判の場で、>>253 と同じ発言を検察側、裁判官の前で弁論できるとよいですね。
- 255 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 16:15:30.56 ID:r8rfvWmzM.net]
- まあ不起訴で納得できるならいいんじゃないの？
俺だったら逮捕の時点で嫌だけど
- 256 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 17:07:40.75 ID:bqGeTZjz0.net]
- 逮捕状は名目上、第三者と言われる司法・裁判所が出している。
本当は警察・検察、つまり行政と結託しているけどw
警察はマスコミにリークして、有罪の世論を作る
だから日本では、逮捕 = 100% 有罪。
100%有罪でも、誰もおかしいと思わない。
他国では有罪率が50% ぐらいだけど、日本だけは100%
つまり、三権分立していない。
行政が決めてから、司法が行政のやった事を正当化するような判決文を書く。
行政を勝たせた人だけが出世できるから
でも、判決文を書くのを極端に嫌がる。
N国みたいな政党が、YouTube で裁判官の判決文を批判したりして、おかしいのがばれるから
不起訴になるのは、犯罪者が認めた場合
青汁王子みたいに検察へ喧嘩を売ったら有罪にされたけど、
徳井みたいに脱税を認めたら、不起訴になった
- 257 名前：256 mailto:sage [2021/08/05(木) 17:20:52.40 ID:bqGeTZjz0.net]
- その人がやった事を認めたから、不起訴にした
日本では、逮捕 = 100% 有罪だから、絶対に有罪にできる。
日本では自白をすると、裁判所で何を言っても、くつがえせない。
嘘をついて、自白をするわけがないと言う
だから検事は、拷問・家族を脅迫して、自白をさせる
青汁王子みたいに検察の拷問を発表したら、有罪にされた。
それで青汁王子は、検察改革として選挙に立候補するかも知れない
一方、徳井は脱税を認めたら、不起訴になった
ZOZO・前澤も、脱税をマスコミにリークされた。
でも、N国が国会で誰がリークしたか聞いたら、皆、白を切った
これを国会で追求されたら、まずいから。
警察から、マスコミへリークしているのがばれるから
前澤のは、そもそも脱税でもない。
解釈の違い
それを警察がマスコミを使って、青汁王子みたいに悪人に仕立てようとした。
それをN国が国会で質問したから、ばれそうになって白を切った
- 258 名前：デフォルトの名無しさん [2021/08/05(木) 17:25:15.95 ID:I7FszFTK0.net]
- >>257
ちなみに
５ｃｈで
マルチポストしたら
逮捕されるかもしれないって
知ってた？
- 259 名前：デフォルトの名無しさん [2021/08/05(木) 17:29:15.92 ID:I7FszFTK0.net]
- 逮捕はされないかもしれないけど
自分の悪行を
棚に上げて
正義面したら
地獄へ落ちちゃうよ
閻魔様に
舌を抜かれちゃうんだよ
怖いよ
- 260 名前：デフォルトの名無しさん [2021/08/05(木) 17:32:22.30 ID:I7FszFTK0.net]
- 検察も
警察も
裁判も
怖くないよ
地獄へ落ちると怖いよ
舌を抜かれて
張りの山を登らされて
業火に焼かれるんだよ
熱いよ
痛いよ
怖いよ
- 261 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 18:10:22.22 ID:r/zZzNU40.net]
- きもこわ
- 262 名前：デフォルトの名無しさん mailto:sage [2021/08/05(木) 22:31:27.66 ID:vSsQCnpga.net]
- 別に地獄に落ちるのは怖くないが
昔の人の妄想だし
警察、検察に痛くもない腹を触られるのは怖い
- 263 名前：デフォルトの名無しさん [2021/08/05(木) 23:40:13.64 ID:6menK19J0.net]
- 地獄は怖いよ
怖くないって言ってる人
強がり
一番いけないのは
自分のことを棚に上げて
自分が正義だって言う人
地獄へ行くよ
閻魔様に舌を抜かれるよ
痛いよ
でも逮捕はされないかもしれな
でも地獄の方がもっと怖い
- 264 名前：デフォルトの名無しさん mailto:sage [2021/08/06(金) 09:34:44.10 ID:7P/+UMXla.net]
- 悪魔の証明みたいだが地獄は存在しない
人間は死んだらそこで意識は消滅。無になる。
意識は脳の中の電気信号の集合だから
脳が動かなくなると意識は永遠に消えてなくなる
- 265 名前：デフォルトの名無しさん mailto:sage [2021/08/06(金) 20:13:46.87 ID:qRWxBcUir.net]
- 1. 世界とは事実の総体である。
2. 世界とは＜私＞の世界である。
2-1. 故に、世界の限界とは＜私＞の限界である。
2-2. ＜私＞は死なない。視野の端が存在しないように、世界の死は存在しない。
2-2-1. 故に、地獄の存在は事実ではない。
2-2-2. 地獄について語ることはできない。
3. 語りえないことについては沈黙しなければならない。
QED?
- 266 名前：ハノン mailto:sage [2021/08/06(金) 21:35:40.63 .net]
- >>265
その括弧つきの私（＜私＞）とは何かを十分に説明していませんね‥‥
- 267 名前：デフォルトの名無しさん mailto:sage [2021/08/06(金) 22:04:45.00 ID:qRWxBcUir.net]
- ＜私＞とは、この私の世界の開闢者。
お前にとっての私ではなく、私にとっての私。
ヒュームが言うところの自我。
- 268 名前：デフォルトの名無しさん [2021/08/07(土) 00:33:19.88 ID:ctvRT72B0.net]
- 地獄を知ってしまったら
もう地獄はあるよ
自分のことを棚に上げて
他人をバカにしたら
地獄行きだよ
地獄は怖いよ
- 269 名前：デフォルトの名無しさん [2021/08/08(日) 22:12:00.50 ID:Ullx8amr0.net]
- 自分のことを棚に上げる
一番悪い事
地獄に落ちて
閻魔様に舌を抜かれて
針を飲まされるよ
- 270 名前：デフォルトの名無しさん mailto:sage [2021/08/09(月) 12:44:08.03 ID:GX8oEfXz0.net]
- そういうのを信じてくれると
犯罪が減るからべつにいいけど
私は信じていないけど
- 271 名前：デフォルトの名無しさん [2021/08/09(月) 21:13:44.03 ID:gRn7tUgS0.net]
- 人に迷惑をかけるのは悪い事
地獄に落ちないかもしれない
でも自分のことを棚に上げて
人に迷惑かけたら
地獄に行く
警察もヤクザも
怖くない
地獄は怖いよ
- 272 名前：デフォルトの名無しさん mailto:sage [2021/08/12(木) 00:48:05.26 ID:xG1RPqdX0.net]
- スクレイピングは逮捕される危険があるって聞いたんだけどマジ？
- 273 名前：デフォルトの名無しさん mailto:sage [2021/08/12(木) 08:20:26.43 ID:oGP6NDDs0.net]
- 危険ならあるけど実際にどうかは個別案件によるんじゃね
- 274 名前：デフォルトの名無しさん mailto:sage [2021/08/12(木) 09:52:15.39 ID:e+dZJ+jE0.net]
- 起訴・有罪までは滅多に行かんとは思うが
逮捕までならありえなくもない
- 275 名前：デフォルトの名無しさん mailto:sage [2021/08/12(木) 13:43:21.85 ID:Uyxv6qpU0.net]
- 突然民事訴訟を起こされて
賠償金を要求されることは十分にあり得る
- 276 名前：デフォルトの名無しさん mailto:sage [2021/08/12(木) 16:10:50.05 ID:oGP6NDDs0.net]
- ネットだからまずは開示請求からだね
「突然」賠償請求はない
- 277 名前：デフォルトの名無しさん mailto:sage [2021/08/12(木) 16:42:48.35 ID:NvgIkHB7M.net]
- 受ける方からしたら突然賠償請求だろ
開示請求なんて直接は来ないよね
- 278 名前：デフォルトの名無しさん [2021/08/12(木) 16:50:15.85 ID:drSdi1s70.net]
- 逮捕も賠償も怖くない
地獄へ行くのが怖い
でも地獄へは行かないかもしれない
でも自分のことを棚に上げて
人の嫌がる事ばかりしてると
地獄へ行く
- 279 名前：デフォルトの名無しさん mailto:sage [2021/08/13(金) 01:45:34.20 ID:kzYHP2KN0.net]
- じゃあrobots.txtを遵守していればスクレイピングしてもOKなんですね？
- 280 名前：デフォルトの名無しさん mailto:sage [2021/08/13(金) 02:19:03.50 ID:BSEOqpqJ0.net]
- 他者に被害を主張されたらトラブルになる可能性がある。
それだけ。
いいこともそうでないことも、両方ある。
他人に聞いてもムダ。
- 281 名前：デフォルトの名無しさん mailto:sage [2021/08/13(金) 09:28:36.17 ID:eq2Tc8oG0.net]
- >>277
開示請求は裁判所を通してプロバイダに請求が行くんだけど
プロバイダは顧客である「受ける方」に無断で開示は通常しないで
まずは開示を許可するかを「受ける方」に訊いてくる
だからその段階でなにか事が進んでいるんだなということはバレる
あくまで「突然」賠償請求が来るなんてことはない
- 282 名前：デフォルトの名無しさん mailto:sage [2021/08/13(金) 09:32:36.58 ID:eq2Tc8oG0.net]
- ネットに限らず相手の素性もわからないのに突然賠償請求なんてできやしない
まずは相手方の特定から始めないとどうにもできない
たとえば道歩いていていきなり殴られて怪我しても
相手がどこの誰なのかがわからなければどうしようもない
警察沙汰にして警察が相手の素性を教えてくれればなんとかなるが
教えてくれなければ泣き寝入りよ
ネットはいわゆる「足がつく」状態だから開示請求かければなんとかなる可能性が高いだけ
いきなり賠償請求できない点はオンもオフも何も変わらない
- 283 名前：デフォルトの名無しさん mailto:sage [2021/08/13(金) 09:34:43.40 ID:eq2Tc8oG0.net]
- あらかじめ一定の社会的関係に入っている間柄なら別よ？
たとえば会社でセクハラされた・モラハラされた
そんな話だったら「突然」賠償請求は来るさ
そうなじゃなくてネット上でまったく関係ない素性も知れない第三者に損賠請求とか
「突然」できるわけがないだろうが
- 284 名前：デフォルトの名無しさん mailto:sage [2021/08/13(金) 23:24:19.38 ID:1DHqOLSr0.net]
- Rubyの開発ではglibは使われてますか？
- 285 名前：デフォルトの名無しさん mailto:sage [2021/08/18(水) 05:53:03.10 ID:yThqaD4x0.net]
- glib2と連携するGemがあるぐらいだから、
使われてると思うよ。
- 286 名前：デフォルトの名無しさん [2021/08/30(月) 19:49:51.62 ID:CW7ccSgo0.net]
- 警察も検察も被告になることも怖くない
でも地獄は怖い
迷惑かけるだけなら
地獄へ行かないかもしれない
でも自分のことを棚に上げたら
地獄行き
- 287 名前：デフォルトの名無しさん mailto:sage [2021/08/30(月) 21:27:50.25 ID:Cj0Y+5WJ0.net]
- >>286
どんな理屈や！ｗ
- 288 名前：デフォルトの名無しさん [2021/09/09(木) 01:33:06.63 ID:DPdnZbQ70.net]
- だめだ
また自分のことを棚に上げて
他人に説教
してしまってる
そんなに地獄に落ちたいのか
- 289 名前：デフォルトの名無しさん [2021/09/10(金) 23:29:53.30 ID:VnjRnmAy0.net]
- 自分のことを棚に上げて
また人に迷惑かけてる
地獄へ落ちるよ
- 290 名前：デフォルトの名無しさん mailto:sage [2021/09/11(土) 01:42:22.44 ID:Vndiun780.net]
- その理屈やと、おまえが地獄に落ちるで！
- 291 名前：デフォルトの名無しさん mailto:sage [2021/09/11(土) 16:37:37.06 ID:QpCgqUja0.net]
- rubyって宗教色が強いんだな。
- 292 名前：デフォルトの名無しさん mailto:sage [2021/09/11(土) 16:46:51.58 ID:Ewyyihq/0.net]
- 作者がモルモン教だからな
- 293 名前：デフォルトの名無しさん [2021/09/15(水) 02:39:42.52 ID:7Lql01au0.net]
- 人の嫌がる事ばかりする
自分のことは棚に上げる
警察もヤクザも怖くない
地獄はある
地獄は怖い
- 294 名前：デフォルトの名無しさん mailto:sage [2021/09/15(水) 19:07:23.60 ID:0q0CE+HI0.net]
- スクレイピングすると地獄へ落ちるって本当ですか？
- 295 名前：デフォルトの名無しさん mailto:sage [2021/09/15(水) 19:39:53.02 ID:/dXe9qzn0.net]
- 地獄に落ちたことのある奴に聞け。
- 296 名前：デフォルトの名無しさん mailto:sage [2021/09/15(水) 20:36:57.26 ID:BDtg+sEir.net]
- 地獄は超暑かったぞ
それでも真夏の都心よりマシだが
- 297 名前：デフォルトの名無しさん mailto:sage [2021/09/18(土) 03:38:03.71 ID:YPBxfQEw0.net]
- スクレイピングの勉強するのですが、下手するとF5アタックになるとかの法的リスクと回避法を重視している入門書ってありますか？
今の所やりたいことは、特定の市町村の5年分気温気象データを収集して自分用に加工
近所のコインランドリーの稼働データを集計して空いてる確率が高い時間帯を調べるの2つです
前者は膨大なデータを取得する必要があります
後者は10分から20分おきにアクセスすることになります
- 298 名前：デフォルトの名無しさん mailto:sage [2021/09/18(土) 03:44:47.50 ID:VuuEM7MI0.net]
- あるわけねえやろ！ｗ
- 299 名前：デフォルトの名無しさん mailto:sage [2021/09/18(土) 08:03:58.41 ID:r9kwg+sT0.net]
- 5年分の過去分は一度取得すれば良いだけなのであれば待ち処理入れつつやれば問題ないと思う
仕事であるスポーツ連盟のホームページを20分おきにスクレイピングしてる
これは確認して許可取ってるけど。
- 300 名前：デフォルトの名無しさん mailto:sage [2021/09/18(土) 16:38:53.47 ID:1jv0Ew7Ba.net]
- Rubyはgetsでコマンドプロンプトの入力を受け取れますが、
入力方法をbashのようにできないでしょうか。
上キーを押すとコマンドが再表示される等です。
- 301 名前：デフォルトの名無しさん [2021/09/18(土) 16:58:05.98 ID:XeK+rYrj0.net]
- >>300
https://docs.ruby-lang.org/ja/latest/class/Readline.html
- 302 名前：デフォルトの名無しさん mailto:sage [2021/09/18(土) 18:14:06.76 ID:J85RgKD50.net]
- 頭のおかしい人に以下のようなことを言われました
>>基本、スクレイピングは営業妨害との戦い。
>>どの本にも、そう書いてある。
>>スクレイピングを推奨する本はない
具体的な書籍名を教えてください
>>5ch は、マルチポスト禁止！
>>同じ質問を、複数のスレや外部のサイトに書いてはいけない
どこでそんなルールが決まっているのでしょうか？
- 303 名前：ハノン mailto:sage [2021/09/18(土) 19:46:07.33 ID:/DXMasS60.net]
- マルチポスト禁止、クロスポスト推奨
というのは、遠い昔 fj でのルールではありましたが 2ch/5ch では無意味ですね、だってクロスポストできないし
- 304 名前：デフォルトの名無しさん mailto:sage [2021/09/18(土) 20:35:36.57 ID:VuuEM7MI0.net]
- >>303
だからマルポは？
できないのはクロポなんやろ？
- 305 名前：ハノン mailto:sage [2021/09/19(日) 00:20:00.12 ID:QR0Sxfu+0.net]
- >>304
回避方法がないのに一方的にマルチポストを避難するのはフェアではないと思いませんか？
- 306 名前：デフォルトの名無しさん [2021/09/19(日) 02:58:23.74 ID:y7Uebvof0.net]
- 自分のことを棚に上げて
正義面するから
罰が当たったのかも
しれない
でも現世の罰は
怖くない
地獄へ落ちるのは怖い
地獄は怖いよ
- 307 名前：デフォルトの名無しさん mailto:sage [2021/09/19(日) 11:25:51.22 ID:69z175Yv0.net]
- >>305
クソみたいな詭弁に意味はない。
- 308 名前：デフォルトの名無しさん [2021/09/19(日) 12:38:01.81 ID:/yxUr6Cya.net]
- ついでに肝心要なパケットは欠損させておくと尚良し
- 309 名前：デフォルトの名無しさん mailto:sage [2021/09/19(日) 22:18:51.00 ID:BpRp3Dad0.net]
- >>301
超サンクス
- 310 名前：デフォルトの名無しさん mailto:sage [2021/09/21(火) 18:45:09.80 ID:0Go6zndF0.net]
- テキストファイルの処理で、段落ごとに時間のかかる作業（数時間単位）を回してるのだけど
その対象のテキストファイル(data.txt)は処理中に追加で内容を追記していくようになっている
def func()
# (ここにすごく時間のかかる処理)
end
f=File.open("data.txt", 'r:UTF-8'){|f|
f.each_line(rs=""){|l|
func()
}
}
ここで、f.each_lineの処理って、関数funcを実行している最中は次のループに行かないはずだよね？
動かしていて、どうも先読みしているような挙動を示しているのだけど、funcの処理が終わるまでは
先読みしないように指定ってできる？
たとえばテキストの内容が
A
B
C
となっていて、段落Aの処理中にBとかCの内容に手を加えたり、新たにDという内容を末尾に加えたりしたい
でも、どうもタイミングによって、最初Aだけだった内容でAを処理中にBを加えた時点ではすでに先読みしてて
Bの処理を飛ばして、それより時間的にも位置的にも後に追加したCの処理をしたり、あるいはCも飛ばして
Dを処理したりしてるような
このあたりのファイルポインタの動きを説明してある情報源はない？
- 311 名前：デフォルトの名無しさん mailto:sage [2021/09/21(火) 19:08:28.98 ID:SK/JWtta0.net]
- 先読みバッファの都合でそうなることもあんのかね。知らんけど。
読むタイミングで、tellの結果にseekしたらええかも？f.seek(f.tell())みたいに。
あるいは、バッファを無効にするか。ただし、これは勧めない。テストならばまあ。
情報というか、その手の高レベルなファイル関連関数は、高速化のために裏でバッファを活用してるので、その挙動を想像すれば。
- 312 名前：デフォルトの名無しさん mailto:sage [2021/09/21(火) 22:56:27.09 ID:0Go6zndF0.net]
- >>311
バッファ無効にするのにsyncなんてメソッドがあるのですね
テストみたいなもんなんでこれ使ってやってみます！
ありがとうございました
- 313 名前：デフォルトの名無しさん mailto:sage [2021/09/22(水) 12:23:29.69 ID:wRl+SBDi0.net]
- >>312
もっかい言うけど、バッファ無効はほどほどにな。
ストレージがすり減るぞ。
- 314 名前：デフォルトの名無しさん [2021/09/23(木) 12:52:09.43 ID:7tGJmFKPF.net]
- rubyのglobってなんでこの名前なんですか？語源というか理由は？
- 315 名前：デフォルトの名無しさん [2021/09/23(木) 12:53:36.67 ID:7tGJmFKPF.net]
- >>313
SSDの方が寿命速い説？
- 316 名前：デフォルトの名無しさん mailto:sage [2021/09/23(木) 13:39:57.36 ID:sOtSHC530.net]
- >>314
書き込む前にググれ！
https://ja.wikipedia.org/wiki/%E3%82%B0%E3%83%AD%E3%83%96
- 317 名前：デフォルトの名無しさん mailto:sage [2021/09/23(木) 14:17:52.01 ID:FwYHDvYwF.net]
- xargs にすれば良かった
- 318 名前：デフォルトの名無しさん [2021/09/26(日) 02:01:31.29 ID:a7XkizLe0.net]
- 人に迷惑をかけるのはしょうがない
でも
自分のことを棚にあげたら
地獄だよ
- 319 名前：デフォルトの名無しさん mailto:sage [2021/09/26(日) 22:14:40.89 ID:5RNiLxHe0.net]
- >>310
基本的に、読み込み用ファイルに書き込まないようにすべき。
io.seek で使う、ファイルポインターがずれる
例えば、配列でも同じ。
読み込み用配列を読み込みながら、
読み込み要素の前後に、要素を追加・削除すると、要素がずれるのでバグる
基本、同一ファイルじゃなく、入力用・出力用の2つが必要。
それか、データベースでやるとか
シェルスクリプトとか、関数型のElixir のパイプラインみたいに、
元のファイルを更新せずに、次々と出力ファイルを新規作成していくべき
処理A | B | C
他には、処理を分けられるなら、分けた方がよい
普通、バッファリング無しのモードは、
ユーザーの入力を待つような場合に、端末で使うもの。
こういうバックグラウンド処理では使わない
例えば、1回のシステムコールで、1000バイトの読み書きできるのに、
バッファリング無しなら、1000回もシステムコールを呼ぶから、処理時間が千倍になる
バッファリングとは、システムコールする回数を減らすために、
ある程度データが溜まるのを待ってから、処理を行うものだから
- 320 名前：デフォルトの名無しさん mailto:sage [2021/09/26(日) 23:33:39.09 ID:6v1pd5GW0.net]
- 余計なお世話や。ｗ
ほっといたれ。
- 321 名前：デフォルトの名無しさん [2021/09/28(火) 14:07:16.12 ID:yeB6oI220.net]
- ファイルパスから簡単に、ディレクトリ名だけを取り出す方法がありますか？
今は、下のようにやっています
file_path = "C:/Users/Owner/Documents/test/a.txt"
p dir_path = File.dirname( file_path ) # ディレクトリパスを取り出す
#=> "C:/Users/Owner/Documents/test"
p dir_name = File.basename( dir_path )
#=> "test"
- 322 名前：デフォルトの名無しさん [2021/09/28(火) 14:19:10.90 ID:nD0g4rLvF.net]
- file_path = "C:/Users/Owner/Documents/baka.test/a.txt"
- 323 名前：デフォルトの名無しさん mailto:sage [2021/09/28(火) 14:44:05.17 ID:zeEpbK0KM.net]
- >>321
必要充分だと思うがなあ。
自分でメソッドにくくりだすくらいやないの？
どうしても圧縮したいなら、text.sub(%r{.*/(.*)/.*}){$1}とか？
未確認。ワイならやらん。ｗ
- 324 名前：デフォルトの名無しさん mailto:sage [2021/09/28(火) 16:33:03.83 ID:WAJRktfF0.net]
- >>321
標準添付ライブラリの pathname
- 325 名前：デフォルトの名無しさん [2021/09/30(木) 20:28:46.68 ID:AJpnjzaB0.net]
- rubyだけdistrolessイメージない
なんでハブられてるの？
Googleはruby嫌いなの？
https://github.com/GoogleContainerTools/distroless/issues/156
- 326 名前：デフォルトの名無しさん mailto:sage [2021/09/30(木) 20:37:22.69 ID:I7uygAb2M.net]
- Google社内ではRubyの使用が許可されていない
当然だよね
- 327 名前：デフォルトの名無しさん mailto:sage [2021/09/30(木) 20:40:38.51 ID:BaUXpZJur.net]
- >>326
googleって言っても一枚岩じゃないからそれは完全に間違い
- 328 名前：デフォルトの名無しさん mailto:sage [2021/09/30(木) 21:14:17.31 ID:eVTcYnny0.net]
- バージョン互換の低さ、信頼性の低さを考えたら、プロジェクトとして使いにくいっつーのはあるやろな。
- 329 名前：デフォルトの名無しさん [2021/09/30(木) 22:37:54.54 ID:Q+Yf9LrK0.net]
- ＞ お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！
クソチョンｗ
- 330 名前：デフォルトの名無しさん [2021/10/01(金) 04:21:27.55 ID:YSb3+a7ia.net]
- >バージョン互換の低さ、信頼性の低さを考えたら、プロジェクトとして使いにくい
googleのAPIのことですか？
- 331 名前：デフォルトの名無しさん mailto:sage [2021/10/01(金) 09:11:32.55 ID:Bf6uh555M.net]
- プログラミング言語のシェア的にはdistroless対応の優先順位は極めて妥当
残念だけどもう昔のような人気言語じゃないんだよ、、、
ttps://insights.stackoverflow.com/survey/2021#technology-most-popular-technologies
|
 |
