【統計分析】機械学習・データマイニング20

【統計分析】機械学習・データマイニング20 at TECH

[前50を表示]
500:デフォルトの名無しさん
18/09/18 20:52:03.60 Jydth2ea0.net
時系列解析の自己回帰(AR)モデルについて教えてください
「AR(1) = Rt = μ + Φ1Rt-1 + εt」という式で
次数1の時「Rt: 今回の値」は「Rt-1: 1つ前の値」から推定される
という式ですが、この「1つ前の値」は実測値ですか?
それとも「Rt-2」を使って算出された予測値を説明変数と
するのでしょうか？
前者が正しいなら1つ前の実測値がないと予測できない事になりますが、
後者が正しいなら何時点か前の初期値1つだけで何時点も後の
値を予測可能だと思うんですが、どちらでしょうか？

501:デフォルトの名無しさん
18/09/18 21:40:22.66 5LJPbrObM.net
>>487
何を分析するかに依るけど
一般的には実測値だと思う

502:デフォルトの名無しさん
18/09/18 21:54:26.20 Jydth2ea0.net
>>484
ありがとう。株価だよ。
すげえ悩んでたから助かったよ。

503:デフォルトの名無しさん
18/09/18 21:56:59.45 Jydth2ea0.net
>>484
ごめん、正確には収益率。

504:デフォルトの名無しさん
18/09/18 21:58:14.97 3M7OTvKW0.net
>>482 せっかくのLINUX環境なのに、CLIで起動できない実行環境なんて悲しすぎるなんて思ったけど、jupyterlabなら簡単にインストールできたコレ、次世代すぎて使いこなせる気がしないけど今ぱっと動かした感じだとpycharmの更に上を行くほど更に凄いなてか今年の春にjupyter notebookの使用方法をマスターしたのにもう上位互換が出るのかよ。やってらんねーよ

506:デフォルトの名無しさん
18/09/18 22:20:56.79 yX9O6HZv0.net
株価って機械学習で予測できるの？
こないだ質問したら人間ができないことはできないっていってなかった？

507:デフォルトの名無しさん
18/09/19 00:03:09.71 qfGEDKPk0.net
単純なデイトレゲームと仮定した場合
株：できる、しかし実際には法律でアウトになるのでできない
見せ板を多用した相場誘導や短時間での注文&キャンセル処理でAPIに負荷かけた時点で
法律的にアウト
仮想通貨：できる
株ではできない見せ板を多用した相場誘導が基本的に無制限で法律で取り締まられてもいない
取引所に負荷かけすぎて怒られたりBANされることは多々あり
具体的には、板を出しているのが人間かそうでないかを見分けることで
肉入りから証拠金を巻き上げるような動きが可能になる
長期的嫌気判断として見た場合
株：できる
実際に行われているのは上場企業の役員のTwitterチェックなど
マイナスやトラブルを引き起こすような発言があったとシステムが判断した場合
(要するに異常検知の一種で炎上を検知している)
AIによって一斉に売られたりする
よくマイナス異常検知のターゲットになってるのはイーロン・マスクと関連企業
マイナスの異常でなくプラスの異常検知でも同じ
ニュースに対する反応なども見る
仮想通貨：できる
しかも風説の流布の取り締まりなどが行われていない為やりたい放題できる
大手仮想通貨メディアを裏で操る人々は、この手の手法で荒稼ぎしているだろう
直近で言えば、ゴールドマン・サックスの仮想通貨トレードデスク開設中止報道etc...

まぁちょっと勉強すれば誰でも思いつくよな
仮想通貨はこんな各国の法整備状況で、ビットコインETF承認なんてされたらある意味祭り

508:デフォルトの名無しさん
18/09/19 00:12:36.78 2H97zkt+0.net
取引方法がはじめからわかってたら、高速なシステムトレードやるだけだろ。
株価じたいではなく、ニュースからデータ仕入れて、何に反応するかの部分のAI化ってことか。

509:デフォルトの名無しさん
18/09/19 07:51:57.58 Y3nn/dRn0.net
見せ板してる時点で、予想できてないじゃんｗ

510:デフォルトの名無しさん
18/09/19 08:01:29.20 K7UZA9LYa.net
予想の値を出すことは可能
だけどそれで目標の利益を得られるかは別じゃね？
一度上手く利益を得られたとしても
トータルでは違う結果になるかもしれない

511:デフォルトの名無しさん
18/09/19 11:10:21.21 412dQebS0.net
AI×株の話題は荒れるから、野菜の分類でもやってろ
 URLﾘﾝｸ(tech.nikkeibp.co.jp)

512:デフォルトの名無しさん
18/09/19 11:32:57.12 lkpniOf60.net
ステマ

513:デフォルトの名無しさん
18/09/19 12:36:23.68 Y3nn/dRn0.net
判別難し過ぎワロタ
URLﾘﾝｸ(tech.nikkeibp.co.jp)

514:デフォルトの名無しさん
18/09/19 12:56:40.73 qfGEDKPk0.net
荒れるっていうか実際やってる人達が他のやつもみんなやりだすと稼げないからな
仮想通貨のデイトレゲーは大資本ないと厳しい(ただし、手数料フリーの取引所は例外)
深層異常検知の自動取引なんてすごいお手軽にリスクを最小化できる
まぁこの程度はネタバレにすらならん
大手はみんなやってることだろ

515:デフォルトの名無しさん
18/09/19 13:07:48.03 Y3nn/dRn0.net
震災後は地震になると猛烈に先物を売る地震アルゴとかあったけど、
全戦全敗で撤退した

516:デフォルトの名無しさん
18/09/19 13:36:19.39 0YSgxbfH0.net
>深層異常検知の自動取引なんてすごいお手軽にリスクを最小化できる
それってどうやって性能評価してんの？

517:デフォルトの名無しさん
18/09/19 14:27:41.75 cOJ83uNip.net
今日休みだから勉強してたけど5時間で参考書4ページくらいしか進んでない…
時間かけたからって理解したわけじゃないし…
ビニングとか交互作用とか多項式とか概要はまだしもなんでこれをやる必要があるのか全然分からん

518:デフォルトの名無しさん
18/09/19 17:46:00.61 kf9wev3s0.net
俺はもう一冊読破したよ
コツは実践しながら読むこと

519:デフォルトの名無しさん
18/09/19 18:05:00.19 vTJ3S9KO0.net
>>489
でも野村證券とか大手はAPIに負荷かけまくりじゃん？
おかしいよね？
見せ板も出しまくりだよね？

520:デフォルトの名無しさん
18/09/19 18:32:49.69 rc2jjf3P0.net
JUPYTERLAB、まじで統合開発環境になっていやがるな
機能が一気に増えたけど、余計なことまで出来るようになるのは吉か凶か
DSモドキ、機械学習エンジニア(笑)たちの御用達ツールって感じじゃなくなったな
本当にIDEだ。pythonを使って、チームで本格的な開発を行う人たちの強力なプラットホームだわ

521:デフォルトの名無しさん
18/09/19 19:09:37.45 uTNvKAU6a.net
jupyterlabはvim拡張がnotebookと比べて貧弱だったから使ってなかったけど今は進化したかな？

522:デフォルトの名無しさん
18/09/19 19:48:23.18 cOJ83uNip.net
>>500
一冊終えるのに何ヶ月もかかるわ
だからって完全に理解してるわけじゃないし時間かかった分どんどん忘れていくし…
実際コード書きながらやるんだけど参考書の説明が分からないと先に進めず考えこむんだけど分からなくても先にとりあえず進んだ方が良いのかなぁ

523:デフォルトの名無しさん
18/09/19 20:10:53.74 aiIpKBDGM.net
>>495
よーし、裏山に生えてたニラでも食うかー

524:デフォルトの名無しさん
18/09/19 21:33:48.11 kwGXfZ/C0.net
>>495
実物見りゃすぐ分かるよ

525:デフォルトの名無しさん
18/09/19 21:40:24.46 GiAtsVA80.net
>>504
いちいち立ち止まって考えるのも、無理やり先に進むのも、どっちも正解だろ
どういうやり方をしてもすぐに忘れるんだから
ただ、表面的な知識を忘れても、なにか身についているような状態にするのが理想なんじゃないかなとは思う
数学、統計学、機械学習の理論、情報科学の基本的な考え方
プログラマー的な物作りの直感や、WEB系なら文系的な能力などなど
そういうものが最も大切で、ライブラリやプログラムの文法、ツールの使い方なんかは
適当にそのつどそのつどで調べながら身につければOKなんじゃないか
最近、ツール関連は流行り廃りが激しいから、使い方をいっぱんに覚えるより
使い方がわからないツールを、英語ドキュメントを読みながら、なんとなく動かして
作業をちんたらちんたら進められる能力のほうが貴重な気がしてきた

526:デフォルトの名無しさん
18/09/19 23:21:12.82 Ev5NTVKN0.net
>>499
細かく読み進める前に、学ぶ意義付けを見直した方がいいんじゃないか。
入門書であれば章の始めなどに「何のためにこの章を学習するか」という意義付けが示されるはずだし、
示されないのであればあまり入門者向けの本ではないからもっと簡単な本から学んだ方がいい

527:デフォルトの名無しさん
18/09/20 10:23:59.56 gnTuzcyga.net
ＴＦ２、高レベルに進化するんだな
数年後にｋｅｒａｓ消えてそう
URLﾘﾝｸ(www.hellocybernetics.tech)

528:デフォルトの名無しさん
18/09/20 11:30:12.09 M2lBgQHaa.net
>>509
tensorflowとpytorchか？新しいの出てくるのか？

529:デフォルトの名無しさん
18/09/20 12:23:04.74 o2DcsKoW0.net
開発元同じだから

530:デフォルトの名無しさん
18/09/20 12:23:46.76 zlEb4gGt0.net
覚えるの大変だから、これ以上新しいものは出さないでほしい

531:デフォルトの名無しさん
18/09/20 12:30:15.73 7WHuQIEOF.net
おまいの脳は退化してる

532:デフォルトの名無しさん
18/09/20 14:26:41.94 X9J+trAU0.net
脳が学習を拒否してるだけだろ

533:デフォルトの名無しさん
18/09/20 20:04:23.98 5NSt/ZF+0.net
その機械学習の勉強意味あるんですか？
何か後に繋がるの？って言われた
そんなこと俺が聞きてぇよ！
何も知らない分からないとこから始めて勉強方法だって手探りだしやってる内容があってるか分からんし内容だって難しいしイメージ湧かないしで本人が一番不安だわ(；ω；)
なんだよちくしょう…(；ω；)

534:デフォルトの名無しさん
18/09/20 21:53:45.68 lp9E2ptbd.net
>>515
向いてない、無理してやることない

535:デフォルトの名無しさん
18/09/20 23:50:09.61 sVm7S3su0.net
我々の代わりにニューロンが学習してくれるのさ

536:デフォルトの名無しさん
18/09/21 17:00:40.03 2t2lIB8da.net
>>509
消えるも何も TF に統合されて普通に使われてるんだが…

537:デフォルトの名無しさん
18/09/21 17:58:59.29 MMpIEkeV0.net
俺にも機械学習を学んだ後のゴールが見えない

538:デフォルトの名無しさん
18/09/21 18:09:41.64 KMw7nMvLa.net
目的がないのに無理して学んでもしょうがないんじゃない？
受託分析の会社に就職したいとかこういうプロダクト作りたいとか、何かしらゴールを設定しないと学んだ事も役に立たないと思う。

539:デフォルトの名無しさん
18/09/21 18:27:13.56 2t2lIB8da.net
同意。もう素人がちょっと勉強してどうにかなるレベルじゃないし

540:デフォルトの名無しさん
18/09/21 19:46:22.75 egkcJrwz0.net
仕事に付けばゴールが設定されるんでは

541:デフォルトの名無しさん
18/09/21 20:31:40.71 y+ZygFeU0.net
何となく流行ってるからオライリーのディープラーニング本買ったけど、
私立文系非職業プログラマが趣味で手を出せる感じじゃない？

542:デフォルトの名無しさん
18/09/21 20:34:15.20 Hsxyb3Kxd.net
趣味でやるならいいんじゃないの。ゆっくり基礎から楽しめばいい

543:デフォルトの名無しさん
18/09/21 20:36:04.02 LuvXm+Whp.net
deepで回帰やってる人ほとんど殆ど見ないし明らかに回帰問題な物もクラス分類に置き換えてやってるの見る限り回帰よりも分類の方がハードル低いんですかね

544:デフォルトの名無しさん
18/09/21 20:36:50.09 81NIT4ig0.net
当たり前だろ
計算コストも高い

545:デフォルトの名無しさん
18/09/21 22:11:23.45 MMpIEkeV0.net
>>523
いや、理論が分からないんじゃなくて、
膨大なデータと強力な計算装置がないと、たいした物は作れない。
つまり、個人がチマチマと何かを作る用途には向かない

546:デフォルトの名無しさん
18/09/22 00:13:45.94 ZacBjrxHa.net
個人でもアイデア次第で面白いもの作れると思うけどな。
計算資源は趣味でやるレベルならクラウドサービス借りればいいし、
画像分類系ならImageNetのファインチューニングである程度は精度上げられる。
ラーメン二郎識別の人も、ベースの画像は自作のクローラーで集めた3万枚くらいでデータ拡張やGANで増やして精度を上げたと聞く。
サービスとして提供するレベルを目指すなら企業の力がいるけど、それは機械学習に限ったことではないし、
個人で楽しむ環境は自力で十分に用意できると思う。

547:デフォルトの名無しさん
18/09/22 00:38:25.15 l1Z1a/8Ia.net
AzureとかGCPとか使いたいけど無料でやりたくてもカード登録必須で無料枠越えたら勝手に課金されるのが怖い
勝手に課金せず無料枠越えたら問答無用でストップしてくれればいいのに

548:デフォルトの名無しさん
18/09/22 00:40:04.67 K4iJB0qOa.net
教師なしでできる事やればいいのに
強化学習とかさ

549:デフォルトの名無しさん
18/09/22 00:50:07.29 uHslz/QL0.net
できるかよ
どれだけ借りるつもりだ

550:デフォルトの名無しさん
18/09/22 00:51:12.19 7+L6lvEZ0.net
>>529
GCPは無課金枠使い切ったらクレカ開始するまでワンステップあるよ。
使い切った時点でサービスが一度止まるはず

551:デフォルトの名無しさん
18/09/22 02:23:42.00 MAFBmZ+e0.net
ヒカキンの年収が10億超え!?明石家さんま・坂上忍も驚愕の総資産とは??
URLﾘﾝｸ(logtube.jp)
HIKAKIN(ヒカキン)の年収が14億円！？トップYouTuberになるまでの道のりは？
URLﾘﾝｸ(youtuberhyouron.com)
なぜか観てしまう！！サバイバル系youtuberまとめ
URLﾘﾝｸ(tokyohitori.hatenablog.com)
あのPewDiePieがついに、初心YouTuber向けに「視聴回数」「チャンネル登録者数」を増やすコツを公開！
URLﾘﾝｸ(naototube.com)
27歳で年収8億円　女性ユーチューバー「リリー・シン」の生き方
URLﾘﾝｸ(headlines.yahoo.co.jp)
1年で何十億円も稼ぐ高収入ユーチューバー世界ランキングトップ10
URLﾘﾝｸ(gigazine.net)
おもちゃのレビューで年間12億円！今、話題のYouTuberは6歳の男の子
URLﾘﾝｸ(www.businessinsider.jp)
彼女はいかにして750万人のファンがいるYouTubeスターとなったのか？
URLﾘﾝｸ(www.businessinsider.jp)
1億円稼ぐ9歳のYouTuberがすごすぎる……アメリカで話題のEvanTubeHD
URLﾘﾝｸ(weekly.ascii.jp)
専業YouTuberがYouTubeでの稼ぎ方具体的に教えます。ネタ切れしない方法は〇〇するだけ。
URLﾘﾝｸ(www.youtube.com)
YouTubeで稼げるジャンルは〇〇動画です。YouTube講座
URLﾘﾝｸ(www.youtube.com)

552:デフォルトの名無しさん
18/09/22 10:37:32.71 IfrUT1bl0.net
GTX1080　一枚くらいなら個人買うけど、何すべえ

553:デフォルトの名無しさん
18/09/22 11:17:23.77 PGp2AKzL0.net
低学歴知恵遅れが独学で機械学習を学習しても
一向に学習効果があがらない
このｽﾚみてればよくわかるだろ
それと同じだからな
まずﾊﾞｶは勉強のしかたや努力のしかたが分かってない
だからﾊﾞｶはﾊﾞｶのまま
さらにﾊﾞｶはﾊﾞｶの自覚がない
だからﾊﾞｶはﾊﾞｶのまま
もうｶﾝﾍﾟｷなﾚｽ

554:デフォルトの名無しさん
18/09/22 11:25:37.78 K4iJB0qOa.net
流行りのディープラーニングやりたいのはわかるけどさ
データ集めるのもチューニングするのも難しいから、初心者が自前のデータでやるのは難しいと思うよ
まずはSVMとか決定木みたいな古典的な手法から入るべき
データが少なくてもそこそこ上手くいくから

555:デフォルトの名無しさん
18/09/22 11:26:26.13 K4iJB0qOa.net
ディープラーニングだけが機械学習じゃないよ

556:デフォルトの名無しさん
18/09/22 11:28:18.51 IfrUT1bl0.net
自分はそのつもりっす。方式による計算量の多寡の検討もつかないのでまずは一通り遊んでみる

557:デフォルトの名無しさん
18/09/22 13:26:53.70 fcKY0ssXa.net
このスレってnlp ネタ殆ど出ないよな。あんまやってる人いないのかな。
allennlp 使いたいけど評判どう？知ってたら教えて

558:デフォルトの名無しさん
18/09/22 13:47:27.41 +pucmWord.net
>>539
このスレは超初心者救済スレだから。LSTMもattentionもまったく出てこないw
AllenNLPは良くできてるけど少しハードル高いかも、仕様の把握が面倒

559:デフォルトの名無しさん
18/09/22 13:48:31.14 xOVRbYWfF.net
nipless

560:デフォルトの名無しさん
18/09/22 13:51:54.80 IfrUT1bl0.net
ダジャレスレ

561:デフォルトの名無しさん
18/09/22 13:56:57.15 fcKY0ssXa.net
>>540
サンクス、そう言えば rnn の話し見ませんね。
やっぱドキュメント読まないとダメか… pytorchもわからんとダメ？

562:デフォルトの名無しさん
18/09/22 17:59:22.10 QjN0TaMB0.net
ここに書いても無駄だろうけど
Attentionした時間順を特徴に埋め込んでから
CNNでその時間を考慮しつつ、初期層含め各層の時間情報を参照しながら畳み込む
ってモデルさっさとでないかなぁ
sota必至だから早く論文出てほしい
脳はやってる
URLﾘﾝｸ(www.eurekalert.org)
でも既存の機械学習では、初期の特徴に時間を付与することはほとんどやってない
RNNやLSTMが上手くいってないのは、初期から時間情報を連続的に把握して時間変化率を学習できないからだよ
いくら微分しても変化率とっても、初期状態からの時間情報を連続的に把握できないから学習できてない
一方、音声を特徴とする場合、ほとんどシークタイムが特徴に自動的に含まれるから
処理はクソ重くなるけど、高品質な結果が得られる
人間に置き換えても一緒
感覚器官は注意と畳み込みを同時に行いながら、それらの順でシーケンスを伝えて
脳はこの順番を記憶している

563:デフォルトの名無しさん
18/09/22 18:13:18.49 tW/Yy4gZ0.net
機械学習もいいが、センサーにはかなわん
ブラックボックスの中のものを重さや振った時の音で予測する・・・なんて回りくどいぜ
X線撮影で確認しろ
未来予測ならワームホール望遠鏡だ！

564:デフォルトの名無しさん
18/09/22 19:40:46.36 fcKY0ssXa.net
長崎は勝たないと脱落するぞ

565:デフォルトの名無しさん
18/09/22 19:41:06.05 fcKY0ssXa.net
ごめん、誤爆 orz

566:デフォルトの名無しさん
18/09/22 21:29:54.41 2qFIpkAdd.net
>>543
ドキュメントをなぞるだけなら不要

567:デフォルトの名無しさん
18/09/22 22:34:55.25 z+m4dANi0.net
>>503
デフォルト設定は貧弱
カスタマイズありきで拡張性は高いんだけど、使いこなせないなら、旧版をずっと使い続けた方がよさそう
こんなツールの設定コマンドを覚える暇があったら他にやらなければならないこと五万とあるだろ
俺は覚えるつもりだけど・・・

568:デフォルトの名無しさん
18/09/23 12:44:56.23 bLvK9Iso0.net
俺みたいな雑魚はまずnumpyとpandasとmatplotlibを使いこなせるように頑張るとこからだな

569:デフォルトの名無しさん
18/09/23 15:05:02.43 /sY9qa+Ta.net
>>550
的を得てるけど、深層学習が目的なら keras のサンプルでも動かすとモチベーションが保ちやすい
 >>54

570:8 了解。ボチボチ覚えるつもりではいます

571:デフォルトの名無しさん
18/09/24 02:46:29.51 igBDxXXr0.net
>>544
カプセルネットワークみたいにベクトルに拡張して空間情報とするのは？

572:デフォルトの名無しさん
18/09/24 04:22:26.78 6dcTB1Rg0.net
>>544
マルコフ連鎖をモデルの中に組み込めば良いんじゃ無い？
でも微分で消えてしまうのかな．

573:デフォルトの名無しさん
18/09/24 09:09:25.13 ekT6BbXIa.net
>>551
chainerのサンプルコードの方が楽。

574:デフォルトの名無しさん
18/09/24 12:16:47.58 lNNMZfDzd.net
>>554
まだ使ってる人いるのか

575:デフォルトの名無しさん
18/09/24 12:26:29.26 VhNQr7Aka.net
>>554
オワコンの名前をあげていちいち絡むな
URLﾘﾝｸ(trends.google.co.jp)

576:デフォルトの名無しさん
18/09/24 16:12:04.69 6L+7kJR10.net
>>552
カプセルネットワークの手法だと
各層で獲得した特徴同士の空間的相対位置は正確になるけれど
それでは汎用性がない
脳は空間的相対位置を崩す事もできる
これは記憶している各時間情報を参照して相対位置すら入れ替え可能だからできる
注目した部分の特徴だけを切り取って、別物として貼り付けるのではなく
一定の連続的時間情報部分を切り取って、その部分の特徴を別の連続した時間情報の一部分をキーとして
完全に連結させることができる
だから本当の汎用性を獲得するためには、時間情報の連続的把握が絶対に必要になる
 >>553
マルコフ性はこの場合適さない
何故ならば、脳と同様の構造を獲得するためには
過去、現在、未来すべての情報を参照する必要性があるから

577:デフォルトの名無しさん
18/09/24 16:27:32.53 5edCpy4L0.net
過去・現在・未来の区別は単なる幻想にすぎない　アインシュタイン

578:デフォルトの名無しさん
18/09/24 17:28:14.05 Kttr1loZF.net
そうやね

579:デフォルトの名無しさん
18/09/24 18:08:33.46 G1aPepRna.net
>>558
マルコフ連鎖的なレスやな

580:デフォルトの名無しさん
18/09/24 18:51:54.57 FnEn+Nhsa.net
>>557
解き方知ってるんじゃないの? 自分で論文を書いた方が早いのでは。

581:デフォルトの名無しさん
18/09/24 19:11:49.55 Kxio7RVg0.net
URLﾘﾝｸ(qph.fs.quoracdn.net)

582:デフォルトの名無しさん
18/09/24 21:11:14.88 gWQCW5YD0.net
隠れマルコフモデルを覚える前にマルコフモデルを覚えましょう。

583:デフォルトの名無しさん
18/09/24 21:12:22.33 gWQCW5YD0.net
ついでに言うとウィナー過程とマルチンゲールも知っとけ

584:デフォルトの名無しさん
18/09/24 21:12:23.12 Kxio7RVg0.net
じゃあ待ち行列の勉強から

585:デフォルトの名無しさん
18/09/24 21:42:12.44 lJZK7+QF0.net
連休に行楽地へ行って体験しよう

586:デフォルトの名無しさん
18/09/24 22:10:45.88 G1aPepRna.net
>>556
どっちも使った事なさそう

587:デフォルトの名無しさん
18/09/24 23:18:47.49 OwMqA+EG0.net
初歩的な質問なんだけど、tensorflowやkeras、pytorchの違いは文法的な作法だけ？
機械学習の本1冊目だけど実践しながら読み終えて完全に理解はしてないけど深層学習も興味あるしやってみたいなと思うんだけど、みんながフレームワーク選ぶ基準教えてほしい

588:デフォルトの名無しさん
18/09/25 00:45:33.33 G04XkrxS0.net
・define and runとdefine by run、まあこの違いはなくなりつつある
・分野によって使われやすいのが違う気がする、arXivみてそんな気がしてるだけで統計とかはないけど

589:デフォルトの名無しさん
18/09/25 01:01:38.10 Rmy45yvb0.net
>>561
論文を書くためには結果が必要だけど
この手法は脳の構造模倣だけに凄まじい量のデータが必要になるのは明白
つまり現実的には、この畳込み

590:モデルを適用したGANも組み込む必要があって作業量的にも計算量的にも個人ではまず無理

591:デフォルトの名無しさん
18/09/25 03:35:03.53 LXnmrKE+0.net
割込も体験するべき

592:デフォルトの名無しさん
18/09/25 04:07:52.14 IDRi2Kjza.net
>>570
仮に他人の論文があっても実現はできないと言ってるように聞こえる。
個人でできる範囲で成果を取った方が有益かもね。

593:デフォルトの名無しさん
18/09/25 14:23:16.83 NL395plNa.net
回帰における学習でデータ正規化を行った上で得られたモデルを使う場合は学習時の正規化で使った平均・標準偏差を使って入力値を変換しなければいけないと思うんだけど、
scikit-learnの使い方紹介記事とか読むとtrain_test_splitで訓練・テストデータ分離して各々別々にfit_transformで正規化している記事が大半で訓練・テストデータが異なる値で正規化されてしまうことになる
これは訓練・テストデータが大量にあればどうせ平均・標準偏差は変わらないだろうというだけの認識でいいの？

594:573
18/09/25 17:49:12.68 kAi0n2pKa.net
ごめん、見た記事では多分最初だけfit_transformして次では単にtransformしてたっぽい
それなら何の問題もないな

595:デフォルトの名無しさん
18/09/25 18:05:19.79 MY+XQBfWa.net
>>570
相対性理論とか実証は別の人がやることだってあり得る
論文を出すのはできるんじゃね
それが認められるかどうかは内容次第だし
本当に有益ならリソースを持つ組織が実証するし
必要ならその組織に所属すればいいだけ

596:デフォルトの名無しさん
18/09/25 18:09:03.58 MY+XQBfWa.net
>>573
実際に応用として使用する時に上手く行くかどうかじゃね？
学習に使うサンプルが偏ってたらその値を使って正規化すると
実際に使うときに期待する結果にならないんじゃね？
期待する結果に有意差がなければどっちでも良いんじゃないの？

597:デフォルトの名無しさん
18/09/25 22:06:17.44 niBQlr5vp.net
最近回帰問題解くのがキツすぎて無理やり0～1に正規化して分類みたいにやるのがいい気がしてきた

598:デフォルトの名無しさん
18/09/25 22:39:44.81 u+oxJT9H0.net
>>577
層を厚くすればなんとかなるんじゃないの？

599:デフォルトの名無しさん
18/09/26 00:52:49.34 OKJKpWkba.net
そろそろ PyTorch が無視できなくなってきたなつ
URLﾘﾝｸ(www.kdnuggets.com)

600:デフォルトの名無しさん
18/09/26 08:37:33.11 SJU9UbCQM.net
画像データを分類して教師データを作ろうとしてるんだけど、荒くでいいから自動で分類してくれるソフトないかな。

601:デフォルトの名無しさん
18/09/26 10:44:59.92 3yW6iUgn0.net
SOM

602:デフォルトの名無しさん
18/09/26 11:01:18.29 UoU/Uwygp.net
>>578
わからないです
画像の生成モデルで出てきた問題みたいに支配的な領域に適合して細かい構造を予測できないので、分類にしてダイス係数を使おうかと考えていました

603:デフォルトの名無しさん
18/09/26 12:18:49.20 5WxjrnKia.net
>>580
自動分類できないから機械学習使おうとしてるのにその前に自動分類してくれとは

604:デフォルトの名無しさん
18/09/26 13:07:40.99 SJU9UbCQM.net
>>583
最終的には自分で見なきゃいけないのは承知してるんだけど、荒く自動分類した後に人が修正って考えてます。
何とか教師データの作成を楽したい。

605:デフォルトの名無しさん
18/09/26 13:09:08.33 SJU9UbCQM.net
>>581
ちょっと調べてみます。

606:デフォルトの名無しさん
18/09/26 14:20:02.13 iQ/1ta8NM.net
>>584
qtクラスタリングとかどうよ？

607:デフォルトの名無しさん
18/09/26 14:48:10.49 nIEdWeYp0.net
画像にキャプション付けてくれるサービス探したらありそうだけど

608:デフォルトの名無しさん
18/09/26 17:42:13.90

609:/NSmYwyE0.net

610:デフォルトの名無しさん
18/09/26 18:41:51.88 IVfMWxLtM.net
>>588
当欠だな

611:589
18/09/26 18:42:16.88 IVfMWxLtM.net
s/当欠/凍結/

612:デフォルトの名無しさん
18/09/26 23:13:11.78 Lv/+nPmY0.net
あの画像なら人間でも間違えるから仕方ない

613:デフォルトの名無しさん
18/09/26 23:34:16.52 KPLU+0tA0.net
SVCのモデルを作る時にMinMaxscalerでスケール変換して、GridSearchCVでインスタンス作って、それに対してスケール変換した訓練データを使って学習させるって事をやったんだけど、これはダメらしいんだけど前処理の前に交差検証しろっていうのがよく分からない。
交差検証の過程では分割されたデータの一部が訓練用、残りがテスト用になって、訓練用となった部分を用いてモデルを学習させて、テスト用はモデルに対しての評価に使われる。
ここまでは大体分かる
しかし実はスケール変換する際にテスト用となった部分に含まれてる情報を使ってしまってる。
このようなデータはモデルに対してまったく新しいデータとは本質的に異なる。
？？？訓練用の一部がテスト用になるから？？

614:デフォルトの名無しさん
18/09/27 09:27:07.99 sw1sA5ZZ0.net
>>592
スケール変換の際にテストデータの情報を使ってしまったら、そのテストデータは「まったく新しいデータ」とは言えない。

615:デフォルトの名無しさん
18/09/27 11:10:18.48 TDX1lgSt0.net
qiitaは機械学習の良い記事があっても全然ランキング入らなくなったな
ニワカが飽きたのか

616:デフォルトの名無しさん
18/09/27 11:20:21.49 je3kizhWM.net
>>568
pythonはプログラム言語でtensorflowやkerasは効率よく機械学習するためのライブラリ。

617:デフォルトの名無しさん
18/09/27 12:14:59.19 PZBFougTa.net
>>594
それならいい記事見つけたらここにでもURL貼ってほしい
qiitaはタイムラインから良記事探すのが難しい

618:デフォルトの名無しさん
18/09/27 22:08:27.94 wuMHpvCna.net
>>594
飽きたというよりも具体的な恩恵が得られないからモチベーションが続かないのでしょう
趣味でやっている人たちばかりじゃないから

619:デフォルトの名無しさん
18/09/27 22:17:45.69 JFP1gXlP0.net
英語で検索した方が有用な情報多いよ

620:デフォルトの名無しさん
18/09/28 00:38:02.48 ofrlpy9E0.net
いいね！稼ぎじゃはてな民くらいしか喜ばないしねぇ

621:デフォルトの名無しさん
18/09/28 03:48:20.58 tygoHNB90.net
確かにQiitaは最近いいね減ったな

622:デフォルトの名無しさん
18/09/28 05:57:58.09 f7OuEx/00.net
aidemyとpyqどっちで勉強したらいいですか？

623:デフォルトの名無しさん
18/09/28 08:06:29.54 tNPqQxrGM.net
>>601
どっちもやる。
アイデミーから始めなよ。わかりやすいから。

624:デフォルトの名無しさん
18/09/28 11:08:53.98 Y0/Lv67w0.net
QiitaとHatenaは、インストール大先生の記事が多すぎて困るから検索結果から外してるわ

625:デフォルトの名無しさん
18/09/28 13:48:47.12 2IAcjEkAa.net
交差検証について検索してみるとその説明として、ある1つのモデルを考えた場合に、
元データをN分割してその内(N-1)個で学習して、残り1個でテストするのをNパターン繰り返すようなものと理解した。
しかし、CourseraのWeek6で説明してる交差検証は複数のモデルを思いついた場合の最良モデルを選択する手段と説明されており、
データをA,B,Cに3分割して、各モデルをAで学習、Bで評価して比較(このBをcross validation setと呼んでいる)、Bの評価で決定された最良モデルをCで最終評価するという内容になっている。
両者は別物のような気がするんだけど自分が理解しきれていないだけなのか？

626:デフォルトの名無しさん
18/09/28 13:54:00.86 gzs2bud+0.net
>>601
俺ならaidemyの無料部分だけ流し見してからPyQやる

627:デフォルトの名無しさん
18/09/28 13:56:04.74 SiTAO34aa.net
SQuA

628:D とかやってる人いる？流行りの先端モデルとかご存知なら教えてください >>604 どっちも間違ってない。前者は本来の定義。後者は実践的。

629:デフォルトの名無しさん
18/09/29 02:24:39.57 yQMwJEzv0.net
キーエンスなんかは見込み客の連絡先を得るためにホワイトペーパー量産してるんだけどね

630:デフォルトの名無しさん
18/09/29 08:04:19.54 wDXsR2010.net
キーエンスｗ

631:デフォルトの名無しさん
18/09/29 08:26:36.08 yQMwJEzv0.net
あそこ営業に投資全振りだぞ

632:デフォルトの名無しさん
18/09/29 08:28:19.01 70xW0TAb0.net
誤爆?

633:デフォルトの名無しさん
18/09/29 14:07:15.40 yQMwJEzv0.net
qiitaのいいね稼ぎじゃ具体的な恩恵にならんから続かないって話

634:デフォルトの名無しさん
18/09/29 15:00:04.38 puJ5IR70a.net
キーエンスのホワイトペーパーは捨てアド偽名でダウンロードしてるわ

635:デフォルトの名無しさん
18/09/29 15:24:38.05 7SQdA+7Xd.net
tf 1.11 出たな、更新かけたわ。2.0 はまだなのか
 >>611
それな。勤め先の意向で、個人名でひたすらいいね集めたけど、ひと～つも仕事に結び付かなかったw
むしろ教えてちゃんからのメールが山ほどきて仕事にならなくなったんで撤退したわ
 >>606
一時期やってたけど、もう少し具体的に。どういうアプローチかわからんとアドバイスしにくい。

636:デフォルトの名無しさん
18/09/29 17:38:55.50 ynHzs1ix0.net
機械学習のコンペばかりやっているが
いったい実務ではどのぐらいの精度ならOKにするのかとふと思った

637:デフォルトの名無しさん
18/09/29 20:16:28.30 e3HXgOr80.net
>>614
kaggleでメダル取れた？

638:デフォルトの名無しさん
18/09/29 21:12:49.04 a1dybsKxa.net
>>613
どもです。普通に DR とか使ってますがスコアが全然伸びません。
>>614
一般論としては仕事でやるならコストパフォーマンスが一番大事。

639:デフォルトの名無しさん
18/09/30 03:30:54.29 vyqR8BGx0.net
仕事では客が要求精度決めるから
それぞれだよ

640:デフォルトの名無しさん
18/09/30 04:27:12.57 vzbl47da0.net
協調フィルタリングって任意の精度に調整する事って出来るのかな
例えば，精度が高すぎると新しい商品に巡り会えないから，適度に偶奇性を取り入れたりすること
またそのレベルを調整できるモデルって可能？

641:デフォルトの名無しさん
18/09/30 05:52:32.17 qu8/Df54d.net
>>617
コスト度外視できんだろ、バカだな、なのか

642:デフォルトの名無しさん
18/09/30 05:53:02.84 qu8/Df54d.net
>>616
2はそれじゃ無理

643:デフォルトの名無しさん
18/09/30 05:55:15.11 vyqR8BGx0.net
>>619
できる見込み立たなかったら出来ないって言うよ

644:デフォルトの名無しさん
18/09/30 06:00:07.93 qu8/Df54d.net
>>621
そういうことじゃないよ、金の話しだよ。精度上げるのに必要な金を気前良く払う客なんて滅多にいない。

645:デフォルトの名無しさん
18/09/30 06:23:01.63 /+1iIgD2a.net
予算枠は先に決まってるからね。逆に決まってない場合はまずアポーンｗ
 >>617
一般論として、とわざわざ書いたじゃんw
>>620
なるほど… そういうことですか、別のモデルを調べてみます。

646:デフォルトの名無しさん
18/09/30 09:48:36.88 ec4AtTFMa.net
コスパって比率だからな
いくら比率良くてもパフォーマンスの絶対値が小さければ意味ないぞ

647:デフォルトの名無しさん
18/10/01 18:25:21.59 LX/fpUaV0.net
人工知能の本買ってきた
これで二冊目
迷ったけど
ディープラーニングとPython,Tensorflowの本にした
それにしても人工知能の本たくさんあった
5種類ぐらい
最初に買った「ゼロからはじめる～」の本は10万部いったって
URLﾘﾝｸ(i.imgur.com)

648:デフォルトの名無しさん
18/10/02 10:08:44.43 +xKncks4F.net
本屋の棚は賑わってるが粗製乱造

649:デフォルトの名無しさん
18/10/02 14:00:24.78 2AKCrptK0.net
ネットに同等以上の記事はいくらでもあるけど
情報まとまってるし、時間ない初学者が買うのはあり
でも電子版じゃないとjupyterやcolabで手動かしながらやるのだるいから
実本はあまり勧めないな
つってもどんどん技術が陳腐化してくから、MLの基本とCNN,RNN,LSTM,GAN,Attentionの概要だけ身につけたら
あとはdeepmindのサイトと論文全部読んで
arxivでsota達成したのだけ数カ月分読むほうがトレンドを追いかけるには手っ取り早い
実装がメインなら論文追わずにKerasやっとけ
すごいのでたらそのうちKerasにも実装されるから
それ使えってのが俺の結論

650:デフォルトの名無しさん
18/10/02 14:42:01.10 NniAR04ea.net
NLP やるなら PyTorch がもう主流だけどな

651:デフォルトの名無しさん
18/10/02 15:23:49.58 vWOGvfhl0.net
みなさん、やっぱり、ハイスペックのゲーミングマシンで開発しているの？

652:デフォルトの名無しさん
18/10/02 15:43:52.26 yDKwoLm6F.net
うむ

653:デフォルトの名無しさん
18/10/02 17:16:03.25 87pQjPQD0.net
むう

654:デフォルトの名無しさん
18/10/02 17:56:36.01 0PhHaGOIa.net
クラウドでやるのと実機用意するのとどっちが安いか

655:デフォルトの名無しさん
18/10/02 18:13:26.05 cO79peqD0.net
データ量次第としか

656:デフォルトの名無しさん
18/10/02 18:41:23.89 2AKCrptK0.net
研究や学習用途ならもうcolabでいいんじゃねーの
TPUまで無料で使えるようになったから最強すぎるわ
ただ12時間超える学習なんかの場合は、途中で保存する処理を作るか
既にある処理を使う必要性がある、Kerasには既にある
tensorflowの低レベルでやる場合は自分で書く必要性あるのかな
Pytorchはまだ触り程度で詳しくないけど、kerasと同じようなライブラリあるならそれ使えばいい
業務やサービスの場合はどうせAWSかGCP,Azure借りるだろ

657:デフォルトの名無しさん
18/10/02 19:43:42.88 +CsxoQN10.net
学習中に不明な原因で接続が切れてた時の絶望感

658:デフォルトの名無しさん
18/10/02 20:06:47.65 Fw3dw3lVa.net
sotaという言葉を知らなかったので調べてみてstate of the artの略で直訳すると最先端とかそんな意味だから何となく言いたいことは分かったけど機械学習分野での定義に当たるものが全然見つからない
sota達成とか誰がどうやって決めてるの？

659:デフォルトの名無しさん
18/10/02 22:59:32.38 2AKCrptK0.net
>>636
sotaって論文で書いてる連中は
arxivなどのオープンアクセスな論文サイトに投稿されてるコンピューターサイエンスの論文で有用なのはほとんど全部読んでる
だからどれが最高水準かを知ってるから
その分野におけるsota近辺のモデルの論文の結果と比較してsota達成としている
っていうのが俺の認識
論文完璧に追ってる以外にもカンファレンスで情報収集してるってのもあるだろうけど
物理学なんかと違って、ML分野はオープンアクセスな論壇で発展してきたからこうなってるんだろうけど
その辺の事情を追えてない日本人には全くわからん状態なのも

660:仕方ない

661:デフォルトの名無しさん
18/10/03 00:45:53.65 +7Euz2g60.net
あぁカンファで同時にsota報告が上がってたんだな
そりゃカンファで採択されるかされないかと
オープンアクセスサイトでの論文公開タイミングは、ものによってはちげーから
いくら先端追ってる連中でも被るのは仕方ない
・GAN的な双方向マルチ学習(自然言語で言うなら敵対的逆翻訳のしあいっこ？)
・特徴に時間間隔とポジション付与
・Attentionの構造改善
この3つが大体の今のトレンドだろ
全部組み合わせたのも半年以内に出てくるだろうけど
結局の所、事象における連続した時間情報の把握と
その状態における時間変化率の学習が上手く出来てないから汎用AIにはなれんだろう
ちゃんとした学者にも俺と似たような事言ってる人いて
脳構造の模倣による時間情報の学習を、哲学的な部分からやろうって言ってる人いるけどどうなるかな

662:デフォルトの名無しさん
18/10/03 01:19:02.14 jfGK+xYpd.net
脳構造だからうまくいくわけではない。

663:デフォルトの名無しさん
18/10/03 01:29:53.26 dkrkSoVO0.net
神経構造なんかは既に解明されてるけど
そうなるとしか分かっていない回路形成の発生学とか
関与しているらしいけど何してるのかいまいち分かっていないグリア細胞とか
こっちの方がモデリングをする上で重要だと思うけどね
今のMLでは生物の機能の一部を模擬してるだけに過ぎない

664:デフォルトの名無しさん
18/10/03 05:14:23.46 qbq9gQbU0.net
脳の機能（笑）哲学（笑）

665:デフォルトの名無しさん
18/10/03 07:10:02.33 1cI2REY30.net
哲学の成功は論理学と実証主義で完成したと思うよ

666:デフォルトの名無しさん
18/10/03 12:26:33.96 +58IDnbyd.net
脳モデルはあくまでNN、DL起案者が何をモデルとして数学モデル化したかであり、NN、DLは脳モデルそのものではない。
また、そもそも脳モデルが最適なモデルかどうかはまだ証明が存在しない。
たまたまDLがよい結果出たからそう言われてるだけ。
脳モデルが最適かどうかという前提を何も示さずに、研究者のなかに、『脳の伝達には～があるから○○を追加したらこうなるはず』みたいな議論されているのを見ると、滑稽に思う。

667:デフォルトの名無しさん
18/10/03 12:28:55.71 sAnPmpeI0.net
なぜ最適を求める？

668:デフォルトの名無しさん
18/10/03 12:30:34.07 +58IDnbyd.net
よりよい結果が出たらそっちを採用するだけ。
それが脳モデルになるとは限らない

669:デフォルトの名無しさん
18/10/03 12:31:35.36 in1HBOwn0.net
>>643
ほんこれなんだよね
Andrew NgもDLを脳に結びつけて説明するのは、誤解が多いから止めたって言ってたわ

670:デフォルトの名無しさん
18/10/03 12:32:37.09 +58IDnbyd.net
世にこれだけディープラーニングが広まったのは、脳モデルの説明による功績が大きいけどな

671:デフォルトの名無しさん
18/10/03 12:35:57.50 d+kLgL6ia.net
人間の脳が超省エネで高速に学習して予測結果の出力できているのと比較すると現行モデルは脳と呼ぶにはには程遠いんだけど非理系メディアでは人間の脳を模倣しているなどと喧伝される

672:デフォルトの名無しさん
18/10/03 12:37:46.63 +58IDnbyd.net
世に広めるにはイメージが大事です。
ただ研究者はイメージで研究してはダメです。

673:デフォルトの名無しさん
18/10/03 13:20:41.80 +7Euz2g60.net
CSなんて結局は計算能力との兼ね合いだからな
仮に完全に脳構造を模倣したモデルを組み上げたとしても
それがクソ重くて現行の計算資源で回らなけりゃクソだとしか評価されん
かといって脳構造の模倣や考察を放棄するのは適切じゃない
世界モデルもこっちよりだし、強化学習をやるためには避けられないだろう
問題はRNN,LSTMでは事象における連続した時間情報をあまり学習できてないってことだな
TransformerとUTは時間間隔をと位置情報を特徴に埋め込む事で
マルチヘッドセルフattentionにそれらを処理させているが
おそらくは完璧を求めると
階層的にAttentionによる時間情報とポジション付与をしつつ、それらを考慮したCNNで畳み込み
なおかつそれらすべての層を参照しながら、動的に再帰的処理する必要性がある
これにGAN的な世界モデルによる強化学習手法を取り入れれば汎用AIができるだろう
計算力はどうせなんとかなるだろうし
誰かが気づけば、あと10数年で汎用AI完成するんじゃね

674:デフォルトの名無しさん
18/10/03 13:29:51.05 +7Euz2g60.net
そもそも脳構造の哲学的推測における模倣はイメージじゃなくて
ただの論理的思考なんだけど
推測の過程において論理が飛躍しすぎてると
大抵の人は妄想だと判断して、考察を放棄する傾向があるからしょうがないわな
それが当たり前だもの

次ページ