【統計分析】機械学習・データマイニング24

【統計分析】機械学習 ..

392:デフォルトの名無しさん
19/05/20 09:11:41.12 TIcVJda3M.net
異常値少なくね？

393:デフォルトの名無しさん
19/05/20 10:19:01.08 ZsUjaMDlp.net
>>378
ありがとうございます
こちらから情報が出せないなか丁寧にありがとうございます
2値は試してみたのですが、元々の画像自体がそれほど鮮明ではなく
影などノイズも多く写り込んでいて2値化すると検出対象が特徴として捉えられませんでした…
正しい名称か分かりませんが、Convolutional AutoEncoderを使っています
ラベルに関しては元々正常しかありませんでしたが、評価用に正常をトリミングなどで加工して異常としたので元々は正常しかありません
あまり現実離れした異常を作ることは意味がありませんが試してみて変化するかとりあえず見てみます…

394:デフォルトの名無しさん
19/05/20 12:24:30.54 MXQauqoY0.net
積率を定義するとどんな良いことがあるの？

395:デフォルトの名無しさん
19/05/20 13:11:13.87 DYuPdND10.net
just moment!

396:デフォルトの名無しさん
19/05/20 13:29:02.22 zK6cmhQap.net
>>381
積率母関数(Moment Generation Function; MGF)のことでいいかな？
確率変数XのMGFが分かると、E[X^n]が簡単に求まるので係数を除けば
E[X] 平均
E[X^2] 分散
E[X^3] 歪度
E[X^4] 尖度
に使える

397:デフォルトの名無しさん
19/05/20 14:44:00.88 wijT7VzXM.net
大学一年か二年でならう統計学の内容だけど
よほど理論的なところに関わってないと、実務で積率母関数を扱うことまずないよね

398:デフォルトの名無しさん
19/05/20 16:53:24.89 Bx3reKfJ0.net
全モーメントが分かるとあーら不思議確率分布がわかっちゃうのよ

399:デフォルトの名無しさん
19/05/20 17:49:16.76 MXQauqoY0.net
よく分からんけど便利なんだな
分かるようになるまで勉強してみるわ

400:デフォルトの名無しさん
19/05/20 21:53:32.51 zK6cmhQap.net
確かに積率母関数を実務で使ったことない
よくある問題としては、正規分布に従う確率分布がn個(X1, ... , Xn)あり、各々二乗して全てを足したY=X1^2+...+Xn^2はどんな分布に従いますか？
答えは自由度nのカイ二乗分布になるんだけども、畳み込みを使って帰納法で解くのと、MGFを使って解くのどっちが簡単かというと、多分MGFのが簡単

401:デフォルトの名無しさん
19/05/20 22:00:11.37 QOzKNsGfa.net
>>380
二値分類問題であれば、まずは SVM を試してみるという方法もあるが

402:デフォルトの名無しさん
19/05/21 07:59:48.51 IiB+jawz0.net
積率母関数て
タイムボカンみたいな響きだな

403:デフォルトの名無しさん
19/05/21 08:31:52.29 OkKPzQUl0.net
戦闘空母群みたいだな―と思ってたw

404:デフォルトの名無しさん
19/05/21 10:28:03.08 Cd33UaFb0.net
>>336
憤りを感じるのはもっともだが、東大PhDでも生き残りは難しいのは事実。
5年くらい前までは日本語処理とかで日本人を完全に排除することは難しかったが、
2014年以降は、ローカル固有の処理は排除し、多少、機能は劣っても共通基盤で統一する方向に進んでいる。
例えば現在のGoogle JapanのAI部門のトップは、スザンナ・イリックという強気の女性で、
AI部門の採用に関してはスタンフォード、MIT、ハーバード、バークレイ、カーネギーとかの指定大学制度を採用していて
他の大学の卒業者だと、書類選考で落とされる可能性が大（前にそれ以外は見る価値はないのようなことを言い放って一部で議論を招いた）
ただし、Googleのほかの部門に入るのであれば東大、京大、東工大であれば入社はわりかし簡単（むしろ最初は歓迎されると思う）。
あと、営業系だと、給与は他の日本企業と大して変わりはない。

405:デフォルトの名無しさん
19/05/21 10:30:29.48 6lunsjWmM.net
んで君の学歴は？

406:デフォルトの名無しさん
19/05/21 10:50:22.36 Cd33UaFb0.net
あと、一点だけ書くと、AI以外の部門に東大卒で入るのは、やや問題がある。
なぜならば、AIとかの研究開発部門以外の部門に関しては、採用条件で大卒以上という学歴制限がないため
入社してマウンテンビューの本社に派遣されると隣の席の人は高卒ということになったりする。
高卒でGoogleに入るようなやつは大概の場合、プログラミングの天才みたいなやつが多く一般人だと勝てない。
さらに院卒と高卒だと年齢差が６年はあることになり、院卒の年齢だと完全に浮く。

407:デフォルトの名無しさん
19/05/21 10:51:52.05 Cd33UaFb0.net
>>392
コロンビア

408:デフォルトの名無しさん
19/05/21 11:37:07.08 lQFm1hfyM.net
>>393
Googleやyoutube使ってると
マジでクソなプログラムばっかりだ
天才を集めてるというが
誰が判断してるんだ？
人間は自分より知能の低い人間しか
理解できないんじゃないのか？
Googleには一部に天才的な人はいる。
それは認める。
しかし大方はクズの馬鹿だ。
六本木にいる奴なんてゴミばっか

409:デフォルトの名無しさん
19/05/21 11:42:34.84 Ba5sgWV5M.net
ゴミと言われてでも1000万ほしいな。

410:デフォルトの名無しさん
19/05/21 11:43:30.09 Ba5sgWV5M.net
技術職でGと同じ額出せる企業ｶﾏｰﾝ

411:デフォルトの名無しさん
19/05/21 12:11:56.45 vH1mZrOla.net
>>395
どこがクソなのか具体的に

412:デフォルトの名無しさん
19/05/21 12:30:14.64 hRizw/teH.net
クレクレ受け身じゃなくサービス立ち上げたるぐらいの気概出しなよ
まぁそこが順調にいきゃ苦労しないんだけど

413:デフォルトの名無しさん
19/05/21 12:50:03.53 jJIzGyAxd.net
ネットのニュース記事に、有識者のコメントのように
自動でコメントするAIは実現可能ですか？
さすがに難しい？

414:デフォルトの名無しさん
19/05/21 15:02:21.61 1PvoN0q0a.net
むりぃ

415:デフォルトの名無しさん
19/05/21 15:12:58.40 ZAINLMmO0.net
YouTube の表示にバグがあって、報告しても、2週間以上そのまま放置される！
HTML, CSS, JavaScript, jQuery などを知らないから、修正できない
検索フィルターの条件に「今日」と入力しても、それ以前の動画も表示されてしまう。
もう直ったけど

416:デフォルトの名無しさん
19/05/21 15:13:29.27 lQFm1hfyM.net
>>400
おれは言語や翻訳の機械学習も
やってるが、
コメントの内容がありふれたものでいいなら
そんなに難しくはない。

417:402
19/05/21 15:17:01.20 ZAINLMmO0.net
基本的に、5ch とYouTube はテストせずに、本番用を変える。
漏れはYouTube に、何回も報告してる！
HTML, CSS, JavaScript, jQuery などが、おかしい
5ch も、IE11 では無限ループか何かで、操作できない！
UI がスタックして動かない

418:デフォルトの名無しさん
19/05/21 15:40:03.54 Ba5sgWV5M.net
>>403
池上彰で頼む

419:デフォルトの名無しさん
19/05/21 20:07:22.42 4RMqyAdMM.net
( ´・∀・｀)ｿｰﾅﾝﾀﾞ

420:デフォルトの名無しさん
19/05/21 21:11:04.30 x2picWbvM.net
エキスパートシステムと機械学習の組み合わせでいける
参考にならないコメントしか作れないけど
ロシアが大統領選挙に介入した時のtwitterのコメントもたぶん
その技術で作られているんだと思う

421:デフォルトの名無しさん
19/05/21 21:30:30.42 5sIgp/GOa.net
google に入れる人は同業者が見ればすぐにわかるよ
格が違う

422:デフォルトの名無しさん
19/05/21 22:13:29.05 EfnQt7260.net
助さん角さん、やってしまいなさい

423:デフォルトの名無しさん
19/05/21 22:20:14.36 OkKPzQUl0.net
>>398
youtubeに犬の動画をUPしたら、
NHKの雲霧仁左衛門という
時代劇の著作権を侵害しているとなる。
300ほどの動画のうち20件は著作権侵害と
判定されるが全く別のもの。
機械学習がお粗末。
そして、間違い判定であると申し述べる方法がないのが問題。

424:デフォルトの名無しさん
19/05/21 22:23:14.39 gRFMsdyr0.net
>>410
twitterで中の人に文句行ったら?

425:デフォルトの名無しさん
19/05/21 22:29:50.41 TzhtmZ8u0.net
大学3年生で、自分で機械学習を勉強してる者です、気になることがあるので質問させてください
機械学習の例としてよく文字認識があげられますが、文字認識自体はかなり前から実現されているように思えます(例えば電子辞書に搭載されてる、手書きの漢字を検索してくれる機能)
そういった一昔前の文字認識はどのように実現されていたんでしょうか

426:デフォルトの名無しさん
19/05/21 22:39:43.14 EfnQt7260.net
>>412
東芝　文字認識　pdf でggr
実社会での利用が広がる文字認識技術

427:デフォルトの名無しさん
19/05/21 22:42:30.56 gRFMsdyr0.net
ザウルスとかニュートンとかか
それもまた機械学習

428:デフォルトの名無しさん
19/05/21 22:54:43.78 TzhtmZ8u0.net
>>413
ありがとうございます
こういった技術はオンライン文字認識と呼ばれるんですね、応用例も知れて面白かったです

429:デフォルトの名無しさん
19/05/21 23:10:00.53 EfnQt7260.net
>>415
パターン認識の教科書もちゃんと読んでね

430:デフォルトの名無しさん
19/05/22 00:07:38.88 o3roJDrka.net
>>404
> HTML, CSS, JavaScript, jQuery などが、おかしい
原因特定したつもりか知らんけど全く情報量ないやん

431:デフォルトの名無しさん
19/05/22 12:40:04.77 F3UJk10oM.net
CNNってオートエンコーダよりだいぶ前に発明されてたんだな
画像認識だけならCNNだけで充分そうだけどなんでジェフリーヒントんがこんなに注目されてるの？

432:デフォルトの名無しさん
19/05/22 13:36:13.88 W3VOEDhf0.net
ヒントンの弟子がＣＮＮつくったから

433:デフォルトの名無しさん
19/05/22 19:07:21.18 ai3X9nAHp.net
>>415 俺も検索してみたが OCRなんて手書き文字認識じゃないんだぞ。
手書き文字認識で重要な要素は書き順、画数なんだよ。書かれた文字にはそれらの情報がない。半世紀前に俺がやった。

434:デフォルトの名無しさん
19/05/22 19:30:05.73 unoawzzv6.net
>>420
画像を解析するんじゃなくて、どう風に何回書かれたかという情報をもとに認識するということですか
確かにその情報を使えば画像だけよりかなり高精度で識別出来そうですね

435:デフォルトの名無しさん
19/05/22 19:39:16.28 ApQFwnLRM.net
もはやタスクとしては一番優しいよね

436:デフォルトの名無しさん
19/05/22 19:45:38.25 ai3X9nAHp.net
>>422 昔の限られた資源で手書き文字をリアルタイムで認識するには、出来るだけ使える情報を使ったと言う事だよ。メモリも殆どなかった時代だから。
そう言う工夫は今でも重要だぞ。

437:デフォルトの名無しさん
19/05/22 20:17:17.55 H4i7scCn0.net
郵便番号自動読取区分機（東芝）
URLﾘﾝｸ(www.postalmuseum.jp)
これを念頭に >>413を書いた

438:デフォルトの名無しさん
19/05/22 20:49:17.09 r01q6

439:IED0.net

440:デフォルトの名無しさん
19/05/23 02:07:31.46 srO5/BaDa.net
〒は0とOの区別しなくて良いからな-

441:デフォルトの名無しさん
19/05/23 03:43:20.27 UUWXkdR80.net
オートエンコーダが異常検知に使われてるって記事見かけるけど、微量な変化は捕らえられるのかね？
形状がダイナミックに変わるやつは検知出来そうだけどちょっとズレてますとか傾いてますとか分かるもんなのかな

442:デフォルトの名無しさん
19/05/23 07:24:28.77 eCymInjh0.net
試せよ

443:デフォルトの名無しさん
19/05/23 08:25:32.04 vEvZcmDUM.net
フリーでデータ分析の仕事を始めて15年になりますけど
2016年ぐらいからビッグデータバブル
という状況になりまして、
かなり高額の報酬もらえてます。
ビッグデータバブル万歳！
でも、もうすぐバブル崩壊ですね？

444:デフォルトの名無しさん
19/05/23 11:31:14.42 n5dH8vuGH.net
バブルのピークはもう過ぎたんじゃないでしょうか
ガートナーによると幻滅期に入ったそうですし

445:デフォルトの名無しさん
19/05/23 11:47:52.98 l116DcUAd.net
>>429
15年はすごいな。
どうやって仕事とってるの？
どんな感じの内容？

446:デフォルトの名無しさん
19/05/23 11:54:54.54 eybwZjzY0.net
>>430　IoTの時代になるからますますデータ量は大きくなる。　分析からAIみたいな方向に移っていくだろうけど。
>>431 一度入り込めば継続的に仕事が出てくるだろ。　人手が足りないんだから。

447:デフォルトの名無しさん
19/05/23 12:22:09.21 2H9EIkW7M.net
ワイは入り込んだのかよくわからんまま、データ分析のフロントエンドやってるｗ

448:デフォルトの名無しさん
19/05/23 14:56:13.82 qEciJQYna.net
>>431
機械学習利用で25年喰っている会社もあるからね
今は、社員一人頭の売り上げが５千万円

449:デフォルトの名無しさん
19/05/23 15:37:04.89 QVUZWYfe0.net
経費が4千５百万

450:デフォルトの名無しさん
19/05/23 16:09:08.44 2H9EIkW7M.net
給料4千万!?
ｲｲﾈｰ

451:デフォルトの名無しさん
19/05/23 17:09:31.05 rxTYqy2Z0.net
会社に勤めたことないのないニート

452:デフォルトの名無しさん
19/05/23 17:33:26.69 l116DcUAd.net
>>432
最近は素人でもそれなりに分析出来るようになってきてる。
そのためほとんどが社内で完結できる案件になってきてると思えるけど、その中でフリーに頼るような案件ってどんなのがあるのかと思って。

453:デフォルトの名無しさん
19/05/23 17:50:31.70 2H9EIkW7M.net
ニート募集って広告見かけたｗ

454:デフォルトの名無しさん
19/05/23 18:27:08.62 4YO7mLFHp.net
>>435 普通ソフトの会社の売り上げは給与の2倍、社員が1／3ももらえていなければやめるよ。
>>438 大手企業が直接フリーを雇うわけないじゃん。
下請け、孫請け、3次受けとあるんだから、企業はまともな下請け会社にずっと仕事を出してるつもり。
しかし、フリーはアルバイトみたいなものだから、下請け会社が孫請け会社を使っていませんと申請しても、嘘ではないからずっと続く。
下手な小さな会社は苦労する。

455:デフォルトの名無しさん
19/05/23 18:33:27.62 KSjfeaufM.net
流石に下請けなの知ってるでしょ。
飲み会でもしたら上流からの金の流れ分かるよ

456:デフォルトの名無しさん
19/05/23 18:38:31.97 nwZRkhw20.net
>>435
ところがどっこい。
さらにどこかのパッケージソフト使っているわけでもないし
外注なしなんで、スゲー利益なんだよ。
KDDのコンペティションでは、この10年で2度準優勝してるよ。

457:デフォルトの名無しさん
19/05/23 18:42:23.86 KSjfeaufM.net
>>442
御社行きたい♡

458:デフォルトの名無しさん
19/05/23 18:44:23.84 nwZRkhw20.net
わたしゃそこの社員じゃないよ。
昔いたけど。

459:デフォルトの名無しさん
19/05/23 18:46:43.57 nwZRkhw20.net
さらに、基本的に直受けしかしない。
また、受託もやらない、全て委任契約のみ。

460:デフォルトの名無しさん
19/05/23 18:52:21.08 nwZRkhw20.net
さらにさらに、
成果物に関しては、相手企業には使用権のみ許諾して
所有権は渡さない。
嘘と思う人がいるだろうが、本当の話だよ。
もちろん日本の会社。

461:デフォルトの名無しさん
19/05/23 18:53:34.22 nwZRkhw20.net
訂正
＞所有権は渡さない。　→　所有権と著作権は渡さない。

462:デフォルトの名無しさん
19/05/23 18:54:42.44 nwZRkhw20.net
以上で終了

463:デフォルトの名無しさん
19/05/23 19:07:26.93 KSjfeaufM.net
そういう会社無いと夢がないからイイネ

464:デフォルトの名無しさん
19/05/23 19:09:57.33 B/nEPIrOa.net
どこかわかるわ

465:デフォルトの名無しさん
19/05/23 19:10:53.84 81P91tUsM.net
えーどこどこー？

466:デフォルトの名無しさん
19/05/23 20:25:57.11 ChjJRZiS0.net
>>440
オレ1人で月の売り上げ5千万以上、年に7億稼いでたけど給料800万やった。
（2割は利益を出していた）
体壊して辞めたけど。

467:デフォルトの名無しさん
19/05/23 20:30:25.84 eCymInjh0.net
TJOがあんなポジショントークする奴だとは思わなかった
ガッカリ

468:デフォルトの名無しさん
19/05/23 20:31:11.91 KSjfeaufM.net
それはいかん。自分は零細ITにいたけど上の方は1千万超えてたよ

469:デフォルトの名無しさん
19/05/23 22:27:38.39

470:6Szxdpex0.net

471:デフォルトの名無しさん
19/05/24 00:21:08.49 s0JZ13JH0.net
>>452
あそこは技術者一人当たりじゃなくて社員一人当たりなんで
経理も総務も含めて、かつバイトも使っていないしね。

472:デフォルトの名無しさん
19/05/24 07:06:03.33 +y8seB4Ia.net
>>453
AutoMLのこと？

473:デフォルトの名無しさん
19/05/24 07:44:19.65 I9WDb3qi0.net
そ

474:デフォルトの名無しさん
19/05/24 10:44:00.43 PyBT4/Drd.net
＞ID:nwZRkhw20
内容を盛るな

475:デフォルトの名無しさん
19/05/24 11:45:01.97 85WKPh7U0.net
需給予測は市場規模小さい業界だと思ったが
今は広がってんのかね

476:デフォルトの名無しさん
19/05/24 11:46:32.82 85WKPh7U0.net
>>455
昔のＰＣでNNの計算なんてとてもやってられん

477:デフォルトの名無しさん
19/05/24 12:03:40.99 CZsiC+PjM.net
自然言語処理を専門にするか、画像認識を専門にするか…

478:デフォルトの名無しさん
19/05/24 12:19:35.24 OLZB0xfya.net
画像認識のがいいよ

479:デフォルトの名無しさん
19/05/24 12:51:54.61 MIOpJWB2M.net
自然言語のほうがいいよ

480:デフォルトの名無しさん
19/05/24 13:00:34.07 WtzG6gjzM.net
これからは強化学習だよ

481:デフォルトの名無しさん
19/05/24 13:16:34.07 zawpyxYKa.net
>>自然言語処理を専門にするか、画像認識を専門にするか…
>画像認識のがいいよ
>自然言語のほうがいいよ
耳の不自由な人を
画像認識と自然言語で支援しなさい

482:デフォルトの名無しさん
19/05/24 16:44:12.22 Dri14T8iM.net
gunってなんの役に立つんだろうと思ってたけど結構gunを使ったサービス増えてきたね

483:デフォルトの名無しさん
19/05/24 16:58:18.90 kUwj1SkL0.net
機械学習には適切なデータが大量に必要と言っている人がいたけど、
別にそこまで適切ではなくてもいいんだよ
ある程度信頼できれば
URLﾘﾝｸ(gigazine.net)

484:デフォルトの名無しさん
19/05/24 16:58:34.59 kUwj1SkL0.net
>>467
GANな

485:デフォルトの名無しさん
19/05/24 18:11:30.03 s0JZ13JH0.net
>>467
実務上は、少ないデータでいかに使える結果を得るかということが
必要とされることが多いですからね。

486:デフォルトの名無しさん
19/05/24 21:35:22.94 MIOpJWB2M.net
そうそう
ビッグデータというけど
続けて標本サイズの小さい仕事をやってる。
ｎ＝40個ほどしかないけど
説明変数200ほどあって
14種類の機械学習試したら
どの方法でもなんとか予測できた。
同僚の手腕がいいので助かってる。

487:デフォルトの名無しさん
19/05/24 21:49:38.41 t/lJBqRi0.net
教師無しではデータの量と質が要求されるけど、
教師有りでは過学習に陥らないように学習させれば、1/10ぐらいの量でもイケルという認識

488:デフォルトの名無しさん
19/05/25 06:04:38.31 uqI/ytR10.net
嘘松( ´・∀・｀)ｿｰﾅﾝﾀﾞ

489:デフォルトの名無しさん
19/05/25 08:41:04.76 GmewsWkw0.net
GUNは業務では使えんけど見栄えいいから公開に向いてるってだけだぞ。

490:デフォルトの名無しさん
19/05/25 08:46:24.90 uqI/ytR10.net
ぐん？

491:デフォルトの名無しさん
19/05/25 09:03:03.05 H9G4SGp2a.net
>>472
そんなん問題によって違うとしかいいようがない
学習をしやすい問題とそうではない問題がある
機械学習の基本中の基本

492:デフォルトの名無しさん
19/05/25 09:20:50.22 /FLyHH1C0.net
教師データの水増しに使われてるよ

493:デフォルトの名無しさん
19/05/25 10:07:48.15 c7a1xFWv0.net
>>431
＞　どうやって仕事とってるの？　どんな感じの内容？
「フリー」と書きましたけど、自営業というより「非正規」という意味で書きました。
元々統計学を専攻してたけど卒業してからIT企業にてSEやってました。
その会社でいろいろイヤなことがあって辞めて、
メーカー系列のPG作成�

494:ﾌアルバイト募集で面接にいったとき、統計学を専攻していたと言ったらちょうどデータ分析の人を探しているということでアルバイトしませんか？といわれたのがはじまりです。その後は、請負い、契約社員、SES契約、派遣社員といろいろな契約形態でやっていましたけど、そろそろ正社員になるかもしれません。正社員になると年収は少し下がりますけど、もうすぐ不況になりそうな予感がするので、さっさと正社員になったほうがいいと思っています。

495:デフォルトの名無しさん
19/05/25 10:55:38.38 HkxaNc28a.net
教師あり学習って教師なしに誤差ゼロの特徴量が加わっただけだから大した差はないのになぜか別物扱いしてしまう人が多いよね

496:デフォルトの名無しさん
19/05/25 11:19:48.34 yOpOJb7D0.net
伝統的に別として説明する教科書が多いからだよ

497:デフォルトの名無しさん
19/05/25 11:24:42.57 dxGKXP5f0.net
フリーで月200万もらえてたとかじゃなさそうね。

498:デフォルトの名無しさん
19/05/25 12:14:49.26 FHjbLbB2a.net
>>479
誤差ゼロって何に対する誤差だよ
ラベルの事を指してるんだろうがラベルは予測に使わないし特徴量ではない
教師ありとなしは完全に別物だぞ

499:デフォルトの名無しさん
19/05/25 12:28:42.88 95Ybe8BPa.net
ラベル以外の特徴量から何らかの方法でラベルに近そうなものを計算して、その計算結果と実際のラベルを比較して誤差を調べる
誤差が大きければ計算方法を修正する
そうして最適なラベルの算出方法を決定するわけで、「予測に使う」というのが学習過程で使われるという意味ならラベルもその他の特徴量もしっかり予測に使われている
教師ありではラベルは絶対的に正しいこと(=誤差ゼロ)を前提とするのでラベルとの誤差が精度の良い評価対象になるが、
教師なしでは誤差混じりの特徴量しか得られなかったがために別の評価指標を使っているだけのこと
理論の上では本質的な違いはないんだよ

500:デフォルトの名無しさん
19/05/25 12:49:19.46 uqI/ytR10.net
損失、じゃなくて？
誤差なの？

501:デフォルトの名無しさん
19/05/25 12:55:03.49 9EmqmScDr.net
>>483
学習途中の話？予測に使うというのはモデルに入力するという意味
運用時にラベルは与えられないだろ？
教師なしは学習時と運用時で使える情報は同じだが教師ありは違う
自動車と金槌の本質的な違いは？って聞かれても答えに困るわ
逆に理論のどこを見て本質的に同じだと思うのか
用語の意味を都合よく解釈しているようにしか思えない

502:デフォルトの名無しさん
19/05/25 13:04:20.15 9EmqmScDr.net
>>484
誤差の大小と損失の大小は同じなのでここではどちらでも良い

503:デフォルトの名無しさん
19/05/25 13:07:36.46 t7lA5k1Lp.net
>>483
前から教師ありとなしの本質的な差がないと主張する人がいて、その真意を聞きたかった
例えばMNISTで教師なしで分類したとする
全部で10種類とクラスの数を固定すれば、教師なしでもおそらく正しく分類してもらえ、本質的な差がないという主張は理解できる
ではクラスの数が不明としたらどうだろう？教師なしではどんなにデータを増やしてもクラスの数が不明な限り同じ結果は得られないだろう
この辺りの説明をしないで本質的に同じと説明すると、機械学習は本質的には最小二乗法と同じと言ってしまい炎上したのと同じ危うさがある

504:デフォルトの名無しさん
19/05/25 13:53:46.85 S47qxAlEd.net
元々数学的な手法がいろいろあって、機械学習の分野のやつが勝手に2つに分類しただけ。
教師有りと無しで基礎原理は大きく異なる。

505:デフォルトの名無しさん
19/05/25 14:05:38.03 O1zpSt3I0.net
まあ何らかのモデルの式のパラメーターを最大/最小にする問題と考えると大差はないかもしれん
正解ラベルとの誤差で式を立てるかそれ以外の式で立てるかどうかの違いでしかない
数学的に考えれば

506:デフォルトの名無しさん
19/05/25 14:07:27.49 S47qxAlEd.net
？？？

507:デフォルトの名無しさん
19/05/25 14:07:51.79 S47qxAlEd.net
>>489
原理わかってないの？

508:デフォルトの名無しさん
19/05/25 14:09:45.78 S47qxAlEd.net
489の条件は絶対的でないよ

509:デフォルトの名無しさん
19/05/25 14:23:18.41 rW5FDb6DM.net
ディープラーニング使ったらCGとかも今よりずっと低コストで作れるんだろうな
個人でスターウォーズなみの映画とか作れたりとか
特に流体の表現でかなり効果を発揮しそう

510:デフォルトの名無しさん
19/05/25 15:42:51.81 /Qx1Z2J/a.net
3水準以上の多重比較検定は偶然の確率が上がるから棄却域を下げるっていうのが納得いかないんだけど
ABCの3水準があってAとBに差があるかだけが知りたい場合Cとの検定は関係ないのでは？(極論を言えばCとの検定を行わない)
どこかに差があるかを調べたい場合のみ有意水準を操作すればいいの？

511:デフォルトの名無しさん
19/05/25 15:49:22.03 LV9LUlXva.net
>>489
そうだな、犬も猫も人間も哺乳類と考えると大差はないかもしれん

512:デフォルトの名無しさん
19/05/25 16:19:05.08 997oQV33F.net
データサイエンティスト育成講座
URLﾘﾝｸ(www.hanmoto.com)

513:デフォルトの名無しさん
19/05/25 16:40:11.40 997oQV33F.net
・手取り足取りデータの前処理から予測モデルの作成、チューニングまで一通り網羅
・質の良い参考書がたくさん紹介されており、これから先もある程度示してくれる
・学術書でないので、安い
欠点: いずれも入門書である以上当たり前ですが
・アルゴリズムの数学的なところはすっとばし
・実務の前処理地獄はこんなもんじゃない
・この本の内容ができる程度で「AI人材」を名乗るな

514:デフォルトの名無しさん
19/05/25 16:42:30.74 uqI/ytR10.net
まず松尾豊の研究室から
論文とデータサイエンティストが生まれてから
本を出せや

515:デフォルトの名無しさん
19/05/25 16:45:51.62 997oQV33F.net
執筆者ではない
監修ですらない

516:デフォルトの名無しさん
19/05/25 17:10:51.99 UpoKtTek0.net
現在、AI事業が流行ってるわけではなく、AI事業を育成するための事業が流行中。
実績？わらわら。

517:デフォルトの名無しさん
19/05/25 17:21:31.34 MDBcKokxx.net
>>494
若干スレ違いとも思うけど検定の多重性問題だね
ロジカルに考えると分かると思うよ
例えば3学級A, B, Cの算数の試験で、学級Cは他学級よりも優秀か調べたい
つまり (C > A) AND (C > B) を調べたい
検定としては(A = C) OR (B = C)を帰無仮説としてこれを棄却したい
棄却域をそれぞれ5%とすると、5%の可能性で(A = C)がFalse, (B = C)がFalseとなる
(A = C)と(B = C)の両方がFalseにならない限り、(A = C) OR (B = C)はFalseにならない
この場合はA = Cを帰無仮説とした検定とB = Cを帰無仮説とした検定の2つを行って良い
別のケースで、学級Aあるいは学級Bが学級Cよりも優秀か調べたい場合を考える
つまり (A > C) OR (B > C) を調べたい
検定としては(A = C) AND (B = C)を棄却したい
上記同様に棄却域をそれぞれ5%とすると、5%の可能性で(A = C)がFalse, (B = C)がFalseとなる
(A = C)と(B = C)のどちらかがFalseになると(A = C) AND (B = C)はFalseになってしまう
つまり棄却されやすくなってしまっているので有意水準を調整する必要がある

518:デフォルトの名無しさん
19/05/25 17:36:49.30 suGe7WeyM.net
>>493
どゆふうに流体と関係あんの？

519:デフォルトの名無しさん
19/05/25 18:13:45.67 BEAwB+2w0.net
>>496
この本見たけど初心者には訳わからんし上級者には役に立たなさそうで何とも惜しい感じがした

520:デフォルトの名無しさん
19/05/25 18:20:19.51 69q3ULG00.net
>>502
流体の境界条件・初期条件に対する

521:流体の解析処理結果を学習データとして使用すれば、それをもとに自動的に流体のアニメーションを生成してくれるものができるはずって意味です今までの流体解析はスーパーコンピュータ使ったりしてすごくコスト高かったけどAI使えば低スペックＰＣでもよりリアルな流体表現ができるよねって話

522:デフォルトの名無しさん
19/05/25 19:52:31.11 C+z4Q3r1a.net
>>501
出したい結論次第ということか
あと質問なんだけど、
前者の帰無仮説の(A=C)と(B=C)をそれぞれ棄却域5%で検定したら
全体では棄却域1-(1-0.05)*(1-0.05)=9.75%で検定したことになりませんか？

523:デフォルトの名無しさん
19/05/25 21:18:20.43 MDBcKokxx.net
>>505
前者は(A=C)の検定と(B=C)の検定を合わせて全体でという考え方はしない
帰無仮説の説明からしたほうが良さそう
「Aの平均とBの平均は異なる」を検証するのに、わざわざ帰無仮説として
「Aの平均とBの平均は同じである(A = B)」という仮説をするのか？
それは「同じである」ことはケースとして1ケースしかないが
同じでないことはケースが無限に存在し検証ができない
「平均が同じ」という仮説を立てることで、現在発生している状況が
どのくらい起こりにくいことなのかを計算することができる
後者の(A = B) AND (B = C)は書き直せばA = B = Cで
これはケースとしては1ケースしかないので帰無仮説として利用可能である
しかし前者の(A = B) OR (B = C)は、片方を満たせばもう片方は無限のケースを許してしまい
これは帰無仮説として設定しても計算できない
大元の質問に戻って、ABCの3水準がある場合にCの検定をする必要がないのでは?
という質問については、帰無仮説として「A=B=C」が設定できないのであれば
当然多重比較検定の前提条件を満たしていない

524:デフォルトの名無しさん
19/05/25 21:54:09.32 yOpOJb7D0.net
>今までの流体解析はスーパーコンピュータ使ったりしてすごくコスト高かったけどAI使えば低スペックＰＣでもよりリアルな流体表現ができるよねって話
ありえねーわ。
微分方程式の数値解求めるアルゴリズムと
補間曲線フィッティングするアルゴリズムは目的も用途も別。
ちなみにＣＡＥとＡＩは相性自体は良い。
ＣＡＥはデータを無限に生成できるからな。
昔からアンテナシミュレーションソフトに最適化っていう機能あって
古い機械学習アルゴリズムがついていたりした。

525:デフォルトの名無しさん
19/05/25 22:17:07.06 j+1UCpGZ0.net
>>506
同時にfalse positiveが発生しない限り間違って棄却されないから問題ないってことか

526:デフォルトの名無しさん
19/05/26 02:54:23.04 Twzbio4W0.net
>>507
AIを使った流体のCG表現が不可能である理由はなに？
人間には手書きで流体のアニメーションを書けたりするけどAIには無理ってこと？

527:デフォルトの名無しさん
19/05/26 15:06:35.97 Twzbio4W0.net
>>509
今ゲーム業界はレイトレーシングだなんだと騒いでるけどこの技術が確立されたらより現実と見分けがつかないグラフィックのゲームとかできそうだね

528:デフォルトの名無しさん
19/05/26 15:41:51.01 7eYATO63r.net
sim2realとか使って荒いシミュレーションで大雑把なグラフィックを作ってAIでリアルに仕上げたりできそうだね

529:デフォルトの名無しさん
19/05/26 15:43:31.27 FDD59Vgs0.net
今の機械学習では仮説形成と演繹ができないと言われているが
仮説と演繹と帰納を識別できる判別器を作れないものなの？

530:デフォルトの名無しさん
19/05/26 15:49:47.77 KAaQkTQwa.net
演繹しまくりじゃね

531:デフォルトの名無しさん
19/05/26 16:06:05.73 FDD59Vgs0.net
>>512
×機械学習
〇深層学習

532:デフォルトの名無しさん
19/05/26 16:07:30.86 jVNot2dUp.net
分類としては3つしかないけど難しそうだね
--(帰納)-->(仮説)--(演繹)-->
ループとかも問題になりそう
ニワトリ → 判別機 → 卵の演繹です！
卵 → 判別機 → ニワトリの演繹です！

533:デフォルトの名無しさん
19/05/26 18:28:41.21 ZW

534:+JHuoB0.net

535:デフォルトの名無しさん
19/05/26 19:59:54.33 MRHfC0tka.net
>>514
ニューラルネット自体が関数近似器でしか無いから根本的に厳しいような気もする

536:デフォルトの名無しさん
19/05/26 20:03:16.17 Suq0krAi0.net
その手のことは組合せ爆発を伴うから
機械学習で連続的な取り扱いで楽することが流行っとるわけよ。

537:デフォルトの名無しさん
19/05/26 20:05:37.77 MRHfC0tka.net
というか演繹って機械学習と真逆の考えだからなあ
出発点の事実から論理をどう組み上げるかだから学習の余地は無くて、組合せ最適化あたりだろうか

538:デフォルトの名無しさん
19/05/27 01:28:00.88 CXLCqwWfM.net
学習した識別器をつかって答えを予測することは演繹とは少し違うのかな
そこら辺の概念的なことをよく理解できていない

539:デフォルトの名無しさん
19/05/27 05:32:58.30 t6QjrYpW0.net
バックプロパゲーションについて勉強してます
URLﾘﾝｸ(qiita.com)
このページの式13.14.15に突然yって出てくるんですがこれはどういういみですか？
何故ここでyが出てくるのかわかりません
どなたかわかりやすく教えていただけないでしょうか？

540:デフォルトの名無しさん
19/05/27 07:48:28.29 DsUkLbuS0.net
>>521
(9)式の y のことだよ。(10)式の微分を考えると出てくる。

541:デフォルトの名無しさん
19/05/27 07:54:02.92 t6QjrYpW0.net
>>522
なるほど！ありがとうございます

542:デフォルトの名無しさん
19/05/27 11:50:06.57 KdEWqt5uM.net
初歩的な質問で申し訳ないのですが
2値分類の評価指標に関して教えて下さい
accuracyはデータが偏ってる場合には適さないという理由は理解できました
データの割合が均等な場合（正常50%　異常50%）の場合でもaccuracyは評価に適していないのでしょうか？

543:デフォルトの名無しさん
19/05/27 13:29:27.61 /16uSnZGp.net
>>524
例えば犬と猫の写真があって
犬の写真を犬と判断 TP
犬の写真を猫と判断 TN
猫の写真を猫と判断 FP
猫の写真を犬と判断 FN
Acc = (TP+TN)/(TP+TN+FP+FN)
だから、TPとTNは式の形から全く等価
犬を猫と判断しまくってもOKなの？
あなたのやりたいことがOKなら使ってもいいし
NGなら別の指標

544:デフォルトの名無しさん
19/05/27 14:54:42.55 /16uSnZGp.net
思いっきりミスってた
こういうのは犬とか猫より正常、異常のが間違いがないな
正常な写真をX枚、正常を正常と判断する確率をα
異常な写真をY枚、異常を異常と判断する確率をβ
とすると、それぞれの枚数は
TP = αX
TN = βY
FN = (1-α)X
FP = (1-β)Y
Acc = (αX + βY) / (X + Y)
仮にXとYが同じ枚数ならX=Yとして(α+β)/2
偏りがなければ使っても良いかといえば、αとβを等価に扱って良ければOKだし、等価に扱えないなら別の指標

545:デフォルトの名無しさん
19/05/27 17:23:55.48 KdEWqt5uM.net
>>526
とても分かりやすい説明ありがとうございます
正答率は説明頂いた特徴があり、それでも参考書や記事などで正答率を算出する事が多いのは単純に説明がしやすいからでしょうか？

546:デフォルトの名無しさん
19/05/27 17:28:43.12 KJQjBYp00.net
タスクとエラーのリスクに応じて個々で検討すべき事柄だから
大体は省略されてる

547:デフォルトの名無しさん
19/05/27 18:05:50.75 otLNcE2UH.net
機械学習にしろディープラーニングにしろデータを元に「学習」するわけじゃないですか
でその「学習した結果」に新しいデータを通すとそのデータに対応する答えを「結果」が弾き出しますよね
このときの「結果」って一体なんなんでしょうか。小人さんがマシンの中にいるわけでもなし
パラメータがx1x2...xnってあったときに結果としてf(x1, x2,....xn)な関数が生成されるみたいな理解でいいんでしょうか？
もしそうならその関数が実際どんな数式？なのか見る術はありますか？kerasで勉強しています

548:デフォルトの名無しさん
19/05/27 18:22:40.43 2deMEJc2a.net
補間

549:デフォルトの名無しさん
19/05/27 18:24:14.91 2deMEJc2a.net
一回単純なモデルでいいからライブラリ使わずに実装してみるといいよ

550:デフォルトの名無しさん
19/05/27 18:57:20.00 cl2rg6uY0.net
補間だが演繹

551:デフォルトの名無しさん
19/05/27 19:00:05.40 Ne4UfqvxM.net
あー、今日も仕事終わった
だりィ、
データ分析やらせろボケ上司！
書類仕事はイャダ－！

552:デフォルトの名無しさん
19/05/27 19:02:36.82 w8JoPjjJM.net
データ見せる為のWebUI作ってる。書類よりはマシだな

553:デフォルトの名無しさん
19/05/27 19:12:00.16 nYz1CYbBa.net
>>529
簡単な最小二乗法を試してみるといい
エクセルでできるから

554:デフォルトの名無しさん
19/05/27 19:20:32.76 w8JoPjjJM.net
AI人材って普通に理系なだけだな
騒ぐほどのモンではないと思うけど、文系を引きずり下ろせるチャンスなわけだ

555:デフォルトの名無しさん
19/05/27 19:59:53.30 T/hWbhauM.net
データサイエンスで経営戦略方面から射撃
AIエンジニアリングで花形現場からの射撃で十字放火や

556:デフォルトの名無しさん
19/05/27 20:01:57.78 mqq2cpZZa.net
それを安く使い捨てたいから文系様がAI人材量産計画を叫んでいるのが現状

557:デフォルトの名無しさん
19/05/27 20:01:58.26 cpnvt74A0.net
いや、sum関数やvba位の位置づけになるかと

558:デフォルトの名無しさん
19/05/27 20:10:01.28 T/hWbhauM.net
計算資源ドカ食いするExcelやでぇ

559:デフォルトの名無しさん
19/05/27 20:12:55.37 izC7ByhK0.net
エクセルの最小二乗法は怪しくなかったか？

560:デフォルトの名無しさん
19/05/27 20:23:42.82 /16uSnZGp.net
>>529
イメージとしては間違ってないと思う
kerasならmodel.layer[i].get_weights()で重み取れるから見ることはできるけど意味はないかな
AND OR XORくらいなら重み見て頑張れないこともないが

561:デフォルトの名無しさん
19/05/29 21:10:53.74 AMD232/i0.net
パーセプトロンの勉強してる
分類問題なら出力層は当然その分類する項目の数になるだろうとは思うのね。0から4を判別するのに学習データのラベルが[0 0 1 0 0]みたいな
んで回帰問題の出力層のノードが複数になるケースってある？住宅価格予想みたいに答が一つに定まるのが回帰問題だから当然出力層はノード一つだよなとか思ってたんだけど
なんかそうじゃないっぽい？

562:デフォルトの名無しさん
19/05/29 21:13:20.60 7nrnLjkN0.net
>>543
勉強にお勧めの書籍やサイトはありますか？

563:デフォルトの名無しさん
19/05/29 22:11:55.58 XEw54qYY0.net
「15分後の株価」と「30分後の株価」とか

564:デフォルトの名無しさん
19/05/29 22:17:48.69 qjKa/CEa0.net
>>545
株価予想って機械学習で一般人でできるのかね
どれだけ質のいい情報が入手できるかのほうが重要そう
トランプのツイッターが原因で中国の株が乱高下してても中国の個人投資家はなんで相場が動いてるのか分からんかったとかいう話聞いたし

565:デフォルトの名無しさん
19/05/29 22:32:21.01 tZl3oLaI0.net
株価って突発的な出来事の影響が大きそうだし予想できるもんなんかね

566:デフォルトの名無しさん
19/05/29 22:32:43.30 pf0Cg+pWx.net
>>543
銀行1の株価、銀行2の株価、とか？
同じ業種の株価は連�

567:ｮするから、入力も出力もグループ化するよ >>545 個人でも儲かる方法はあるよ詳細は言わないけど、どうしても大手とは違うやり方になる

568:デフォルトの名無しさん
19/05/29 22:36:38.33 uNZ63kmU0.net
>>546
中国株触るのにトランプの動向チェックしないなんてありえないから
たぶん中華投資家は情報統制食らってるんじゃないかな。

569:デフォルトの名無しさん
19/05/29 22:37:08.35 pf0Cg+pWx.net
>>547
予想というより結果を大事にする
ボラティリティ(分散)はGARCHでかなり上手くモデルに当てはまる
ボラティリティが予想できるなら、オプションで儲けられるはずだけど、そもそものオプション価格がそれを見越した価格設定がされていて手数料負けする
なので違うやり方になる
株価自身の予想は統計的には予想できないことになっている
でも、儲ける方法はある
こんな感じ？

570:デフォルトの名無しさん
19/05/29 22:38:46.58 DaGU3Mz0a.net
株価は短期なら意外と当たるんだが、
たまに来る、予想と違う方向へどかんと動いて固定
これが怖い。大体これにやられて退場する人が多い
最近だとリーマンショックとか。

571:デフォルトの名無しさん
19/05/29 22:42:11.57 pf0Cg+pWx.net
あまり儲からないけど、ほぼ確実なのは鞘どりだね
連動する株価を反対売買する
これは機械学習するまでもなく従来の時系列データ解析で十分できるけど、今なら機械学習で簡単にできるよ
この方法は手数料がとにかく安くなるようにするのがポイント

572:デフォルトの名無しさん
19/05/29 22:53:33.08 qjKa/CEa0.net
>>549
中国国内からは通常の方法ではtwitterとかgoogleとかyoutubeとかは見られないらしいよ

573:デフォルトの名無しさん
19/05/29 23:20:45.39 w1YMyBUf0.net
VPNで何とでもなりそうだけど、どうなのかね

574:デフォルトの名無しさん
19/05/30 06:16:41.72 3VEQV70R0.net
vpnでどうにかなった

575:デフォルトの名無しさん
19/05/30 09:08:02.19 8juV0fmw0.net
機械学習で株価って、ずいぶん前からやられていることだから
結果については、その人の力量次第

576:デフォルトの名無しさん
19/05/30 10:22:31.99 3C4CVC+50.net
>>551
それでも儲けるハゲタカ

577:デフォルトの名無しさん
19/05/30 10:44:39.22 niFMShc3a.net
株価の予想に頼らない売買法さや抜き。

578:デフォルトの名無しさん
19/05/30 14:38:28.57 8juV0fmw0.net
>>558
株であれば会員業者
為替は取引業者じゃないと
手数料の関係で儲けるのは大変難しい

579:デフォルトの名無しさん
19/05/30 19:09:07.15 aU6K3cRFM.net
transformerてcnnなの？

次ページ