- 1 名前：デフォルトの名無しさん mailto:sage [2019/09/15(日) 09:23:06.34 ID:bjsiNRs40.net]
-
機械学習とデータマイニングについて語れ若人
＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです
■関連サイト
機械学習の「朱鷺の杜Wiki」
ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/
【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured
- 159 名前：デフォルトの名無しさん mailto:sage [2019/10/08(火) 21:40:37.04 ID:kGAGzuS00.net]
- 平均的な顔がいいっていうデマね。
実際は美人バッカ集めて平均取った方が圧倒的に良かったとかそういう結果。
- 160 名前：デフォルトの名無しさん [2019/10/09(水) 04:18:18.15 ID:+iZUlLJa0.net]
- そりゃーブサが平均に寄れば綺麗に見えるわ
- 161 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 12:43:17.12 ID:DoX5+3oi0.net]
- 機械学習やるなら、Cかjavaかpythonだよなあ
データサイエンティストおよびクラウド系のデータエンジニアならpython
大規模開発およびローカル系のデータエンジニアならjava
ローカル系および組み込みならC
javaの領域は今後すこしずつ縮小していく見通しだから、
新規で入るならpythonかCがオススメ
- 162 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 12:57:38.63 ID:8Gadabtv0.net]
- >>159
出来合いのライブラリを使う話？
スクラッチでつくる暇人はいないか
- 163 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 16:41:52.12 ID:IFGahd8r0.net]
- Geforce一択？
- 164 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 18:03:33.95 ID:joEVXQiz0.net]
- 巷で売れてるkaggle本買いました
これから勉強します
- 165 名前：デフォルトの名無しさん [2019/10/09(水) 19:06:25.13 ID:/Xo+Y8M3M.net]
- 統計学の勉強を本気で始めたら
恐ろしく難しいということがわかってきた
どうしたらいい？
- 166 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 19:07:25.32 ID:qJaHnW7l0.net]
- 参考書を変える
- 167 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 19:11:04.90 ID:fonAqmctr.net]
- >>161
amdも意外と使えるらしいけど、情報ないし疲れるよ。動かないとき常にうたがっちやうしね
- 168 名前：デフォルトの名無しさん [2019/10/09(水) 19:19:32.23 ID:4X2jyJQLM.net]
- 古典統計学とベイズ統計学をちゃんと学びたい
- 169 名前： mailto:sage [2019/10/09(水) 20:05:21.59 ID:K/FCWkI00.net]
- >>166
統計論と確率論は違うものですか？
- 170 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 20:14:54.29 ID:fTI0icewa.net]
- 統計学の中で使われる道具の1つが確率論
- 171 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 20:23:04.27 ID:ZvOECUeE0.net]
- >>161
まずはawsかgcpでやってみろ。
はじめからグラボなんか購入しても必ず後悔する。
- 172 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 21:11:35.20 ID:MK+5GX/v0.net]
- 古典統計とは集合論と位相空間論から測度論に発展して確率論との関係性のあたり？
- 173 名前：デフォルトの名無しさん [2019/10/09(水) 22:40:50.59 ID:+iZUlLJa0.net]
- わかんない
- 174 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 22:44:05.44 ID:zMnGtdTv0.net]
- アホ
- 175 名前：デフォルトの名無しさん mailto:sage [2019/10/09(水) 22:58:19.23 ID:Qjd49VQKa.net]
- 現実問題として、測度論まで必要になることはあるかなあ?
まずは連続量ではなくて離散量での理解が先かと思われる
それならそんなに難しくないでしょ
- 176 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 00:11:01.13 ID:O5ET7Lyz0.net]
- 規定関数の概念と関数のノルムさえ理解していればいらん。
- 177 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 00:11:57.40 ID:O5ET7Lyz0.net]
- 逆にそれがわかってない研究者はくそ
- 178 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 00:14:30.11 ID:O5ET7Lyz0.net]
- それ＝『規定関数の概念と関数のノルム』な。
- 179 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 00:17:00.40 ID:O5ET7Lyz0.net]
- わら。×規定
自分がわかってませんでした。
- 180 名前：デフォルトの名無しさん [2019/10/10(木) 02:31:31.78 ID:eF+ihzDEM.net]
- グレブナー基底は重要だな
- 181 名前：デフォルトの名無しさん [2019/10/
]
- [ここ壊れてます]
- 182 名前：10(木) 06:52:08.55 ID:H/x/U9NKM.net mailto: >>160
勉強のためにスクラッチで書くならpythonがオススメ。ネットに情報が多いから
仕事のためならC一択 [] - [ここ壊れてます]
- 183 名前：デフォルトの名無しさん [2019/10/10(木) 06:53:03.85 ID:H/x/U9NKM.net]
- >>169
何故そこでcolabが出さない
- 184 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 10:19:46.41 ID:xGOoNgUAa.net]
- 統計学を理解できていないのに理解したと思い込んだ人はこういう頓珍漢なことを平気で言い出す
@Inetgate:
@usukutilife @u874072e 一般的な統計処理において、標本数が30を超える場合には正規分布を仮定できますが、
えん さんが調べた結果だと全然正規分布になってないので、食べログの数値操作疑惑、真っ黒じゃねーかと。
https://twitter.com/Inetgate/status/1181488204068749312
(deleted an unsolicited ad)
- 185 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 10:23:07.08 ID:H/x/U9NKM.net]
- 母集団の分布が正規分布に従うと"仮定"すれば、間違ってない意見だな
仮定すれば
- 186 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 10:25:56.74 ID:H/x/U9NKM.net]
- って、もとのグラフをみたらbin数がやばかった・・・
- 187 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 14:07:25.58 ID:9SEfnsqfa.net]
- 標本抽出の仕方がランダムサンプリングで
母集団が正規分布の時だけに成り立つことを言っているな
- 188 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 18:30:07.85 ID:7gKn5Xz20.net]
- 競馬あてて見たいんだけど特徴量として前5走を使いたいんだけどどんな実装にすればいいのかな
どなたかヒントいただけないでしょうか
- 189 名前：デフォルトの名無しさん [2019/10/10(木) 18:50:01.66 ID:i+8+28k+F.net]
- 前走の結果より血統でやった方が良いって先輩は言ってた
- 190 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 18:56:00.12 ID:cL0M7hVK0.net]
- 入力で与えるのが出馬一覧とかで順番の意味を無くしたいならPointNetとかの構造を真似したりすればいいんじゃない
- 191 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 21:27:00.23 ID:aZnaY5Is0.net]
- >>180
あれ、逆にわかりずらいと思うんだが。
環境設定がすげーわかりずれーわ。
- 192 名前：デフォルトの名無しさん mailto:sage [2019/10/10(木) 23:11:06.33 ID:bdrwblpoa.net]
- >>185
ググればソースコード付きでいろいろ出てくるが
- 193 名前：デフォルトの名無しさん [2019/10/11(金) 08:18:38.76 ID:mCGV3tUv0.net]
- >>184
中心極限定理の話しで
標本数を30にした平均値の分布は
元の分布に関係なく正規分布とみなせるって事だよな
食べログの分布もその分布から標本を30取り出して
平均値を求める操作を10000回繰り返して
平均値の分布を描くと正規分布に近くなるはず
- 194 名前：デフォルトの名無しさん mailto:sage [2019/10/11(金) 11:53:47.65 ID:BrwAZKhG0.net]
- >>186
血統も絡めてるよていだけど、前走も大事かなと思いまして。
>>187
前走ではAの馬に負けてるから今回も厳しそう、とかの特徴を抽出したいなと思いまして、順序はそれなりに大事なのかなと考えています。
>>189
巷にあるコードよりも、より順序を重視する方法が無いものかなと。
数値やカテゴリーなどの特徴ではなく、多次元特徴を一つの特徴量として扱うことができないかなという感じです。
- 195 名前：デフォルトの名無しさん [2019/10/11(金) 11:58:01.09 ID:hkXt1GtmF.net]
- 重量ハンデは？
- 196 名前：デフォルトの名無しさん mailto:sage [2019/10/11(金) 14:41:23.78 ID:uWNk0GcMM.net]
- アルバイトでデータ解析やってる人間の意見としては、
とにかく役立ちそうな特徴量を選択せずにぶち込めるだけぶち込んで、
一度xgbかcgbを回してみればいいんじゃない
そうすれば重要な特徴量が何か抽出できるでしょ
話はそれからよ
勝ち馬をよく当てる人が何を大切にしているか調べることからはじめるべき
- 197 名前： mailto:sage [2019/10/12(Sat) 10:11:52 ID:UGc1lgsI0.net]
- 馬を株の銘柄に置き換えてリターンとリスク(分散)を元に
共分散使って有効フロンティアの曲線を引いて
無差別曲線と接する部分の比を見てパーセンテージの高い順に馬を買うってのは？
- 198 名前：デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [2019/10/13(Sun) 00:20:47 ID:kaSZg9r20.net]
- >>184
すでに指摘されているが、母集団の分布は正規分布である必要はない
>>190
中心極限定理の話(前半の話)はそうだけども、後半の部分は何が言いたいのかよく分からない
食べログの評点は一人当たり整数値の1~5を付けられる(ある店舗における点数分布をAとする)
各店舗は添付ごとにN人の評価の平均を平均点として算出する(各店舗の平均点分布をBとし、これが話題となっている分布)
Aの採点を行うのが一般人であると仮定すると、各店舗は同一の母集団確率分布に従うものと仮定でき、各店舗の確率変数X1, X2, …, XNは同一の母集団確率分布からのランダムサンプルと考えられる
大数の法則により、標本平均(分布Bのこと)は母集団の平均に近づき正規分布になる
標本数30以上というのはNが30以上ということで、この部分は残念ながら自明ではない
ある焼肉屋の評価は67件から構成されているが、別の焼肉屋は2件となっている
つまり最大限「食べログ」を擁護するのであれば、標本数が30以上ではないため前提条件が間違っている、ということだろうか
- 199 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 00:57:27.47 ID:0ePwtCDKa.net]
- 各店の平均化する前の採点が同一母集団に従うという仮定に無理がありすぎる
例えばラーメン屋とスイーツ店の採点者が同じ傾向の採点するなんて仮定は不自然
- 200 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 00:59:42.54 ID:kaSZg9r20.net]
- >>196
すまん、焼肉屋しか見てなかった
実にその通り
- 201 名前：デフォルトの名無しさん [2019/10/13(日) 06:54:46.01 ID:ObLeezZqa.net]
- >>159
Juliaでしょう。
- 202 名前：デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-KA+R [106.161.128.168]) [2019/10/13(Sun) 06:56:55 ID:ObLeezZqa.net]
- >>160
Flux
- 203 名前：デフォルトの名無しさん [2019/10/13(日) 07:21:13.99 ID:Fxu1r5BT0.net]
- >>195
大数の法則は標本数を増やすと標本平均が母平均に近づくということ
中心極限定理は平均値の分布に関する定理
食べログの評価の数が30になった時点で平均値を計算して
一度リセットするのを繰り返す
その平均値の分布は正規分布に近づく
今の評価の分布がその店に行く人の評価の分布を表している
のであれば今の評価分布から30標本を取って平均値を求める
操作を復元抽出で繰り返しても同じような結果になるだろう
- 204 名前：デフォルトの名無しさん [2019/10/13(日) 07:23:54.12 ID:Fxu1r5BT0.net]
- ある店の評価分布は標本数が多くなっても正規分布になるとは言えない
分散が広くなるのはその店のサービスや品質が安定していない事が原因になりうる
その店の特徴が分布に反映される
同様に店を評価する側の特徴も反映されるだろう
- 205 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 07:58:04.98 ID:S6cUkNQoM.net]
- 深層学習の凄いことのひとつは特徴量を人が設計する必要がない、と本とかに書いてありますが、どう理解すればいいのか分からず教えてください！
ここでいう深層学習とはニューラルネットのことですか？(線形回帰やSVMと違って説明変数を人間が決めてないから？ )
- 206 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 08:07:52.14 ID:A69S9ntC0.net]
- レビューを投稿する行動を取る時点で母集団にサンプルバイアス
- 207 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 08:55:43.76 ID:kaSZg9r20.net]
- >>201
言ってることの一つ一つは正しいことは理解できるんだけど、何が言いたいのか理解できないんだ
食べログが評価を操作しているかどうか、は今説明してくれた事を駆使すれば判別できるんだろうか？
あるいは、Twitterの書き込みのおかしさ、は今説明してくれた事を駆使すれば、ココがおかしいと指摘されるんだろうか
- 208 名前： mailto:sage [2019/10/13(Sun) 09:26:19 ID:vNAU+AUMa.net]
- >>201
各店舗の分散は各店舗の分布には影響しても全店舗の平均値の分布には影響しないでしょ
- 209 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 10:08:21.52 ID:uKg8mtfTa.net]
- 中心極限定理はあくまで「同一の母集団から得た独立な確率変数であれば、十分な数の平均値を集めたものの分布が正規分布に近似できる」というもの
全店舗の採点者が同一の基準に従う採点を行うという前提が成り立たなければ成立しない定理
- 210 名前： mailto:sage [2019/10/13(Sun) 10:56:42 ID:kaSZg9r20.net]
- >>206
個々の採点者が同じ基準でないのに中心極限定理を持ち出しているのがおかしいと主張しているわけか、なるほど
同じ基準ではないにしろ、少し幅をつけてみよう
個々の採点者はある得点を中心に正規分布で配点する、もしくは一様分布で採点する、あるいは同じ点数しかつけないものとする
正規分布で採点する者は、正規分布の合成が正規分布になることから、平均値の分布もまた正規分布
一様分布で採点する者は、分布関数の底上げにはなるが平均値には影響を与えない
同じ点数しかつけない者も、平均値そのものをずらす事にはなるが正規分布の形は歪めない
つまるところ上記の前提が成り立つ場合には、平均値の分布は厳密に正規分布になる
毎回1点で、たまに4点をつけるような人が大量にいないと、この評点と言う平均値分布を正規分布から歪めるのは難しいように思う
- 211 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 12:13:54.05 ID:pJwii1Hg0.net]
- >>202
多分、画像データを深層学習(ニューラルネット)で学習することを念頭に置いてる話だろう。
もっと広い文脈で使えるときもあるがたいていは画像でうまくいった話を誇張して言ってることが多い。
- 212 名前：デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) [2019/10/13(Sun) 12:41:16 ID:Fxu1r5BT0.net]
- >>205
平均値についても同様の事が言える
仮に評価する側が同じだとしても
店舗の特徴によって分布の形は変わる
分布の形を見る事で店舗の特徴を把握してその店を利用するかどうかを事前に利用者が判断できるようにするサービス
が本来目標としたものかもしれない
分布を意図的に操作する事で金儲けに利用しようとした疑いが上がっているという問題だと思う
- 213 名前：デフォルトの名無しさん [2019/10/13(日) 12:44:15.71 ID:Fxu1r5BT0.net]
- >>207
評価尺度はただの順序尺度で間隔尺度ではないだろう
- 214 名前：デフォルトの名無しさん [2019/10/13(日) 12:53:02.60 ID:sm0sVhGqM.net]
- >>159
大規模ですけどC、C++、アセンブラです。
現在、全部で数百万ステップです
- 215 名前：デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [2019/10/13(Sun) 13:19:59 ID:kaSZg9r20.net]
- いかん、ラーメン屋の得点とスイーツ屋の得点を合わせて平均するとか謎なことをしていた
改めてデータに立ち戻ろう
3.6にピークがあるのは、とりあえず4に入れておこう層が2/3くらいいて、残りの1/3がとりあえず3に入れておこうということ4*2/3+3*1/3=11/3=3.67で説明できそうだ
逆に言えば、ここにピークが立つのは「とりあえず3か4に入れとけ層」が一定数いるということで、これは直感と合うのであまり怪しくはなさそうだ
次に3.8にギャップがある理由を考えてみる
元のデータを見た所、２つのガウス関数の和で表現できそうだ
一つは平均3.6で3σが0.3にあるピーク、もう一つは平均3.75で3σが0.05のピーク
こう仮定すると3.8にギャップができているのは、この2つ目のガウス関数の裾野に原因がある
この2つのガウス関数が意味するところは
ラーメン屋に通う「オヤジ層」とスイーツ屋に行く「レディー層」の違いを表すのか、
あるいは「関東に住んでいる層」と「関西に住んでいる層」を地域差表すのか、
はたまた疑惑の「操作されていない層」と「操作されている層」の人為操作の違いを表すのか
ラーメン屋だけの分布、特定地域だけの分布は作れそうだが、疑惑の操作に辿り着くのは難しそうだ
- 216 名前：デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) [2019/10/13(Sun) 13:25:37 ID:Fxu1r5BT0.net]
- 操作がなかったという帰無仮説を棄却できるかどうかじゃね？
- 217 名前：デフォルトの名無しさん [2019/10/13(日) 13:39:33.29 ID:kaSZg9r20.net]
- >>202
まぁ>>208でも言っているけど画像をCNNで処理することを汎用化して言ってる気はするなぁ
少し古いけど
https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html
にある
CNNはこういった特徴を抽出するための検出器であるフィルタのパラメータを自動で学習していく
ということなんだろう
RNNでも同じ話はあるので画像だけってことはないけど、なんでもかんでも特徴量を自動抽出ってことではないよ
- 218 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 13:45:19.51 ID:48i2xCpca.net]
- 三層のニューラルネットワークでは xor を分離できないという問題は
さらに多層になったことで何で解消されたの?
- 219 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 14:17:08.81 ID:25TC8kRG0.net]
- 3.8を超えた評価を3.6に落としてるって仮定したらほぼ同じヒストグラムになる
https://i.imgur.com/NrNIWrn.jpg
平均3.8標準偏差0.5で正規分布を生成して、3.8を超えた評価値を90%の確率で平均3.6標準偏差0.01の正規分布で取り直す操作をした（N=1000）
ただ同じだからと言って>>212のように元データの特徴量ごとの性質の違いを反映しているだけかもしれない
- 220 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 14:21:02.62 ID:qY0pTgmia.net]
- >>213
操作がないという帰無仮説について仮説検定の方法で検証するには操作がない場合の点数の理想的な分布を知っていなければならない
その理想分布に基づいて実際の分布がどの程度ずれているのかを確認するのが仮説検定なのだから
しかしそんなもの知り得ないので検定のしようがない
- 221 名前：デフォルトの名無しさん [2019/10/13(日) 14:23:09.86 ID:llG9wcVha.net]
- >>215
出来ないのは2層
3層にすると一度高次元空間に写してからシンプルな境界で分離出来る
- 222 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 14:45:50.67 ID:TJDkUn5hM.net]
- >>208
>>214
ありがとうございます。ほぼCNNのことと思って良さそうなんですね
CNNが凄い！っことを深層学習という言葉に拡大して凄い！って言ってるイメージですね
- 223 名前： mailto:sage [2019/10/13(Sun) 15:01:05 ID:kaSZg9r20.net]
- >> 215
細かいけど、まず層の数え方から
入力層は層に数えないので、ANDとORは1層で、XORは2層で表現できる
次にXORはなぜ2層で表現可能か
単純に、AND(正確にはNAND)とORの出力をANDで受ければXORが作れるから
ググったら以下のような図を見つけた
https://www.infiniteloop.co.jp/blog/wp-content/uploads/2017/12/XOR.png
>>218の回答はエレガントだけども、少し説明を加えると
(0, 0) → 0
(0, 1) → 1
(1, 0) → 1
(1, 1) → 0
を分ける直線は2次元平面内では書けないけど、3次元に拡張して
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
を分ける平面はa,b,c,dを適当に決めれば作れる(例えばa=d=0, b=c=1としてz=0.5の平面)
a,b,c,dを適当に決めて分離できるってそんなんアリかよ！？って最初は思うかもしれないけど
そんな純粋な気持ちは最初だけで、どうせa, b, c, dは見ないし分離できたら何でもOKになる
- 224 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 18:39:55.88 ID:48i2xCpca.net]
- 二層あれば大抵の関数は模倣できるのに
何でもっと多層が必要なの?
- 225 名前：デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) [2019/10/13(Sun) 18:43:34 ID:Fxu1r5BT0.net]
- >>217
諦めたらそこで試合終了ですよ
目の前にヒントが転がっていても見えなくなる
- 226 名前：デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) [2019/10/13(Sun) 18:44:48 ID:Fxu1r5BT0.net]
- >>218
線型結合してる層を増やすとなぜ高次元になるのかを直感的に判るように説明して
- 227 名前：デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) [2019/10/13(Sun) 19:30:49 ID:llG9wcVha.net]
- >>221
層を増やす方が効率が高い
ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
- 228 名前：デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) [2019/10/13(Sun) 19:32:44 ID:llG9wcVha.net]
- >>223
一旦中間層のニューロン数だけの次元を持つ空間を経由できるから
- 229 名前：デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) [2019/10/13(Sun) 20:04:55 ID:Fxu1r5BT0.net]
- >>225
線型結合して関数を通して
また線型結合して関数を通して
の繰り返しでなぜ高次元になるの？
関数によって非線形になるなら判るけど
- 230 名前：デフォルトの名無しさん [2019/10/13(日) 20:33:11.99 ID:llG9wcVha.net]
- >>226
非線形な活性化関数噛ませるでしょ普通
自然に高次元になるんじゃなくてそうなる様にしてるんだよ、ニューロン数は自由に決められるから
- 231 名前：デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) [2019/10/13(Sun) 20:44:50 ID:/3kPh57iM.net]
- ディープキスのほうがいい！
舌をからませるの
立つよね！
- 232 名前： mailto:sage [2019/10/13(Sun) 20:48:48 ID:P1vmVh210.net]
- >ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
こんなことを示した論文などない。
よくこんなことをさも証明されたことの如く言えるな。
- 233 名前： mailto:sage [2019/10/13(Sun) 21:28:26 ID:kaSZg9r20.net]
- >>221
本質的な質問が来た
これについては俺も明確な答えは持ってないなぁ
直感的には、多層の方が中間層に保持できるパラメータ数が多く
そこには活性化関数を通した非線形の効果も含まれているので
ほどほどにノイズが消されていて抽象的な状態を保持できるから
と思うんだが、本当かどうかは分からない
- 234 名前：デフォルトの名無しさん [2019/10/13(日) 21:37:08.64 ID:llG9wcVha.net]
- >>229
Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." Advances in neural information processing systems. 2014.
NIPSの論文だが
何を根拠に「こんなことを示した論文などない(ｷﾘｯ」なんて言えたのか
- 235 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 21:45:22.38 ID:kaSZg9r20.net]
- >>226
ちょうどいいので>>220で示したXORを例に説明しよう
入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる
すなわちx3をx1, x2から作れれば良いので
a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2
として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である
- 236 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 21:46:31.38 ID:kaSZg9r20.net]
- >>226
ちょうどいいので>>220で示したXORを例に説明しよう
入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる
すなわちx3をx1, x2から作れれば良いので
a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2
として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である
- 237 名前： mailto:sage [2019/10/13(Sun) 22:05:13 ID:48i2xCpca.net]
- 五、六層でいいのかと思いきや
ものすごく多層にするよねえ
うまくいくからという説明しかないのか?
- 238 名前：デフォルトの名無しさん [2019/10/13(日) 22:18:18.69 ID:/3kPh57iM.net]
- >>221
〉二層あれば大抵の関数は模倣できる
その『大抵』とは、どの程度�
- 239 名前：ﾈんですか？
それが示されてないのですから
まったく意味をなさないですよね？
>>230
その意味をなさない書き込みに、
本質的とかって、
レベル低すぎですね。 [] - [ここ壊れてます]
- 240 名前：デフォルトの名無しさん mailto:sage [2019/10/13(日) 22:20:28.84 ID:mSmeGM2p0.net]
- >>235
完全な関数の導入じゃなくて疑似的な関数が解ればいいから
- 241 名前： mailto:sage [2019/10/13(Sun) 22:35:14 ID:kaSZg9r20.net]
- >>235
あんたは性格悪いなぁ・・・
ニューラルネットワークの普遍性についての質問が本質的でないなら何が本質的なんだ?
知ってて聞いてるなら教えてやれよ
- 242 名前：デフォルトの名無しさん mailto:sage [2019/10/14(月) 00:26:24.00 ID:Xj3JYQcoa.net]
- 専門的な知識はほとんどなく説明されても理解できる頭も持ってないけどマウントとりたいからとにかく突っかかる癖のある人が多すぎる
- 243 名前： mailto:sage [2019/10/14(Mon) 00:50:17 ID:yAy44Gfva.net]
- 初等関数?
特殊関数?
- 244 名前：デフォルトの名無しさん [2019/10/14(月) 07:16:20.36 ID:KQ95R8h/0.net]
- >>232
それだと
x1, x2の入力を受けるニューロンと
それからx3を計算するニューロンを並列に並べたら良い
x1-x1\
x2-x2-out
\x3/
みたいに
次元を増やすの意味として変数増加とx^2などと混同しやすい
これらを区別する言い方は何？
変数増加→高次元
x^2など→非線形
とか？
- 245 名前：デフォルトの名無しさん [2019/10/14(月) 12:29:28.91 ID:utYACZDud.net]
- 前に『ゼロから作るディープラーニング』買ったけど
これ3千円はする高額な本だけど、計算や式の意味がわからず挫折したなあ…。
やっぱノートに書いて解き方や意味を学習するしかないと思うねん。
- 246 名前：デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) [2019/10/14(Mon) 12:54:25 ID:syyLl6c1M.net]
- >>241
ならば『excelでわかるディープラーニング超入門』がオススメ
続編もある
- 247 名前：デフォルトの名無しさん mailto:sage [2019/10/14(月) 13:19:28.08 ID:aq/jCORe0.net]
- >>241
あの本は線型代数と微積分の知識は必須だと思う
- 248 名前：デフォルトの名無しさん mailto:sage [2019/10/14(月) 13:53:05.51 ID:pO8Bz3ni0.net]
- 機械学習に数学はいらないよ
- 249 名前：デフォルトの名無しさん [2019/10/14(月) 14:01:22.69 ID:htBbaZR2r.net]
- 機械学習に数学はいらないよおじさん「機械学習に数学はいらないよ」
- 250 名前：デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) [2019/10/14(Mon) 14:23:44 ID:syyLl6c1M.net]
- ソフト使うだけなら数学いらんわね
- 251 名前： mailto:sage [2019/10/14(Mon) 14:26:05 ID:daX/fZMnF.net]
- 適当にデータ放り込んで適当な手法を選択してなんとなく精度が良さそうなのを選ぶだけで成立する仕事なら数学など不要
普通の企業や研究室ではそんなものに金なんて出してくれないがな
- 252 名前：デフォルトの名無しさん [2019/10/14(月) 14:31:10.41 ID:JdA0BOgta.net]
- >>247
そういう仕事は既にAutoMLに取られつつあるね
- 253 名前：デフォルトの名無しさん mailto:sage [2019/10/14(月) 14:31:49.76 ID:XFqMr8NbM.net]
- というかこの世界ももう土方がいるのか
- 254 名前：デフォルトの名無しさん mailto:sage [2019/10/14(月) 14:40:16.73 ID:VuPQ6UMJ0.net]
- >>240
並列に並べるために(x1, x2)からx3を作るための層が最低1つ必要なんだ
0か1かのような2値分類は、つまるところ出力層と全く同じ出力をする新しい次元を作って、その次元に直行する超平面で分類する作業なので
言い方は高次元や非線形で良いと思うけど、次元についてはニューロンの数が、非線形については活性化関数が深く関係している
もう少し詳しく説明しよう
より一般的な関数があったとして、入力が(x1, x2)のとき、最後の出力層への入力としては
(f1(x1, x2), f2(x1, x2), f3(x1, x2), …, fN(x1, x2)) … (1)
となっている
Nは最後の隠れ層のニューロンの数なので、次元と読んでいるのはニューロンの数だということが分かる
(1)を如何にして作るのかが重要になり、層を深くして(1)を作らなくても、ニューロン増やせばいいんじゃね?となる
隠れ層1層と出力層1層の2層あれば大抵の関数は模倣できると指摘している>>221はかなり鋭くて実にその通り
それでもなんで層を深くするのかというと>>224の効率が良いというのが一般な回答なんだが、Deep Learningを回している人なら実感があると思うけど、第一層のニューロンの数がある一定数ないと学習がうまくいかないことが往往にしてある
単に層を深くすればよいというのは明らかに直感と異なり、そうすると「どの層にどれだけのニューロンを配置すると良いか」という問題になり、これに対して自分なりの回答はまだ全然持っていない
- 255 名前：デフォルトの名無しさん [2019/10/14(月) 14:42:39.82 ID:syyLl6c1M.net]
- 最初から土方しかいないから。
今もほとんど土方。
できる人は研究者か大学教員になってる。
- 256 名前：デフォルトの名無しさん mailto:sage [2019/10/14(月) 14:47:46.87 ID:daX/fZMnF.net]
- この分野はむしろ大学より民間の方がやりやすいから本来なら博士行くような人も修士までにしてとっとと成果出せる環境に移ろうとする人が多くなってきた印象
- 257 名前：デフォルトの名無しさん (ｽﾌﾟﾌﾟ Sd43-IE9o [49.96.34.97]) [2019/10/14(Mon) 15:08:32 ID:utYACZDud.net]
- >>242
ありがとう。調べてみます。
- 258 名前： mailto:sage [2019/10/14(Mon) 15:10:40 ID:4WTqwCCG0.net]
- 今ならまだ簡単にデータエンジニア目指せるけど、
早い者勝ちなのかな
すぐベテランにしか仕事がこなくなるよね
- 259 名前： mailto:sage [2019/10/14(Mon) 15:13:07 ID:4WTqwCCG0.net]
- >>241
あの本のレベルの数学が分からないと厳しい
数学が分からないと言いながらＤＳやってる人たちでも理解できる程度の内容
|
 |
