- 1 名前：デフォルトの名無しさん mailto:sage [2017/02/19(日) 00:53:42.74 ID:Dl8Ou261.net]
- 機械学習とデータマイニングについて何でもいいので語れ
人工知能考察は未来技術板の技術的特異点スレで語れ
■関連サイト
機械学習の「朱鷺の杜Wiki」
ibisforest.org/
DeepLearning研究 2016年のまとめ
qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング12
echo.2ch.net/test/read.cgi/tech/1485008808/
- 976 名前：デフォルトの名無しさん [2017/03/15(水) 14:31:13.76 ID:KVIdBQgW.net]
- >>949
今はどんなイメージなん？
- 977 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 14:53:57.42 ID:nVuVQrDL.net]
- いまはエキスパートシステムと呼ばれるものの研究が主流だよ（一度廃れてディープラーニングとして復活した
べんきょうがんばってね
- 978 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 15:19:34.46 ID:jOmRonVF.net]
- IMF
- 979 名前：デフォルトの名無しさん [2017/03/15(水) 15:27:25.96 ID:NuNTQfyE.net]
- FRB
- 980 名前：デフォルトの名無しさん [2017/03/15(水) 15:37:36.68 ID:KVIdBQgW.net]
- >>961
分野じゃないけど興味あったんで頭だけ見てみます
- 981 名前：デフォルトの名無しさん [2017/03/15(水) 17:04:25.20 ID:krqrFtb8.net]
- Elastic Weight Consolidation(EWC)ってより上位の階層のためのLSTMみたいなこと？？
- 982 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 17:19:02.23 ID:Qr/xhsJt.net]
- >>960
最初凝り固まったデータ群という粘土を捏ね繰り回して広げるイメージ
上手く特徴別に別れるように広げることができれば分類が出来るし
粘土を継ぎ足して行けば少ないデータから大きな表現を出せたりもする
- 983 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 17:44:36.57 ID:MfwcRQoI.net]
- PRML MAP推定が出てきたがはしょり感がはんぱでない
- 984 名前：デフォルトの名無しさん [2017/03/15(水) 18:45:55.80 ID:MeFnWNe/.net]
- >>957に誰か答えてよ
- 985 名前：デフォルトの名無しさん [2017/03/15(水) 20:03:05.54 ID:LU+w+iAT.net]
- ゲームプレイを学習しながらスキルを向上させる「DQN」やプロの囲碁棋士を打ち破る「AlphaGo」などの開発で知られる
GoogleのAI開発部門のDeepMindが、従来のニューラルネットワークが抱える欠点を解消するために、
データを記憶することで連続的に学習できるアルゴリズム「Elastic Weight Consolidation」を開発しました。
Overcoming catastrophic forgetting in neural networks
www.pnas.org/content/early/2017/03/13/1611835114.abstract
Enabling Continual Learning in Neural Networks | DeepMind
https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/
ディープラーニングは言語の翻訳、画像分類、画像生成などさまざまなタスクを処理するための最も成功した機械学習技術として知られています。
しかし、ディープニューラルネットワークでは、大量のデータが一度に入力される場合にのみタスクを処理できるように設計されており、
ネットワークが特定のタスクを処理するときに、各種パラメーターは、そのタスクのために最適化されます。
このため、新しいタスクが導入されると、ニューラルネットワークがそれまでに獲得した知識は上書きされるという特徴があり、
これは「catastrophic forgetting(破滅的忘却、致命的な忘却)」と呼ばれ、ニューラルネットワークの限界の一つと考えられています。
ニューラルネットワークの構造上の限界に対して、人間の脳は段階的に学び、スキルを一つずつ身につけ、
新しい課題の解決のためにそれまでの知識を応用することができるという特長があります。
このような「過去のスキルを記憶して新しい課題の解決に応用できる」という人間やほ乳類が持つ学習の特長からインスピレーションを得たDeepMindは、
課題解決を記憶して後の課題解決に応用できるニューラルネットワークのアルゴリズム「Elastic Weight Consolidation(EWC)」を開発しました。
- 986 名前：デフォルトの名無しさん [2017/03/15(水) 20:03:24.88 ID:LU+w+iAT.net]
- EWCでは、タスクを解決するたびに、そのデータがどれくらい重要なのかをスコア化します。
そして、その重要度を示すスコアに比例して記憶が上書きから保護される仕組みが採用されています。
つまり、重要でないデータはこれまでのニューラルネットワークと同じように上書きすることで消去されますが、
重要なタスクではデータが保護されるため、以前、学習した内容を上書きしたり、大きな計算コストをあらためて割くことなく、
新しいタスクを学習できるとのこと。
DeepMindはEWCの有効性をテストするために、Atariのゲームを使って実験しています。
個々のゲームをスコアだけから学習することはそれ自体が難しい作業ですが、複数のゲームを連続して学習することは、
各ゲームごとに個別の戦略が求められるため、さらに難度は上がります。
EWCを使わない通常のニューラルネットワークでは、青色のグラフのように、一つのゲームが終わると致命的な忘却によって
データが上書きされスコアが上昇しないのに対して、EWCを有効化すると、簡単に忘れることなく、
次々とゲームが変わる中でも学習することができたとDeepMindは述べています。
i.gzn.jp/img/2017/03/15/elastic-weight-consolidation/a01_m.png (グラフ)
現在のコンピューターはデータに応じた対応ができずリアルタイムで学習することはできませんが、
DeepMindによると今回の研究によって、ニューラルネットワークにおける致命的な忘却は回避できることが示されたとのこと。
この研究は、より柔軟に効率的に学習できるプログラム開発への第一歩を踏み出したことを象徴するものだとDeepMindは述べています。
gigazine.net/news/20170315-elastic-weight-consolidation/
- 987 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 20:48:18.21 ID:jozrvDfJ.net]
- 俺の人工知能
P(スパム投稿) = 1/(1+exp(-1*(-2+0.01*文字数)))
- 988 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 20:54:50.11 ID:sovBr57c.net]
- はぇ
- 989 名前：デフォルトの名無しさん [2017/03/15(水) 20:58:04.67 ID:YWbWpAvC.net]
- titanxや1080tiで使えるらしいint8処理（new deep learning inferencing instruction）
って何か特別な命令や処理とか必要なのかね？
ググってもイマイチそれっぽい記事が見当たらない…
- 990 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 21:07:55.70 ID:FmdlRk34.net]
- 俺に1080tiくれたら教えてやる
- 991 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 21:12:08.99 ID:XYUUle5Y.net]
- tfってgpuのメモリ溢れたらcpuからメモリ持ってくるように進化した？
- 992 名前：デフォルトの名無しさん mailto:sage [2017/03/15(水) 21:51:03.63 ID:jsXrAsHW.net]
- >>969-970
強調したい所を引用するならまだわかるが全文コピペは無意味だ。
重要な所を選べないならスレに書くのはタイトルとURLだけにしてくれ。
- 993 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 00:29:32.18 ID:Ndm+AfAz.net]
- >>976
てめーが理解できないから無意味だ！
ということかw
- 994 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 01:19:38.87 ID:sxYttCSG.net]
- ニューラルネットは巨大状態遷移図と等価である
大規模な場合でもそれで合ってます？
- 995 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 02:02:12.88 ID:0YSV2r0V.net]
- >>970
chainerがパクってドヤ顔するんですね、わかります
- 996 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 02:12:12.19 ID:V6xVvM1N.net]
- >>978
そりゃあ状態が遷移してるからそうとも言える
意味のない問だよ
- 997 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 04:32:29.31 ID:MbhwpNFo.net]
- 経済産業省、文部科学省などの官僚が国産という理由でChainer薦めて、日本の大学教授や大企業は国からの研究開発費、助成金の上積み狙い官僚の顔色を見ながらChainer使ってるんだろ？
Chainerって自動運転の研究と2次元の着色以外にどんな使われ方してる？
- 998 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 05:52:15.50 ID:shl9YE6i.net]
- chainerで意識高い系を演出してる人ならqiitaで良く見かけるが
- 999 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 05:55:15.41 ID:shl9YE6i.net]
- まぁchainer2.0に付き合う人は殆どいないだろ。
- 1000 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 06:09:58.04 ID:Lpqc6nXV.net]
- >>978
チューリングマシンと等価であると言ってるのと同じことじゃないか？
- 1001 名前：デフォルトの名無しさん [2017/03/16(木) 07:55:38.67 ID:QkaCOTFE.net]
- PyTorchはChainerのパクリ偽造品。
コードを見比べたら誰でもわかる。
だれでもこれはミッキーマウスだとわかるようなの偽造ぶり。
- 1002 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 08:02:37.15 ID:UnEyOCfT.net]
- >>985
そっくりな箇所のリンクを添えてGitHub issueを作ってみては？
- 1003 名前：デフォルトの名無しさん [2017/03/16(木) 08:14:54.43 ID:QkaCOTFE.net]
- 偽造はちょっと言い過ぎたなと思い撤回する。
でもかなりインスパイアされていると思う。
- 1004 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 09:12:25.17 ID:SfHiSEQl.net]
- データ
- 1005 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 09:18:33.78 ID:kqX9kEKY.net]
- DT
- 1006 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 10:52:36.77 ID:4aCZz2ad.net]
- 勢い1位で草
ええのんか？
- 1007 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 11:31:43.29 ID:jTHmyS9R.net]
- UME
- 1008 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 11:32:24.63 ID:jTHmyS9R.net]
- UME
- 1009 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 11:33:50.69 ID:jTHmyS9R.net]
- UME
- 1010 名前：デフォルトの名無しさん [2017/03/16(木) 11:44:45.83 ID:jqJvz2f2.net]
- 次スレ立ててから埋めれ
- 1011 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 12:27:42.14 ID:UcvFBRs7.net]
- ディープラーニングに出遅れた機械学習エンジニアと、Chainerでディープラーニングやってる奴がバカにされるスレ
- 1012 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 12:34:37.90 ID:SfHiSEQl.net]
- うめ
- 1013 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 12:57:58.49 ID:T5KkGpk5.net]
- スレ立てできなかった
- 1014 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 12:58:38.52 ID:K72oCVCx.net]
- 【統計分析】機械学習・データマイニング14
echo.2ch.net/test/read.cgi/tech/1489636623/
- 1015 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 13:44:32.14 ID:SfHiSEQl.net]
- これで
- 1016 名前：デフォルトの名無しさん mailto:sage [2017/03/16(木) 13:45:19.04 ID:SfHiSEQl.net]
- えんど
- 1017 名前：過去ログ ★ [[過去ログ]]
- ■ このスレッドは過去ログ倉庫に格納されています
|
 |
