- 1 名前：1 [04/09/11 01:48:08]
- について教えてよ
- 522 名前：512 mailto:sage [2008/04/18(金) 01:04:24 ]
- レスありがとう。
ニューラルネットワークは全然詳しくないのでついていけないのですが、
ニューラルのキーが学習ならば、過学習がカギっぽいですね。
つきつめるとニューラルとは違う方面になっちゃうのかな？
cross validation は、ぐぐってみたのですが、
株とか先物だと既存のデータを、推定と検証用に分けて検証するってことかな？
システムトレードで言うバックテストデータと、フォワードテストデータをわけるということかな。
- 523 名前：デフォルトの名無しさん mailto:sage [2008/04/18(金) 12:24:05 ]
- >>518
日本の品格を著しく下げている在日チョンや
在日チャンコロの排斥が必要なのは言うまでもないでしょう。
まずは東京から。石原閣下に期待です。
前述した残業代を要求して裁判を起こしたりしているのも、
ほとんどはその手の輩ですしね。
日本の国際競争力を低下させようと工作しているんでしょう。
- 524 名前：デフォルトの名無しさん mailto:sage [2008/04/18(金) 16:34:03 ]
- >523
凄い誤爆だな。
- 525 名前：デフォルトの名無しさん mailto:sage [2008/04/18(金) 17:42:54 ]
- >>523
石原？冗談じゃねぇよ、あの財政破綻野郎
新銀行東京の責任とらせて全財産没収にしろ
小泉復活キボンネ
- 526 名前：デフォルトの名無しさん mailto:sage [2008/04/21(月) 00:48:52 ]
- 財政破綻野郎ってｗ
破綻してたのをここまで回復させたのが石原だろ
美濃部とか青島とかのダメダメ都知事を知らんのか
- 527 名前：デフォルトの名無しさん mailto:sage [2008/04/24(木) 08:18:13 ]
- 入力層から隠れ層への重みの大きな入力が重要な入力と言うことになるんでしょうか？
- 528 名前：デフォルトの名無しさん mailto:sage [2008/04/27(日) 17:55:55 ]
- ちょっと話題がそれるかもしれないけど
今日は天気が悪い
今日は非常に天気が良い
という２つの項目がDBにあったとします
「今日は天気が良い」で検索した場合後者のほうが一致率が高いわけですが
これを抽出するSQL文は書けますか？
テーブル構成は自由に設計してもらってかまいません
単語毎に項目を分割格納してもいいです
- 529 名前：デフォルトの名無しさん mailto:sage [2008/04/27(日) 21:08:00 ]
- >>528
＞後者のほうが一致率が高いわけですが
こういうことは「一致率」の定義をしていないから言えないんだよ。
- 530 名前：デフォルトの名無しさん mailto:sage [2008/04/28(月) 01:54:11 ]
- >>527
そういう考え方もあるけど
「重要な入力」をどう定義するかが問題で，
一般には「ある出力」に対する影響が大きなものだから
影響をきちんと計算すべき（非線型だから定数にはならない）
- 531 名前：デフォルトの名無しさん mailto:sage [2008/04/28(月) 09:08:51 ]
- >>529
この場合の一致率は一致する文字の数です
多くて余った分は無視
短い方の文の文字すべてが存在する場合は完全一致と判断します
- 532 名前：デフォルトの名無しさん mailto:sage [2008/04/29(火) 03:36:27 ]
- これは何かのクイズですか？
SQLでは難しいけど、ＮＮならできます、というオチですか？
- 533 名前：デフォルトの名無しさん mailto:sage [2008/04/30(水) 00:46:33 ]
- >>531
それNNの使いどころが無いよ
- 534 名前：デフォルトの名無しさん mailto:sage [2008/05/01(木) 16:20:58 ]
- ついにやったぞ！
この技術は今のコンピュータを本質的に変えるかも知れない。
wiredvision.jp/news/200805/2008050123.html
- 535 名前：デフォルトの名無しさん mailto:sage [2008/05/02(金) 18:25:29 ]
- >>534
usbメモリサイズでnnの構造の書き込みと計算結果の出力が出来るものがあるといいな
- 536 名前：デフォルトの名無しさん mailto:sage [2008/05/02(金) 22:14:31 ]
- 二端子のアクティブ素子は皆淘汰されたからなぁ
メモリ以外の使い道は難しそう
MRAMとどっちが早いか/速いか
- 537 名前：デフォルトの名無しさん mailto:sage [2008/05/03(土) 03:23:38 ]
- 端子数の問題じゃ無いんじゃない？
どちらかと言うと現状のLSI技術に馴染んで集積化できるかどうか？
もし可能なら本当にアナログニューロLSIチップや集積化した
アナログコンピュータも夢じゃ無いと思う。
その際の演算部分はやっぱりOPアンプかな？
あれってそんな集積化できたっけ？
- 538 名前：デフォルトの名無しさん mailto:sage [2008/05/03(土) 14:50:06 ]
- 二端子アクティブ素子は回路/システム設計が難しい
トンネルダイオードやパラメトロンは当時としては非常に優れた素子だったが
信号を一方向に流す（入出力を分離する）ために三相クロックが必要で廃れた
今の回路技術なら何とかなるのかも知れないが
アナログは（A級動作なので）消費電力が大きいのが大問題
上手くパルスorD級で使えればいいのだが
- 539 名前：デフォルトの名無しさん mailto:sage [2008/05/03(土) 15:51:22 ]
- 隠れ層の数が多すぎる場合、学習の精度は良くても別のデータでの予測精度が悪くなったりするんでしょうか？
- 540 名前：デフォルトの名無しさん mailto:sage [2008/05/03(土) 17:11:18 ]
- 悪くなったり良くなったりする
- 541 名前：デフォルトの名無しさん mailto:sage [2008/05/03(土) 18:11:17 ]
- OpenCVのリファレンス(日本語版)をさらっと見ていたらNNに関する機能も提供しているようなことが書いてあったんですが、
使ってる人いたらNNのライブラリとしてどう思うか感想をお願いします。
- 542 名前：デフォルトの名無しさん mailto:sage [2008/05/03(土) 20:25:56 ]
- >多すぎる場合
と書いてるんだから，多過ぎるかどうかの判定手段として訊いてるんじゃまいか
学習データにもよるが，一般的にはそう考えて構わない（overfitting)
- 543 名前：デフォルトの名無しさん mailto:sage [2008/05/09(金) 01:05:29 ]
- NNの並列化に関する情報
ちょうあい
- 544 名前：デフォルトの名無しさん mailto:sage [2008/05/09(金) 02:30:42 ]
- 意味不明
- 545 名前：デフォルトの名無しさん mailto:sage [2008/05/12(月) 23:07:55 ]
- >>541
OpenCVの物体検出関数で使ってるよ
- 546 名前：デフォルトの名無しさん mailto:sage [2008/05/29(木) 03:17:57 ]
- 学習が進むと、誤差は極小値に落ち着くんですよね？
だったら、どうして過学習が起きるんでしょうか？
- 547 名前：デフォルトの名無しさん mailto:sage [2008/05/29(木) 03:38:53 ]
- だったらって、両者には何の関係も無いよ。
- 548 名前：デフォルトの名無しさん mailto:sage [2008/05/29(木) 12:24:00 ]
- 関数の近似に対する局所的な誤差の最小化がローカルミニマム
学習しすぎて関数の近似なんて関係なくなったのが過学習
- 549 名前：デフォルトの名無しさん mailto:sage [2008/05/30(金) 01:42:22 ]
- >>546
ヒント：「過学習」とは．．．．
- 550 名前：デフォルトの名無しさん mailto:sage [2008/06/05(木) 03:16:41 ]
- >>546
その時点で知りうる誤差最小値なだけだよ
谷はいくつもある可能性がある
一番深い谷に落ちるのが正解なわけだが
浅めの谷で最小値が決定してしまうと間違いでしょ
それが過学習
- 551 名前：デフォルトの名無しさん mailto:sage [2008/06/05(木) 03:22:37 ]
- というか人間の脳に正解なんて存在しないわけだ
９時に人に出会ったら「おはよう」という点に収束していたとして
それは正解でも間違いでもあるわけだ
学習すればするほどこの学習の重みが増していく
「キモオタには話しかけてはいけない」という別の学習が行われても
「おはよう」の重みが大きすぎると「おはよう」と言ってしまうわけだ
こうなると都合が悪いだろ
これが過学習
- 552 名前：デフォルトの名無しさん mailto:sage [2008/06/05(木) 08:25:48 ]
- 過学習とは
訓練データに対する誤差は減るが
テストデータに対する誤差は増える状態
- 553 名前：デフォルトの名無しさん mailto:sage [2008/06/05(木) 11:14:35 ]
- 線形関数から作った学習データに対して
ものすごい波形で学習に使ったのみ点を見事に通過する関数を思い描いてください。
- 554 名前：デフォルトの名無しさん mailto:sage [2008/06/05(木) 15:24:33 ]
- 過学習かどうかってのはあくまでその挙動が正常かどうかという希望に関係してくる
数学的に正しい解は存在しない
計算するよう設計した時だけは別途解が存在するだけ
すべては製作者がこういう結果がほしいと望むことから始まる
- 555 名前：デフォルトの名無しさん mailto:sage [2008/06/05(木) 15:28:07 ]
- 製作者が希望する結果が基準となり
それより足りなければ学習不足
それを超えれば過学習
- 556 名前：デフォルトの名無しさん mailto:sage [2008/06/05(木) 15:29:49 ]
- ちなみに人間の脳は過学習を抑えるために
常に学習結果を消去している
再学習されない場合は自然消滅する
- 557 名前：デフォルトの名無しさん mailto:sage [2008/06/05(木) 15:32:56 ]
- まあ人間の場合製作者はいないので基準が存在しない
だから過学習という状態は存在しないのだけど
ただ心理学系の馬鹿達に言わせれば
社会的に逸脱した状態が過学習なんだとさ
- 558 名前：デフォルトの名無しさん mailto:sage [2008/06/06(金) 00:21:05 ]
- なるほど
ある特定の社会（コミュニティ）に過適応するわけか
- 559 名前：デフォルトの名無しさん [2008/06/25(水) 14:48:21 ]
- SOMでオススメの本ないですが。
アマゾン見るとコホーネンの本は翻訳がくそだとか非難が多いのですが。
- 560 名前：デフォルトの名無しさん mailto:sage [2008/06/26(木) 23:50:56 ]
- あれは確か文科系の先生（しかも学生に手伝わせてる）が訳してて
箸にも棒にもかからなかった記憶がある
- 561 名前：デフォルトの名無しさん mailto:sage [2008/06/27(金) 16:39:02 ]
- 今日本屋で自己組織化ネットワークの本見てきたけど
ほとんどの章を大学生が訳してた
- 562 名前：デフォルトの名無しさん mailto:sage [2008/06/27(金) 16:46:05 ]
- むしろ教授が関わってるのは「はじめに」くらいだと思われ
- 563 名前：デフォルトの名無しさん mailto:sage [2008/06/28(土) 02:39:34 ]
- 全滅なのか
ウェブのほうがマシだということか
- 564 名前：デフォルトの名無しさん mailto:sage [2008/07/02(水) 18:24:58 ]
- あほでも研究費が取れる希少な分野ですからね
- 565 名前：デフォルトの名無しさん mailto:sage [2008/07/29(火) 00:31:41 ]
- 制約付きニューラルネットワーク学習に関して詳しい参考書があれば教えてください。
基本的なニューラルネットワークのプログラムは組んだ事がありますが
制約に関してはネット上で言葉を見かけた程度で資料も見つからずどう実装するのかまだよく分かってません。
- 566 名前：デフォルトの名無しさん mailto:sage [2008/08/02(土) 16:32:04 ]
- 人間の脳細胞の構造を考えて見た
どうやって学習するか
BPは同じ入力を与え続けて正しい結果が出るまでランダムに変化させるだろ
人間は逆だ
正しい結果を知った上で入力を変化させる
つまりだねランダムな入力をしてそれが望む結果じゃ無い時には
それは疲労感や絶望感や空腹や実際の栄養不足を発生させる
そうなると脳全体の軸策が減少する
つづく
- 567 名前：デフォルトの名無しさん mailto:sage [2008/08/02(土) 16:34:54 ]
- そして軸策が伸びる条件だがそれは単純に脳細胞に信号が到達した時に軸策が伸びる
つまりだ
入力をミスって脳全体が萎縮していくが正しい結果を得られたときだけ伸びた軸策は減少しない
それが学習として機能するんだ
これを実装する方法も考えた
つづく
- 568 名前：デフォルトの名無しさん [2008/08/02(土) 16:54:49 ]
- 実装してから言ってね
- 569 名前：デフォルトの名無しさん mailto:sage [2008/08/04(月) 08:45:25 ]
- 単なるアイデアじゃなくて、きちんとモデル化されてるなら、オレが実装してやってもいいぞ。
- 570 名前：デフォルトの名無しさん mailto:sage [2008/08/04(月) 09:31:00 ]
- >BPは同じ入力を与え続けて正しい結果が出るまでランダムに変化させるだろ
>人間は逆だ
>正しい結果を知った上で入力を変化させる
なにいってんの
- 571 名前：デフォルトの名無しさん mailto:sage [2008/08/04(月) 19:16:06 ]
- ニューハーフハローワークに見えた
- 572 名前：デフォルトの名無しさん mailto:sage [2008/09/01(月) 14:48:54 ]
- 自己組織化マップのデータを可視化してくれるフリーのツール、どなたか知りませんか？
以前見かけたんですけど、どこにあったのか忘れてしまって……
- 573 名前：デフォルトの名無しさん [2008/09/01(月) 14:54:05 ]
- >>559
ネットで調べた方が分かりやすい。
この本読めたもんじゃないし。
自己組織化マップ ―理論・設計・応用 海文堂出版
はちょこちょこアルゴリズムも載ってるから、まだいいかもしんない。
- 574 名前：デフォルトの名無しさん mailto:sage [2008/09/01(月) 18:19:15 ]
- >>572
どんな入力データかによるだろ
- 575 名前：デフォルトの名無しさん [2008/09/03(水) 10:31:36 ]
- C++で実装されたライブラリでいいのないですかね。
最近の事情は全然知らないんで、わかりやすいサンプルがあるのがいいです。
- 576 名前：デフォルトの名無しさん mailto:sage [2008/09/03(水) 13:00:30 ]
- >>575
OpenCV
- 577 名前：デフォルトの名無しさん [2008/09/03(水) 14:12:15 ]
- >>576
対象は1次元データなので、コンパクトなもの希望です。
サンプルとしてでもフロントエンドのあるものがあるとよいのですが…
- 578 名前：デフォルトの名無しさん [2008/09/03(水) 19:38:39 ]
- ニューラルネットワークはカーブフィッティングあるから使いづらいよ。
統計学をきちんと学べば、機械学習の多くの手法が結局は親戚同士でしかないことや、
そもそもの因子選択がダメなら全部無意味だってことがわかる。
ニューラルネットワークしか知らない人は、「設計には慣れが必要」とか言って素人を煙にまくけど、
本質的な問題はね、機会学習のアルゴリズムは統計学が期待する「正規化されたデータ」という
幻想の上に立脚するものであって、単体では因子間の相関（多重共線性）を
適切に処理できないということなんだよ。
これはNN以外のあらゆる手法にもよこたわる、いわばバカの壁。
- 579 名前：デフォルトの名無しさん [2008/09/03(水) 19:48:51 ]
- これを処理する簡単な方法は、事前に多変量解析を行って、使えそうな因子があるかを見ること。
そして正規化処理を自動化すること。
因子間の相関が変化していく状況（リアルタイム）では、自分の設計を更新できないなら
すぐ使いものにならなくなる。
正直、なんで未だにニューラルネットワークを人間が設計することになっているのかよくわからない。
学会とかレベル低すぎ。
誰かはやくAI作ってくれ。
- 580 名前：デフォルトの名無しさん mailto:sage [2008/09/03(水) 20:04:39 ]
- >>579
いや、何か簡単に使えるフリーのライブラリがあればそれを教えてくれると
ありがたいんですが。
LIBSVMは試してみたんだけど、NNも試したいなと。
やりたいのは単に一次元データの予測なんだけど、未知なのでNNでやって
みようかなとそんくらいの統計素人ですんまｓん。
- 581 名前：デフォルトの名無しさん [2008/09/03(水) 20:09:52 ]
- BP法系統のニューラルネットワークの性能の低さは、因子数が少ないほど顕著になる。
因子が0から1までの値を取るとしたとき、その値の範囲（0.3以下、など）に重大な意味があるようなケースでは、
その因子を適切に分解するプリプロセッサ無しに学習を行おうとすれば、
中間層が2〜3個余計に必要になったあげく、近似精度も劇的に低下する。
なぜかというと、処理対象となる因数空間の分割（非線形近似）にはステップ関数が必要だが、
そのために中間層のニューロンが消費されてしまう。
結果、本当に欲しかった「役に立つ近似」に使われるニューロンが減り、精度が犠牲になってしまうのだ。
思うに、ニューラルネットワークが何をやっているのかわからないというのは、
単にそれを真剣に考えたことが無いだけだと思う。
あらゆる非線形近似は、空間分割と線形近似の組み合わせでしか実現できない。
ニューラルネットワークは、それをステップ関数と足し算（引き算）で行っている。ただそれだけのことだ。
- 582 名前：デフォルトの名無しさん mailto:sage [2008/09/03(水) 20:18:13 ]
- ライブラリはR言語に付属しているのがある。本家サイトあたりから辿れたと思う。
あとはアルゴリズム系の書籍のサンプルソースダウンロードが利用できる。
書籍を買わないとソースの解説は無いが、R言語に付属している優秀なデータを食わせれば
だいたい推測できりはず。もっとも、実データの処理に使うには教科書的すぎて役に立たないと思う。
NNの改善論文が多いのは、元のアルゴリズムが驚くほどクソだから。空間の境界部分を
きっちり処理したいなら、SVMやk近傍法のほうがはるかにマシ。
- 583 名前：デフォルトの名無しさん mailto:sage [2008/09/03(水) 20:24:27 ]
- ニューラルネットワークの本質は、k次元のケーキをナイフで切り分けてるだけ。
中間層を増やせばそれだけ太刀筋は複雑な軌道を描けるようになり、
一見うまくいくように見えるが、その軌道が合理的なものである保証は無い。
偶然に人の皮膚すれすれをナイフが通っても、ケーキが切れていれば切り分けは成功したことになるし、
値は収束したことになる。NNの誤差の収束ってのは、そのくらいの意味しかないのよ。
- 584 名前：デフォルトの名無しさん mailto:sage [2008/09/03(水) 20:39:23 ]
- SOMの可視化も、2〜5因子くらいにまで絞れているなら座標xy、色rgbとか使って
好きなように表示できるけどね。それ以上だと難しい。
「R言語 SOM」でぐぐると画像が見つかるかも。へぼいけどｗｗｗ
まあ出来合いの可視化ツールはあんまり見た目が良くないし、リアルタイムに見ながら因子を
入れ替えて別の角度から見てみるとか、３因子だから3D表示で見たい！とかなら、
自前で書いたほうが絶対楽だと思う。
上でも勧められてるけど、OpenCV、OpenGL(GULT)あたりがオススメ。データの読み書きはC言語のサイトを参考に。
- 585 名前：デフォルトの名無しさん [2008/09/03(水) 21:19:41 ]
- >>581
中間層が２、３個増えてもなんの問題もないです。
未知な関数をあれやこれや考える余裕もSとかRを使いこなす知識もないので
簡単に近似できるものがないかなと。
例えば何個かの関数の合成だとしたとき、NNならそのそれぞれの関数を見つけて
(近似して)くれる可能性がありますよね。
>>584
少しぐぐってみたけど、これって1層NNなの？って思った。多分違うんだろうけど。
理屈はいいので、よさげなNNライブラリかコマンド群教えてくださいｗ
- 586 名前：デフォルトの名無しさん mailto:sage [2008/09/03(水) 22:25:56 ]
- どうしてもライブラリでやりたいなら、R言語のライブラリ使うか、CPANのPerlライブラリを
「Neural」とか「BP」とかでサーチするのが楽だと思う。
ぶっちゃけ↑より簡単な方法は無い。
大抵の言語で、フリーの学術系ライブラリってのは全滅に近い。
汎用性持たせようとすると書くのも検証するのも大変で、フリーじゃ割に合わない分野だからね。
カネがあるなら別だけど。
ちなみにNNにデフォルト設定なんてものは無い。
かなり自前で設定する必要があり、結局自前でコード書くのと大差無いことになりがち。
言語は？データの型は？データの値の範囲は？
入力、出力ニューロンの数は？中間層と中間ニューロンの数は？
学習回数は？収束を判定する方法は？
学習結果を使う、保存する方法は？ある値を入れたら何が出る？
それを可視化して結果や精度を確認するには？
結局R使え、C言語のサンプルいじれという話になる。
- 587 名前：デフォルトの名無しさん [2008/09/03(水) 22:50:40 ]
- ちょっとぐぐってCortex/Shark/fannてのを見つけたんだけどどんなもんでしょう。
Cortex cortex.snowcron.com/
Shark shark-project.sourceforge.net/
fann sourceforge.net/projects/
>>586
なんかいっぱい質問されてますが、C++のライブラリで、サンプルでもフロントエンドがあれば
うれしいと言ってるんですが。あとの項目は普通設定できるんじゃないかと思うんですが、
心配してもらうところじゃないと思います。やりたいのは1次元なので可視化はべつに不要ですし。
- 588 名前：デフォルトの名無しさん mailto:sage [2008/09/03(水) 23:14:06 ]
- ＞Cortex
サンプルに株価データもどきを使ってるのはジョークか？
フロントエンドは無い。
＞SharkのReClaMライブラリ
計算ライブラリ。チュートリアルはダウンロードしないと見れない。
フロントエンドは無い。
＞fann
URLはこっちかな。 leenissen.dk/fann/
対応言語が多い。チュートリアルは最もシンプルで、すぐ動かせる感じを受けた。
ただ、ファイルのフォーマットが in-out-in-out-... 順になっててちょっとキモイ。
フロントエンドは無い。
というか汎用性を追求したライブラリに、GUIをつけるメリットが分からない。
普通は付けてもCUIフロントエンドくらいじゃ？
- 589 名前：デフォルトの名無しさん mailto:sage [2008/09/03(水) 23:22:01 ]
- JavaNNS-Win なんかはどうだろう。
これはGUIがある。
しかし色々な機能があるから、使い方を覚えるのに手間取ると思う。
- 590 名前：デフォルトの名無しさん [2008/09/03(水) 23:31:45 ]
- >>588
quick reviewどうもです。fannはソースがsourceforge.net/projects/fannでした。
>>589
これですね。ただJavaだけは勘弁してくださいｗ
www.ra.cs.uni-tuebingen.de/SNNS/
- 591 名前：デフォルトの名無しさん mailto:sage [2008/09/04(木) 00:00:46 ]
- フロントエンドとしてどの程度の結果が欲しいのかがよくわからんな。
Cで処理した結果を見るだけなら、それこそHSPでも何でもいいわけで。
- 592 名前：デフォルトの名無しさん mailto:sage [2008/09/04(木) 06:01:10 ]
- NNくらい、3時間あれば書けるだろ
それができないならパラメータを調節できないと思うし諦めたほうがいいよ。
- 593 名前：デフォルトの名無しさん [2008/09/04(木) 06:55:47 ]
- >>591
質問の意味が分からん。HSPとか勘弁してくれ。
>>592
あぁ、1時間もあれば書けるさ。
- 594 名前：デフォルトの名無しさん mailto:sage [2008/09/04(木) 07:08:49 ]
- Cが書けるならGLUTでもWin32APIでも何でもいいだろ。自分で書け。
ここはソフトウェア板じゃないんだから（笑）
- 595 名前：デフォルトの名無しさん [2008/09/04(木) 07:38:28 ]
- なんだかさっぱりだ(・ω・`)
ゆとりの一種でしょうか。
- 596 名前：デフォルトの名無しさん mailto:sage [2008/09/04(木) 09:20:46 ]
- ライブラリとかほしい。インターフェスだけ公開されててさっくり実装！
っていうのがあるんでしょうな。
ベイズフィルタなんかもライブラリとかあって簡単に使えるじゃん？
実際NNで汎用的なそういうのが可能なのかしらんけど。
- 597 名前：デフォルトの名無しさん mailto:sage [2008/09/04(木) 23:30:46 ]
- 何か偉そうにいろいろ書いてるやつがいるが「因数空間」って何？
知ったかぶり？？
- 598 名前：デフォルトの名無しさん mailto:sage [2008/09/04(木) 23:36:53 ]
- うん
- 599 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 04:04:24 ]
- >NNで汎用的な
これは実際にはあまり使われない（自前で作っても簡単）から結局廃れてる
- 600 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 19:22:58 ]
- 追加で学習しても以前の学習結果を保持しているような方法ってあるの？
実用的なレベルでね
例えば関節の動きを学習させるのにいちいち前回の姿勢情報と行動結果を
すべて記録して再学習させるなんて時間が掛かりすぎるからね
行動したら学習するっていう単純なサイクルを繰り返したいわけですよ
- 601 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 19:27:03 ]
- >>600
ノードが多ければできるんじゃない？
以前の学習結果がプールできて、
かつ場合によって新旧どちらを選ぶかの余裕をもたせてやれば
- 602 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 19:58:42 ]
- >>600
Temporal Difference Learning
- 603 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 23:05:34 ]
- >>600
それニューラルネットワークじゃないから。
- 604 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 23:08:18 ]
- 収束を待つとか悠長なことを言っている時点で
ニューラルネットワークが実時間処理に向かないことは自明。
収束早める方法がうんたらかんたら〜というゴミのように見える
論文が量産されているけど、実際にゴミだ。
実時間処理に向かない理由の根本的な改善にはなってない。
- 605 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 23:10:38 ]
- そんなの用途しだいだろ。
実時間処理っつってもピンキリだし、だいたい対象が分かってるなら普通の適応フィルタ
で済むしな。
- 606 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 23:27:03 ]
- そう。大抵の問題にはニューラルネットよりも良い方法がある。
つまりニューラルネットワークを使おうと思った時点で、そいつは
何か大事な前提を勘違いしていることのほうが多い。
そもそもニューラルネットワークの学習というのは、隠れ層の層数に
比例した次元数に固定されているものだからな。
次元数自体を学習によって適切な数になるまで減らしていくSVMなどに比べて
粗悪な結果になるのは当然のこと。
>>585は本気で中間層を増やせばいいと思ってるらしいが。やれやれ。
- 607 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 23:43:42 ]
- >>602
Q learningってのがそうなの？
論文見てもよくわかりません
実装例とかどっかにないですか？
- 608 名前：デフォルトの名無しさん mailto:sage [2008/09/05(金) 23:49:53 ]
- ニューラルネットが独立した手法とか概念だと思っている時点でダメすぎ。
しょせん統計学の後追い手法だからな。
わざわざ ニューラルネット用語（笑） を発明したアホどもが 入力ユニット（笑） とか
結合の重み（笑） とか呼んでるせいでによって分かりづらくなっているが、
こんなもんは古典的な近似関数の亜種だ。雑種だ。従って、ニューラルネットワークは
統計学にあるのと同じ、古くさい問題をぜんぶ抱え込んでいる。
「学習」の一番オードソックスなやつは、線型近似だ。
それじゃ実用にならないからってんで、k次関数近似として次元数を上げていくと
数値上は100％フィットするようになる。より適切な近似/補完手法も存在する。
だが、「誤差に弱すぎて意味が無い」ところまで突っ走って満足する輩が多すぎる。
自由度（入出力因子数、中間層層数、中間層因子数）が増えるほど
結果が無意味になっていくのは、近似関数全般に通じるいち常識でしかないのだが
なぜか「中間層が増えると賢くなる」と誤解する人が後を絶たない。
どんな魔法だよｗｗｗｗｗニューラルネットワーク（笑）ｗｗｗｗｗ
- 609 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 00:01:29 ]
- Q-learning は、行動と状態を同一視して扱うもので、見方によっては
ニューラルネットワークのようにも見えるし、あるいはもっと単純に
でっかい行列として見ることもできる。
ニューラルネットワークのように全体を一斉に更新するなどという
非生物的で邪悪な操作を行わない点が、利点。
しかし一般に、実時間学習での問題点は、なによりも「時間」をどう扱うかだ。
ヴァーチャルな箱庭の中（もちろん行動にはtuneの概念がある）で
アニマットに餌を食うように行動学習させるだけでも、数ターンぶんの行動を
バッファに貯めて、逆伝播させていく必要があったというし。
細長い袋小路（局所最適解）に囚われないようにするには、バッファを
かなり長くとらないといけなかったという。
ヒトの場合はエピソード記録とか、便利なイベント単位の記憶があるので、
学習が楽になっているようだが。このへんの手法は未だ未知の領域だったりするので
こころしてかかるこった。
- 610 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 00:32:36 ]
- Q-learningでぐぐって出てくるページにも書いてあるけど、
「ロボットのセンサを統合して複雑な行動を学習させる」みたいな
ちょっと複雑な問題を処理させようとすると、アホみたいに行列が
でっかくなっていくんだよ。
それに加えて、>>609で書いたように一定ターン数 or 一定時間ぶんだけ
行列の組が必要になるわけで。昆虫の足だか玩具の足だかを
クロールさせるのならともかく、あんまり複雑な処理になると
もはや悪夢だね。
これじゃ、a)メモリに入りきらない または b)メモリに入りきるように
削ったら汎用性が無くなった あるいは、その両方 ということになる。
パソコンに有線で繋いでおかなきゃ、学習もままならないんじゃないかね。
まさに本末転倒ってやつだ。
- 611 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 01:23:11 ]
- ニューラルネットを学べば学ぶほどその無意味さを実感する。
でも実感してもまだニューラルネットのろくな根拠のない可能性を信じれる人が新しいやり方を作って行けるような気がする
- 612 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 01:27:40 ]
- もし状況を想像し辛いなら、ロボットアームの動きをシミュレートすると
分かりやすいと思われる。
○
／ ＼
／ ＼
■ 匚
●←ボール
■は肩。○は肘。匚は手。
ここで、手の操作は省略して、「決まった位置に置いてあるボールに手で触れる」という
比較的簡単な問題をえてみる。
さて、>>609 に照らして設計を考えると・・・
入力因子
行動：肩の行動、肘の行動
状態：肩の角度、肘の角度
出力因子
行動：肩の行動、肘の行動
状態：肩の角度、肘の角度
となる。
- 613 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 01:30:03 ]
- ふう，なぜNNがあれだけもてはやされたか全然分かってないな
統計的な手法より「実際の問題に使い易かった」だけなんだよ
統計的な手法を使おうとするとその方面を相当勉強しなければならないが
NNなら適当な前処理（これは領域知識だから既に持ってる）を噛まして
適当な層数とニューロン数でやってみればそこそこ使える結果が得られる
現実の問題ってのはそんなに難しい問題じゃない場合が多いからね
数学的にとか本質的にとかと全然関係ない理由で流行ったんだよ
- 614 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 01:34:35 ]
- 各時点での情報は最低限上記のものが必要で、その対応関係は
最も単純な形では4×4の行列になるだろう。これが学習によって
更新されてゆくことになる。
時系列を考慮すると、たとえば5ターン分の情報のセットを記録しておくなら、
配列は5個という形になる。（しかし、ただ伸ばせばいいというわけではない。
自由度が増えると精度が落ちるし、ターン制ならともかく実時間だと大変困ったことになる）
[ 4 ]→[ 3 ]→[ 2 ]→[ 1 ]→[ 0 ]
（図：[ ]は行列。数字はn個前をあらわす）
んで、てきとーに動いて[ 0 ]でボールに接触したら、過去に向かって記録を
辿っていき、報酬を与えていく。これを繰り返してゆく。
（残念ながら、あまりエレガントなアルゴリズムは存在しない。別分野での
研究成果を応用したりするといいかもしれない）
[ 4 ]←[ 3 ]←[ 2 ]←[ 1 ]←【 0 】 ボールに触った！
＃蛇足だが、学習時の行動選択がランダムである場合、
＃これはコンピュータ囲碁におけるモンテカルロ法に非常によく似た
＃アルゴリズムになる。この類似はなかなか面白い。
- 615 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 01:53:59 ]
- 脳の並列処理能力はすさまじい。
もし将来、ニューロンがランダムに発火し、脳がモンテカルロ法で動いている
（論理的な思考は大して重要ではない）という結果が出ても、
驚きより納得のほうが先に来てしまいそうだ。
- 616 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 02:04:44 ]
- モンテカルロ法のような方法がうまくいくのは
答えがたくさんある場合だと思う。遺伝的アルゴリズムと同じ。
- 617 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 03:03:52 ]
- Qlearningの意味が分かった
入力と出力の全組み合わせパターンのデータベースを作って
それぞれの組み合わせの出現確率で重みをつけていって
学習結果は一番重みの大きいものを適用するわけだな
これは自分で既に前からアイデアとしては持ってた
自然言語処理で似た様なアルゴリズムは応用したけど
画像認識のような組み合わせパターンが必然的に巨大になるようなのは
現状のHDDじゃ容量が足りないぞ
- 618 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 03:15:31 ]
- 今すごいアイデア思いついた
統計的アプローチで追加学習可能でニューラルネットと同等の精度が出せるもの
ちょっと実装してみるわ
- 619 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 03:24:30 ]
- データマイニング、情報抽出などの分野はどうですかね。
学習がうまくいったとしても、最適な学習データがそもそも分からないなら意味が無い。
むしろ、同時進行のほうがいいかもしれないし。
- 620 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 08:22:46 ]
- さて、NNライブラリ何かないかと聞いた575ですが
もちろん>>613さんが言ってる通りの意味で使ってみよと思ってるわけですよ。
統計素人ですがこんなの常識じゃないんですかね。
>>606
SVMは別途試してますがNNでも試そうと思ってるんですよ。理論はともかく
実際に使える道具(ライブラリとかのことね)で実際の問題にあたってみなければ
分からないでしょ？
今時のPCは十分速いので単純に中間層を増やしてプリプロセスの代わりになるな
らそれはそれで別に問題ないと思うんですがね。
本物の研究者さんの最新の実装とかの情報があればいいなとは思ったんだけど
やっぱり難しいですねぇ、そういうのは叩かれそうだし。
さすがにこんな過疎で
- 621 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 17:50:14 ]
- >>620が尊大なゆとりじゃなければもうちょっとレスもつくんだろうけどねぇ。
- 622 名前：デフォルトの名無しさん mailto:sage [2008/09/06(土) 17:52:12 ]
- >統計素人ですがこんなの常識じゃないんですかね。
いちおう念のために聞いておくけど、素人が偉そうにするのってどこの国の常識？
|
 |
