- 1 名前：1 [04/09/11 01:48:08]
- について教えてよ
- 247 名前：デフォルトの名無しさん mailto:sage [2007/11/20(火) 22:47:20 ]
- SVMはどうだった？
興味あるから最後と言わずもっと書いて欲しいな。
- 248 名前：224 mailto:sage [2007/11/20(火) 23:31:40 ]
- >>247
そういっていただけるのは非常にありがたいです。
それに、よく考えればここまでしていただいて、
ことの顛末（教授がどんなリアクションを取るか）を言わずに去るのは失礼というもんですね。
今さっきの言葉を翻すようですが、今週中に中間発表が終わりますので、
今週末ぐらいに中間発表の雰囲気と教授のリアクション、
それとできればSVMとの比較を短くまとめて上げさせてもらおうと思います。
- 249 名前：デフォルトの名無しさん mailto:sage [2007/11/21(水) 02:39:53 ]
- ん、15次元で高次元てのはいくらなんでも無理がある気が。
- 250 名前：デフォルトの名無しさん mailto:sage [2007/11/21(水) 12:35:25 ]
- >>249
そうかな？入力が10以上もあれば球面集中現象は起こりうると思うんだけど。
- 251 名前：224 mailto:sage [2007/11/27(火) 13:17:16 ]
- >>224です。先週末中に報告すると書いていたのですが、遅れてすみませんでした。
先週末に発表があったのですが、結果から書くと正しかったみたいです。
中間報告で主に、
・汎化能力を得るには最低でも数百が必要
・球面集中現象
・サンプルデータの誤差
などについて詳しく報告しました。
プレゼンが上手くなかったことと、ニューラルネットワークに明るい教授らが多くなかったこともあり、
特に質問はなかったのですが、「なぜいままで失敗に気づかなかったのか」という質問に対して、
「担当の教官が正しいと言い張っていた」と答えたところ、会場に笑いが広がりました（失笑ではなかった、と思います）
教授も同じ会場だったのですが、周りに混じって苦笑していました。
そのときに、ひとまず私の主張は認められたようで、それ以来教授との間は一応平静を保っています。
- 252 名前：224 mailto:sage [2007/11/27(火) 13:24:36 ]
- これでひとまず認められ、一矢報いることが出来たと思うので、私としてはこの件に納得できました。
今後は、大幅に遅れましたがニューラルネットワークの応用分野か、
もしくは今回の経験を元に、汎化能力を得るために必要な条件（サンプル数、最大誤差、重みの数など）を
研究しようと思います。
重ね重ね、力になってくださった皆さん、本当にありがとうございました。
蛇足ですが、SVMとの比較はまだ全く出来ていないので、実験できて次第こちらで報告させてもらおうと思います。
- 253 名前：デフォルトの名無しさん mailto:sage [2007/11/27(火) 13:36:39 ]
- ぉっぉっ
SVMの報告も楽しみにしてる
- 254 名前：デフォルトの名無しさん mailto:sage [2007/12/02(日) 20:23:34 ]
- 今初めて読んだけど、頑張ったね (^^
SVMは分類器 (サンプルがどのカテゴリに入るのかを答える) なので、
回帰分析に使いたければ、SVR (Support Vector Regression) でぐぐるといいよ。
次元の呪いでサンプル数が足りない場合には、
主成分分析や因子分析 (どちらも似たようなもの) で、
次元数 (入力ユニット数) を減らせる「場合もある」よ。
SVRはBP法よりも難しいので、アルゴリズム自体を研究したいのでなければ、
ライブラリを使うといいかもね。
- 255 名前：254 mailto:sage [2007/12/02(日) 20:31:57 ]
- >>254は>>224宛てでした。
言語はC++だけど、OnlineSVRというライブラリが公開されていたはず。
追加学習できるように改良されているのと、他のライブラリに依存していなくて読みやすいので、
私はJavaに移植して自分の研究で使っていました (他の部分が全部Javaなので) 。
ここまで書いて、見つけてきた。
eris.liralab.it/wiki/OnlineSVR
- 256 名前：224 mailto:sage [2007/12/02(日) 20:59:30 ]
- >>255
ありがとうございます。冒頭の優しいお言葉に思わず目が潤んでしまいました。
実は先週からテスト期間に突入してまして、SVMについて調べられていなかったんですが、
SVRというものがあるんですね。ライブラリも公開されているようで、是非活用させていただきます。
言語は一応C++も使えるので、長期的に使う予定のない現状なら、そのままC++で実験しようかと思います。
- 257 名前：デフォルトの名無しさん [2007/12/30(日) 02:05:23 ]
- あげ
- 258 名前：デフォルトの名無しさん mailto:sage [2007/12/30(日) 16:07:56 ]
- ニューラルネットワークって人工知能のことだろ？
シリコンのCPUじゃ無理なんだよ
バイオコンピューターでも開発してくれ
- 259 名前：デフォルトの名無しさん [2007/12/30(日) 16:13:59 ]
- aho
- 260 名前：デフォルトの名無しさん mailto:sage [2007/12/30(日) 18:42:51 ]
- 攻殻機動隊のタチコマは、ニューロチップなるものを使用してAIを実現してるらしい。
名前からすると、チップの構造自体が自己組織化する(物理)人工ニューラルネットワーク見たいなものか。
- 261 名前：デフォルトの名無しさん mailto:sage [2007/12/30(日) 18:58:32 ]
- 計算機でシミュレーションすればいいじゃん。
- 262 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 04:23:18 ]
- できるかどうかは別にして。実用的なニューラルネットワークのシステムを作る場合。
計算機のシミュレーションじゃ遅すぎて使い物にならないと思われ。
- 263 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 04:53:30 ]
- 実際ニューラルネットワークってでこかで実用されてるの？
うちの教授が画像診断で実用化されて、優秀な結果を出してるとか力説してたけど。
- 264 名前：デフォルトの名無しさん [2007/12/31(月) 10:12:10 ]
- 実用例知ってんじゃん
- 265 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 10:22:47 ]
- 早い遅い
どこら辺が基準
- 266 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 10:37:44 ]
- もう既に実用的に使えるなら、みんな知ってるだろ。
探さないと無いような物は、実際には使えなかったもの。
研究者は実用に使えると言う場合が多いが、製品にならないと実用とはいえない。
- 267 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 10:51:05 ]
- >>265
速い遅いと判断できる実用的なものは無いと思われ。
実用的なものが出来てから判断するもの。
遅いから実用にならないのかもしれんがなｗ
- 268 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 11:40:46 ]
- だいぶ前から家電なんかにも使われてると甘利先生が書いてた
話題にならなくなった時が実用化された時
- 269 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 11:49:00 ]
- それはファジーじゃないのか？ ニューラルネットワークを使った製品の出して。
- 270 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 17:36:07 ]
- 音声認識とか文字認識とか
- 271 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 20:32:04 ]
- 音声認識とか文字認識とかをニューラルネットワークで作った家電品があるのか？
- 272 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 21:14:32 ]
- 普通のロジックで作られた音声認識も文字認識も一般の製品で販売され、
プリンターやスキャナーには無料で添付され。そこかしこに溢れかえっている。
もし、ニューラルネットワークで作られた音声認識や文字認識が優秀なら、
それら製品と入れ替わっているはずだが、そうなっては居ない。
ここから言える結論は、
ニューラルネットワークのシステムはいまだ使い物にならない。（実用化されていない）
- 273 名前：デフォルトの名無しさん [2007/12/31(月) 21:31:20 ]
- 普通のロジック？？？？？
- 274 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 21:40:42 ]
- まあ、プログラムと言い換えてくれ。
- 275 名前：デフォルトの名無しさん [2007/12/31(月) 21:45:47 ]
- 普通のロジックで作られた音声認識も文字認識も一般の製品で販売され、
→プログラムで作られた音声認識も文字認識も一般の製品で販売され、
？？？？
- 276 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 21:53:05 ]
- >>275
もっと詳しく書かないと理解できないのか？
プログラムで作られた音声認識システムも文字認識システムは、一般の製品で販売されている。
この場合のプログラムとは、ニューラルネットワークの仕組みではなく、手続き型のプログラムを意味する。
これでも足りないか？
- 277 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 21:53:47 ]
- ×プログラムで作られた音声認識システムも文字認識システムは、一般の製品で販売されている。
○プログラムで作られた音声認識システムや文字認識システムは、一般の製品で販売されている。
- 278 名前：デフォルトの名無しさん [2007/12/31(月) 22:00:37 ]
- 進化型計算もここでいいですか？
ちょっと齧ってみた素人なんですが、進化型計算で得られる結果は主にアルゴリズム(計算方法)という認識でよろしいでしょうか？
- 279 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 22:05:14 ]
- 結果はアルゴリズムではない。
- 280 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 22:11:42 ]
- >>276
最初から手続き型と書けよｗ
- 281 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 22:14:05 ]
- 279だが、もう少し詳しく。
一般に、進化型計算で得られる結果は、目的の値または目的を効率よく得られたパラメータの
値の事かな？
どちらにしてもアルゴリズムとは言えない。上記認識で有っているか？
有っていないなら、より詳しい説明を求む。
- 282 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 22:18:02 ]
- >>280
ニューラルネットワークのエミュレーションも手続き型の結果だからね。
その辺の混乱を、普通のロジック＝ニューラルネットワークの仕組みではなく、手続き型のプログラムを意味する
のつもりで書いたのだが、短文で意味を伝えるのは難しいな。
- 283 名前：デフォルトの名無しさん [2007/12/31(月) 22:45:01 ]
- >>281
278ｄｓ
進化型計算の結果は「進化した計算手法」だと思っている。
簡単な例だと、「１，２，３，４の４つの数値から四則演算を任意に行って１０を作りなさい」という目的が設定された環境で
進化するエージェントは四則演算をパラメータとしてみてその組み合わせを目的に合うように最適化していく。
という感じで、その結果得られるのは「目的を満たすための手段＝アルゴリズム」だと思っている。
- 284 名前：268 mailto:age [2007/12/31(月) 23:09:44 ]
- KYずに遅レス
家電で実用化されてるのは，と言うより今実用化されてるNNはパターン認識系ではなく，BPNNの補間機能を利用したソフトな制御を行うタイプ．
だから分野はファジーと同じだが，一旦値が決まってしまえばファジーより簡単に（小さなコストで）実装できる．
他にはPOS，データマインニング，クレジットカードの悪用検出などで使われていると聞いている．
- 285 名前：268 mailto:sage [2007/12/31(月) 23:12:09 ]
- スマソ，上げちまった
- 286 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 23:29:45 ]
- 進化型計算の目標に遺伝子のアルゴリズムが有ると思う。これは、自身のアルゴリズムを
自身で書き換えて進化してきた。しかし、現在の計算機での進化型計算は、自身で自身を
書き換えるまでに達していない。既に内包しているアルゴリズムを再発見して違う形のパラ
メーターとして最適化しているに過ぎない。これでは、プリグラムで定義された範囲内を超
える事は出来ない。これは、既に組み込まれた内容の範囲をパラメーターで指定している
に過ぎない。新たなアルゴリズムを導き出したと言えるのだろうか？
もしそれでいいのなら、コンパイラコンパイラに代表するプログラムジェネレーター総てが
進化型計算計算と大差が無い。
自身に内包するアルゴリズムを出したのでもいいなら、結果がアルゴリズムでいいだろう。
特にプログラムジェネレーターはアルゴリズムを実際に出している。
それに比べ、プログラムの動き方が変わったパラメーターが生成できたとして、
私はそれがアルゴリズムだとは言いたくない。
進化型計算が目指すものは、遺伝子と同じく自身を書き換え新たなアルゴリズムを
目つけることが必要ではないか、私はそう考えている。
- 287 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 23:39:57 ]
- 286、言い回しの重なりと 計算計算の2重化、申し訳ない。
よろしければ、うまく汲み取って欲しい。
- 288 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 23:53:57 ]
- >POS，データマインニング，クレジットカードの悪用検出などで使われていると聞いている．
これに付いての知識が無いため、評価する事が出来ない。
私が参加した元々の命題。「早い遅い どこら辺が基準」に対して。
基準とは、一般に広まった結果の最大公約数的なものが必要だと思っている。
したがって、極一部の例で速い遅いの判断は不可能であると指摘したい。
- 289 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 23:57:30 ]
- なんか細かい話はよくわからんが、例えばスパコンだって汎用的に使えるわけじゃないけど「速い」んだから
一般的にどうこうってのは、あんまり意味がない気がする。
- 290 名前：デフォルトの名無しさん mailto:sage [2007/12/31(月) 23:59:51 ]
- スパコンには、一般的に評価できる計算プログラムが有りますよ。
- 291 名前：デフォルトの名無しさん mailto:sage [2008/01/01(火) 00:02:05 ]
- その評価プログラムの結果なら正当な評価なの？
- 292 名前：デフォルトの名無しさん mailto:sage [2008/01/01(火) 00:07:16 ]
- ランキングが世界的に認められてるから正当だと思われ。
ちなみに、君のPCでも実行できたはず。
- 293 名前：デフォルトの名無しさん mailto:sage [2008/01/01(火) 00:09:26 ]
- 意味が通じてないみたいだからいいや。お休み。
- 294 名前：デフォルトの名無しさん mailto:sage [2008/01/01(火) 00:09:37 ]
- ニューラルネットは、それが間違いなく動作するのかどうかテストするのが難しいから、
市販品には採用されることはほとんどない。
しかし、最先端のロボットなどには積極的に使われているよ。
- 295 名前：デフォルトの名無しさん mailto:sage [2008/01/01(火) 08:01:00 ]
- ニューラルネットって効率悪いよな
- 296 名前：デフォルトの名無しさん mailto:sage [2008/01/02(水) 00:13:36 ]
- >間違いなく動作するのかどうかテストするのが難しいから
これは目的による．したがって，
>市販品には採用されることはほとんどない
これは誤り．学習させたNNの機能は簡単にテストできる．
- 297 名前：デフォルトの名無しさん mailto:sage [2008/01/02(水) 00:17:49 ]
- >>296
不可能。
NNのテストはすべての取りうる値を入力しなければならないから。
- 298 名前：デフォルトの名無しさん mailto:sage [2008/01/02(水) 00:19:34 ]
- >>296
テストのことを知らないnoobかもしくは
研究室から一歩も出たことないボンボンですか？
- 299 名前：デフォルトの名無しさん mailto:sage [2008/01/02(水) 00:20:57 ]
- ＞NNのテストはすべての取りうる値を入力しなければならない
え？
- 300 名前：296 mailto:sage [2008/01/03(木) 09:49:19 ]
- あのな，離散値でしか使わないNN応用も一杯あるの
それに連続値でも「分解能」ってのがあるの
コンピュータを知らない純粋数学屋さん？
- 301 名前：デフォルトの名無しさん mailto:sage [2008/01/03(木) 19:41:48 ]
- 296の言いたいことは分かるけど、
網羅テストが簡単に出来るような問題は
NNに向いてないんじゃないかな？
で、組み合わせ爆発が起きるような問題に対しては
テンプレートデータを出来るだけ多く持ってきてテストするしかないから、
「テストが難しいから〜」っていうのは結局どんな手法にも当てはまるんだよね。
結局、NNがそう言われるのは過程がブラックボックス的というか
人の直感から遠いから、気持ち悪いって事だと思う。
- 302 名前：デフォルトの名無しさん mailto:sage [2008/01/03(木) 19:59:58 ]
- まぁ，テスト云々っていったら
「熟練工が作る鋳物は必ず成功しているか？一度ためしに使ってうまくいったから成功といえるのか？」
というもんだからな
- 303 名前：デフォルトの名無しさん mailto:sage [2008/01/07(月) 21:18:23 ]
- >網羅テストが簡単に出来るような問題は NNに向いてないんじゃないかな？
実際にそういう応用が多いという事実が答えでしょう
これは俺の推測だが，実際の応用は組込みシステムでのデータ量や計算量の圧縮的な用途が多い様な気がする
普通のやり方でもできるけど表が大きくなるとか計算に時間が掛かるとか
- 304 名前：デフォルトの名無しさん mailto:sage [2008/01/07(月) 21:33:50 ]
- >>303
確か前に計算したことがあるが、適切なアルゴリズムを用いればNNよりもあらゆる面で効率的に処理可能だったと思うぞ。
- 305 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 01:28:54 ]
- そりゃハードと問題（必要な機能）に依存するはず
常に成立するとは思えないし，少なくとも証明は不可能だろう
32 or 16 bit 程度の積和演算だけはやたら速いプロセッサもあるし
- 306 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 11:16:49 ]
- 積和演算といえばDSPか
- 307 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 15:03:19 ]
- 最近？はマルチメディアプロセッサなんてのもあるな
- 308 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 15:05:54 ]
- >>306
携帯v.sニューロというわけか
- 309 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 22:16:01 ]
- >>307
CELLでNNやると速いのか？
- 310 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 22:26:52 ]
- >>309
浮動小数点数演算に特化して、しかもマルチコアだから、
それように作ったプログラムなら普通の数十倍出るかもね。
ただし、計算順序を工夫したりする必要はあるだろうけど。
- 311 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 22:30:36 ]
- CELLクラスタに俺の脳を移植してよ
- 312 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 23:28:54 ]
- それはいい考えだな
まずはコンパクトな脳から試すのがいいね
- 313 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 23:32:15 ]
- さて、そろそろ論文締め切りが間近だが、
切羽詰った状況でなぜか部屋の掃除がしたくなるのは俺だけではないはずだ
- 314 名前：デフォルトの名無しさん mailto:sage [2008/01/08(火) 23:42:55 ]
- 俺も現在似たような状況だがドラクエIVのDS版を始めてしまった。
- 315 名前：デフォルトの名無しさん mailto:sage [2008/01/09(水) 01:52:24 ]
- >>314
あ〜そりゃもうやめられないな
お前、今回は落としたな
- 316 名前：デフォルトの名無しさん mailto:sage [2008/01/09(水) 01:56:36 ]
- 代わりに書いてやろうか
- 317 名前：デフォルトの名無しさん mailto:sage [2008/01/09(水) 03:22:08 ]
- ニューラルネットで、論文生成するプログラム組んだらいいんじゃない？
- 318 名前：デフォルトの名無しさん mailto:sage [2008/01/09(水) 08:12:51 ]
- >>317
お前マジ頭いいな。
- 319 名前：デフォルトの名無しさん mailto:sage [2008/01/09(水) 10:59:54 ]
- >>317
論文の内容を悩むところだが、
ニューラルネットで論文生成するプログラム組む方法を論文にすればいいんじゃね？
- 320 名前：デフォルトの名無しさん mailto:sage [2008/01/09(水) 11:08:35 ]
- >>319
NNじゃないが、そういうのは前に発表されてたな
pdos.csail.mit.edu/scigen/
- 321 名前：デフォルトの名無しさん [2008/01/17(木) 07:21:32 ]
- 生データから抽出すべき特徴量を決定する指針ってある？
あれば教えて欲しい
- 322 名前：デフォルトの名無しさん mailto:sage [2008/01/17(木) 11:39:20 ]
- 主成分分析
- 323 名前：デフォルトの名無しさん mailto:sage [2008/01/17(木) 11:39:44 ]
- あ，判別分析の方がいいかも
- 324 名前：デフォルトの名無しさん [2008/01/17(木) 12:54:47 ]
- なるほど
ググって調べてみる
サンクス
- 325 名前：デフォルトの名無しさん [2008/01/22(火) 23:36:24 ]
- ニューラルネットワークで密や疎というのはどんな事を意味するんですか？
- 326 名前：デフォルトの名無しさん mailto:sage [2008/01/23(水) 03:25:24 ]
- スパース表現のことか？ それなら
「神経回路網モデルとコネクショニズム」甘利俊一 [補稿]黒崎政男
東京大学出版会 認知科学選書22 ISBN4-13-013072-2 1989年初版
の 5.4 スパース符号化による連想記憶
が参考になる．図書館で探して
- 327 名前：デフォルトの名無しさん [2008/01/23(水) 07:27:44 ]
- それみたいです
本も調べてみます
ありがとうございます
- 328 名前：デフォルトの名無しさん mailto:sage [2008/01/23(水) 20:51:28 ]
- 本が見つからない場合に備えて簡単に書いておくと，
データをどの位粗く表現するかってことで（マンマや)，
例えば0〜15の整数を4bit（4本）の二進数で表現するのは（情報量的に）最も密な表現．
これに対し，入力の線を16本用意してそのどれかを1にするのはやや疎な表現．
100本位用意して適当な数本（一本もあり）を1にするのは疎な表現．
1000本だと凄く疎な表現（こういう区別そのものは厳密ではないし，決まっているわけでもない)．
大切な事は，疎な表現を採用すると連想記憶のの記憶容量を増やすことができる点．
BP学習の場合は収束が速くなる（密な表現だと凄く収束し難いことは経験的に良く知られていた)．
- 329 名前：デフォルトの名無しさん mailto:sage [2008/01/23(水) 21:42:00 ]
- なるほど〜
すごく分かりやすい
ありがとうございます
- 330 名前：デフォルトの名無しさん mailto:sage [2008/01/24(木) 19:02:04 ]
- ニューラルネットワークでの株価予測について質問です
いくつかの論文で,予測株価と実際の株価の誤差を取るのではなく,方向一致率と呼ばれるもので判断しているんです
方向一致率は,上下変動が一致した回数を予測した回数で割ったものです
これって単純に誤差を取るよりもどんなメリットがあるのでしょうか？
ソースはあっても無くてもいいので,どなたか教えてください
- 331 名前：デフォルトの名無しさん mailto:sage [2008/01/24(木) 19:26:55 ]
- >予測株価と実際の株価の誤差
は評価でき（るほど上手くいか）ないから代わりに使ってるんだと思われ
- 332 名前：デフォルトの名無しさん mailto:sage [2008/01/24(木) 19:40:23 ]
- >>330
質問には答えられないのだが、参考までに
ニューラルネットを使った株価予測の論文を読んでみたいです。
よければ、ポインタを教えてください
- 333 名前：デフォルトの名無しさん mailto:sage [2008/01/24(木) 22:46:48 ]
- >330
株を売り買いして利益を出すには株価そのものを予測する必要はなく
その時点から直近で上がるか下がるかだけ予測できれば良いから。
実用的に必要最小限の予測をしている（方が予測が当たりやすい）から
だと思われ。まあ、変動があまりに小幅なら売買手数料のために逆に
損する可能性もあるが。
- 334 名前：デフォルトの名無しさん mailto:sage [2008/01/25(金) 16:14:45 ]
- GPUを使った実装というのに挑戦してみた。
オライリー本のAI入門に載ってる内容を弄っただけだし
CPU版の実装よりクソ重いしと散々だけど動いてくれて嬉しいぜ…。
チラ裏
- 335 名前：デフォルトの名無しさん [2008/01/28(月) 09:11:15 ]
- ニューラルネットワーク
zoomtv.atspace.com/?X&2052226&0607@HiSpeedVision
- 336 名前：デフォルトの名無しさん mailto:sage [2008/01/28(月) 10:38:40 ]
- 上がるか下がるか当てるだけを評価するなら
ぶっちゃけ学習自体も regression じゃなくて classifier で良いような？
- 337 名前：デフォルトの名無しさん [2008/01/28(月) 17:19:14 ]
- ところで、データの娘の名前が思い出せない。
- 338 名前：デフォルトの名無しさん mailto:sage [2008/01/29(火) 01:01:48 ]
- >>334
へぇ、そんなのできるんだ。
昔ちょっとだけDirectXいじってたんだけど、どうやってしてるの？
最近のGPUだったらピクセルシェーダーとか使ってるのかな。
もしデバイスのIOを直接叩いてるんだったら、かなりのもんだね。
- 339 名前：デフォルトの名無しさん mailto:sage [2008/01/29(火) 08:30:21 ]
- shaderだろJK
- 340 名前：デフォルトの名無しさん mailto:sage [2008/01/29(火) 09:54:31 ]
- GPGPUだね
- 341 名前：デフォルトの名無しさん [2008/02/01(金) 16:49:06 ]
- ニューラルネットワークのプログラムを組んでみたんですが、バグのせいかどんな入力に対しても同じ値しか返しません
原因としてどのようなことが考えられるか、教えていただけないでしょうか？
- 342 名前：デフォルトの名無しさん mailto:sage [2008/02/01(金) 16:52:10 ]
- だったらソース晒しなよ
- 343 名前：デフォルトの名無しさん mailto:sage [2008/02/01(金) 16:58:38 ]
- >>334
CPUより遅かったら意味ないじゃんｗ
でも、素子数が増加しても並列計算でスピード変わらん！とかあるのかな？
- 344 名前：デフォルトの名無しさん mailto:sage [2008/02/01(金) 17:11:43 ]
- void back_propagation()
{
int i,j;
double dih[Hneuron],dho[Oneuron]; //誤差
double sum;
for(i=0; i<Oneuron; i++){
dho[i] = signal[i] - oout[i]; //出力層の誤差の計算(出力はシグモイド関数にかけてない)
}
for(i=0; i<Hneuron; i++){ //出力層の重み修正
for(j=0, sum=0; j<Oneuron; j++){
dwho[j][i] = ( Eta * dho[j] * hout[i] ) + ( Alpha * dwho[j][i] );
who[j][i] += dwho[j][i];
sum += ( dho[j] * who[j][i] );
}
dih[i] = hout[i] * ( 1 - hout[i] ) * sum; //中間層の学習信号
}
for(i=0; i<Oneuron; i++){ //出力のしきい値修正
dothreshold[i] = ( Eta * dho[i] ) + ( Alpha * dothreshold[i] );;
othreshold[i] += dothreshold[i];
}
- 345 名前：デフォルトの名無しさん mailto:sage [2008/02/01(金) 17:12:35 ]
-
for(i=0; i<Ineuron; i++){ //中間層の重み修正
for(j=0, sum=0; j<Hneuron; j++){
dwih[j][i] = ( Eta * dih[j] * iout[i] ) + ( Alpha * dwih[j][i] );
wih[j][i] += dwih[j][i];
sum += ( dih[j] * wih[j][i] );
}
}
for(i=0; i<Hneuron; i++){ //中間層のしきい値修正
dhthreshold[i] = ( Eta * dih[i] ) + ( Alpha * dhthreshold[i] );
hthreshold[i] += dhthreshold[i];
}
}
コンパイラはBCCを使ってます。
- 346 名前：デフォルトの名無しさん mailto:sage [2008/02/01(金) 17:36:31 ]
- >>341
ソースまだ見てないけど、学習後の重みをファイル出力してみて、
全部0とかになってたら、BPの実装ミス。
そうでなかったら、全部同じ出力とかにはならないだろうから、
入出力間の伝搬のミスってことになる。
- 347 名前：デフォルトの名無しさん mailto:sage [2008/02/01(金) 19:00:55 ]
- 重みがそれっぽい感じになってて、出力も学習元のデータからして異常とは言えない数値になってます。
具体的には、
学習させた結果の重みを別のプログラムに読ませて、foward propagationだけを行って予測させる。
その予測された結果を入力の一部として使って、さらに次の予測をさせる
という風にしているのですが、最初の予測結果と2番目以降の予測結果が全く同じになります。
何回学習させても重みが変わらなかったり、1回目だけ変わってその後変わらなかったりするのでback propagationに問題があると思って途中の重みやその変化量を表示させているのですが、原因の見当がつかず困っています。
|
 |
