- 1 名前：デフォルトの名無しさん mailto:sage [2021/01/01(金) 09:10:55.46 ID:a+OQlEaa0.net]
- !extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。
機械学習とデータマイニングについて語れ若人
＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです。
■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
- 291 名前：デフォルトの名無しさん [2021/02/25(木) 19:59:25.98 ID:o69Cz55j0.net]
- transversal
- 292 名前：デフォルトの名無しさん mailto:safe [2021/02/27(土) 00:05:45.90 ID:fOML2+m/0.net]
- 機械学習で正則化といえばロスに重みつけるやつで、正規化は入力か中間層をガウス分布に近づける操作やね
- 293 名前：デフォルトの名無しさん mailto:sage [2021/03/01(月) 16:32:02.02 ID:7ZNdmOBRM.net]
- lambdanetworkとかいうのが出てきた
- 294 名前：デフォルトの名無しさん mailto:sage [2021/03/02(火) 01:41:31.08 ID:aSgn2ezQ0.net]
- たかがラベリング合戦ですからほどほどに‥
- 295 名前：デフォルトの名無しさん mailto:sage [2021/03/02(火) 14:55:14.65 ID:KprYW+pBM.net]
- causal learnigって日本語でなんて言うの？
原因学習？ 因果関係学習？
- 296 名前：デフォルトの名無しさん [2021/03/02(火) 15:13:46.90 ID:y/Cpe5k40.net]
- 普段着学習
- 297 名前：デフォルトの名無しさん mailto:sage [2021/03/02(火) 15:14:34.48 ID:HYwCXxZc0.net]
- カジュアル学習だな
- 298 名前：デフォルトの名無しさん mailto:sage [2021/03/02(火) 23:58:41.93 ID:FHl+lquqr.net]
- お茶の間留学
- 299 名前：デフォルトの名無しさん mailto:sage [2021/03/03(水) 15:37:53.54 ID:a466TPPq0.net]
- 日本語訳マジでやめて欲しいわ
意味が分かりにくすぎる
- 300 名前：デフォルトの名無しさん mailto:sage [2021/03/07(日) 08:34:26.08 ID:ovVd1ujW0.net]
- 小猿ラーニング
- 301 名前：デフォルトの名無しさん mailto:sage [2021/03/16(火) 14:48:06.49 ID:qP7784Z/0.net]
- 第4回 自動翻訳シンポジウム ～自動翻訳と翻訳バンク～https://www.smbc-card.com/nyukai/magazine/knowledge/visa_touch.jsp
本日開催
- 302 名前：デフォルトの名無しさん [2021/03/16(火) 15:42:31.98 ID:VVLbd7hx0.net]
- Visaのタッチ決済とは？使い方やおすすめカードを紹介
- 303 名前：デフォルトの名無しさん mailto:sage [2021/03/16(火) 15:57:26.05 ID:qP7784Z/0.net]
- >>295
せっかくだから自動字幕も付ければいいのに
- 304 名前：デフォルトの名無しさん mailto:sage [2021/03/16(火) 16:42:39.23 ID:qP7784Z/0.net]
- >>297
右下の手話の同時通訳も頑張れば3 D モデルで自動生成できるよね
- 305 名前：デフォルトの名無しさん mailto:sage [2021/03/18(木) 11:45:35.73 ID:1ybz7R6W0.net]
- 人工知能でジミー大西を再現 NTTドコモ
https://panora.tokyo/archives/22261
チー牛の発想(笑)
- 306 名前：デフォルトの名無しさん mailto:sage [2021/03/20(土) 17:10:12.22 ID:SutlyK1K0.net]
- 「レベル4」と呼ばれる高度な自動運転の技術を2025年ごろまでに大都市などの市街地で実用化
https://www3.nhk.or.jp/news/html/20210320/k10012925431000.html
やっとレベル4だってさ
- 307 名前：デフォルトの名無しさん mailto:sage [2021/03/20(土) 17:33:53.12 ID:dTqTAxKea.net]
- 横断しようとしている歩行者がいたら停止する
法定速度を守る
道路が汚れていたらどうするか
ものが落ちていた場合、どういう場合に無視するか
人間でも難しい問題が山積み
- 308 名前：デフォルトの名無しさん [2021/03/20(土) 18:17:09.51 ID:ah+QJUGT0.net]
- 高齢者の運転より安心できそう
- 309 名前：デフォルトの名無しさん mailto:sage [2021/03/20(土) 20:00:01.63 ID:SutlyK1K0.net]
- 日本中の道路を 自動運転用に整備すればいい
たぶん20兆円ぐらいかかるだろうけど
ちょうどいい公共事業になるだろう
- 310 名前：デフォルトの名無しさん [2021/03/20(土) 20:54:34.45 ID:GwTQ68N30.net]
- 道路工事にどれだけ時間かかると思ってるんだｗ
- 311 名前：デフォルトの名無しさん mailto:sage [2021/03/20(土) 21:06:32.21 ID:SutlyK1K0.net]
- >>304
んー 50年くらい？(笑)
- 312 名前：デフォルトの名無しさん mailto:sage [2021/03/20(土) 21:13:53.89 ID:vUNrx7r30.net]
- ５０年後
「次世代形式に対応してないのでもう一回お願いします」
- 313 名前：デフォルトの名無しさん mailto:sage [2021/03/20(土) 21:53:04.75 ID:0/BZQQ4C0.net]
- LINEの個人情報が中国へだだ洩れだった問題で
LINE「説明が十分ではなかった」ってことでいろいろ説明してたが
結局、元々そんな仕様になっていて問題はないっていう
どこが問題では無いのかっていう
- 314 名前：デフォルトの名無しさん mailto:sage [2021/03/20(土) 22:40:57.48 ID:SutlyK1K0.net]
- >>306
また公共事業できていいじゃん
- 315 名前：デフォルトの名無しさん mailto:sage [2021/03/20(土) 22:45:45.27 ID:vUNrx7r30.net]
- そうせずになんとかなりそうな目途が立ってるのに
さすがにだるい
- 316 名前：デフォルトの名無しさん mailto:sage [2021/03/21(日) 11:23:04.89 ID:TAhxQpfva.net]
- >>307
規約に書いているのにきちんと読みもせず「そんなこと了承していない！」と怒っているだけ
- 317 名前：デフォルトの名無しさん mailto:sage [2021/03/21(日) 11:27:52.31 ID:t4P2IHf80.net]
- 書いてあってもダメ
書いてあると主張すること自体がダメ
現に情報の保護がばっちりだと大体的に宣伝しているから
規約にあったら悪意をもって虚偽広告したのは明白
業務停止が妥当レベル
- 318 名前：デフォルトの名無しさん [2021/03/21(日) 12:47:02.88 ID:7MVn+hE/0.net]
- >>310
チョン乙
- 319 名前：デフォルトの名無しさん mailto:sage [2021/03/21(日) 13:01:32.24 ID:ut0JDDIv0.net]
- ネトウヨさんは意外と騒いでないのは菅が広報でガッツリ使ってるからなんよねw
だからこそ今までLINEのばなしにしてたんだろうけれど。
あいつらはほんまダブスタ丸出しなんだわw
- 320 名前：デフォルトの名無しさん mailto:sage [2021/03/21(日) 13:28:57.11 ID:H+OGyDQG0.net]
- 言った言わないとかどうでもいいからさっさと禁止しろよ
- 321 名前：デフォルトの名無しさん mailto:sage [2021/03/21(日) 13:33:55.80 ID:t4P2IHf80.net]
- 同意したわけでは決してない
不誠実さや卑劣さを知らないわけではない
社会に屈服したんだ
- 322 名前：デフォルトの名無しさん [2021/03/21(日) 15:23:32.18 ID:7MVn+hE/0.net]
- ネトウヨさんが意外と騒いでないのはLINEが韓国国家情報院が開発したもので情報が国家情報院が流れているのを知ってるからだよ
LINEを使っているのは情弱の馬鹿
- 323 名前：デフォルトの名無しさん mailto:sage [2021/03/21(日) 17:32:24.00 ID:ut0JDDIv0.net]
- 話の噛み合ってないバカ登場
- 324 名前：デフォルトの名無しさん [2021/03/21(日) 18:38:31.10 ID:sx7aMuTzp.net]
- E資格ってのをとってみたけど
役立つかな？
- 325 名前：デフォルトの名無しさん [2021/03/21(日) 19:44:25.11 ID:7MVn+hE/0.net]
- 馬鹿というのが馬鹿
- 326 名前：デフォルトの名無しさん [2021/03/21(日) 21:29:57.83 ID:3jvKXp5s0.net]
- >>318
あわしろ氏は、取るべきと言ってたぞ。
- 327 名前：デフォルトの名無しさん mailto:sage [2021/03/22(月) 00:40:38.65 ID:TakJ5P2Ia.net]
- >>318
重要なのは論文か国際会議への投稿だと思うけど
- 328 名前：デフォルトの名無しさん mailto:sage [2021/03/22(月) 21:23:39.28 ID:jnDhv8jq0.net]
- E気持ち
- 329 名前：デフォルトの名無しさん [2021/03/22(月) 21:52:03.66 ID:go+deXIv0.net]
- 7-11
- 330 名前：デフォルトの名無しさん [2021/04/02(金) 14:21:15.67 ID:KNqNW5Vy0.net]
- https://diamond.jp/articles/-/266872?page=4
ここで出てくる「2020年、前述した ebmt の手法が復活して nmt の上に追加された」というのはknnmt のこと？
- 331 名前：デフォルトの名無しさん [2021/04/04(日) 12:30:25.33 ID:rdKx+7Rr0.net]
- ebmtの概念は、深層学習モデル以前のSMT的ものなので、knnmtとは別物だと思う。
Google scholarで論文を探してみたが、
- 332 名前：Sumita+ebmtだと2004年くらいに
1件ヒットするだけで、恐らく、ebmt+nmtのテーマではまだ論文発表はしてない。
記事は、一般論的な書き方をしてるが、ebmtを取り込んだのはNICTの翻訳エンジン
であり、この流れが広がっていくかは別問題。
NICTのアプローチはどちらかというと、モデルパラダイムよりもデータ重視の傾向が
強い。ただし、NICのデータパラダイムは、最近Andrew Ngが提唱してるデータ
重視論とは異なり、MTの精度向上を専門辞書の整備や、分野別コーパスなど
人手をかけることで解決するというかなり泥臭いやり方となる。ebmtを持ち出したの
も多分、それと同じ。 [] - [ここ壊れてます]
- 333 名前：デフォルトの名無しさん mailto:sage [2021/04/05(月) 07:33:24.02 ID:+AQc/QviM.net]
- うむ、見事なまでに何も判らん。
修行が足りんのか、分野が違うんだろうなぁ(遠い目)
- 334 名前：デフォルトの名無しさん [2021/04/05(月) 11:22:07.65 ID:H4wZ9f0a0.net]
- 論語、念仏と同じと思えば
- 335 名前：デフォルトの名無しさん [2021/04/06(火) 16:15:11.38 ID:ZL8nOQTg0.net]
- ニューラルネットワークの訓練における正則化は汎化性能の向上を目的としている、であってる？
- 336 名前：デフォルトの名無しさん [2021/04/07(水) 13:25:15.72 ID:9UsmgW2CM.net]
- https://www.rd.ntt/cs/team_project/icl/lirg/innovative/research_innovative03.html
nttも成果を公表するようになってきた
ありがたい
- 337 名前：デフォルトの名無しさん mailto:sage [2021/04/07(水) 14:11:05.37 ID:aEOad5Sn0.net]
- グーグルのベンジオ（便所？）とかいう人が同僚二人の解雇に抗議して退職したとのことです。
- 338 名前：デフォルトの名無しさん mailto:sage [2021/04/07(水) 14:42:06.86 ID:h/XTHitC0.net]
- >>330
マジ？
- 339 名前：デフォルトの名無しさん mailto:sage [2021/04/07(水) 16:15:21.42 ID:4/RbgeKpM.net]
- googleさん闇落ち？
ちょっと前にも解雇騒動あったでしょ
- 340 名前：デフォルトの名無しさん [2021/04/07(水) 17:59:45.81 ID:wk8IjE//M.net]
- reddit見る限り、ググルのことを陰謀を企む悪の組織と誤認してる電波が少しいて、
ググルを叩く風潮に嫌気が差してる人がほとんど
ｹﾞﾌﾞﾙの評判が悪い悪い(笑)
lecunと議論せずにひたすら上から目線で自分の論文を嫁としかツイらなかったせいで嫌われた
- 341 名前：デフォルトの名無しさん mailto:sage [2021/04/07(水) 19:17:15.46 ID:fhO6V2UYF.net]
- アメリカのテック系大企業は経営者に歯向かったら割と簡単にクビになるし特に珍しいことでもない
クビにしたところで世界中で優秀な人をいくらでも集められるから
日本企業は報酬もグローバルでの地位も魅力がないのでむしろ労働組合と関係良好なことをアピールする
- 342 名前：デフォルトの名無しさん mailto:sage [2021/04/07(水) 19:21:43.78 ID:kaudX4Ty0.net]
- 優秀＝白人（プロテスタントまたはJewish）金髪碧眼将来は毛男性 ってか・・・？ｗ
- 343 名前：デフォルトの名無しさん mailto:sage [2021/04/10(土) 18:13:18.66 ID:92qP4Pw30.net]
- MS&GoogleのCEOインド出身だったりするけどな
- 344 名前：デフォルトの名無しさん [2021/04/10(土) 21:39:10.15 ID:fnNsjOwD0.net]
- ちょっとこれは、かなり難しく、力をお貸しいただきたいのですが、
自分でニューラルネットワークを作ろう
https://qiita.com/takahiro_itazuri/items/d2bea1c643d7cca11352#comment-a59cd26161ee56ea1220
の記事で質問があるのですが、
なんやかんやで大体ざっとは理解できたのですが、
重みの更新式
# 重みの更新
- 345 名前：self.w_ho += self.lr * np.dot((e_o * self.daf(o_o)), o_h.T)
self.w_ih += self.lr * np.dot((e_h * self.daf(o_h)), o_i.T)
この式の意味が本当に分かりません。
※*は、成分同士を掛けて行列積を求めるもので、np.dotは普通の行列積になります。
一応
隠れ層から出力層への重みによる偏微分
入力層から隠れ層への重みによる偏微分
の部分は読んで、まぁそうなるんだろうなとざっと理解でき、
【深層学習】誤差逆伝播法｜バックプロパゲーション
ttps://youtu.be/X8hK4ovQoLg
この動画を見たりしたのですが、
まず１つ目の
self.w_ho += self.lr * np.dot((e_o * self.daf(o_o)), o_h.T)
からよく分かりません。
可能であれば、複数の式になって良いので、スカラーによる計算式で示して頂きたいのですが・・・なぜこのようになるのか、を。
たぶん、
隠れ層から出力層への重みによる偏微分
入力層から隠れ層への重みによる偏微分
にある「重みの式」に代入していくような感じだとは思うのですが・・・。 [] - [ここ壊れてます]
- 346 名前：デフォルトの名無しさん mailto:sage [2021/04/11(日) 11:31:48.34 ID:cX1p0N8YM.net]
- >>337
そのQiitaの記事のコードの上の方に数式は具体的に書かれている訳だけども、
まずそっちは理解しているのかな？
理解できてないのであればまずは線形代数をしっかり学ぶ必要があると思う
- 347 名前：デフォルトの名無しさん mailto:sage [2021/04/11(日) 21:23:07.14 ID:J8YGJLtEa.net]
- >>337
dWの微分を行列で表すとそうなる
ほとんどの本ではそこは省略されてることが多い
- 348 名前：デフォルトの名無しさん [2021/04/11(日) 21:25:59.74 ID:JF/oxO5S0.net]
- >>338-339
ありがとうございます
- 349 名前：デフォルトの名無しさん mailto:sage [2021/04/11(日) 21:29:25.29 ID:J8YGJLtEa.net]
- スカラーから行列に手計算で直すのが良い
あとミニバッチ対応だと行列以外では表現できないから
行列は必須
- 350 名前：デフォルトの名無しさん mailto:sage [2021/04/13(火) 19:20:02.35 ID:JY3IIMBR0.net]
- 経営者に歯向かうって
日本の95%ぐらいが同族企業で新しい芽はすぐ摘まれるのに
そんな歯向かう程意気込んでいる奴が居るのか？
何か反論してお前がやってみろ的流れで上げ足を取られないよう我慢較べに耐え
マイナスポイントを作らないように頑張るぐらいが
日本のサラリーマンのやる気だろ
- 351 名前：デフォルトの名無しさん [2021/04/13(火) 19:40:11.07 ID:h3BzXWVB0.net]
- >>342
突然どしたおい
- 352 名前：デフォルトの名無しさん [2021/04/13(火) 20:34:14.37 ID:TGVCGH2G0.net]
- 春だから
- 353 名前：デフォルトの名無しさん mailto:sage [2021/04/13(火) 21:02:28.07 ID:Qr7OJO8/0.net]
- はるだなぁ ┌┤´д`├┘
- 354 名前：デフォルトの名無しさん mailto:sage [2021/04/13(火) 21:14:34.02 ID:JY3IIMBR0.net]
- おっと意気込んで勉強してる奴が居たっぽいな
- 355 名前：デフォルトの名無しさん mailto:sage [2021/04/13(火) 21:24:43.15 ID:JY3IIMBR0.net]
- そんな使い捨て分野の勉強もいいが
サラリーマンなら腰巾着として生きていく道も悪い選択肢ではないぞ
方向性を間違ってしまいそうな準社畜勢が多く集まっていそうだけども
- 356 名前：デフォルトの名無しさん mailto:sage [2021/04/14(水) 00:22:17.60 ID:SzuxgdzH0.net]
- 年収 >= 20万円 x 年齢
を満たしつつ、楽しく平穏に働きたい
- 357 名前：デフォルトの名無しさん [2021/04/14(水) 10:53:40.16 ID:GkDETHMT0.net]
- 夢見る若者ｗ
- 358 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 09:06:10.49 ID:/Y74/7RV0.net]
- https://ocw.tsukuba.ac.jp/data-science/
筑波大学では、平成31年度10月より、情報教育に関する共通科目として「データ�
- 359 名前：Tイエンス」を開講しました。
「データサイエンス」の授業では、データサイエンスの基礎的概念を理解し、
コンピュータを利用した基礎的なデータ分析技術を学ぶことを目的としています。
筑波大ではデータサイエンスが必須になった
更にその内容もデータサイエンスに留まらず
流体力学もIoTも何でもあり
もちろん地道な検定とかもやるんだな [] - [ここ壊れてます]
- 360 名前：デフォルトの名無しさん [2021/04/15(木) 10:11:09.71 ID:3ci3nRnzM.net]
- >>350
良く分かんないページだ
オープンコースの説明？
ラボの説明？
- 361 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 11:31:20.39 ID:/Y74/7RV0.net]
- >>350は筑波大の学生全員共通科目だな
筑波大といえば学生が授業を見るためのデータベースを
学生が独自に作ってしまったとかで最近話題になった
もっと前には、構内でしたい放題しまくったスーパーハッカーがいて
いい所に就職できたんだっけ
- 362 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 13:54:53.25 ID:YwaVn3VBa.net]
- >>350
流体力学なんて大手メーカーの開発職ぐらいしか使わないぞ
やるだけ無駄
- 363 名前：デフォルトの名無しさん [2021/04/15(木) 14:11:56.12 ID:3ci3nRnzM.net]
- >>350
これって導入のところの一項目が授業一回分になるのかな？
ラボの説明聞いて終わり？
- 364 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 14:28:15.51 ID:ASAfbP0Sr.net]
- >>353
研究機関でも使う
そして研究機関でパラメータをひねりまわしてるのは派遣PGだったりする
- 365 名前：デフォルトの名無しさん [2021/04/15(木) 14:30:23.81 ID:WWq7Tu7t0.net]
- 流行りだから、学生が呼べて就職がよければOKさ
- 366 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 16:27:52.28 ID:Ek3DvuxM0.net]
- >>352
受賞はﾀｲｰﾎのライセンス！的なアレですな
- 367 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 16:37:07.53 ID:Nt0NlrQG0.net]
- https://www.youtube.com/watch?v=JUU3CWnDya8
強化学習とDNN画像認識を組み合わせて、
マンデルブロ集合の図形を自動検知、自動拡大
- 368 名前：デフォルトの名無しさん [2021/04/15(木) 17:19:45.29 ID:3ci3nRnzM.net]
- >>358
アーモンド的な模様を探して拡大？
マンデルブロを計算せずにってこと？
- 369 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 17:22:02.46 ID:Ek3DvuxM0.net]
- なんちゃらのなんちゃら休むににたりってやつだな・・・
- 370 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 21:36:04.06 ID:/Y74/7RV0.net]
- >>358
自己相似の構造を見出すことに成功か
このスレは何でもかんでも深層学習にしなくても
統計学っぽいのも一応はいいのかな
k-means法とかクラスター分析とか位相的データ解析とか
- 371 名前：デフォルトの名無しさん mailto:sage [2021/04/15(木) 21:57:49.86 ID:FAu+tRVaa.net]
- 深層学習は機械学習を実現する一手法に過ぎないからね
- 372 名前：デフォルトの名無しさん [2021/04/16(金) 10:59:52.75 ID:3ahlvanY0.net]
- >>362
他の方法とは？
- 373 名前：デフォルトの名無しさん mailto:sage [2021/04/16(金) 11:01:25.02 ID:+ZqSb2qyM.net]
- コホーネンに手を出すかw
- 374 名前：デフォルトの名無しさん mailto:sage [2021/04/16(金) 11:53:04.91 ID:gNE3LwpI0.net]
- >>363
昔ながらのサポートベクトルマシンとか
マハラノビス距離に基づく分類とか
ランダムフォレストとか
- 375 名前：デフォルトの名無しさん mailto:sage [2021/04/16(金) 12:12:24.30 ID:+ZqSb2qyM.net]
- マハラノビスも最近は機械学習に
分類されるのか。orz
- 376 名前：デフォルトの名無しさん [2021/04/16(金) 12:38:05.85 ID:eQE8+yTmM.net]
- >>1
データ少ないときは深層学習じゃない方がいいの？
- 377 名前：デフォルトの名無しさん mailto:sage [2021/04/16(金) 13:24:48.08 ID:RDksD56A0.net]
- データが少ない時は決定木系でいいよ
特にテーブルデータ
- 378 名前：デフォルトの名無しさん mailto:sage [2021/04/16(金) 14:17:37.95 ID:qA3a8jioa.net]
- 機械学習は機械的に学習できる手法の総称でしかないので何でもあり
- 379 名前： mailto:sage [2021/04/16(金) 20:19:06.10 ID:5MUeIHD20.net]
- >>361
k-means はあらかじめクラスタの個数は指定しないといけないから、クラスタの個数がわからない状況では無力ですよ‥‥
- 380 名前：デフォルトの名無しさん [2021/04/16(金) 21:52:50.72 ID:uMQoO2nS0.net]
- 何を当たり前のことを…
- 381 名前：デフォルトの名無しさん mailto:sage [2021/04/16(金) 22:11:22.27 ID:+WADC0tD0.net]
- しっ、よしなよ
めちゃ早口で言ってるじゃん
rubyガイジ引き込む前兆だよ
- 382 名前：デフォルトの名無しさん mailto:sage [2021/04/17(土) 00:53:32.90 ID:r+Flv24K0.net]
- まあしかしk-meansとかのクラスター分析ってなんか意味あんのか？って思うことはよくある。
教師なしでもPCAなんかはまだ使い道わかるけど。
- 383 名前：デフォルトの名無しさん mailto:sage [2021/04/17(土) 03:24:44.86 ID:KQhVv37W0.net]
- SOM & GAN gaaan
- 384 名前：デフォルトの名無しさん [2021/04/17(土) 04:06:51.97 ID:9pKeriUl0.net]
- クラスター分析は深層学習以前の統計解析が主流だった頃のNLPでよく使った。
よく使ったのが、大量の学術論文をベイズ分類器でテーマ別に分類して、分類後の
集合をさらにクラスター分析で類似文書ごとにまとめるというもの。
クラスター分析は、BOW的なデータ構造であればなんでも自動分類してくれるので
例えば画像ファイルからカラーヒストグラムを生成して、色分類ごとの色強度のデータ
ファイルを作れば、画像分類とかもできたので面白かった。
あと、クラスター分析とは違うが、最近、 誰かがNLPにおける教師なし学習の
新潮流について触れて、例えば、よくあるワードベクターの2次元マップ(Word embedding)
を作り、英語とドイツ語のマップを重ねると英語とドイツ語の対訳辞書を自動生成
することも可能になるはずとか話していた。教師なし学習で対訳辞書みたいなものが
自動生成できるかもしれないという考え方は斬新だなと思った。
- 385 名前：デフォルトの名無しさん [2021/04/17(土) 04:15:57.29 ID:dljYNFer0.net]
- >>373
応用例を知りたいの？
- 386 名前：デフォルトの名無しさん mailto:sage [2021/04/17(土) 11:10:35.27 ID:7oBh743X0.net]
- >>373
類縁グループを定量的に調べられるのなら
分類とかだと非常に有効だね
- 387 名前：デフォルトの名無しさん [2021/04/17(土) 12:00:18.35 ID:8ejS6mqaa.net]
- k-meansとかのクラスタリングで
正常クラスタ群と異常クラスタ群に分けられる？
過去に異常検出した時のデータと正常データを区別できるようにしておいて
クラスタリングを繰り返して上手く正常と異常に分かれるクラスタ数を見つける
新たになデータが各クラスタのどれに属するか判定して
異常クラスタに属したら異常の可能性があるから
調べるとか運用停止するとかの対処をする
- 388 名前：デフォルトの名無しさん mailto:sage [2021/04/17(土) 13:21:11.85 ID:ohP60UMxd.net]
- いや、分類ってそれなりの分類の尺度をユーザーが決めるから意味あるんじゃねーの？
機械学習的に分類しても、で？っていう気にしかならんのだが。
- 389 名前：デフォルトの名無しさん mailto:sage [2021/04/17(土) 13:27:16.40 ID:7oBh743X0.net]
- >>379
よく問題になるのは生物の分類だね
分類から主観を取り除くことが出来る
主観こそが大事と考える文系の為政者、経営者にとっては
邪魔な時がある
- 390 名前：デフォルトの名無しさん mailto:sage [2021/04/17(土) 13:31:51.20 ID:ohP60UMxd.net]
- ある種の外れ値を認識する方法としては意味ある時もあるか。
主観がどうとか言ってるのは全く的外れにしか思わん。
逆に主観とのある種の一致性を無駄に主張する道具には使われてる印象だが。
- 391 名前：デフォルトの名無しさん mailto:sage [2021/04/17(土) 13:45:29.23 ID:QU2IYZKl0.net]
- 外れ値は外れ値だけ正常値は正常値だけ近くなるような距離関数選んで
dbscanにかけろよ
|
 |
