【統計分析】機械学習・データマイニング30

【統計分析】機械学習・データマイニング30 at TECH

[前50を表示]
850:デフォルトの名無しさん
21/08/03 01:06:18.62 oOwKRL/U0.net
>>822
そういえば今
大卒、院卒で都心1人暮らしで派遣やってる人っているの？
吸われまくりじゃないか
ホリエモンやらひろゆきやらが固定費高いところに住んでいる奴は馬鹿だとか
田舎に行った方が給料安くてもゆとりが出来る
どうせ家に帰ってもやるのはゲーム、映画、youtubeでしょ
とか言いまくってるけど

851:デフォルトの名無しさん
21/08/03 13:09:41.89 aIk7WbzI0.net
optimizerって色々あるけど
時間か許せるならsgdで十分？

852:デフォルトの名無しさん
21/08/03 14:00:05.16 6vJGvI2N0.net
>>826
はい

853:デフォルトの名無しさん
21/08/03 14:13:31.63 tooGDD4E0.net
>>826
今ほぼ使われてないです

854:デフォルトの名無しさん
21/08/03 16:53:25.25 aIk7WbzI0.net
>>827
>>828
えっ、どっち？

855:デフォルトの名無しさん
21/08/03 17:09:33.69 6vJGvI2N0.net
>>829
別に矛盾はせんやろ

856:デフォルトの名無しさん
21/08/03 17:20:30.37 rD80CIFeH.net
URLﾘﾝｸ(arxiv.org)
sentence-roberta-largeの結果を出してなくて草
たぶん差がでなかったんだろうな

857:デフォルトの名無しさん
21/08/04 00:32:37.20 GsUzM+NY0.net
脳死adamが強すぎてsgdは勉強しているときにお世話になった程度だな
ちなみにadamの計算まったくわからん！

858:デフォルトの名無しさん
21/08/04 10:21:46.29 iQcHbH250.net
動画像の過去の数フレームを使って将来のフレームを予測するみたいな研究でうまくいってるやつってないのかね

859:デフォルトの名無しさん
21/08/04 11:32:00.70 djLthEM60.net
adamでうまくいったとか過学習ぽくて実際に使うのは不安残るわ

860:デフォルトの名無しさん
21/08/04 12:16:33.20 CTWLjTDBM.net
>>833
うまく行ってるの基準が分からんが、研究はあるでしょ
 >>834
adamは収束速くなるだけじゃないの？

861:デフォルトの名無しさん
21/08/04 13:37:42.82 djLthEM60.net
>>835
そんな単純ではない。deepの汎化性能がどこから来るかはいまだに謎。
learning rateだけでも何がいいか結論出てないが変に速い収束が問題視されてるのは事実。

862:デフォルトの名無しさん
21/08/05 00:36:56.29 6USKtEeL0.net
>>836
多様体の変な極小点にハマりやすいかもしれない、ってことかな？
ユークリッド空間に埋め込んだときに何百万次元にもなってしまう多様体の形を求めるってのは普通に簡単じゃない感じするもんなあ。

863:デフォルトの名無しさん
21/08/05 04:05:50.17 4Jcsl2iC0.net
>>833
深層強化学習がまさにそれでしょ
ゲームの自動攻略とか

864:デフォルトの名無しさん
21/08/05 12:04:21.61 Lxx97Kw00.net
多様体上のアルゴリズムってあるの？

865:デフォルトの名無しさん
21/08/05 12:10:08.37 XONwOmCI0.net
>>837
それってディープラーニングというより最適化問題？

866:デフォルトの名無しさん
21/08/05 12:40:57.09 YkYCYNc40.net
>>837
それもあるし、
そもそもトレーニングデータにおける最適解が汎化性能が高いかどうかもわかってない。

867:デフォルトの名無しさん
21/08/05 13:18:44.73 pKPfjq5zM.net
>>840
ディープラーニングは最適化問題とかぶる部分かなりあるでしょ

868:デフォルトの名無しさん
21/08/05 13:20:43.08 pKPfjq5zM.net
>>839
質問が漠然としすぎていて、何をもってあるといえるのかわからないが、
スイスロールデータセットの次元圧縮がうまくできるように工夫しているアルゴリズムは多様体らしいアルゴリズムじゃないかね？

869:デフォルトの名無しさん
21/08/05 15:14:43.80 Lxx97Kw00.net
>>843
この質問は多様体上で解いてる前提でしょ、だから聞いてみた
>多様体の変な極小点にハマりやすいかもしれない、ってことかな？

870:デフォルトの名無しさん
21/08/05 15:16:19.67 Lxx97Kw00.net
>>843
曲面の上の話に過ぎないと思うが

871:デフォルトの名無しさん
21/08/05 15:32:28.42 1Daamf/ur.net
>>839
次元圧縮は多様体仮説の上で成り立っている

872:デフォルトの名無しさん
21/08/05 16:38:46.82 Lxx97Kw00.net
>>846
なるほど

873:デフォルトの名無しさん
21/08/05 16:44:30.35 Lxx97Kw00.net
多様体学習という用語があるんだ

874:デフォルトの名無しさん
21/08/05 16:54:01.39 XONwOmCI0.net
スイスロールすき

875:デフォルトの名無しさん
21/08/06 00:20:19.84 c29VWanS0.net
>>845
曲面は多様体じゃないって意味の発言？

876:デフォルトの名無しさん
21/08/06 00:23:09.93 c29VWanS0.net
>>844
多様体の形を推定することも、多様体の形を決めるパラメータ群を多様体としてとらえれば多様体上の最適化問題になると言う意味ね

877:デフォルトの名無しさん
21/08/06 00:55:06.00 juvnr80E0.net
多様体言いたいだけ

878:デフォルトの名無しさん
21/08/06 09:08:23.67 3JKbI2Z00.net
それでも精度に有意差がつかない機械学習コンペティションに躍起になる香具師よりまし

879:デフォルトの名無しさん
21/08/06 10:31:56.33 eF3TWJ3i0.net
曲面しか扱っていないのに多様体といったら話盛ってるだろうｗ

880:デフォルトの名無しさん
21/08/06 13:22:10.03 /Dyrl6Iq0.net
君たち「多様体の基礎」ぐらい読んでから喋ってる？
俺は教科書指定されたけど挫折した

881:デフォルトの名無しさん
21/08/06 13:27:08.97 FN7kYlvy0.net
あーあのラノベ？
昔のラノベってレベル高いね

882:デフォルトの名無しさん
21/08/06 13:35:17.72 W4CwI8Ep0.net
「多様体の基礎」でわからなきゃもう無理だろ。
でも実際はテンソルの変換の計算するだけだから多様体を考える必要はほとんどないけど。

883:デフォルトの名無しさん
21/08/06 14:25:37.37 7P/+UMXla.net
二次元で理解して
それが高次元になっているのね
という理解で十分

884:デフォルトの名無しさん
21/08/06 16:58:50.71 3JKbI2Z00.net
>>858
その理解だと関係式になってない関数は多様体で取り扱えなくなってしまうのでは？
関係式の例として単位円の方程式、x^2+y^2=1はxが定まればyも即座に定まるからその理解でもいいけど、
関係式ではない正規分布の母数のように平均が定まっても標準偏差は即座に定まらないから、統計多様体で矛盾が生じてしまう
やっぱりちゃんと多様体を理解した方がいいと思うよ
ただし、自民党政権下ではどんなに数学頑張っても無駄だと思う
法人税の特別減税措置を大量に作って大手ばかり優遇し、富の再分配と真逆の行いをしてビジネスの世界から本質が消えてしまった
内部留保ばかり増えて労働者の平均賃金も長年上がってない
労働者は共に現政権にNOを突きつけ、IT業界に蔓延する「今だけ、金だけ、自分だけ」の考え方を変え、本質を取り戻そう！
数学の勉強はその後、皆んなで一緒にすればいい

885:デフォルトの名無しさん
21/08/06 17:04:16.10 El/YE1LI0.net
どっかいい政党あったら教えてくれ

886:デフォルトの名無しさん
21/08/06 17:16:47.29 JGIT2rTS0.net
2次元多様体は3次元で見ると曲面になるから
n次元多様体はn+1次元でみたら曲面になるんじゃね？
その曲面上で損失が最小になる点を見つけるのが学習だと思うけどな

887:デフォルトの名無しさん
21/08/06 17:48:36.83 .net
非線形学習の基礎概念じゃん
何を長々やってんの

888:デフォルトの名無しさん
21/08/06 17:56:15.73 c29VWanS0.net
>>855
流石に読んでるぞ
てか読まなきゃ多様体が何だかわかんないじゃん

889:デフォルトの名無しさん
21/08/06 18:22:31.29 FN7kYlvy0.net
最近多様体のお勉強でもして、お話ししたくなったのかな？

890:デフォルトの名無しさん
21/08/06 18:57:54.44 3CuQyvuTM.net
多様体言いたいだけ

891:デフォルトの名無しさん
21/08/06 19:00:20.98 eF3TWJ3i0.net
多様体

892:デフォルトの名無しさん
21/08/07 23:07:23.06 S6UZnCNm0.net
チビタレビ接続、アルファ接続なんて使用しません

893:デフォルトの名無しさん
21/08/08 01:36:39.38 QRxRLgxLM.net
実務未経験、kaggle初挑戦でソロゴールド取れたけど転職活動で評価されますかね
kaggleやる前は経験がないという理由でさんざん落とされまくった
masterまで取ってしまった方が評価高まるんかな
grandmasterまで取れたら引く手あまた？

894:デフォルトの名無しさん
21/08/08 09:58:13.80 /p80N7+xa.net
実務はkaggleみたいに整備された環境ではないのでkaggle実績など実務経験としてカウントされません
実務でデータサイエンスやっている人が転職時にアピールポイントとして使うならまだ分かる

895:デフォルトの名無しさん
21/08/08 12:13:58.31 KSDEV/p50.net
>>868
DeNAがkaggle経験重視してるから受けてみたら？

896:デフォルトの名無しさん
21/08/08 13:13:50.96 .net
Kaggleｗｗｗｗｗｗｗｗｗ
競プロer笑と同レベルって気付け

897:デフォルトの名無しさん
21/08/08 13:34:01.94 FLwcAWgNr.net
実務マウントもイタイよな

898:デフォルトの名無しさん
21/08/08 14:34:01.87 4QdLr3Tg0.net
>>868
今の会社でデータ分析の部署に転属させてもらうか、プロジェクトに参加させてもらったら？
部長クラスに相談すれば悪いようにはならないかと。

899:デフォルトの名無しさん
21/08/08 15:35:49.38 APy0xH+W0.net
>>868
数多ではないだろうがある程度評価はされると思うからそのままグラマスまでやれ

900:デフォルトの名無しさん
21/08/08 22:18:53.80 vFD24uPRr.net
転職サイトでkaggleで検索すると何件かヒットするよ

901:デフォルトの名無しさん
21/08/09 11:23:28.16 YrRw0eGAM.net
ありがとう
データ分析の職種もいろいろあるね
研究開発もあればコンサルもあったり、データの活用方法の立案から任せたいところもあれば、データを集めるところからやらせたいところもある
この違いのせいで人によって言うことが全然違�

902:､というのは面接でも経験した kaggleのような精度出しを重視するのは研究開発なのかな grandmasterまでは少し時間かかりそうだから考えてしまうソロ金取れたからあとはチーム組みまくればさくっと取れるのかもしれないけど

903:デフォルトの名無しさん
21/08/09 11:36:38.45 YrRw0eGAM.net
>>873
今の会社のデータ分析やってる部署は機械学習の仕事は2割しかないらしい
古典的な統計手法がほとんどなんだとか
試しに社内公募で面接受けてみたら機械学習についてまったく質問されなかったから辞退した
業界はAIを活用し始めてるし会社もビッグデータを持ってるんだけど、そこの部長が機械学習に疎いようだから社外に出た方がよいと判断した

904:デフォルトの名無しさん
21/08/09 12:05:10.95 8AhcXF4R0.net
kaggleなんて初めて知った

905:デフォルトの名無しさん
21/08/09 12:34:48.65 Gz+/uc5A0.net
>>877
まずはその部署で実務経験を積めばよかったのに。
機械学習プロジェクトでも古典的な統計手法は使うよ。

906:デフォルトの名無しさん
21/08/09 12:49:06.77 rKb0Niaj0.net
俺もそう思う
データサイエンスなんて実際は本当に泥くさい仕事だよ

907:デフォルトの名無しさん
21/08/09 12:50:30.94 EJdTKpSKa.net
>>879
いやまあそれだけじゃなくてあの部長とは反りが合わないと思った。
面接でケーススタディやらされたんだけど、こっちの解答が不正解で扱われたから模範解答を聞いてみて、
その模範解答間違ってるよと間違ってる理由を言ったら、間違ってないの一点張りで、根拠を聞いても今後の採用でも同じ問題使うから答えられないと。
いや出題ミス隠蔽のうえに間違った問題を使い続けるって…
人事に話したが俺の言い分は正しいように思うが人事は試験問題には立ち入れないんだと。何のための人事なんだか。
とりあえずこの人の下では働きたくないと思った。
今の仕事も統計関連ではあるから古典的な分析手法を異動してまで経験する必要はないかな。

908:デフォルトの名無しさん
21/08/09 12:51:41.18 EJdTKpSKa.net
>>880
どの仕事もそうだね。今の仕事もそうだから想像はつく。

909:デフォルトの名無しさん
21/08/09 13:48:53.19 jlOW9NPh0.net
>>868
kaggleのことよく知らないんだけどソロゴールドってどういう状態なの？

910:デフォルトの名無しさん
21/08/09 13:54:33.72 PID/W7Dkr.net
機械学習だけでなく古典的統計もちゃんとわかってる方が価値あると思うなぁ

911:デフォルトの名無しさん
21/08/09 14:43:49.71 ABArYxqcM.net
皆さんが言う古典的統計って、計量経済のこと？

912:デフォルトの名無しさん
21/08/09 15:05:05.53 xK6XOXuS0.net
全く違う
そもそも古典的統計なんて言葉ほとんどつかわない

913:デフォルトの名無しさん
21/08/09 15:15:37.04 3bscJFtj0.net
ナイチンゲール？

914:デフォルトの名無しさん
21/08/09 15:18:02.99 xELB7YY70.net
この発想はないわ、経済屋さんか？
>古典的統計って、計量経済のこと？

915:デフォルトの名無しさん
21/08/09 15:28:53.04 xK6XOXuS0.net
むしろ経済とは無縁の人の発想だろ

916:デフォルトの名無しさん
21/08/09 15:32:54.86 xELB7YY70.net
計量経済という言葉自体経済をかじってないとしらないだろ

917:デフォルトの名無しさん
21/08/09 16:07:47.57 ABArYxqcM.net
古典的統計って単語でt値とかp値とか連想して質問してみました

918:デフォルトの名無しさん
21/08/09 16:29:06.17 yT1rK/qm0.net
p値や帰無仮説の類いは、統計分析で使われているが、本来は検定では？
古典的統計って、古典的統計分析の省略形？

919:デフォルトの名無しさん
21/08/09 16:48:39.03 ABArYxqcM.net
そうなんです、私は仮説検定で育ってきて最近機械学習を勉強し始めたところで、二つの世界観の違いに少なからず戸惑っておりまして、漠然とした質問を投げて、何かヒントを頂けたらと思った次第です

920:デフォルトの名無しさん
21/08/09 17:14:20.50 /DAK4ORS0.net
機械学習でinsightを得て、統計的検定で確認するもんじゃろ
どこの現場もそうやっとるじゃろ?

921:デフォルトの名無しさん
21/08/09 19:50:41.35 ABArYxqcM.net
その感覚がわからなくて。tks

922:デフォルトの名無しさん
21/08/09 19:55:34.56 /DAK4ORS0.net
tksとは珍しい略語を使うのう

923:デフォルトの名無しさん
21/08/09 21:20:56.44 WuaDW8MIM.net
古典的というのは別に用語ってわけでなくて比較的最近流行の的になっている機械学習以外の昔ながらのデータ分析手法という意味で言ったつもり。
セグメンテーションとか主成分分析とかいろいろあると思うけどデータ分析業界でどういう言葉が使われてるのか分からないので深く突っ込まず察してほしい。
ところでスレ違い申し訳ないけどひとつお聞きしたい。
皆さんとこのデータサイエンティストの女性率は何割くらいだろう？
うちの会社のその部署は部長(男)の下に4人の女性と3人の男性が所属していて、それぞれデータサイエンティストまたはデータエンジニアの肩書きが付いている。
しかしこの仕事を志望する人の大半は男性だと思う。ネットで調べても9割は男性だと出る。
意図的に女性を優遇して採用しない限り部署の過半数が女性になることは考えにくいと思うのだけど、この感覚は皆さんも一緒だろうか？
その部長はデータ分析部署立ち上げ当初から採用に関わっているらしい。
なんだかものすごく気持ち悪く感じた。合理的理由なく女性優遇してるとしたら法律違反でもある。

924:デフォルトの名無しさん
21/08/09 21:34:44.42 xELB7YY70.net
ベイズ推定勉強すれば

925:デフォルトの名無しさん
21/08/09 21:58:25.58 GSmZJeae0.net
女性の割合をクォータ制とかで割合を決めたりするところもあるから違法とは言えないんじゃね？
海外では国会議員の割合とか会社役員の割合とかクォータ制導入してるとこもあるだろうし
人事のことは会社の人事権限を持つ人が決めることで
成果の責任を取るのも責任者になるはず
何故かそうならないこともあるけどな
自分のやりたいことをしたいのなら出世するか独立したら良い

926:デフォルトの名無しさん
21/08/09 22:04:18.62 xELB7YY70.net
成果は俺の物、失敗は部下の物ｗ

927:デフォルトの名無しさん
21/08/09 22:27:09.99 5XVoQDhV0.net
>>877
某メーカーの中で少し働いたことがあるがコテコテの統計学だったよ
それこそt検定とかF検定
しかも秘伝のタレと化した自前Fortranのライブラリを使わなきゃダメだった

928:デフォルトの名無しさん
21/08/10 00:32:57.08 uO0ANz+Ga.net
>>897
＞しかしこの仕事を志望する人の大半は男性だと思う。ネットで調べても9割は男性だと出る。
そりゃ現状大半が男性で構成される環境を志望する女性はレアなんだから仕方ないだろう

929:デフォルトの名無しさん
21/08/10 08:47:35.51 2xiLGjmP0.net
>>901
秘伝のタレは継ぎ足していくもの。
改良されない数値計算ライブラリは、秘伝のタレではなく単なる化石？

930:デフォルトの名無しさん
21/08/10 13:51:45.49 BpbHj/DY0.net
>>903
社内の業務フローに組み込まれてるだろうから変えられないんだと思う
製品開発に直結するからね

931:デフォルトの名無しさん
21/08/10 14:48:04.03 CtWJxJTj0.net
>>904
並行して別のシステムを作っていけば
出来上がってから切り替えられるし
品質管理なら適用する製品を選べば良いように思う
例えば新製品は新システムで品質管理するとか

932:デフォルトの名無しさん
21/08/10 16:38:57.39 QOeLlU4qM.net
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！
クソチョンｗ

933:デフォルトの名無しさん
21/08/10 20:17:47.53 pEvUaaVHd.net
まあ実際の仕事はkaggleで高得点出すことじゃなくて
kaggleがコンテストするためにやってるように、データ整備やコンテスト形式を整備する部分なんだよね。

934:デフォルトの名無しさん
21/08/11 08:52:04.34 SA7xwrWpM.net
rnnを試してるけど学習が安定しない
想定どおりに学習できることもあるしできないこともある
こんな感じだっけ？

935:デフォルトの名無しさん
21/08/11 09:57:19.51 LaezIcyQ0.net
>>908
いいえ

936:デフォルトの名無しさん
21/08/11 13:14:47.40 lYh86/4uM.net
>>909
(o´･ω･`o)何が良くないんだろう

937:デフォルトの名無しさん
21/08/11 13:26:42.69 LaezIcyQ0.net
>>910
基本的な知識の得方

938:デフォルトの名無しさん
21/08/11 15:54:21.73 lYh86/4uM.net
>>911
(o´･ω･`o)どう得れば良いの？

939:デフォルトの名無しさん
21/08/11 16:03:44.47 Jt5epKHNp.net
>>912
実は勉強するだけでいいんだ

940:デフォルトの名無しさん
21/08/11 16:07:34.59 s3/ZPgm10.net
先ずは全裸になります

941:デフォルトの名無しさん
21/08/11 16:20:47.36 5Ljj9b3D0.net
学習データの選び方によって結果が異なるとか?

942:デフォルトの名無しさん
21/08/11 16:49:21.51 EKde279r0.net
次に窓を開けます

943:デフォルトの名無しさん
21/08/11 18:15:56.01 hWJ4QZBPa.net
うちは女性も多いってレスが無いところからするとやはり普通は男性が多そうだね。
転職活動してても女性は一人しか見たことがない。
>>899
人事に聞いた限りじゃそういうのはなさそう。今回の公募は応募者全員が男性だったそうな。
今回結局誰か採用したのかどうか結果は知らんが。
>>902
というより工学、数理、ITって一般的に女性より男性の方が得意だからというのが大きいと思う。
生物系以外の理系職はどれも男性が多いね。
>>907
いろんな会社に話を聞くと会社によってだいぶ違う気がする。
データ整備と分析で人員を分けていたり。
扱うデータの種類でも違うんじゃないだろうか。
例えば画像解析だと認識精度が重要である一方で精度を出せるスキルのある人は限られてそうで、
データ整備よりも精度を上げる仕事が重要になるんじゃないかと想像してる。
自動運転の研究なんかは日々精度を上げるための研究をしてるイメージ。知らんけど。
kaggleはホスト企業が精度を上げるアイデアをコンペを通して募集する場だね。企業からすればある種のクラウドソーシングでしょう。
だから入賞者には企業からそれなりの報酬が払われ、報酬を得るにはソリューションの説明が義務付けられてる。

944:デフォルトの名無しさん
21/08/11 19:23:33.11 lYh86/4uM.net
>>915
あー、片寄ってるのかも。。。

945:デフォルトの名無しさん
21/08/12 15:53:15.16 D76zE5lQ0.net
テンソルの次元が間違ってた

946:デフォルトの名無しさん
21/08/13 10:22:01.47 JDdJznaVM.net
nnで遊んでてどテンソルの次元が分からなくなることがあるんだけど皆さんそう言う苦労感じることはないの？

947:デフォルトの名無しさん
21/08/13 22:10:35.40 7BlJfnOl0.net
kerasだと間違わないけど生のtensorflowだとやらかし易いのかな

948:デフォルトの名無しさん
21/08/14 04:11:47.31 tSdjK28r0.net
テンソルの次元を型として扱ってほしい時はあるよね
pythonだと型がふにゃふにゃだから仕方ないが

949:デフォルトの名無しさん
21/08/14 10:10:41.67 7G/MQzi80.net
pytorch使ってるけど
fcに繋げるときに次元計算するの大変

950:デフォルトの名無しさん
21/08/14 10:15:40.32 owqwTzAL0.net
LazyLinearがある�

951:ﾅしょ

952:デフォルトの名無しさん
21/08/14 10:58:01.55 .net
テンソルといえば、Python (つーかNumpy) の多次元配列が使いやすい上に速過ぎる
まあNumpyの線形代数ライブラリがC++とかでビルドされてるってだけだが、それにしても速い
問題が全部線形代数の言葉で記述される限りは、並のプログラマC++とかFortranでコード書くメリットほぼないね

953:デフォルトの名無しさん
21/08/14 22:58:37.25 gYaerU7s0.net
NumPyは生のCPythonでの演算に比べて高速だけど、それでもボトルネックになり得るから、精度は落ちるがPyTorchのテンソルでGPUに計算させるね
CuPyというものも一応あるが

954:デフォルトの名無しさん
21/08/15 14:28:35.97 Qb5ISoeor.net
CPUよりGPUの方が速いっていうのはそりゃそうだろとしか
 >>925とはレイヤの違う話

955:デフォルトの名無しさん
21/08/15 15:47:17.10 si7Mpb2N0.net
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！
クソチョンw

956:デフォルトの名無しさん
21/08/15 20:53:39.40 HtCgJxPe0.net
cupyはサイズが小さいテンソルだとcpuより遅いみたいだけど

957:デフォルトの名無しさん
21/08/20 12:10:40.90 MQrCwhW/a.net
方策勾配法で学習させたら累積報酬が伸びなくなったんだけどどうしたらいい？
URLﾘﾝｸ(i.imgur.com)

958:デフォルトの名無しさん
21/08/20 12:49:52.15 FbVOze5U0.net
>>930
状態の保持が間違っていたりする？
変な曲線になるんだよね。

959:デフォルトの名無しさん
21/08/20 20:03:47.74 /LFG2LNja.net
>>931
ありがとう角度を三角関数で分解したり無理矢理スケーリングしたらなんとか学習進んでそうな感じする

960:デフォルトの名無しさん
21/08/22 04:03:30.28 0Cz6ueFz0.net
Rustのメモリ安全性はボローチェッカーによって担保されているが、
Nimと比較してRustはタイプ量が多い事により限りなく低い生産性と
C++のような高い難読性、超巨大なバイナリ生成性能を兼ね備えています
Nimはバージョン1.5.1でRustのボローチェッカーに似た「View types」が実装されれば、
GC無しのView typesで参照の有効性を検証することによってメモリ安全性を保証しつつ
限りなく抑え込まれたタイプ量で高速化したCのソースコードを吐き出せます
Nimソースコード ==nimコンパイラ==> Cソースコード ==Cコンパイラ==> バイナリ
なので、nimコンパイラが通った時点でメモリ安全性が担保されませんか？
Nimの実験的特徴
著者：アンドレアス・ルンプ
バージョン： 1.5.1
URLﾘﾝｸ(nim-lang.github.io)

Nimは限りなく抑え込まれたタイプ量で高い生産性とPythonのような高い可読性を実現し
ているにもかかわらず、高速なCのソースコードを吐き出せるのでC言語でリモートワーク
されている方は割り振られた仕事が早く終わっても終わってないふりをして怠けることができる
「怠け者とはこうあるべきだ！」と言うとても大事な事を Nim は我々に教えてくれます

961:デフォルトの名無しさん
21/08/22 09:13:36.46 ofqTG56L0.net
>>1
kaggleやり始めた
全然順位上がらない😭

962:デフォルトの名無しさん
21/08/22 18:24:57.02 GHDNHuGz0.net
東京都のコロナ感染者数の予測をやっている人いませんか？
もしいるとして、どれくらいの精度ですか？

963:デフォルトの名無しさん
21/08/22 18:56:17.98 zdGxm9qc0.net
測定データに大きな偏りがあるため予測�

964:s能なんか数字が出たとしても、誤差さえも見積もり不能

965:デフォルトの名無しさん
21/08/22 19:08:22.91 J4tnnXpD0.net
カコ習慣の平均とを使用するとか工夫すればある程度できるんでね？
でも予測ってどんなん？
出せても感染者の予想分布かな

966:デフォルトの名無しさん
21/08/22 19:09:10.38 J4tnnXpD0.net
過去1週間の平均等

967:デフォルトの名無しさん
21/08/22 19:12:35.97 zdGxm9qc0.net
統計の基本中の基本だけど
偏ったサンプルデータを分析に使うと
まともな結果は導けない

968:デフォルトの名無しさん
21/08/22 19:19:46.61 J4tnnXpD0.net
実務でまともなデータなんてあまり無いよ
そんなデータからなんらかの成果を出すのが腕の見せ所なんだけどね

969:デフォルトの名無しさん
21/08/22 21:24:36.63 zwA+sbGKd.net
そうだけど糞データではどうしようもない
後々面倒なことになる

970:デフォルトの名無しさん
21/08/22 21:47:00.98 0Cz6ueFz0.net
Rustのメモリ安全性はボローチェッカーによって担保されているが、
Nimと比較してRustはタイプ量が多い事により限りなく低い生産性と
C++のような高い難読性、超巨大なバイナリ生成性能を兼ね備えています
Nimはバージョン1.5.1でRustのボローチェッカーに似た「View types」が実装されれば、
GC無しのView typesで参照の有効性を検証することによってメモリ安全性を保証しつつ
限りなく抑え込まれたタイプ量で高速化したCのソースコードを吐き出せます
Nimソースコード ==nimコンパイラ==> Cソースコード ==Cコンパイラ==> バイナリ
なので、nimコンパイラが通った時点でメモリ安全性が担保されませんか？
Nimの実験的特徴バージョン1.5.1
URLﾘﾝｸ(nim-lang.github.io)
第二プログラミング言語として Rust はオススメしません Nim をやるのです
URLﾘﾝｸ(wolfbash.hateblo.jp)

Nimは限りなく抑え込まれたタイプ量で高い生産性とPythonのような高い可読性を実現し
ているにもかかわらず、高速なCのソースコードを吐き出せるのでC言語でリモートワーク
されている方は割り振られた仕事が早く終わっても終わってないふりをして怠けることができる
「怠け者とはこうあるべきだ！」と言うとても大事な事を Nim は我々に教えてくれます

971:デフォルトの名無しさん
21/08/23 11:25:28.32 KpLgmN1yM.net
optunaユーザーいる？
いまいちじゃないコレ？

972:デフォルトの名無しさん
21/08/24 14:58:57.23 Hl9oAnl10.net
>>935
コロナ感染者の予測を出したいなら、用いられた検査方法と検査キットの情報は不可欠
測定誤差が大きすぎ

973:デフォルトの名無しさん
21/08/24 16:23:56.10 IgUjDL9R0.net
回しかた足りないのかな？
3000じゃ足りない？

974:デフォルトの名無しさん
21/08/24 21:05:22.63 WPVjFHuu0.net
URLﾘﾝｸ(news.mynavi.jp)
東芝など、学習済みAIを用途やハードの仕様に合わせて展開できる技術を開発
2021/08/23 20:28
DNNのサイズをその重要度を見分けて削る事で
小さなエッジデバイス上でも性能を落とさずに
AIモジュールを動かすことができる、と

975:デフォルトの名無しさん
21/08/25 22:42:46.04 PyfYFB5Y0.net
塩野義製薬　AI創薬技術によるマルチターゲットに対する創薬を目指した米InveniAI社との業務提携について
URLﾘﾝｸ(www.shionogi.com)
塩野義、創薬研究における開発候補化合物の探索にAWSクラウドの利用を開始
URLﾘﾝｸ(classmethod.jp)
塩野義製薬、新型コロナ重症化抑制の候補薬で米バイオエイジ社と契約
URLﾘﾝｸ(www.nikkei.com)
製薬業界の丸ごとAI化を目指す取り組み(LINC)が日本でスタート　塩野義、理研、京都大学、NEC等
URLﾘﾝｸ(news.mynavi.jp)
＞富岳スパコンを使った分子化合物シミュレーション
＞AI(機械学習)を使った、分子動力学計算の最適化　AIを使った分子自動設計　タンパク質立体構造の予測
＞知識ベース、過去の分子ビッグデータを整理し、解析、探索するデータサイエンス技術

976:デフォルトの名無しさん
21/08/26 08:54:20.20 E8v09I6UH.net
ごめん、optunaちゃんとしてた

977:デフォルトの名無しさん
21/08/27 08:05:38.52 ebhntqkF0.net
検定の考え方と機械学習(特にdeep learning)ではかなり考え方に差がある。

978:デフォルトの名無しさん
21/08/30 02:57:16.24 t9q3RQuP0.net
mecabより良い解析器って出てこないのかしらん？

979:デフォルトの名無しさん
21/08/30 09:31:33.03 3DuZZh5/a.net
mecabの何が不満?

980:デフォルトの名無しさん
21/08/30 11:41:39.31 D5v3tNv00.net
sudachi

981:デフォルトの名無しさん
21/08/30 13:28:14.44 HWYFF8sx0.net
メカブは体にいい

982:デフォルトの名無しさん
21/08/30 19:26:51.33 t9q3RQuP0.net
>>951
使っている手法がcrfベースと古いから

983:デフォルトの名無しさん
21/08/30 20:53:05.50 DbDPNUf30.net
>>954
手法が古くても必要な結果を得られたら問題無いんじゃね？

984:デフォルトの名無しさん
21/08/30 20:58:58.02 D5v3tNv00.net
バイトペアエンコーディング全盛の今、形態素解析なんて時代遅れだよねと思いきや、Whole Wordなんて手法も出てきてやっぱり重要だっていうね

985:デフォルトの名無しさん
21/08/30 21:56:49.19 t9q3RQuP0.net
>>955
ビッグデータ処理してると数パーセントの精度の違いが大きく出てくるから
なるべく高精度のが欲しい

986:デフォルトの名無しさん
21/08/30 21:59:20.42 t9q3RQuP0.net
松尾研の要約システム、ひどいな

987:デフォルトの名無しさん
21/08/30 22:00:46.32 FcBMjYja0.net
精度が売上に直結するならいいけど
弱い相関ならシンプルなロジック選んでしまうな

988:デフォルトの名無しさん
21/08/30 22:13:34.30 IfLgW1Xz0.net
40年以上前から言われているけど
何文字以内、何行以下の要約というのは
あまり意味がない。必須な部分がかけてしまうかもしれないし
余分な部分が残ってしまうことがある

989:デフォルトの名無しさん
21/08/30 22:23:27.16 6Ldth3Lh0.net
愚痴みたいになるけど形態素解析とかIMEみたいな古典的な分野ばっかやりすぎて
統計的機械学習やディープラーニングへの対応が遅れて
世界に取り残されたのが日本の自然言語処理のアカデミアってイメージ
アテンションやトランスフォーマーみたいな仕組みが
日本から出てこなかったのは悲しい

990:デフォルトの名無しさん
21/08/30 23:06:53.06 DbDPNUf30.net
>>957
それなら古いからじゃなくて必要な精度を得られないからってことで
精度に関わる他の部分を変えることで目的を達成できるかも
何がその目的達成に影響するのかは判らない

991:デフォルトの名無しさん
21/08/31 04:15:10.73 D+Jl3XmV0.net
>>950
spaCyかな。利点はGPUを使えるので圧倒的に早いこと。欠点はPython依存。

992:デフォルトの名無しさん
21/08/31 04:39:38.87 D+Jl3XmV0.net
>>958
個人的にはあれはよくできてると思う。
まず、要約はextraction法とabstraction法の2種類がある。
extractionはbowを作って単語の頻出度で統計処理することでウェイトの高いセンテンスを抽出する。
一方、abstractionは要約済みの学習データをseq2seqで機械学習させることで、要約エンジンを作る。
松尾研のベンチャーが作ったのは、後者のabstractionの方で、日本語でabstractiono方式の要約エンジン
というのはほとんど見たことがない。
ただ、実際に売れるかどうかは別。
この種のシステムは、を企業向けに販売しようと思ってもクラウドでAPIで提供する方式の場合だと
企業は内部情報が外部に流出することになるのでまず100％導入はしない。
一般的なのは、企業が利用してるクラウドの中にシステム用のサーバーを立ち上げるか、
企業のイントラネットの中に専用サーバーを立ち上げることなんだが、
これをやるとSI業者には勝てない。
また、下手にこの領域に踏み込むとSI 業者が海外製の要約エンジンを日本語化して販売
を始めたりするので、敵を誘い込むことになる。

993:デフォルトの名無しさん
21/08/31 07:41:34.77 vHl4DeHq0.net
>この種のシステムは、を企業向けに販売しようと思ってもクラウドでAPIで提供する方式の場合だと
>企業は内部情報が外部に流出することになるのでまず100％導入はしない。
用途で言えば内部情報より外部の公開情報を要約してリサーチ等に使う方が多そうな気がするが。
そうでなくても、契約文書をチェックするサービスなんてのも商売になっているくらいだし。

994:デフォルトの名無しさん
21/08/31 14:21:53.09 Sht6cbMy0.net
optunaで指定するパラメータの範囲はどう決めれば良いの？
apiにパラメータの取りうる範囲が1 <= p < ∞とあるとき

995:デフォルトの名無しさん
21/08/31 15:50:48.02 j/ruVWceM.net
1と∞で二分探索

996:デフォルトの名無しさん
21/08/31 19:28:12.45 l6anRrPu0.net
無限の半分は・・・無限!!

997:デフォルトの名無しさん
21/08/31 19:30:49.23 IiAPjlBZ0.net
>>966
無限大に発散するような関数はまずないはずだけどどういう式？

998:id:ignore
21/08/31 20:06:05.81 Yj2FMtNrr.net
exp

999:デフォルトの名無しさん
21/08/31 20:07:05.73 TL2gsmuJ0.net
表からともったら裏、裏かとと思ったら表

1000:デフォルトの名無しさん
21/08/31 20:56:01.05 Sht6cbMy0.net
>>969
xgboostのパラメータ
reg_alphaとか

1001:デフォルトの名無しさん
21/09/04 02:49:35.61 9cArpdYt0.net
>>877
Rejected internal applicants twice as likely to quit
doi.org/10.5465/amj.2018.1015

1002:デフォルトの名無しさん
21/09/04 04:02:08.87 9cArpdYt0.net
>>965
いずれにしてもSeqモデルによる実装は簡単だから、要約済みの学習データさえ準備できれば
要約システムは簡単に構築可能。無料で出す分にはみんなは面白がって使うだろうけど、有料提供
となると、かなり困難に直面するんじゃないかと思っただけ。
Seqモデルは、かなり一般化してきてるので、NLP専攻の学卒者だったら、十分に構築は可能。
これが機械翻訳とかだと、かなり膨大な学習データが必要となるので、参入障壁になるが、
自動要約だと、元の学習量もしれてるので、NTTデータや富士通あたりだと多分、簡単に作れる。
また、要約の精度は学習データに依存するので、どこまで精度の高いデータを作れるかは、
最終的には開発元の資本力によって決まることになる。

1003:デフォルトの名無しさん
21/09/05 22:01:26.67 zykEaDwPr.net
松尾研で文章を3つの文にまとめるアプリができてましたが
これを任意の文の数にまとめられて更に
「動作を文章にするアプリ」と組み合わせることで作業手順書の自動作成ができて
ひいては行動計画に関する人工知能の開発が進むといいんですがねえ

1004:デフォルトの名無しさん
21/09/05 22:33:17.49 vgQPhGSA0.net
どうして文の「数」にこだわるの?
重要なことがその「数」以上あったらどうするの?

1005:デフォルトの名無しさん
21/09/06 01:15:14.50 otQfwK4Sr.net
3つにする、5つにする、など試して最も妥当な説明書になっているものを最終出力出来たらいいんですがねえ

1006:デフォルトの名無しさん
21/09/06 01:21:37.13 owoO2Yj90.net
妥当な説明を定式化せよ

1007:デフォルトの名無しさん
21/09/06 08:50:13.28 0zGOZ0ajM.net
>>975
できるんじゃない？

1008:デフォルトの名無しさん
21/09/06 09:29:44.52 fsHJbGHja.net
重要な項目が5つあって、3つの文にせよ
という場合は、一つの文に2つ盛り込むとか?
なんだか本末転倒だなあ
重要な項目がいくつあるか分からなくなるじゃないの

1009:デフォルトの名無しさん
21/09/06 10:59:46.00 fK8LC2SFr.net
重要な項目の数に合わせて文の数も調整できたらなあ
更にはそれぞれの文の構造化まで自動化

1010:デフォルトの名無しさん
21/09/06 11:36:22.35

1011:fsHJbGHja.net

1012:デフォルトの名無しさん
21/09/06 16:50:04.99 XuYnRkl0M.net
ほう、そうかい

1013:デフォルトの名無しさん
21/09/06 21:34:45.15 3OGE1cne0.net
マニュアルを要約して
手順を飛ばされてもやだな

1014:デフォルトの名無しさん
21/09/07 08:21:33.30 QjyEMXOy0.net
だが待って欲しい
その手順は本当に必要だったのだろうか

1015:デフォルトの名無しさん
21/09/07 09:23:15.96 IHJavDsS0.net
いやちょっと待って欲しい
そもそも三つの文に…

1016:デフォルトの名無しさん
21/09/07 12:15:41.45 X6g3xS9u0.net
富士通あたりがやり出しそう(笑)

1017:デフォルトの名無しさん
21/09/07 13:03:13.11 oZHnA/lFa.net
試しにここのテキスト入れてみたら
めちゃくちゃ的外れな要約が出てきた
どうやら掲示板は向いてないらしい

1018:デフォルトの名無しさん
21/09/07 20:01:11.19 Cp1uuQsT0.net
新聞記事も読み終わって何がなんだかわからない
という記事が多いから、要約しても無駄だな

1019:デフォルトの名無しさん
21/09/12 11:08:30.42 PNU8wIel0.net
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！
クソチョンｗ

1020:デフォルトの名無しさん
21/09/22 19:51:03.76 pNoEEii80.net
リッジとラッソ回帰をうまく説明するためのデータセットて何かある？
勉強会の資料で探すてる
ボストンの住宅価格でやると効果わかりにくいからその他でいいのおすえて

1021:デフォルトの名無しさん
21/09/23 12:44:23.64 7tGJmFKPF.net
次スレここの再利用？
ｽﾚﾘﾝｸ(tech板)

1022:デフォルトの名無しさん
21/09/26 01:33:41.18 fnXwjiVa0.net
次スレ
【統計分析】機械学習・データマイニング31
ｽﾚﾘﾝｸ(tech板)

1023:デフォルトの名無しさん
21/09/26 01:34:31.80 fnXwjiVa0.net
スカラー倍

1024:デフォルトの名無しさん
21/09/26 01:36:40.35 fnXwjiVa0.net
みっつの数に意味はない
ただの経験則

1025:デフォルトの名無しさん
21/09/26 01:41:50.83 fnXwjiVa0.net
アルタナティブ

1026:デフォルトの名無しさん
21/09/26 01:42:53.67 fnXwjiVa0.net
🉑

1027:デフォルトの名無しさん
21/09/26 01:44:07.46 fnXwjiVa0.net
(*´∀｀*)

1028:デフォルトの名無しさん
21/09/26 01:44:53.74 fnXwjiVa0.net
(*´∀｀*)

1029:デフォルトの名無しさん
21/09/26 01:45:22.39 fnXwjiVa0.net
(*´∀｀*)

1030:1001
Over 1000 Thread.net
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 267日 16時間 34分 27秒

1031:過去ログ ★
[過去ログ]
■ このスレッドは過去ログ倉庫に格納されています