【統計分析】機械学習・データマイニング30

【統計分析】機械学習・データマイニング30 at TECH

[前50を表示]
600:デフォルトの名無しさん
21/06/04 16:27:18.41 gzCOTeam0.net
検索条件をカテゴリ変数として扱ってるんだろ？

601:デフォルトの名無しさん
21/06/04 20:55:49.74 a6XWEKieM.net
>>577
カテゴリー変数は量的変数と違って
赤と緑、赤と青どっちが近いかこっちで決めないと行けない
ログは人気投票で赤と緑をクリックする量と赤と青をクリックする量で
決める

602:デフォルトの名無しさん
21/06/04 21:03:31.65 oHDaGQI00.net
>>582
色だと光の周波数に数値化できるからそれで距離を計算するとかできない事もない
好きな色を選んでくださいって言う場合には周波数で距離を求めるのが妥当かわからないけど
もしかすると周波数と好みの間に関係があるかもしれない
周波数と好みに関係があるという仮説を立ててデータで検証するときは周波数で距離を決める事になりそう

603:デフォルトの名無しさん
21/06/04 23:13:35.28 K7oG2oyc0.net
>>577
1DKと2Kの区別は、不動産業界ではあるかもしれないが、不動産サイトを検索する
一般人にとっては主観的概念でしかない。したがって、業界の基準をそのまま当て
はめると一般人の検索行動と乖離が生じ、サイトの定着率が悪化する可能性がある。
そのため、検索サイトでは従来からアクセスログを解析することで、時空間的に
近い検索を「近い概念」と考えて、ユーザーに明示的に示す手法がとられてきた。
これはいわゆる「この検索をした人はこういう検索もしています」とか「この
商品を見た人はこの商品もみています」というよくあるレコメンドのやり方となる。
このレコメンドは、Wilson score intervalという統計解析手法に基づいており、
検索履歴を時系列で扱うことにより、特定の検索A1とそれ以降に行った同一人の検索
A2/A3...の近似距離値を自然対数のカーブのように指数的に低減させていくことで
A1に近いらしい他の検索入力を求めるというものとなる。
ただし、このアクセスログ解析法は、特定の検索の後に行われた検索パターンを
逐次、解析する必要があるため、大規模サイトの場合、計算量が膨大になりすぎる
傾向があり、大手ではこのためだけに解析用のクラスタコンピューターを導入する
ケースもあった。上の論文では機械学習を新手法としているのはそのためとなる。

604:デフォルトの名無しさん
21/06/04 23:18:31.01 K7oG2oyc0.net
誤）特定の検索A1とそれ以降に行った同一人の検索
正）特定の検索ワードA1と同じ検索を行った全ユーザーの検索

605:デフォルトの名無しさん
21/06/04 23:57:52.10 oHDaGQI00.net
アプリオリじゃね？

606:デフォルトの名無しさん
21/06/05 05:14:40.09 McMxv91Y0.net
>>584
その概念面白いな。同時検索ログを使ってダミー変数にLLEみたいなことしたら面白そうだな。

607:デフォルトの名無しさん
21/06/05 13:08:10.57 dULd7Di4M.net
> また「ログから同時検索される確率を類似度として用いる」というのは、具体的にどのような処理が想定されますでしょうか？
アソシエーション分析のsupport値かと。

608:
21/06/05 15:44:41.08 CJl2tIqC0.net
>>583
＞色だと光の周波数に数値化できる
色は周波数とは関係ない
よって色は、周波数を使用して数値化できない
色は、眼球中の網膜に分布する三種類の錐体細胞 S, M, L の刺激の度合いで決まる
すなわち「色」は感覚であり「色覚」というべき、よって色の数値化の理論は私には難解に感じます、グラスマン(1809-1877,プロイセン）という数学者にして印欧語族論者を思い出します

609:デフォルトの名無しさん
21/06/05 16:19:37.57 HTZ34MD30.net
光は電磁波という物理現象で、その周波数で異なる色に見えるのをご存知ない?

610:デフォルトの名無しさん
21/06/05 18:18:17.64 eK4BMewua.net
>>589
その受容細胞が反応する周波数に違いがある

611:デフォルトの名無しさん
21/06/05 18:22:39.59 86obdan20.net
>>589
ペダンチックに振る舞ってたのに失敗してて草

612:デフォルトの名無しさん
21/06/05 18:47:15.95 MMnsh6lE0.net
たまに見かけるアホだったか

613:デフォルトの名無しさん
21/06/05 20:03:19.74 IO1TGcKCM.net
単純に色を数値化しても意味ない
色の好感度みたいなものを量る方法を
思いつくと役に立つ

614:デフォルトの名無しさん
21/06/05 20:17:34.80 aJEuAtPt0.net
色とイメージの関係は文化的、慣習的なもの
国とか地域で違うのは心理学で研究されている

615:
21/06/05 21:02:33.90 CJl2tIqC0.net
>>590-591
周波数成分の異なった光が同じ色に知覚されることは十分にありうることは、どう説明しますか？

616:デフォルトの名無しさん
21/06/05 21:08:10.00 aJEuAtPt0.net
>>596
知覚を対象にするなら目の見えない人や色弱や色盲の人もいる
周波数や波長を色の距離として採用する事も可能と言うだけで必ずその尺度を採用するべきとは書いていない
色から受けるイメージとかは文化や風習で変わると書いている
人の意見を正しく読み取った方が良い

617:デフォルトの名無しさん
21/06/05 21:12:15.30 uNMOHmjl0.net
BERTの埋め込み表現の各次元って何を表しているんですか?

618:デフォルトの名無しさん
21/06/05 21:49:23.62 HTZ34MD30.net
>>596
違う色だが同じ周波数にエイリアスする色が存在しても、色と周波数が関係ない事にはならないが
関係ないとしたら波長400nmの電磁波が紫に見え、波長が伸びると青、緑、黄色、赤と変化してゆく事実は何?
全単射でなければ数値化出来ない訳はない

619:デフォルトの名無しさん
21/06/05 22:25:30.88 v05wnVxC0.net
もう負けだよ諦めろｗ
色に周波数がないとか馬鹿にもほどがある

620:デフォルトの名無しさん
21/06/05 22:27:58.80 aJEuAtPt0.net
心理量と物理量の違い
音もピッチは心理量で周波数は物理量
何を研究対象とするかでどちらを採用するのが妥当か変わる

621:デフォルトの名無しさん
21/06/05 22:31:04.89 aJEuAtPt0.net
時間も心理量と物理量で違うこともある
退屈な時間は心理的には長く感じるけど物理的には等しい
相対論だと観測する人によって物理量も変わるけど
心理量を時、物理量を時間と区別する人もいる

622:デフォルトの名無しさん
21/06/06 06:01:28.13 tNhqxxmb0.net
>>598
分からない
色々観測して推測はできる。。。

623:デフォルトの名無しさん
21/06/06 07:01:58.44 TkNBt3960.net
>>598
BERTに限らず埋め込み表現の各次元の意味を人が理解するのは基本的に無理

624:デフォルトの名無しさん
21/06/06 07:13:07.15 b+8h8Rirr.net
>>596
> 周波数成分の異なった光が同じ色に知覚される
可視光でそんなことがあり得るんですか？
具体的にどんな時に起きるんですか？

625:577
21/06/06 09:45:47.44 WALxRzX00.net
>>578,579,580,582,584
THX!!!
めっちゃ参考になりました！

626:デフォルトの名無しさん
21/06/06 10:44:29.36 XtTAwPVN0.net
>>605
赤色光と緑色光を混ぜたら黄色に知覚されるとか

627:デフォルトの名無しさん
21/06/06 13:21:06.65 c7m87H9N0.net
人間にとっての色はLMS錐体の刺激値であるというのは間違いない。
それを単一の波長で表せるかというと表せない。
白とか、赤紫とか、原理的に複

628:数の波長の混合でしか表せないものがある。普通の人間の色覚を数値化する場合は3次元のLMSの刺激値で十分で、特殊な場合(光学シミュレーションしたいとか、4錐体2錐体の生物も扱いたいとか)はもっと多次元のスペクトル分布を扱う必要がある。でも可視光の波長に色がついていないわけではない。(波長からLMS錐体の刺激値への写像が存在する)

629:デフォルトの名無しさん
21/06/06 13:34:39.67 RSxxzjaM0.net
>>608
ある波長、周波数の光に対して
各受容体の反応のレベルが変わるだけ
各受容体の反応の仕方は個人差がある
ある人は赤の波長に強めに反応するとか

630:デフォルトの名無しさん
21/06/06 13:36:37.21 RSxxzjaM0.net
>>608
何を対象とするかで変わると何回も言っているだろう
動物や昆虫の視覚を対象としたら人間の可視光の波長だけではカバーできない
その場合も物理量である波長や周波数は使える概念

631:
21/06/06 14:01:19.04 xlnMgrm30.net
>>608
世の中には4錐体の人も結構いるらしく、その人のために32bit ビットマップRGBAがあるんだと、長い間信じていました

632:デフォルトの名無しさん
21/06/06 14:04:51.02 x4M9++220.net
シャコさんをおもいだした＞色覚
2色覚の人間はけこういぱいいる
4色の人はウルトラレア

633:デフォルトの名無しさん
21/06/06 14:09:49.01 9mmqAG88F.net
>>589
>>596
あきらめろ

634:デフォルトの名無しさん
21/06/06 19:01:46.49 c7m87H9N0.net
>>609-610
だからそう言ってるじゃんか、
スペクトル分布からLMS刺激への写像だと
3DCGのレンダラーでRGBじゃなくてスペクトル分布で色を計算するものがあるんだけど(OctaneとかSpectral Cyclesとか)
極端なケースだとその方式の方がリアルに見えるね

635:デフォルトの名無しさん
21/06/06 19:25:09.29 KjuPBoHPM.net
受容体って言いたいだけじゃ
cmosセンサも同じようなものだけど

636:デフォルトの名無しさん
21/06/06 19:41:03.98 XtTAwPVN0.net
もともとの話の色の距離ってことならCIEのL*a*b*で測るのが定番だろうな。

637:デフォルトの名無しさん
21/06/06 22:05:08.19 RSxxzjaM0.net
>>614
スペクトル分解しなくても光として存在するし波長とか周波数とかの物理量も測定できるんじゃね？
何を対象とするかで変わる
錯覚とかを研究するなら同じ物理量の光で
見る人がその前に違う光を長時間見続けていたとか
隣接して別の波長の光の有無とかの影響を受ける
そうなると受容体だけではなくて脳内の色の認識処理も関わる事になる

638:デフォルトの名無しさん
21/06/07 10:38:46.41 BLDePS2QF.net
ニンジンが赤いのはβカロチンだが
βカロチンは赤以外を吸収する
植物の葉が緑なのは葉自身が緑以外を吸収してるから

639:デフォルトの名無しさん
21/06/07 19:32:51.30 nxa4Ud+BM.net
>>617
一点だけ聞きたいのだが、白色光の波長はいくつなの？

640:デフォルトの名無しさん
21/06/07 19:41:20.55 K3uLvPLi0.net
>>619
白とか黒は明度で色とは違う概念
色相環とは別に明度がある

641:デフォルトの名無しさん
21/06/07 19:55:11.28 xDURoYfcM.net
>>620
じゃあ、赤紫の波長はいくつ？

642:デフォルトの名無しさん
21/06/07 20:01:30.95 k2+fmGQH0.net
さすがにそのへんはｇｇｒよｋｓ・・・

643:デフォルトの名無しさん
21/06/07 20:33:45.30 6Xlqh/9FM.net
>>622
この質問がggrksだと思ってるのなら、あなたは可視光についてほとんど何も理解していないと言っていい。

644:デフォルトの名無しさん
21/06/07 20:46:34.09 k2+fmGQH0.net
白色光＋赤紫くんIP変えてるの？なんなの？？？

645:デフォルトの名無しさん
21/06/07 20:47:13.14 K3uLvPLi0.net
>>621
ここに載ってる
URLﾘﾝｸ(phenomenon-of-light.jp)

646:デフォルトの名無しさん
21/06/07 20:56:45.82 eDz2U4pi0.net
>>623
あなたはいったい何を理解されてるのでしょうか？

647:デフォルトの名無しさん
21/06/07 21:04:25.68 iI2xbuf5a.net
っていうか理解してるのならとっととそれ使って作りたいもの作ればいいのに何を無駄話してるんだろう

648:デフォルトの名無しさん
21/06/07 21:11:58.81 pxUr0SVPM.net
データマイニングにRGBは関係なくて
自動車の自動運転ではRGBをAIで分析する
思い違いがあるのでは

649:デフォルトの名無しさん
21/06/07 21:21:51.46 6Xlqh/9FM.net
>>625
URLﾘﾝｸ(polyhedra.cocolog-nifty.com)
これでいい？
光として存在してる(見える)ことと、単波長の電磁波であるということはなんの関係もないという話。
基本的にはその辺の光はスペクトル分布でしか測定できないのよ。色覚においては、そのスペクトル分布を3次元に写像したLMS刺激値か。

650:デフォルトの名無しさん
21/06/07 22:17:22.27 K3uLvPLi0.net
>>629
そのサイトは光の周波数が連続で無限にあって
デジタルみたいに量子化されていないと言っているだけ
周波数は連続しているからその連続した値と人間の色の区別の対応関係が無いだけ
新しい色の名前を作ればもっと細かくなる
色の分け方も文化による
何度も言っているけど何を対象とするかで変わる
人間の色の認知だったら受容体だけではなくて脳の色の認識とか色覚異常とかもある

651:デフォルトの名無しさん
21/06/07 23:26:32.10 6Xlqh/9FM.net
>>630
赤紫とか、白とかっていう光は、人間の色覚のなかにだけ存在して(LMSの3次元の値)、
単一波長(スカラー値)のスペクトルの光としては存在しないのよ。
複数の波長の光子が飛んでくるから赤紫とか白は人間の知覚できる色(?)として存在する。
だから、光が存在して見えるから波長とかの物理量が単独の値として測れるというのは勘違いなんだよ。
同じ色を見続けると色が見えなくなってしまう、とかいう話は確かにあるけど、それ以前の問題として、スペクトルと色の関係わかってますか、という話。
色相環とスペクトルは、本質的にはあまり関係ない。

652:デフォルトの名無しさん
21/06/07 23:30:16.21 K3uLvPLi0.net
>>631
人間の視覚細胞の特性は光の周波数によって違うんじゃね？
SMLとかの種類は周波数によって反応が違う
それぞれの反応レベルに応じて認識する色が違う
赤紫色だと認識する光の波長がある

653:デフォルトの名無しさん
21/06/07 23:31:58.13 K3uLvPLi0.net
認識を共有する必要はないから
あなたはあなたの認識のままで私は困る事はない
私も私の認識のままで良いです
あなたが困る事はないでしょう
このまま時間を無駄にする事の方が困る

654:デフォルトの名無しさん
21/06/07 23:36:55.67 wnFtPeA/0.net
いい加減スレチだから相手するな

655:デフォルトの名無しさん
21/06/08 00:11:56.11 G3b+1Lbj0.net
ID真っ赤になるまでグチャグチャ言っておいて時間の無駄は草

656:デフォルトの名無しさん
21/06/08 00:20:41.02 JXlVOm49M.net
全スレ民の後頭部向けてブーメラン放つのやめるんだ

657:デフォルトの名無しさん
21/06/08 00:21:54.01 TllRLWv0d.net
何も考えずにラベルだけ付けて置けば学習するのが機械学習の基本。
波長だ何だと物理特性にこだわるのは邪道

658:デフォルトの名無しさん
21/06/08 00:49:53.80 W2ScMeuQ0.net
そんなやり方じゃ限界くるのは明白だから構造をつけましょうというのが
今のアカデミアの最先端課題なんだが

659:デフォルトの名無しさん
21/06/08 07:08:11.97 ve9EpaVZM.net
>>632
いや、赤紫だけはないんだよ。波長の長い赤と、波長の短い紫を混ぜないと作れない。
白も同様に色んな波長を混ぜないと作れない。
ホワイトノイズっていうだろ。色んな波長の信号がホワイトノイズに入っていることを白色光に見立ててホワイトノイズという名前が付いてる。

660:デフォルトの名無しさん
21/06/08 07:18:17.75 L6oazCXu0.net
色をスペクトルで入れればいいじゃん
もうスペクトル画像でもいいぞ

661:デフォルトの名無しさん
21/06/08 07:22:56.66 Tl0GKS3NM.net
生物学と画像処理が混ざって草。
前者なら機械学習関係ないし。

662:デフォルトの名無しさん
21/06/08 08:04:40.47 NjCrJDVK0.net
マウント取ろうとして失敗しただけ

663:デフォルトの名無しさん
21/06/08 08:32:10.19 L6oazCXu0.net
最初に答えた人も誰も色は単一周波数で表現できるなんてなんて言ってないのにね
色を周波数(波長)で表現可能って答えてるだけでさ

664:デフォルトの名無しさん
21/06/08 10:07:24.40 EzJexANir.net
>>637
機械学習はデータ突っ込めばとにかく学習してくれる魔法の箱じゃないんだから
ドメイン知識に基づいた特徴設計はとても重要

665:デフォルトの名無しさん
21/06/08 14:24:43.39 NjCrJDVK0.net
ドメイン知識要らねえってのが最近の流行りじゃねえの？
AlphaZeroみたいな

666:デフォルトの名無しさん
21/06/08 14:26:36.95 3hEUCg900.net
この現象はこうだ
とか断言したって実際の自然現象と一致してる保証なんてないからな
思い込みの激しい人は断言するけど
実験したり観測したりして検証しないとただの仮説
そいつがそう思うってだけのこと

667:デフォルトの名無しさん
21/06/08 16:14:58.02 CHrXnr0w0.net
虹に赤紫が無いのは判ったけど
色相環で言うとH=0-290あたりまでが虹？
290-360が無いってこと？

668:デフォルトの名無しさん
21/06/08 17:46:42.71 ve9EpaVZM.net
>>643
最初に答えた人はどうか知らんが、>>617ではスペクトル分布なんか考える必要なく単一の波長を測定できるようなニュアンスのことを言っていたので突っ込んだだけ

669:デフォルトの名無しさん
21/06/08 18:10:03.41 SSiQ1mrM0.net
Outlier（外れ値）推定って、どの程度まで精度を上げられるもん？
ランク学習が効果的という断片的すぎる情報を聞いたけど、どう応用すればいいか解らん

670:デフォルトの名無しさん
21/06/08 18:31:37.75 UfAUNj840.net
>>649
まずは外れ値の定義を決めた方がよさそう。
どんな問題を扱ってるの？

671:デフォルトの名無しさん
21/06/08 18:59:28.01 G3XPHo6KM.net
タグ付けして結果と照らし合わせて分析する

672:デフォルトの名無しさん
21/06/08 21:41:17.43 dkyI01jSd.net
明日からはSSII2021ですね
最近の学会はオンラインだから楽だけど出張なくてつまらない

673:
21/06/08 23:14:42.34 TwRjMltj0.net
>>632
＞赤紫色だと認識する光の波長がある
ない
あるというのなら、その周波数または波長を示せ

674:デフォルトの名無しさん
21/06/08 23:36:23.06 JbMjUK2XM.net
>>653
URLﾘﾝｸ(encycolorpedia.jp)
この色は約516.47nmの波長である

675:デフォルトの名無しさん
21/06/09 02:17:44.03 mSqk8jbs0.net
アップデートできないんだから何言っても無駄
バカの壁を崩せない又は洗脳されていて抜け出せない状態

676:デフォルトの名無しさん
21/06/09 03:24:17.07 T+ZDCqjcM.net
>>654-655
調べたことが正しそうかどうかを別のソースでチェックする癖はつけたほうがいいよ。
URLﾘﾝｸ(en.m.wikipedia.org)
516nmって緑あたりの波長だよ
てかさ、深層機械学習がいかに強力なツールであろうとも、物理的事実はひっくり返らないから。

677:デフォルトの名無しさん
21/06/09 03:37:28.53 mSqk8jbs0.net
光なんだから波長も周波数もあるに決まっている
合成しようと波であることに変わりはない

678:デフォルトの名無しさん
21/06/09 06:58:34.18 8XiOkCsIM.net
レーザーのような、単一スペクトル光には波長も周波数もあるのはその通り。
赤紫や白のような、複数の波長の光の波を合成して出来た波は、確かに波だが、こういう波の波長や周波数を表すときは、波長分布(スペクトル分布)、周波数分布で表す。
合成したからといって一つの波長を持つようにはならないよ。
つまり、単一スペクトル光でない光を波長で表すのは無理。(分布にしないとだめ)
なる、出来るというのなら、100nmと1000nmの光とか、400nmと700nmの光を1:1で混ぜたときに波長いくつになるのか具体的に教えてくれるかな。

679:デフォルトの名無しさん
21/06/09 09:10:43.69 YkjtQR5yM.net
しつこい

680:デフォルトの名無しさん
21/06/09 09:14:56.96 5LvF4jPN0.net
与えられたデータをどう加工するかは自由だから自分の思うようにやってくれ
なのでこのつまらない話題そろそろ終わりにしてくれる？

681:デフォルトの名無しさん
21/06/09 14:31:40.69 FkjPjxpf0.net
終わりにしたければ、スルーすればいいだけ

682:デフォルトの名無しさん
21/06/09 14:46:32.00 hF9PqJL2M.net
wake-sleepアルゴリズムの日本語訳語ってなに？

683:デフォルトの名無しさん
21/06/09 19:22:33.15 zRBfpo4e0.net
>>662
うさぎと亀

684:デフォルトの名無しさん
21/06/09 19:37:54.25 mwMdCY8S0.net
寝起き

685:デフォルトの名無しさん
21/06/09 21:04:40.01 5LvF4jPN0.net
日本語訳って誰か決める権威がいるの？

686:デフォルトの名無しさん
21/06/09 21:07:40.68 zRBfpo4e0.net
>>665
んなわけあるかい
明治文壇の同人誌会派じゃあるまいしｗ
バズらせたもん勝ち

687:デフォルトの名無しさん
21/06/09 21:15:44.01 oPk2UlsZM.net
>>659
質問に返答しないで「しつこい」はアカデミアとしてダサいと思わないの？

688:デフォルトの名無しさん
21/06/09 21:17:18.19 kPbJ7gvK0.net
だめだね

689:デフォルトの名無しさん
21/06/09 21:39:31.83 YI82MvC5a.net
機械学習スレで延々と光学の話して何がしたいのか

690:デフォルトの名無しさん
21/06/10 00:19:08.68 2T6TTAX/M.net
>>669
元々人間の色の好みをどのように取り扱うかという話だったように記憶しているので、
人間にとって不自然な光の波長という概念を持ち出すのは筋悪じゃないか？という話をしている。
人間には光の波長はわからなくて、LMSの刺激値しかわからないのだから。CIE LabもXYZもRGBもその線形変換なんだから、その辺の値を使うのが入力おしては本質的だよ。
HSVとかですら、余計な前処理が入ってる可能性がある。全単射とはいえ、全く線形ではないし。

691:デフォルトの名無しさん
21/06/10 00:23:21.07 0hdlcNGL0.net
そもそもYUYV転送した時点でｗ

692:デフォルトの名無しさん
21/06/10 00:56:25.89 hRyt/9ho0.net
蒸し返すﾌﾞｰｲﾓ死ねよ

693:デフォルトの名無しさん
21/06/10 02:05:06.72 gS/TDJgj0.net
いつもの人と違う感じか？
そんなに何人も異常者がいるとは思えんのだが

694:デフォルトの名無しさん
21/06/10 08:06:14.53 Hm6l3sTRa.net
波長で判断するのが不適当だと思うなら勝手にそうすればいいだけ
別にこのスレで許可を得る必要なんてない

695:デフォルトの名無しさん
21/06/10 10:56:03.57 r0SYL7zKd.net
HSV は全単射ではないのではないのですか？
>>673
少なくとも >>670 さんはいつもの人だと思います
あと5chに来てる人の母集団の特性としては健常者の方が圧倒的に少ないと思います

696:デフォルトの名無しさん
21/06/10 16:51:21.94 SSYyTcRL0.net
色彩工学やら色彩心理学の人？
もう飽きたんだけど

697:デフォルトの名無しさん
21/06/10 22:27:02.23 uEixJvyy0.net
書籍「Kaggleで勝つデータ分析の技術」の内容について教えてください。
この書籍のサンプルコード内のコメントについてです。
・第4章「分析コンペ用のクラスやフォルダの構成」サンプルコード
URLﾘﾝｸ(github.com)
・183行目のコメント抜粋
「# 毎回train.csvを読み込むのは効率が悪いため、データに応じて適宜対応するのが望ましい（他メソッドも同様）」
「効率が悪い」というのは、速度の遅さだと思うのですが、
「データに応じて適宜対応」とは、具体的にどんな対応があるのでしょうか？
CSVからデータベース(mysql)などに移しておく？くらいしか思いつかないもので・・・。
もしお分かりになる方見えましたらお願いいたします。

698:デフォルトの名無しさん
21/06/10 22:55:34.82 bFpC+A1+0.net
>>677
毎回読み込むのが効率悪いって意味かと
読み込む必要がないデータは読み込まなくて済む
データを読み込んだ後で変更やデータクリアとかしてなければ再利用できるのでは？

699:デフォルトの名無しさん
21/06/10 22:57:40.78 5/kyY+gFM.net
return pd.read_csv('../input/train.csv')[self.features]
の代わりに
self.xtrain= pd.read_csv('../input/train.csv')[self.features]
するとか

700:デフォルトの名無しさん
21/06/10 23:05:38.45 r65EV/M/0.net
>>677
単純にクロスバリデーションの度に読み込み処理が入ってるからって事でしょ。
メモリ上に保持しとけばいいんじゃないの

701:デフォルトの名無しさん
21/06/11 09:46:57.34 NUljqU+dM.net
kaggleってどれだけ実践的かな
インターンの子にやらせるにしては簡単？

702:デフォルトの名無しさん
21/06/11 10:05:31.38 qE/8skGvM.net
インターンにKaggleをやらせる意味がわからん
ネットで悪評書かれそう

703:デフォルトの名無しさん
21/06/11 10:42:38.59 NUljqU+dM.net
>>682
短期間で目に見える成果を期待できそうな課題、を考えるのって難しくない？

704:デフォルトの名無しさん
21/06/11 10:49:53.11 qE/8skGvM.net
普通にバイトみたいな仕事やらせりゃいいでしょ

705:デフォルトの名無しさん
21/06/11 11:21:10.37 0JaO8x89M.net
大学の講義でSignate使ったことあるしコンペはインターンにちょうど良さそう

706:デフォルトの名無しさん
21/06/11 11:34:53.28 dCia0TSV0.net
期間とか実力とか人数にもよるからなんとも言えん

707:デフォルトの名無しさん
21/06/11 11:41:41.42 xX6jr1DGM.net
>>684
バイトにさせたい仕事もないんだよね
うちに来るのが間違ってるのかも

708:デフォルトの名無しさん
21/06/11 11:47:24.35 dCia0TSV0.net
それならインターン生に何したいのか聞いてそれっぽいことさせてやれば満足して帰るでしょ

709:デフォルトの名無しさん
21/06/11 11:48:31.17 sZI9zEU+0.net
>>678,679,680
ありがとうございました！
ご指摘の通り、サンプルコードではクロスバリデーションのフォルダごとにCSVを再読み込みしていました。

710:デフォルトの名無しさん
21/06/11 12:24:01.91 RiAtHAdm0.net
>>687
Kaggleは自宅でもできるからなぁ
せっかくだから泥臭いデータ抽出とか体験してもらえば？

711:デフォルトの名無しさん
21/06/11 12:31:22.49 tpK55tdN0.net
Darknetでも渡しておけば良いのに

712:デフォルトの名無しさん
21/06/11 13:27:39.05 xX6jr1DGM.net
>>690
なるほどね
汚いデータはある

713:デフォルトの名無しさん
21/06/11 14:58:37.35 LjCJopv7a.net
普段から業務時間の一部を使ってコンペやってるような企業が社員と組ませてコンペやるなら意味あるかもしれないけど
そうでないならインターンでやることか？と思ってしまう

714:デフォルトの名無しさん
21/06/11 15:10:54.60 xX6jr1DGM.net
>>693
もっともだと思う

715:デフォルトの名無しさん
21/06/11 16:32:54.05 lp3aFwk/0.net
バイトにはクソ汚い前処理をやらせるのがいい
SQLとかデータベースとかまともに勉強してないだろうから
その辺の処理が1番良いと思うね
まずはSQLですよ

716:デフォルトの名無しさん
21/06/11 21:02

717::46.31 ID:+OfWEOyd0.net

718:デフォルトの名無しさん
21/06/11 21:48:27.03 ECOAIe/EM.net
>>696
モデル作成はできる学生いくらでもいるから十分バイトでいけるよ
実際うちの会社でも学生バイトに投げたことある
むしろ抽出や前処理のほうが社内システムやドメイン知識が必要で難しいんじゃないかな

719:デフォルトの名無しさん
21/06/14 21:09:17.24 pISFyH/o0.net
多次元データをクラスタリングするとき脳死でtSNEしてDBSCANしてるんだけど他にオススメないですか

720:デフォルトの名無しさん
21/06/15 11:44:37.99 XgfZUr4/0.net
tsneすると、お花みたくなって綺麗だからスコ

721:デフォルトの名無しさん
21/06/15 12:36:02.30 x9SraPsb0.net
可視化するために使われる事が多いのであって
次元削減したら逆に適切な分類が難しくなるんじゃね？
分類するための重要な次元の値が次元削減で他と混在して分類に使えなくなる

722:デフォルトの名無しさん
21/06/15 12:57:04.03 PDoj/QxnM.net
可視化以外に解釈にも使うからなぁ
人間が解釈しやすいカテゴリ分けができるくらいまで次元数落とすのが理想かな？
どんな変数が潜在しているかアタリをつけるのが腕でもある

723:デフォルトの名無しさん
21/06/15 13:03:08.02 x9SraPsb0.net
>>701
自分は解釈しやすくするのは広い意味での可視化、見える化だと思う
可視化という言葉の解釈しだい

724:デフォルトの名無しさん
21/06/16 06:52:37.95 gBvGSg0T0.net
今更ながら青木先生の統計学サイトのPythonライブラリで遊び始めた
とりあえず全機能動かすか

725:デフォルトの名無しさん
21/06/16 17:28:54.92 0b2rYPmpM.net
【新音声入手】親密企業の参入を指示平井卓也デジタル相に官製談合防止法違反の疑い　週刊文春 [孤高の旅人★]
ｽﾚﾘﾝｸ(newsplus板)
松尾豊？

726:デフォルトの名無しさん
21/06/16 20:29:05.96 UIaeb7510.net
松尾なら許す
銀髪インチキ野郎なら許さん

727:デフォルトの名無しさん
21/06/16 23:21:00.05 U8YqP6lJ0.net
松尾さんはそういう役目だろうから仕方ない

728:デフォルトの名無しさん
21/06/17 04:15:49.22 2DOPQDLQa.net
完全に＼(^o^)／オワタ

729:デフォルトの名無しさん
21/06/17 04:29:12.94 5WJyklMZd.net
【新音声入手】親密企業の参入を指示平井卓也デジタル相に官製談合防止法違反の疑い　週刊文春 ★2
ｽﾚﾘﾝｸ(newsplus板)

730:デフォルトの名無しさん
21/06/17 05:36:44.15 Iv+uSbi70.net
>>705
誰？

731:デフォルトの名無しさん
21/06/21 11:41:32.31 X/lwV7ZG0.net
青木氏のサイトのPythonコードはとりあえず200くらい紹介されてたものを動かして使用例なんかも見たが
「じゃあすぐこのデータにふさわしい統計指標を算出出して」っていわれると現状では
30分以内に解決できない理解度だなあ
3時間なら選び出せるか
慣れるのに数ヶ月掛かるな

732:デフォルトの名無しさん
21/06/21 11:48:19.01 .net
前時代的な学び方と言うより他ない

733:デフォルトの名無しさん
21/06/21 12:51:57.23 yTke2BsU0.net
>>709
最近テレビによく出てる宮田さんじゃね

734:デフォルトの名無しさん
21/06/21 18:59:28.26 QJKH6LddM.net
>>712
宮田裕章って人？
初耳～

735:デフォルトの名無しさん
21/06/21 20:20:28.22 yTke2BsU0.net
>>713
たぶん

736:デフォルトの名無しさん
21/06/22 11:57:05.13 366DlQR+0.net
>>714
松尾某と同じく業績はともかくメディア対応が上手いのか

737:な

738:デフォルトの名無しさん
21/06/22 13:50:53.19 VoRU4WHP0.net
風貌はいかにもAIやってますーって感じ

739:デフォルトの名無しさん
21/06/24 14:20:39.68 lHVg0JFw0.net
福島邦彦の記念講演やってる
nhk前所長の発表、聞き取りづらい
モソモソ言ってて分からん

740:デフォルトの名無しさん
21/06/24 14:53:38.55 lHVg0JFw0.net
柳井ってキモいな

741:デフォルトの名無しさん
21/06/25 18:15:12.09 khEKAdT4M.net
三宅陽一郎が論文の賞取ったけど
どうよ？

742:デフォルトの名無しさん
21/06/25 19:15:43.90 .net
アカデミアと縁ないとこにいるくせに表彰の類に物申したがるの良くないよ

743:デフォルトの名無しさん
21/06/25 20:03:31.46 khEKAdT4M.net
これ論文なのん？って印象だったからどうなのかなって

744:デフォルトの名無しさん
21/06/26 08:15:16.06 rSX1uhX7a.net
deeplに遊戯王カードのテキスト読み込ませたらなんか全体的に遊戯王調の翻訳になってしまった
クセの強いデータが混じると全体の精度が落ちるな
クセの強いデータを除外するAIを開発しないと

745:デフォルトの名無しさん
21/06/26 08:30:46.85 lNRjTIPI0.net
なんでそんなこと起きるの？Deeplで。

746:デフォルトの名無しさん
21/06/26 13:25:12.54 6sjjJ5as0.net
三宅陽一郎という名前は、どこかで見たと思ったけど、
マイケル・ディックハイザー「ゲームプログラマのためのC++」2011 の監修か

747:デフォルトの名無しさん
21/06/26 17:09:34.51 S8n0Ewxxa.net
ゲームのAIってはっきり言って今言われてるAIとは別物
どちらかと言うと古典的なものだよ

748:デフォルトの名無しさん
21/06/26 17:34:46.32 6TvYRPky0.net
で、非エンジニアや非研究者が思い描く (SFで描かれる) AI は更にまた別物っていう

749:デフォルトの名無しさん
21/06/26 18:43:38.31 4qcVVbwzM.net
AI（線形回帰）

750:デフォルトの名無しさん
21/06/26 18:55:40.50 w1qtgE6bM.net
思考をプログラムで実現することで
記憶、比較、試行、検索、情報処理
こういう多岐にわたるものだから
違うものとは思わない
なんとかAIという表現で区別してるけども

751:デフォルトの名無しさん
21/06/27 09:58:00.20 JBzU1PWY0.net
プログラム＝論理的
AI＝抽象的
と定義できるけど、抽象表現も細分化すればブール論理×確率で表すことが出来てしまう

752:デフォルトの名無しさん
21/06/27 13:39:55.67 yigUFLRU0.net
AIは人工知能で定義が広いからなんでもAIと言えてしまう
人が作った知的な操作とかをするものだったらなんでも当てはまる
知的の程度は色々あるけどその辺は決まってないだろう

753:デフォルトの名無しさん
21/06/27 18:58:00.15 fq9MbAsL0.net
あたしゃ認めないよ
ゲームに実装されてる奴はaiでもなんでもない

754:デフォルトの名無しさん
21/06/27 19:22:23.28 xerWA0240.net
人工知能の定義はあるよ

755:デフォルトの名無しさん
21/06/27 19:52:46.62 IGTucaq90.net
aiを信じられない人よりは幸せ♪

756:デフォルトの名無しさん
21/06/30 08:08:58.43 Kga7TRlsM.net
一般人の思うAIってあれでしょ
脳ミソのマークに点とノードが描かれてるよくあるあのイラストの感じでしょ知らんけど

757:デフォルトの名無しさん
21/06/30 08:10:16.44 Kga7TRlsM.net
ノードは点だわ俺もバカだった

758:デフォルトの名無しさん
21/06/30 08:32:50.26 OzzIbxDxM.net
AIに知性を吸い取られたなw

759:デフォルトの名無しさん
21/06/30 11:32:34.97 neEqbBmiM.net
点と点が大きな点になる

760:デフォルトの名無しさん
21/06/30 12:24:28.84 qI7leaQhM.net
>>737
深いな

761:デフォルトの名無しさん
21/06/30 12:52:25.52 9xdw9zvg0.net
点は面積0では？

762:デフォルトの名無しさん
21/06/30 18:08:27.18 hZAsPKvv0.net
GitHubにソースコードの「続き」を自動で補完する機能「GitHub Copilot」が登場
OpenAIとAzureの協力により実現
URLﾘﾝｸ(gigazine.net)

きたぞ

763:デフォルトの名無しさん
21/06/30 20:17:44.64 wdpgZCBm0.net
またOpenAIかすげえなぁ

764:デフォルトの名無しさん
21/06/30 20:21:20.13 fW1Yddfi0.net
どのくらいきれいに生成されるんだろうね

765:デフォルトの名無しさん
21/06/30 23:00:58.15 C441gc0U0.net
全て削除しておきました

766:デフォルトの名無しさん
21/07/01 13:46:18.57 M71UuMZf0.net
>>739
測度論的にはそうだね

767:デフォルトの名無しさん
21/07/06 12:03:11.04 jfTqMp+60.net
人間の脳に未知のシグナル送信経路があることが判明 URLﾘﾝｸ(karapaia.com)
本当かどうか分からんけどちょっと面白い
バックプロパゲーションじゃない方法も出てきてnnはまだ進歩するかな

768:デフォルトの名無しさん
21/07/09 15:19:16.69 Pc3rjn9oM.net
久々に日本から面白い論文が出たけど日本人がいない。。。
URLﾘﾝｸ(arxiv.org)

769:デフォルトの名無しさん
21/07/09 17:57:25.72 .net
全ての論文、プレプリントに目を通してるかのような口ぶりはやめてくれ
会社またはMITまたは東工大または東大に所属する3人の著者が日本人を含まないという極めて普通の状態がさも特殊であるかのように語るのをやめてくれ
中身に触れずに「面白い」と言うのは何も語ってないに等しいと気付け

アカデミアに縁ないんやなあって

770:デフォルトの名無しさん
21/07/09 18:54:56.38 6BgxtEtSH.net
アカデミアにえんあってすごいですね

771:デフォルトの名無しさん
21/07/09 18:59:04.34 1/7/YsLg0.net
ヒーローアカデミアに縁があるのか、サイン貰ってくれ

772:デフォルトの名無しさん
21/07/09 20:12:33.67 vYz7XxdW0.net
>>747
カリカリしてて草

773:デフォルトの名無しさん
21/07/09 20:35:59.03 Sff33bgy0.net
YORORすげーなぁ

774:デフォルトの名無しさん
21/07/09 20:43:06.84 Z7N+RPLw0.net
arxivのPDFに直リン張る奴とは仲良くなれない

775:デフォルトの名無しさん
21/07/10 00:26:35.17 jIio7zra0.net
なにはともあれこの論文は面白いな

776:デフォルトの名無しさん
21/07/10 00:46:16.15 15sQdIPK0.net
私は、MBAを取るために、ハワイにある伝統的なビジネススクールに通っていたとき、どこかの大企業で
働く中間管理職が教えるマネジメント「論」や経済「論」を学ぼうとしている自分に気付いた。
ビジネス経験のない先生は、学校制度の外に一度も出たことがない人だ。
つまり彼は、5歳で幼稚園に入ってからずっと学校制度の中にいるにもかかわらず、学生たちに実社会に
ついて教えようとしていることだ。とんだお笑い草だと思った。
講師陣や中間管理職や教師のほとんどは、ゼロからビジネスを立ち上げるのに何が必要なのかについては何も知らなかった。
ロバートキヨサキ「人助けが好きなあなたに贈る金持ち父さんのビジネススクール」P６２～６３

777:デフォルトの名無しさん
21/07/10 11:01:28.89 1mNo3Ban0.net
チラシの裏にでも書ておけよ

778:デフォルトの名無しさん
21/07/10 11:10:05.91 2OMu/nuS0.net
bert本のイベント見たら自分の提案手法じゃなくて応用をやってるだけなのに仲間内で誉めあってて日本のアカデミアは駄目だと思った
福島先生やら甘利先生みたいなのはもう出てこないのか

779:デフォルトの名無しさん
21/07/10 17:44:00.49 jZAbZ8pYM.net
お

780:前がママになるんだよ

781:デフォルトの名無しさん
21/07/10 18:44:42.03 1mNo3Ban0.net
それは私が20年前に発見した、甘利

782:デフォルトの名無しさん
21/07/10 19:50:36.98 PRGUVQWTa.net
機械学習分野を本気で極めたい人は大学などに残らずとっとと大手グローバル企業に行く
その方が金もデータも桁違いだから
そういう所に行けなかった人が仕方なく大学に残っている印象

783:デフォルトの名無しさん
21/07/10 20:02:52.89 E11Vshd7a.net
bert本売り切れてるんだが

784:デフォルトの名無しさん
21/07/10 21:24:32.86 .net
>>759
「グローバル企業」とやらが出した論文でやってみた系じゃないものってあるの？
新手法を作ってるのも物理の言葉でMLを説明してるのもアカデミアじゃん

785:デフォルトの名無しさん
21/07/10 22:12:19.75 B53Byng5a.net
アカデミアとやらがはしゃいでるBERTはGoogleが作ったんでしょ

786:デフォルトの名無しさん
21/07/11 00:42:47.94 BLRKNf/m0.net
>>761
トップカンファレンスの論文に少しでも目を通したことがあればそんな見解にはならないはずだが

787:デフォルトの名無しさん
21/07/11 00:46:59.90 a0LN0/w80.net
まあ日本の学会は全部しょーもないよ
俺もだしたことあるけど
なんか自分の専門分野以外はよくわからないし
興味も持たれない感じ
かと言って商業寄りの話はスルーされる感じ

788:デフォルトの名無しさん
21/07/11 11:11:05.10 VPF0Yi9q0.net
>>761
日本のアカデミアはなんにも証明してないぞ
やってみた系ばかり

789:デフォルトの名無しさん
21/07/11 12:21:03.03 +hZJbu07a.net
URLﾘﾝｸ(pbs.twimg.com)

790:デフォルトの名無しさん
21/07/11 16:21:15.31 lbKLD5N+F.net
日本のアカデミアは逆に数理的な論理だけで実際のアルゴリズムとあまりに乖離した理論だけのものが多いわ。
PFNの Spectral Normalization はそういう意味じゃ相当例外的な結果だと思う。

791:デフォルトの名無しさん
21/07/11 17:12:41.04 vkK4ARJEd.net
今さらかもしれんが、BERTの事前訓練てみんな何GBくらいの日本語データでやってるの？

792:デフォルトの名無しさん
21/07/11 18:11:26.19 VPF0Yi9q0.net
>>767
統計数理なんとかや情報学なんとかは理論が多いイメージ

793:デフォルトの名無しさん
21/07/11 18:17:17.14 SI3qf1fFH.net
fbはやってみた系が多い印象

794:デフォルトの名無しさん
21/07/14 11:30:20.54 Qje4eblG0.net
fbのnlpは提案系が多い

795:デフォルトの名無しさん
21/07/16 19:08:30.21 fn0ZIWtp0.net
>>766
なんで

796:デフォルトの名無しさん
21/07/19 11:33:23.50 kR6nsJZd0.net
scikit-learnをproductionレベルで使う人はいるの？

797:デフォルトの名無しさん
21/07/19 14:18:58.09 hZcLaJMP0.net
>>773
むしろ何故使わないと思ったのか

798:デフォルトの名無しさん
21/07/19 14:31:07.73 kR6nsJZd0.net
>>774
学習用かなと思ったの

799:デフォルトの名無しさん
21/07/19 14:48:30.86 hZcLaJMP0.net
>>775
そんなことないんだよ
でもまぁ、名前がね

800:デフォルトの名無しさん
21/07/19 17:46:13.87 qeRTyGb80.net
machine learningの "learn" じゃないの？
ロジスティック回帰みたいな簡単なモデルで済ませるときは便利よね

次ページ