- 746 名前：１３２人目の素数さん mailto:sage [2025/03/27(木) 07:08:56.81 ID:dwlK6eWl.net]
- これ 面白い
https://note.com/kind_crocus236/n/n103cd2e952de
論文が示す：スケールだけではAGIは実現できない - スケーリング則はOODタスクには適用されない
AGIに仕事を奪われたい
2024年10月28日
ある論文が特に私の注目を集めました。というのも、この論文はモデルが分布外に一般化できないことを直接的に示していて、スケーリングしても分布外データへの一般化は改善されへんって主張してるんです。これは大きな問題です。今はスケーリングに全ての期待がかかっているのに、もしスケーリングで分布外の推論が解決できへんのなら、別のアーキテクチャが必要になるかもしれません。そうなると、AIの研究者としての役割は果たせなくなってしまいます。
ただ、私はこの論文の結論をそのまま受け入れたくありません。というのも、それに反する研究結果がたくさんあるからです。例えば、グロッキングに関する論文を見てください。グロッキングというのは、モデルを通常よりもずっと長く学習させることです。最初は予想通り過学習が起こって、学習データを丸暗記し始めます。でも、ある時点で突然性能が上がり、一般化能力が高まって、学習データ外での性能も向上するんです。これは不思議な現象です。だって、学習データの分布内で訓練しているのに、学習データ分布外での性能が上がるんですから。
結論として、これは非常に興味深い論文です。現在のアーキテクチャと学習方法の限界の多くを浮き彫りにしていて、大規模言語モデルをスケールアップすれば AIになれるという考えについて、私をより微妙な立場に導いてくれました。現時点では、いくつかの注意点があると思います。
|
 |
