- 96 名前：オーバーテクナナシー [2023/06/17(土) 21:19:26.43 ID:jw66ripe.net]
- @johnjnay
LLM Passes MIT Math & Computer Science
-4,550 questions from the 30 MIT Math & CS courses required for a degree
-New benchmark likely not in any training data
On test set excluding image Qs, w/ prompt engineering:
-GPT-3.5 solves 33%
-GPT-4 solves 100%
https://arxiv.org/abs/2306.08997 https://pbs.twimg.com/media/FyvsQxrWcAkP5fb.png
GPT-4で100%取ったのはプロンプトエンジニアリングを駆使したようだけど、それにしてもすごい
