【LLM】1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も [すらいむ★]

【LLM】1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も [すらいむ★] at SCIENCEPLUS

1:すらいむ ★
24/02/28 23:09:44.46 VVSGeMBG.net
1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も

　2月は中国では春節というお正月があり、春節にはみんな休む。
　それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。
　春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。
　もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。

　そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。

　もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。
　しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。
　しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。

（以下略、続きはソースでご確認ください）

wirelesswire　2024.02.28
URLﾘﾝｸ(wirelesswire.jp)

レスを読む