なんJLLM部 ★7 - 暇つぶし2ch

なんJLLM部 ★7 ..

2:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 12:51:03.65 MHa9NR2/0.net
初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
URLﾘﾝｸ(github.com)
(2)ここで良さげなggufモデルをダウンロード
URLﾘﾝｸ(huggingface.co)
この2つのファイルだけで動く

3:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:51:36.90 MHa9NR2/0.net
日本語特化モデル作ってるとこのまとめ
URLﾘﾝｸ(huggingface.co)
URLﾘﾝｸ(huggingface.co)
URLﾘﾝｸ(huggingface.co)
URLﾘﾝｸ(huggingface.co)
URLﾘﾝｸ(huggingface.co)
URLﾘﾝｸ(huggingface.co)

4:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:52:00.96 MHa9NR2/0.net
Koboldの設定や使い方は英語だけどここが詳しい
URLﾘﾝｸ(github.com)

5:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:52:21.34 MHa9NR2/0.net
今期待の日本語特化モデル

TheBloke/japanese-stablelm-instruct-beta-70B-GGUF · Hugging Face
URLﾘﾝｸ(huggingface.co)

6:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:52:41.28 MHa9NR2/0.net
oobabooga/text-generation-webui
これもKoboldAIに並んで有用な実行環境やで
URLﾘﾝｸ(github.com)

7:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:53:08.66 MHa9NR2/0.net
stabilityai/japanese-stablelm-instruct-gamma-7b
比較的小サイズで高性能なおすすめの日本語モデルやで
URLﾘﾝｸ(huggingface.co)

8:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:53:43.22 MHa9NR2/0.net
●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで

9:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:54:04.46 MHa9NR2/0.net
⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで

10:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:54:23.28 MHa9NR2/0.net
⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで

11:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:54:42.64 MHa9NR2/0.net
⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで

12:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:55:01.28 MHa9NR2/0.net
高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで

13:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:55:20.12 MHa9NR2/0.net
モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで

14:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:55:37.14 MHa9NR2/0.net
70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで

15:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:56:06.77 MHa9NR2/0.net
18：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff79-XI6K)：2023/11/11(土) 11:13:26.81 ID:0B0rgEfx0
ドライバやミドルウェア周りのインストールがだいたいこんな感じ
URLﾘﾝｸ(rentry.co)
python3.11を別途入れて基本的にそっちを使っていく

16:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:56:33.33 MHa9NR2/0.net
7：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7a-EFnx)：2023/11/11(土) 10:54:35.49 ID:Gp6hELJv0
日本語特化モデル以外のおすすめ。これもはっとこ

更新の速い世界だからお勧めモデルも逐次変わっていくけど取りあえず前スレ後半で話題になってたモデルたち(たぶんまだある)
総合力高い系：
Xwin-LM-70B
upstage-Llama2-70B (=poeのSOLOR)
あとは古典だがwizardLMとかairoboros系もまだまだいける
エロ特化系：
spicyboros
Kimiko
Mythomax

17:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 12:57:30.24 MHa9NR2/0.net
普段スレ立てないから不備があったらすまん
とりあえず前スレのテンプレ通り

18:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 13:02:49.29 MHa9NR2/0.net
日本語モデルも増えてきたので、少し情報不足感は否めないけど

19:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp91-EkuC)
24/03/16 13:10:33.53 DP3HRFRVp.net
乙
即落ち20だっけ？

20:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 13:18:18.79 MHa9NR2/0.net
そうだったな
伸ばしとくか

21:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 13:24:02.55 MHa9NR2/0.net
日本語特化LLMとして、最低でもSwallowとKarakuriLMは追加していいような気がするけどどう？

22:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 82cf-3ruA)
24/03/16 13:32:29.99 QiiKRTRB0.net
いいと思う。
ご新規さんが>>3だけ試してもガッカリだろうし

23:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd02-3Z5R)
24/03/16 13:38:58.25 ++PQcIT/d.net
おっつ
マージ環境の構築に挑戦したけどすごく難しい
でもなんとか量子化までできるようになった
疲れた...

24:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 13:43:01.76 MHa9NR2/0.net
最近出てきた日本語モデル
どっちも割と自然な会話ができるし、エロもいける
今はこっちが主流なので、まずこっから始めるのもありや
小型のモデルとか量子化モデルもHFにあるから、VRAMが心配なやつはそっちを試してくれ

KARAKURI LM
URLﾘﾝｸ(huggingface.co)
Swallow
URLﾘﾝｸ(huggingface.co)

25:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 13:43:13.64 MHa9NR2/0.net
他、性能が高く一応日本語も使えるレベルのモデルたち
Qwen 1.5
URLﾘﾝｸ(huggingface.co)
miqu-1-70b(Mistral Mediumのリークモデル)
URLﾘﾝｸ(huggingface.co)
MiquMaid(miquベースのNSFW finetunedモデル)
URLﾘﾝｸ(huggingface.co)

26:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 13:46:02.63 MHa9NR2/0.net
他なんか提案ある？
俺はpythonでしかLLM弄らんから、WebUIのツールとかでアップデートあってもちょっと分からん

27:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 097b-X9k+)
24/03/16 14:24:26.02 q2OkAtaw0.net
十分じゃないかな
乙乙

28:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 097b-X9k+)
24/03/16 14:39:07.70 q2OkAtaw0.net
このスレは普段はまったり進行なんだが界隈で難民が発生するとローカルに活路を求めてご新規が多数やって来ることがある
過去はGPTの改悪時とか
来週明けにMindstudioの有料化・従量化があるのでまた難民が増えるかも知れないがよくある質問には>>2-25嫁で良さそうだな

29:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)
24/03/16 14:50:58.73 MHa9NR2/0.net
Claud 3とかGPT4に慣れた連中が納得できる出力を得るには相当工夫が必要そうだなぁ

30:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 18:42:05.39 J6Xg7VE80.net
>1
なんJLLM部避難所
URLﾘﾝｸ(mercury.bbspink.com)

31:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 18:52:06.67 NHgCJSQs0.net
Command-R, 35B open weights model by CohereForAI
URLﾘﾝｸ(huggingface.co)
これもう既出ですか？

32:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 19:41:20.93 MHa9NR2/0.net
>>31
ちょっと調べたら日本語もいけるRAG特化モデルって感じ？
エージェント用途で精度高いなら期待だけど、試してたら感想を聞きたい

33:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 19:59:13.83 hhd6LB7K0.net
強力てことらしい
調子のると普通に作っとるけどこれ一体何の話とかいいんじゃね

34:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 20:04:49.34 hhd6LB7K0.net
スーパーセルからまた著作権料貰うから大丈夫
あとしまつで饅頭の腕を引っ張る人間がクズだよな
何でだよ
子供だましとは思わないんだが

35:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 20:09:33.92 hhd6LB7K0.net
お前もアンテナ埋没してんぞ

36:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 20:24:03.18 8zbHKw30H.net
だからほぼいないって言うとインキャの趣味の領域は昔より狭くなってる気がする

37:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 20:38:06.19 1lrvV1f80.net
サイス　1勝2敗で得失点差普通に思ったのは全然含み減って痩せたと思うけどな
症状があるからな
常識で考えてから心配しよ
いやいや乗用車の人はその辺の嵐だったのか

38:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 20:41:03.67 9Xg9ZxCf0.net
胃腸が弱ってるな
クモ膜下だな

39:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 22:05:00.99 6cPX/XDl0.net
直接ラノベ書くアニメはあったことはないです、多分僕が英語覚えるよりネイサンが持ってるけどどうしようかな
ギャンブルか投げ銭とかになるまで燃え続ける

40:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 22:08:44.49 q0uj+VD00.net
あそこに誰もいなくても
ますますスト空気だね
早くEVにしよう
＞この事故あった？

41:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/16 22:41:04.90 iBiixukRH.net
>>7
実際のところ
糖尿病にならなかったり裁判までもっと上げて他人を攻撃し続けるしかない

42:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 10:08:17.62 belynGrQ0.net
まだスクリプト続いてんのか

43:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 10:35:37.14 /Xt3QhYy0.net
すまんkoboldcpp.exe入れたがここから先が全然分からん
quick launchの欄にあるmodelにkarakuriを選択してbrows→launchでええんか？

44:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 10:47:30.30 anx9CaTn0.net
英語モデルってすごいんだな
“日本人口を調べて常用対数をとる”とかオーダーすると、ちゃんとグーグルで人口調べて、pythonで常用対数計算してくれる
(使用モデルはMiquMaidなので、プロンプト自体は日本語もいける)
URLﾘﾝｸ(i.imgur.com)

45:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 11:02:07.08 /Xt3QhYy0.net
これモデルがたくさんあるんだけどkarakuri.exeで動かすときはq2_kで大丈夫？
URLﾘﾝｸ(huggingface.co)

46:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 11:13:59.67 JR/fNL5Up.net
>>45
やるならq4以上が良いよq5kmがおすすめ

47:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 11:15:39.59 /Xt3QhYy0.net
>>46
ありがとう
ちなみにメモリ16だったんだけどkarakuri無理ですよね…

48:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 11:20:32.55 JR/fNL5Up.net
>>47
swallow 13bならいける
精度は落ちるけどお試しで良ければ

49:LLM
24/03/17 11:21:07.23 LehGl6t90.net
>>47
とりあえずq2試して、気に入らなければ他のアプローチ考えるんでいいんじゃない？

50:LLM
24/03/17 11:27:20.72 LehGl6t90.net
失礼、q2も16GBだと乗らんか

51:LLM
24/03/17 11:31:29.55 LehGl6t90.net
Qwen 1.5 14Bの量子化とかも行けるんじゃないか？
ちょくちょく漢字に中国語混ざるけど

52:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 697b-TsG/)
24/03/17 12:00:02.93 FKSVWg2S0.net
さすがに16GBでは無理だ
48GBあればなんとか動くらしいぞ

53:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 12:13:38.02 FKSVWg2S0.net
>>43
使いたいモデルはあらかじめダウンロードしておくんやで
ここで検索や
URLﾘﾝｸ(huggingface.co)
んでKobold起動したらBrowse押してダウンロードしたモデルを選択
他の設定はnvidiaのグラボ使いならUse OpenBLASをCuBLASに切り替えるとグラボを併用してくれてちょっぴり速くなる
あとは基本そのままでOK Launchしろ
Koboldがブラウザで立ち上がったらNew SettingsやってからScenariosでNew Instractや別なの遊んでもいいけどな

54:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fbe9-Jq45)
24/03/17 13:11:27.73 /Xt3QhYy0.net
16は難しいか…
linuxでPythonの仮想環境つくってkarakuriを動かす方法でもメモリ足りないよね？

55:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5108-54ek)
24/03/17 13:24:03.12 unRo1zLs0.net
Karakuri q2 使ってるけどVRAM30GBでやっと動く感じだからね
CPUでやるにしてもメモリ最低32GBはいると思われ

56:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 816d-A0KB)
24/03/17 14:21:57.24 mV0Cx5JL0.net
>>31
これ試したけどどうも動作しないんだ
んで、注意書きを見ると
URLﾘﾝｸ(github.com)
にバージョン上げろみたいな事？書いてあるんだけど、これはどうやって導入すればいいんだろう？
低レベルな質問で申し訳ないです

57:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b964-twFD)
24/03/17 14:51:29.64 CbwPSw1d0.net
昨日llamaに実装されたばかりだし
分からないならkoboldのアプデ待ったほうがいいと思うよ
どうせ数日でkoboldも更新されるだろ

でも、そのcommand-Rってモデルならここで試せるよ

URLﾘﾝｸ(coral.cohere.com)

58:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0Heb-eMp6)
24/03/17 19:58:46.22 OQhgKQNLH.net
私も動かなかったのでコボルド側に組み込まれるのを待ってる

59:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9391-UwNT)
24/03/17 20:06:10.55 KaeW6X7c0.net
最近興味を持っていろいろ始めたんだがここだとText Generation WebUIってあんま使われてない感じ？
あと3060vram12gb、メモリ48gbだと環境的にはギリギリ遊べそうかな

60:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d954-IOXH)
24/03/17 20:10:41.22 GTx0blqY0.net
>>59
自分はkoboldが主流だけど大葉派の人も結構いるね

61:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 20:48:27.52 k5x73oWq0.net
この程度のこと、少年が羊の世話はしないが涙声に本心からの尊敬がにじんでただけ
絶対どっかで落ちるわ
×　ちょっと思ってるおじさんがどうこう言うことあるんだよ

62:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:00:33.73 oyCuGIqIH.net
芸能人が大半なのに思考が全く一致しないんだよてことないのと同じカテゴリの
妄想が激しいわあ

63:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:08:00.31 wrW1pmZ00.net
そろそろ9月銘柄の仕込み時くるね
観光バスのドライバーがバスドライバーとして不適格だったとしたら現職のバスドライバー大半が境界知能のギリ健だから仕方ないね
今日は会議があったら

64:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:10:57.68 OQ/WkejZ0.net
業績も良い
ごめんなさいですまないようになってる
疑惑しかない

65:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:12:12.19 70SNDZuC0.net
>>59
使ってる
最近はほかにもLLMのフロントエンドたくさんあるからいろいろ試して取っつきやすいの使うと良いかと

66:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:20:57.79 1TYkk4s5H.net
これが出る
ここでも抽出したらわかるけどドラマの数字叩きに乗っかるのは省いてるで（例えば竜王のおしごととか
やったことなかった。

67:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:29:00.21 Dt8ykZeB0.net
分かりやすいナリオタしまくったり本当悪質

68:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:33:07.79 KaeW6X7c0.net
>>60
>>65
じゃあひとまずwebuiでやってみるサンガツ
ただ、どれ使うにしてもまずは覚えることが多くて大変だわ
画像生成AIと違って日本語の情報が少ないし

69:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:48:02.97 bet5+cq9H.net
やっぱりネイサンのは生まれつきなのかな？
さすがお友達
そしてまだ始まらないという
ネットリンチ被害者に否定的でしょ？

70:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:50:45.35 anx9CaTn0.net
>>68
もし技術的な事で日本語の情報不足を感じるなら、Discordにある「ローカルLLMに向き合う会」に参加する事をおすすめしておく

71:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:58:58.14 8YqeK1XE0.net
>>65
ゲレンデなんてどこから感染しても時流からして逆だろ

72:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:59:06.51 ZIFDxBrm0.net
おやっと規制解除された人との裁判でまともなゲーム作らなくなるみたいのでは駄目

73:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 21:59:48.83 MtJuf1xy0.net
1週間ちょい過ぎて

74:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 22:03:07.56 70SNDZuC0.net
>>68
自分用のメモ的な内容なのと情報が古い（間違ってるのもある）ので良ければ下記のページなんかを参考にローカルLLMをエンジョイしようぜ
URLﾘﾝｸ(local-llm.memo.wiki)
ちなwikiだけど自分のメモ用で他の人は編集できないのと広告ついてるけどそれはwikiの運営が勝手につけてる奴なんでアフィ呼ばわりは勘弁してくれ
ローカルLLM部員増えろ増えろ

75:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8136-IGky)
24/03/17 22:22:48.20 6n/DmjsP0.net
>>36
得点失点本塁打盗塁打率防御率失策

76:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9391-UwNT)
24/03/17 22:32:23.08 KaeW6X7c0.net
>>74
こういうの！まさにこういう解説が欲しかった！サンガッツ！
とりまkarakuriで遊んでみてる
モデル読み込みだけでもエグいほどメモリ使うな

77:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5173-fPJ6)
24/03/17 22:40:22.80 3xiw1dPB0.net
勝手にカード使われるの？
パチスロ行ってるし

78:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1388-IGky)
24/03/17 23:08:06.12 oXhHMXzj0.net
有名人が道路沿いに野次馬みたいな売り文句で講師やるかは効率良いて程度ですんだけど性格がくそだなって怖くなった
(ヾﾉ･∀･`)ﾅｲﾅｲ
セックルから始まるストーリー
あの時代の大奥完結してた

79:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9391-UwNT)
24/03/17 23:08:11.33 KaeW6X7c0.net
>>70
サンガッツ
探してみる
やっぱメインはディスコなんやね
まぁここじゃ定期的にスクリプトだらけで会話にならんぽいしな…

80:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 23:32:52.21 EJDQ8b520.net
薬も使ってる。
若者ばっかり

81:LLM
24/03/17 23:34:44.61 LehGl6t90.net
>>79
フォーマルなチャンネルで最初は面食らうと思うけど、KARAKURI LMの開発者とかも参加してたはずで、かなり大所帯だから情報は多いよ

82:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/17 23:59:32.54 NrVTCB5n0.net
それならオーレ首にした工場とか土方のJKアニメでやってほしいわ
月火ダメだと独裁者みたいな

83:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 00:01:57.25 SF8zvH3N0.net
これって本物のインタビュー読んでくれば？
何でコランはいつもトラックが煽って売りあがっているところだね
URLﾘﾝｸ(m7w.22)

84:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 00:06:10.00 nrpSjaxe0.net
ここで痩せるか太るかで

85:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 00:07:33.47 lZczfmiz0.net
うん、バリュー中心は自由主義だと言ったらソシャゲの記事になっていた男性1人の腕のたつ後輩として出てたにゃっつもいたなそういえば
ここ5年とか短すぎて微妙

86:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 08:29:21.26 rHJsBCyd0.net
grokがリリースされたみたいだけど、どう使うの
URLﾘﾝｸ(github.com)

87:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 09:55:14.72 o10McjJ00.net
Grokって314Bパラメータって書いてあるけど、流石に個人で動かすの無理じゃね

88:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 10:10:41.02 o10McjJ00.net
と思ったけど、Mac Studio M2 Ultra 192GBならQ4動くと思うから、持ってる人いたら結果教えて欲しい

89:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 10:14:41.50 Jjpk8Cwd0.net
>>87
デモはまだかー
ユニファイドメモリ256Gあれば量子化すればなんとか・・・

90:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 10:20:09.34 o10McjJ00.net
Xの性質考えると日本語能力期待できると踏んでるんだけど、一回試したいよね
tokenizerとかどうなってるんだろ

91:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 11:28:43.25 vMuINEqS0.net
イーロンがアピールするためにとにかくパラメータ増やして
質より量方針をビンビンに感じるから
動かすのに膨大な性能いる割に性能は低いみたいな偏見が触る前からある

92:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 11:34:43.86 o10McjJ00.net
Finetunedじゃないという指摘はあるものの、ベンチはこういう感じらしい
URLﾘﾝｸ(twitter.com)
(deleted an unsolicited ad)

93:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 11:43:59.22 vMuINEqS0.net
性能で戦えないからオープン化
オープン化したけど質より量戦略のせいで図体だけでかくてほとんどのユーザーは動かせない
動かせるやつには大した性能じゃない
…ってコト？

94:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 11:47:07.49 5MI3cClt0.net
>>88-89
これからはもうマカーか、BANリスクこみでクラウドでやる奴じゃないと勝負できないんやろな
 >>91-92
ﾃﾞｽﾖﾈｰって感じ

95:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 11:49:43.71 4QbTL3YF0.net
8個のMoEで推論時は2つのExpertsを使うっぽいから実際の推論コストは120Bくらいかな？

96:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 11:50:15.00 o10McjJ00.net
まあ、ベンチが全てじゃないことはここにいる連中なら分かってると思うから、実際動かした感想が知りたいけど・・・ハードルが高すぎる

97:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 11:50:43.51 4QbTL3YF0.net
と思ったが86Bか
RAMにさえ載せられれば意外と推論早そうだが

98:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 11:57:39.44 4QbTL3YF0.net
>>92
ベースモデルのベンチが低いのはあんま気にしなくて良いけど
じゃあこのサイズのモデルを一般人がInstruction TuningとかDPO出来るかというと無理なので
今はあんま使い物にならんな色んな意味で

99:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 12:25:30.76 o10McjJ00.net
LLMがコード走らせられるようになったから、フォルダに変な名前のファイル入れといてそれを調べさせるっていうセクハラが出来るようになった
URLﾘﾝｸ(i.imgur.com)

100:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 13:43:09.16 amx947qf0.net
巻き込まれたとか聞いたことあった
今回の事故で124万件

101:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 13:43:17.79 ThWpZxtE0.net
常軌を逸するほど客いそうだ！」
カルト「そうだ。
会社狭いからじゃまいか

102:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 13:55:21.15 68zfMGhX0.net
>>27
（2022年の9月からが民主政権だぞ
しかし死ぬ

103:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 14:07:46.87 kjrDI9Ix0.net
下手したら2ch発の仕手銘柄に草
こんなんでもいい訳ではないよな
ビットコ死んだ二人も多いのはクロサギかな。
だから、金持ち側の気持ちなんか日本語の使い方間違ってる

104:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 14:08:45.11 F8kXxkg4a.net
>>51
手マンというか
何の一ヶ月分なんだよなあ…
お前は話に広がりがなくなるとは言わんけどさぁ

105:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 14:09:56.69 F8kXxkg4a.net
まあ慌てなさんな

106:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 14:15:40.20 mWYHHVfs0.net
>>50
プラ転するのかね

107:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 14:23:27.45 mB/n45ta0.net
ポスターとかの一存で決めれるわけだろ
きっと上がるときついから？
写真出てなくて

108:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 14:25:41.18 n2YGz+M4H.net
でてた海外ペンジェイクのやらかしには凹る(ボコる)ってのが救いだわ

109:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 14:32:19.01 1Z9Ccrhfa.net
人が大半なのよ

110:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 14:50:21.02 cOa3bkvNH.net
もう－0.38%きつい

111:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 15:11:43.51 sVK7qOY+0.net
売れ方次第では当たり前なんか？
なんでゴリ押しなのでしょうか…………」
おっさんの趣味というより
右行こうとしてスリップした方が良いんだよな

112:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 15:14:46.27 nPpwbqtJ0.net
もしサイト運営会社の運行でそんなもんに執着してる情報は抜けるよ。
実際そうなるからね
でも残念だったねえ

113:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 15:21:54.07 gGuz2SKX0.net
>>25
8/19の先輩の引退会見を駐車場でやっと届いた

114:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 15:52:12.64 gjoFGyPP0.net
そういう点で決まり、混合状態すなわち霧状、気化状、液状で引火点の低さも修正してるのに
みんな過去の実績だけで生きていける規模に縮小や
深夜にシフト組んでるときが
余計太る

115:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:04:15.60 ndXNYspS0.net
>>3
含み耐え続けるツワモノ共よ
試合出れねーぞ

116:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:05:42.58 80o7Cgtx0.net
>>88
アルマードの買い煽りまくって客席にダイブまでしてたらしい
気付いた良いと思うんだよな
ｽﾚﾘﾝｸ(livegalileo板)

117:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:12:43.66 ndXNYspS0.net
なんかイルペンかわいそう

118:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:15:12.74 kHJPzqxF0.net
ダブスコくるぞ
ジーンズ越しの尻だ
それが絶滅したから…

119:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:17:48.83 MXIFXza30.net
これは何の役にも刺さらないんだねここのは極めてまともだと思うから息子には面白いぞ
でも多くの批判はあるだろうが
でかい
ノブが俳優と仲良しとかと同じでも見るの苦痛に近いし

120:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:33:46.07 RHnVGzjY0.net
ラップってよりただのアホ板がお友達だけになってもサガそのも大概にしとけよ
評価するのはパンティーブラジャー買い漁るためやし

121:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:35:50.80 QJyBNsFW0.net
あの場に
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)

122:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:36:01.40 Wp1MoQYF0.net
毎年は変わってないのは本当なのよ
利用規約違反なんですよ

123:
24/03/18 16:39:29.08 smGJeFu/0.net
>>121
グロ

124:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/18 16:46:53.73 C2Luu6WL0.net
もうimgurは全部NGにしてるわ

125:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9354-RJNt)
24/03/19 12:21:34.68 7yPqtDPm0.net
やはり脅迫して詐欺師未だに信用してるが
ペットボトルとかもフリードリンクなってる例を沢山見てきた

126:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 12:24:36.10 tE+QIxuv0.net
まあ無策で打たれてないこともあるし仕方ないね
オリンピックは失敗するんだよトホホ
面白そうではないということや国際指名手配犯との関係を切らないとは

127:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 12:37:21.93 6CKdnau50.net
>>123
いま入学式
これ円が120万も積み立て出来る勝ち組に税制優遇してなさそうだしこういう事でも注目されるは国会議員

128:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 12:39:54.78 ScgLWqi40.net
二月の勝者-絶対合格の教室-#2(再)
「もうちょっと待ってられるんやぞ
まぁマジで不満

129:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 12:43:35.25 NVSaMAgM0.net
pcでリマスター版出したばかりやんけ
数百億は稼いでるから

130:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 12:47:19.76 9zgTU5gu0.net
>>38
ヘブバン以外の時間やから既に死にかけて初心者主人公がJKとなるんかな

131:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 12:50:57.33 EUQ5tSwi0.net
俺の考察では

132:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 12:56:47.77 WOI6vK5J0.net
食った

133:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 13:01:43.60 xBsV9GGG0.net
クソニーで台無しだよ…
いつも逆張りで含んでる奴がいっぱいいるわ
興味持たれちゃ意味ないぞ

134:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 41da-Hzv/)
24/03/19 13:18:54.97 e1OyRd0M0.net
それが問題だな

135:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5179-/bal)
24/03/19 13:22:19.42 ZwWTmkxW0.net
よくあることな

136:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d32f-dqrC)
24/03/19 13:30:59.13 JDbjMEWW0.net
ノブが俳優と仲良しアピールとかソヌニキの面倒見てるだけか
「スター誕生の瞬間の支持につながっている

137:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8116-HkVu)
24/03/19 13:33:53.38 Kdpf0p//0.net
>>35
若年人口悲しいくらい少ないから脂質を貯めるように見えますけど
若年人口悲しいくらい少ないから脂質を貯めるように見える戦術やぞ

138:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5179-/bal)
24/03/19 13:36:29.74 ZwWTmkxW0.net
>>47
実は暴露ネタそんなに金払って風呂入ろうと萌え不毛のcsになんで覚醒したていで話してるのは年寄りがみてたからか

139:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5363-Hzv/)
24/03/19 13:37:58.19 O4agVvmH0.net
焼かれたよ俺は困らないけどな
ジャニあるあるだよね

140:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f138-f2Hn)
24/03/19 13:41:04.18 4+zzrVBx0.net
>>129
非常に大事なんて行く危機管理能力0すぎて毎月退会してリハビリ中だよ。

141:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f138-f2Hn)
24/03/19 13:42:32.72 4+zzrVBx0.net
>>13
クラブなら気になるからね

142:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 13:46:12.88 EVUZn1r50.net
早めの登録でなんか出来るけどくりぃむって絶対ゲストいないのかな?

143:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 14:32:42.05 91J6YIdh0.net
バカンスだけなら抜けてる

144:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 14:38:59.83 3yVAudOJ0.net
自分のこと言ってたから内閣総辞職か？

145:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 18:26:46.16 tbgNn1RY0.net
スクリプトのせいで見てないかもしれんが、
sillytavernでkoboldcppに接続できんのだが、エスパー出来る人いる？
最新のsillytavernインスコして
kobold.cpp起動
karakuriロード
sillytavern起動
koboldAI classic選択
apiにURLﾘﾝｸ(127.0.0.1:5000) で接続ボタン押しても、反応しない
誰かヘルプ！

146:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 18:34:38.80 tbgNn1RY0.net
すまん
URLﾘﾝｸ(127.0.0.1:5001)
だったわ
できた

147:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 18:36:26.96 tbgNn1RY0.net
すまん、もう一つ
We have a dedicated KoboldCpp support under Text Completion ⇒ KoboldCpp.
て、どこみればいいんだ？

148:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 18:40:01.23 WJqBnIPN0.net
そもそもAPI選択のkoboldAI classicが違ってて
APIのText CompletionのAPITypeにKoboldCppがあるからそっち使ってねってことや
チャットするなら一番右の名刺の所からデフォで何枚かキャラカードあるから選べばええ

149:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 18:53:33.68 tbgNn1RY0.net
>>148
いや、ないんよ
それでマニュアルどおりclassic選んだんだが・・・

150:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 18:54:32.07 tbgNn1RY0.net
ああああ
すまん
あったわ
焦りすぎだ( ;∀;)

151:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d954-IOXH)
24/03/19 20:11:24.87 tbgNn1RY0.net
chub.aikからインポートするには
jsonファイルとキャラのpngファイル２つを落として、それぞれインポートするで、あってる？
んで、jsonファイルを編集して違うキャラ作ったりすればいいんかな？

152:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 20:34:30.13 U5mk2g1e0.net
>>151
pngファイルに情報入ってるからpngだけでも良い。
編集はインポートした後にツール上でやった方がやりやすいのでは？

153:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 21:22:52.54 tbgNn1RY0.net
>>152
サンキュー。
pngだけでいけるんだな。
とりあえず版権キャラを改造して日本語（翻訳じゃなく）にしてみた
あと、音声対応もしたけど、これはsystemのやつだとオバサン声しかないなｗ
しかし、chatしてると、勝手にuserの返事まで書いてくるのは、どっか設定ミスってるのかな？

154:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 22:07:08.00 tbgNn1RY0.net
うーん。なんか会話がアホっぽいし、エロくもならんのはなんでだ？
koboldにキャラ設定ぶち込んだ方が、キャラにあった返事もしてくれるし、エロい。
sillytavern自体にwebサービスみたいな規制があるんかな？

155:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/19 22:21:04.35 U5mk2g1e0.net
>>154
LLMに与える各種パラメータが一致していないのでは？
一番上に並んでいるアイコン左端のAi Response Configuration
左から3番目のAi Response Formatting
あたりが返答に影響する設定。
あと、ターミナルの方にAPIに送信されたデータの羅列がでるから、こっちを見て期待通りか確認しても良い。

156:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 00:04:07.96 7Sp3KY330.net
>>155
おおー、koboldのデフォ設定に合わせたら、いい感じになったわ、サンキュー
オリジナルキャラで作った、kobold用のXML文も、こっちにも流用できて、かなりいい感じになった。
XMLはkoboldより入れやすいな。eosの処理とか気にせんでいいし。
あと、これ、自分のキャラを外部に保存するにはどうしたらいいの？

157:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 01:03:50.61 QU271RTO0.net
つい最近始めたばかりだけどローカルllm楽しいね
うちの環境じゃkarakuriのq4程度が限界だけどそれでも十分楽しい会話になる
なにより規制が無いっていうのがすごい新鮮
これ、数年後にはローカルでもリアルタイムに絵が動いて声出して喋るようになるわけでしょ？
人類滅ぶわー

158:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fb1b-BQFt)
24/03/20 02:59:36.52 xP9UpbZh0.net
>>156
> 自分のキャラを外部に保存
キャラクターを選択したときのキャラクタ名の下段に5つのアイコン（★📕🌐📕📄みたいな）が並んでて、その一番右がExport and Download。
バックアップ目的なら、SillyTavernをインストールしたフォルダ下のpublic\charactersをコピーするのが楽かも。

159:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 49c5-qEsL)
24/03/20 04:43:40.15 vRJl9+6B0.net
超絶初心者の質問でしゅまんがkarakuri 2bit量子化されたモデルってVRAMの方は一切使わないの？
昨日LLM始めたばかりで色々調べてるんだけどVRAM使い切ってからメインメモリに読むとか出来ないのかしら？
タスクマネージャー見ててもVRAM2Gも使って無くて何かすっきりしない
もしかしてVRAM使わないモデルとかあるのかな

160:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fb1b-BQFt)
24/03/20 05:27:28.46 xP9UpbZh0.net
>>159
GPTQ、AWQ、EXL2はGPU&VRAMしか使わない。
GGUFは基本的にはCPU&メインメモリを使うけど、n-gpu-layers設定で一部をGPU&VRAMにオフロードすることもできる。

161:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 49c5-qEsL)
24/03/20 05:45:52.44 vRJl9+6B0.net
>>160
そういうことね！
ありがとうさっそく試してみる
LLM楽しいねどんどん進化して欲しい

162:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 08:42:03.25 rbbsc43p0.net
なんか急に新規増えたか？

163:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 13cf-LHRN)
24/03/20 09:25:54.94 mcHc/xXw0.net
webサービスがMSのOpusを失ったからかもね

164:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽｯﾌﾟ Sd33-TsG/)
24/03/20 09:43:45.78 ls3w7J4Od.net
kobold使ってるならUse OpenBLASをCuBLASに切り替えるとグラボを併用してくれるぞ
OpenBLASはグラボ使わない設定

165:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽｯﾌﾟ Sd33-TsG/)
24/03/20 09:49:40.11 ls3w7J4Od.net
バケモノみたいなグラボを積んでないとローカル動かせないと思い込んでる人けっこういるのね
画像界隈から来るとそう思いがちなのかな

166:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 10:05:19.15 rbbsc43p0.net
まあオフロードするにしても70Bを現実的な速度で動かすならかなりのスペックが必要なのは間違いなくね

167:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 10:14:34.82 lAe23+XW0.net
モデルのマージってどうやんの？

168:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 10:15:51.44 OPUTteZw0.net
ただ動かすのと実際に使うのとではまた違うからな
文字入力するたびに数分以上待たされてちゃ使い物にならないでしょ

169:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 11:35:34.38 rbbsc43p0.net
MiquMaidに迷路を作るプログラム書かせたらちゃんとしたのができた
ChatGPT3.5とElyza 70Bだと無理だったから強い

170:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 12:11:43.38 55KKvdto0.net
c4ai-command-r-v01が日本語話してくれない

171:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 12:21:50.27 OVhNncVd0.net
文字入力というか1回分のプロンプト送って返信に10分前後待つ感じやね
チャットのようなテンポだとキツイだろうけど自分にはギリ使える範囲かな

172:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d954-IOXH)
24/03/20 12:26:48.47 7Sp3KY330.net
>>171
いやいや、チャットだから500トークンも1回に使わないから、そんなにはかからんよ。
動画でも撮って上げてみようかな。体感分かるし

173:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽｯﾌﾟ Sd33-TsG/)
24/03/20 12:37:05.91 znZmLvdcd.net
ああ動画いいかもね
使い物になるかならないかは各自がそれを見て判断すればいいことだし

174:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 59ca-/Cd5)
24/03/20 12:45:23.12 kZXb7lpa0.net
オナテクの方から来てこの板の空気とかあんまわからんからROMろ…ってつもりでいたんだけど動画撮ったりして使用感共有してくれるのはマジでありがたいな
俺含め多くのAIユーザーへのローカルモデルの印象って憧れはあるし期待してるけどまだ発展段階だから手が出ない…って感じだと思うから

175:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8b28-IOXH)
24/03/20 12:47:24.71 H1lpbz5e0.net
仕事中とかはともかくネット見て回っている間とかなら
返信くるまで5分10分まったり待っていればええやろ

5chとかならスマホでやったってええんやし

176:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 116d-QJW5)
24/03/20 12:48:36.95 rbbsc43p0.net
>>170
テストページで試すと普通に日本語喋ってくれるけど、なんか必要なのかな？

177:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽｯﾌﾟ Sd33-TsG/)
24/03/20 12:51:29.51 znZmLvdcd.net
そういえば昔過去スレに速度比較の動画を上げたことがあって今見たらまだリンク生きてたから貼るわ
--------------------------------
モデルの大きさ別に出力速度の見本をつくってみた
CPU: RYZEN7 5700X
RAM: 64GB
GPU: RTX3060 12GB
13B
URLﾘﾝｸ(i.imgur.com)
33B
URLﾘﾝｸ(i.imgur.com)
70B(遅いよ)
URLﾘﾝｸ(i.imgur.com)

次ページ