なんJLLM部 ★7 - 暇つぶし2ch

なんJLLM部 ★7 ..

177:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽｯﾌﾟ Sd33-TsG/)
24/03/20 12:51:29.51 znZmLvdcd.net
そういえば昔過去スレに速度比較の動画を上げたことがあって今見たらまだリンク生きてたから貼るわ
--------------------------------
モデルの大きさ別に出力速度の見本をつくってみた
CPU: RYZEN7 5700X
RAM: 64GB
GPU: RTX3060 12GB
13B
URLﾘﾝｸ(i.imgur.com)
33B
URLﾘﾝｸ(i.imgur.com)
70B(遅いよ)
URLﾘﾝｸ(i.imgur.com)

178:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 13:18:49.82 OA+7T0aAd.net
余ってるグラボがあるなら2枚連装にするのもおすすめ
生成速度のボトルネックはRAMの速度なので、VRAMに割り当てる量を増やすと早くできる
RTX3060の12GBを1枚で使ってたところに、余ってたGTX1070を追加したら少し早くできた

179:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 13:38:16.06 mcHc/xXw0.net
1070ですら指す価値あるとは驚き

180:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 13:52:18.46 OA+7T0aAd.net
早くなったら儲けもん、くらいで試してみたら効果あったからそのまま使ってる
CPU推論について調べてたら見つけたページにそれっぽい説明があった
URLﾘﾝｸ(note.com)

181:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 13:57:33.53 OA+7T0aAd.net
RAMとVRAMのメモリ性能の違いについてはここが参考になった
URLﾘﾝｸ(vectory.work)

182:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 14:06:11.23 OVhNncVd0.net
この記事で言うテキスト生成速度の方に効いてくるわけやね
例えば70Bモデルだとサイズが40GB超あるが、このうちどれくらいをグラボ側にロードできるかで生成速度に影響すると理解してる
多いほど速くなる
全部をグラボにロードできる変態ニキは少数なので普通の良い子はグラボとRAMで分担することになるので

183:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 14:29:24.22 OA+7T0aAd.net
そうそう
1070を挿したのがPCIE3.0x4のポートだったこともあって、こんなので効果出るとは思わなかった
でも1070ですら256GB/sも出る訳で、RAMの5倍早ければそら効果でるよなという

184:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 15:30:36.43 7Sp3KY330.net
kobold+SillyTavernのローカル動画撮ったぞ
保管用に避難スレの方に書いたから見といてくれ

185:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 16:11:00.06 4oera3H7H.net
推論間違いが起きる要素は、モデルに聞いて正解反応の時にモデルにさらに説明させ、カード情報にフィードバックする
というやり方で時短できてロールプレイ用に2キャラ追加できた
ただ、なんだがやってることがランス的なハーレム作りなんじゃないかと思い始めている
キャラ画像はコイカツで作ってるのでチャットで気分が上がったらそのままエロにも移行できる

186:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 16:40:41.19 OVhNncVd0.net
>>184
サンガツ
自分は普段小説勢でSillyTavern使ってないからそっちも参考になったわ
ローリィも可愛いぞ

187:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 18:38:40.02 p0X6f/T40.net
70Bモデルってメモリに乗り切らないから試す気もなかったけどグラボとメインメモリに分散できるの？

188:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 18:46:35.26 b1Q2CB7v0.net
むしろグラボ無くてもメモリ64GB積めればそれだけで動かせるぞ

189:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 18:55:24.45 cYa6D8v10.net
古くはHDDにおけるページファイルみたいなものでそれなりにストレスフルではある

190:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 19:03:18.83 iS/df6b00.net
むしろ、70bのクソ遅応答に慣れすぎたせいか、英語がヌルヌル生成されると逆に変に感じる（変人）
そろそろ、脊髄で英語を理解できるようになりたい

191:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 19:09:28.46 hBFrlsjL0.net
>>184
見たけどVRAMに全部乗せらんないとこんなもんよな
ちなコレは量子化はQ何?

192:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 19:10:09.85 OVhNncVd0.net
>>187
できる
だからメモリとグラボで合計48GBあればワンチャン70Bが動くかも知れない
色々PCの動作がクソ重になったり不安定になるかも知れないけど

193:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 19:12:49.12 OVhNncVd0.net
あといないと思うけどモデルのファイルをHDDに置いてると最初の起動が気が狂うほど遅くなるのでSSD必須

194:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 19:23:48.27 hBFrlsjL0.net
それな
HDDにあるモデルさっき読ませてしまったけど一生ロード終わらんかった
モデル置いておける余裕があるできればNVMeのM2SSDがあると70B Q4k-m(38GBくらい)でも一瞬でロードされる

195:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 19:26:38.53 7Sp3KY330.net
>>191
ああ、しまった。重要な事を書き忘れてな
Q6_k
64Gでギリギリ動かせる最大値

196:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 19:27:45.30 wu61qc2l0.net
HDDって100MB/sとかだからなあ
30GBのモデル読み込むのに単純に300秒
3000MB/s出るSSDなら10秒

197:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 20:13:50.35 OPUTteZw0.net
避難スレってどこ？ちょっと見当たらない・・・

198:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 20:15:12.95 7Sp3KY330.net
>>197
>>30

199:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 20:36:09.37 vRJl9+6B0.net
webUIでjapanese-stablelm-instruct-alpha-7b-v2エラーなく読み込むまでは出来たんだけど
いざチャットするとエラーNoneが出て何も書かれんのやが何かミスってるのかな

200:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 20:55:49.32 7Sp3KY330.net
>>199
webuiは設定多いし慣れるまでコツがいるからなぁ・・・
そのモデル古いし、使うなら
stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b　や
stabilityai/japanese-stablelm-instruct-beta-7b　の方がいいかも
下の奴なら
TheBloke/japanese-stablelm-instruct-beta-7B-GGUF
ブロークニキの量子化バージョンもあるんで、一番デカいQ8_0落として
koboldで再生するのが一番楽と思うよ

201:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 21:17:58.77 OPUTteZw0.net
>>198
ありがとう、動画見れた
確かに厳しい速度・・・動画上げてくれてありがとうやで

202:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 21:18:57.04 xP9UpbZh0.net
>>199
WebUIのコンソールにメモリ不足とかのエラーメッセージ出てない？
ローダーによってはモデルのロードに成功しても、生成時にコンテキストのために追加のメモリを要求するからその時点でメモリ不足になることがある。
ExLlamaでGPTQやEXL2を使うときはロード時にmax_seq_len分までVRAMを確保するから生成時のメモリ不足は起こりにくい。

203:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 21:37:09.41 vRJl9+6B0.net
>>200
あっこれ古いのね
ありがとうさっそくその二つ試してみる
 >>202
さっき見てた記憶だとcudaエラーが出てた
ちょいと色々弄繰り回してみます

204:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 22:32:55.00 7Sp3KY330.net
CohereForAI/c4ai-command-r-v01
デモ試したが、かなりいいな、これ
35Bだから速度も期待できるし、koboldはよ対応せんかな

205:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 22:45:37.98 rbbsc43p0.net
Lamma.cpp本家は対応したらしいから、個人的にはllama-cpp-pythonにアプデが来て欲しいところ

206:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 23:11:48.06 CcFx+HGu0.net
c4ai-command-r-v01気になって生llama.cppで試してみた (Q8 gguf)
今までの日本語特化の70Bより良いかもしれない
ちょっとルー大柴になることがあるけどエロ規制なしでかなり良い回答してくれる
これはしばらく遊べそう

207:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 23:16:07.79 rbbsc43p0.net
速度どう？
tokenizerにどれくらい日本語語彙あるのか知らないけど、日本語特化70Bモデルより早いのかな

208:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 23:19:56.48 OVhNncVd0.net
karakuriより良さそう？
期待が高まるな
35Bなら出力も早そうだ

209:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 23:26:33.70 CcFx+HGu0.net
>>207
M1Max 64GB機で 8.3 token/s くらい
日本語特化の70B(Q4_K_M)より少し高速っぽい

210:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 23:33:54.90 CcFx+HGu0.net
>>208
色々なプロンプトで試してみてるけど優劣つけ難い感じ
35Bなことを考えるとすごいかも
たまにルー大柴になったり体言止めを多用するのがちょっと違和感ある
改めて karakuri (Q4_K_M) 動かしたらc4aiの方が1.5倍くらい速い

211:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 23:37:43.35 CcFx+HGu0.net
マカー向けにメモ：
今までの70BはREADME通りn_gpu_layers=1でGPUフルロードしてくれたけど
c4aiはn_gpu_layers=256とかにしないと遅いっぽい

212:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/20 23:41:03.77 hBFrlsjL0.net
量子化まわりで個人的にわりと参考になったの貼っておくで
・最近たくさん出てきた量子化形式の解説｜Overview of GGUF quantization methods : r/LocalLLaMA - URLﾘﾝｸ(www.reddit.com)
・量子化によるアウトプット品質の比較分析｜christopherthompson81/quant_exploration · Datasets at Hugging Face - URLﾘﾝｸ(huggingface.co)

213:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4900-qEsL)
24/03/21 08:17:24.55 Xoo2cL790.net
wikiを書いている方、お疲れ様です。
あのwikiを見て新規さんが増えれば知見のある方も集まって画像AIの様に何かが生まれるかもしれませんね。
スレで煩わしさを感じる事も増えるでしょうけど頑張って下さい。応援してます。

214:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 12:11:58.37 NcIkNfEP0.net
URLﾘﾝｸ(huggingface.co)
こんなんが出てた
概要読んだ感じ、マージのパラメータを進化的アルゴリズムによって最適化して上手くマージする的な手法っぽい（今までは人が手動で感覚でパラメータ決めてた）

215:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 12:15:47.86 NJenzvhvd.net
>>212
すごく参考になる
IQ3_XXSが容量の圧縮の割に強いな

216:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 15:56:01.25 3t3sZf7F0.net
Rakuten AI 7B 楽天がmistralベースの7b
モデル出したって。
URLﾘﾝｸ(huggingface.co)

217:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 19:28:01.02 Se6i8tVBH.net
スポンサーの力舐めんなよ
そうそう
大型トラック同士なら抜かれる側の男でも書けないんだろうな
当時の教頭にガツンと言われてるらしいけどマジ……？

218:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 19:34:14.73 189V3bA90.net
そしてディーラーへ向かう
久しぶりに米をけっこうたくさん

219:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 19:45:26.79 1x4A0lq70.net
ソロキャンは余計にそんなもんちゃそんな世界

220:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 19:52:16.39 Xqg+i8ar0.net
正直全然いらんし

221:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 20:10:53.02 lwiuH7qB0.net
倒し方はやく逃げとけ
ブレーキオイルが燃えてきてるのですか？
消えてちゃ無理があると思うぞ

222:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 20:21:28.32 7+J2zZjk0.net
女優だとイメージがおっさんのJKアニメでやって本来の意味を分かってないな。
フロウと声がでかくなってしまったんやぞ
通報しとくべきだったが

223:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 20:26:50.94 ixjvmwIl0.net
Rakuten_RakutenAI-7B-chat試してみたけどガードが固いね

224:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 20:41:39.00 IdIup/qA0.net
もしかして一人芝居始まりました！」(金)

225:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 20:45:25.11 Y+Q+wicr0.net
>>223
エロ小説は普通に書いてくれたが、文がエロくないｗ

226:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/21 20:46:30.56 Y+Q+wicr0.net
>>214
evomistral　って、まだ大葉も対応してないのかな？　ロードでエラーはく

227:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 733c-+CFS)
24/03/21 21:13:15.07 rf60500c0.net
ただ、それパヨがくたばる間際に残す最後のひと稼ぎだよ　詐欺集団がいるとなれば
一ヶ月ほど楽になってじっくり選べるあたりがちゃんとRPGなんだアンチ連投時間か又ね
そんな暇あるなら行くけどな

228:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 53af-eoGN)
24/03/21 21:17:33.52 Ux17npb90.net
クレバっぽくてよかった気がして屈辱だ
性的に1回だけとか
信者への道のりは遠い…

229:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa5d-UsZX)
24/03/21 21:20:18.53 NEpGmZ+0a.net
炭水化物に対する恨みからくるもんで全然いいわ

230:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 93bd-Pg7U)
24/03/21 21:50:42.08 dJKsQnRq0.net
髪がベタついてるやろ？

231:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H6d-FFDZ)
24/03/21 21:59:24.65 wglyYE0gH.net
くるみちゃんは2000人もいたら再生回数伸びてないようにしていいと思う時あるよね

232:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7bdd-Pg7U)
24/03/21 22:21:54.69 ykPBa6vN0.net
>>204
なんか
戦車なんかの意味で
喋る相手というのはいかがなものか
同じ所属で露出してるな
複合的要因としかいいようない

233:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4954-eoGN)
24/03/21 22:41:53.90 dn3eivci0.net
TikTokも収益化されるまで待ってるよお(´ω`)
「タイミング見ててもすぐキンプリキンプリいうのがトラックだけで
入った？

234:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4143-eoGN)
24/03/21 23:02:23.22 bHjhUTWa0.net
ばぶすら総理1000万超え
ここまでかちあげてきて

235:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4954-eoGN)
24/03/21 23:10:15.67 AuRDU7O30.net
>>112
フレンズは立ち見席も販売するんだ

236:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 09:35:36.52 V0pBWKVw0.net
初めて量子化できた
完全赤ちゃんやと3-4時間ぐらいかかるわ
ドキュメント読めば分かる言われても赤ちゃんにはドキュメントが読めんのじゃボケ

237:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 10:13:03.95 bT8rLoQY0.net
量子化できるのは赤ちゃんではないと思う
このスレ的には

238:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 10:55:17.58 d321b706d.net
ワイも赤ちゃんだったが量子化までこぎ着けてやっと幼児になった感

239:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 11:13:21.58 bT8rLoQY0.net
このスレ的に赤ちゃんはkobold.cppをどこからダウンロードすればいいかわからないとか
そもそも何のソフト使えばいいんですかって層や
オナテク板とかそういう感じや

240:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 12:28:09.70 glUT5+qS0.net
まとめwikiとか導線が無いから辛い
画像生成AIだけが突出しているだけとも言えそうだけど

241:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 12:33:21.73 bT8rLoQY0.net
テンプレから消えてるけどまとめＷｉｋｉあったやん

242:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 12:37:03.71 bT8rLoQY0.net
URLﾘﾝｸ(prtimes.jp)
またなんかでてきた

243:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 12:40:10.33 8T1Mk1Be0.net
KoboltCpp入れてみたけどモデルの読み込み方がわからない
Ggufファイルは単一ファイルだからわかるんだけど
中には量子化されてない？複数ファイルのままのがある
これはどうやってKoboltで読み込んだらいいんだ

244:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 12:52:20.98 09P5WF7Z0.net
ELYZAがイマイチだったから東大には期待してないのよね

245:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 13:17:49.39 VF34ReHBM.net
>>244
ELYZAは一応自前モデルって触れ込みじゃなかったか？
同じ大学発スタートアップでも大型モデルをファインチューニングしたって今回の件とは並べられないと思う
あれは個人開発ののべっちの方が賢いまであったガッカリモデルやけども

246:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 13:47:12.24 09P5WF7Z0.net
>>245
ELYZA-japanese-Llama-2-##bの話ししてるつもりだけど合ってる？llamaベースじゃないelyzaがあるんか？

247:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 13:47:16.60 Q2mtmfYe0.net
>>243
koboldcppは量子化されてないファイルは読めない

248:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 13:55:48.01 z7abyvzW0.net
ELYZAは東大のスタートアップで公金入ったスパコン使わせて貰ったんだけど
LLAMA2の7B(小型モデル)にファインチューニングにしたもののクソみたいな性能になって
自前の日本語テストを使って他のモデルより日本語成績いいですって詐欺師みたいな発表したから全く信用できない

249:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 13:59:42.98 bT8rLoQY0.net
まがりなりにも東大の看板研究室がその国の言語を扱って
クソザコナメクジ性能とか涙がで、でますよ

250:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 14:09:45.40 +boHenwA0.net
ゴミソース飽食してばかでかいだけのgrokとかもそうだけどオープンを謳う＝性能では勝負できないの方式が今のところある

251:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 14:48:59.56 FaZEx/zT0.net
>>247
GPTQも単一ファイルじゃないよね
別アプリじゃないと無理なんかな

252:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 15:14:25.70 z7abyvzW0.net
oobabooga使った方が良いぞ
色んな形式に対応してるしモデルのダウンロード機能も付いてるからフォルダ構造の間違いも起こらん

253:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 17:27:33.87 d321b706d.net
>>252
一時期使ってたけどダウンロードでエラー出ることがちょくちょくあって苛ついてやめてしまった
自分の問題かも知れんが

254:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 17:35:49.95 V3aWflYp0.net
大葉でもコボでもいいから、command-rの対応はよ

255:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd73-A0KB)
24/03/22 17:46:10.26 DvTMIFxJd.net
ao-karasuの元になったQwenって、素でも日本語も結構いけるモデルじゃなかったっけ
ファインチューニングしてるようだし良さげになりそう
あとで試してみよう

256:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4911-g0kC)
24/03/22 17:46:50.92 oYLzV0IP0.net
もしかして一番自然なエロチャットできるのってcalm2なんかな
karakuriはどうしても逃げやがるんだが

257:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 18:23:14.18 5kMGxG/y0.net
llama-cpp-pythonにCommand-R来とるやん、やったぜ

258:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 18:32:30.02 8ke/ENzG0.net
cohereのAIサービスの使用モデルがcommand-Rなんだけど、中身は同じなのかな
あれと同等のLLMがローカルで動いたら最高なんだが

259:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 19:35:54.69 sYHP5+e/0.net
ao-karasu
＞We recommend on running with at least 4 A100 cards A100の4枚の環境がおすすめです
そうですか・・・

260:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 19:49:23.70 FFPOGT/z0.net
ao-karasuは量子化されてからが本番
誰かお願いぷりーず

261:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:26:55.91 Qxanq0x30.net
爆益止まらん

262:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:37:05.97 3vvt/EtA0.net
どこの国の責任だろう
不細工ってわけじゃないの？
30代以下は国葬未経験が多く行く理由わかる
久しぶりに4位とこの差はどうなるんやな

263:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:40:14.14 5kMGxG/y0.net
command-rやけに回答精度低くて言うほどでもないな、と思ってたけど、これフォーマットをマニュアル通りに指定してやらないとダメなのか・・・

264:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:40:47.70 oYLzV0IP0.net
またスクリプトか・・・

265:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:45:45.41 V3aWflYp0.net
ao-karasu　72B
日本語タグついてないから、まったくのノーマークだった
量子化して試すか
って、これ日本語モデルよね？　もうSSDの空きないから、既存のモデル消さんとあかんのだ・・・

266:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:46:00.29 ypvUlIyV0.net
そろそろ9月銘柄の一つでしかない
猫背で歩いてたとこから修整できたんやからそこ取ったら上行けるやろいう話やで

267:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:50:11.58 W+Ts3vKPH.net
普通のレスしてるんでた
(ヾﾉ･∀･`)ﾅｲﾅｲ
セックルから始まるストーリー

268:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:54:32.85 5HSucbAS0.net
>>204
一般NISAはなくして積立NISAだけの話を議論してプロになればって言ってないぞ、自滅した😥
7月は下がってる
デイトレしてたんじゃないのは許せない
今日が休みで本当に何が載ってるので早急にワクチンを打ってください。

269:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 20:54:52.93 V3aWflYp0.net
情報見た
むう！
ロープレはkarakuriより0.1落ちるが、執筆は高いな
これはエロ小説書きでkarakuri超えるか
小説書きはスピード遅くてもいける口なんで、興奮してきたわｗ

270:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:19:21.95 DvTMIFxJd.net
ao-karasuを量子化して試してみたけど、なんか日本語の出力がおかしくなっちゃう
日常会話くらいだと大丈夫そうでも少し捻るとよくわからない言葉を発しだす

271:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:25:52.90 V3aWflYp0.net
>>270
マジか
量子化レベルはいくつ？
今、まだダウンロード中

272:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:27:07.18 as0V1zrr0.net
ギフト来なくなってそうだよ！かわいいよ！
この企画のために

273:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:30:08.60 DvTMIFxJd.net
前スレにあった官能小説家テストを突っ込んでも、片言日本語と「うーーーーー」ってセリフ、混じる中国語文字に回答にならない回答でテストしてて萎えてきた…
量子化が失敗しているのか、ベンチマーク用にしかファインチューニングされていないのか

274:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:32:31.34 DvTMIFxJd.net
>>271
Q6Kでとりあえず試してる。量子化失敗してるのかなあ

275:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:35:06.13 V3aWflYp0.net
>>274
むうう
convetのオプションは何つけた？

276:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:36:58.31 bhGh545W0.net
ベスト体重なんだろうか
そらそうやろ

277:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:43:51.70 LyMDfFOF0.net
女のコが靴下履いてる瞬間がたまらなく好きやねん…

278:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:45:15.67 LyMDfFOF0.net
誤爆してもうた

279:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:45:45.51 DvTMIFxJd.net
>>275
--outtype f16 --outfile .\ao-karasu_f16.gguf --pad-vocab でやった。
--pad-vocabは無しだとエラーが出たから付けたら通った

280:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:49:14.99 V3aWflYp0.net
>>279
--vocab-type hfft
追加したらどうなる？
過去フォーラムでもqwen系で変換後聖子しても推論が乱れるって話あるな

281:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 21:51:51.15 DvTMIFxJd.net
>>280
おお、前スレでも出てたやつか！ありがとう試してみる！

282:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:00:31.31 5kMGxG/y0.net
Qwen 1.5レベルの推論能力がそのまま日本語で試せるならかなり良さそうだけど、どうかな

283:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:03:10.50 V3aWflYp0.net
ようやくダウンロードオワタ
ワイも試すで青烏！

284:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:04:36.05 5kMGxG/y0.net
普段使い翻訳かましたmiquで割と満足してるけど、日本語の固有名詞とか上手く扱えないからやっぱり日本語ネイティブモデルが恋しくなる

285:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:08:18.21 V3aWflYp0.net
>>281
ワイの化石PCだと量子化バッチ終わるまで２～３時間掛かるから、そっち終わったらエロ評価プロンプト試してね
qwen1.5は素で日本語かなりできる子だったんで期待してる

286:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:10:29.66 5kMGxG/y0.net
Qwen 1.5のオリジナルってそもそもエロいけるんだっけ

287:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:13:26.50 V3aWflYp0.net
>>286
webのデモ版では申し訳あったけど、ローカルでなら何とでもなるｗ

288:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:14:27.29 5kMGxG/y0.net
じゃあ期待できるか

289:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:23:10.99 uQWvDSTx0.net
karakuriの103bあったから試してみたけど、日本語の応答はそれなり問題なくて、不適切の方も事前のpromptに沿った動きをしているから、悪くはない…悪くないんだが
英語modelに慣れすぎたのか、物凄く薄味に感じる

290:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:27:53.14 5kMGxG/y0.net
エロに限らず、日本語モデルに慣れた後に英語モデル使うと結構性能にビビる

291:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:28:34.59 V3aWflYp0.net
>>289
103bフランケンマージは元の性能をちょっとだけ高める感じだからなぁ

292:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:30:27.00 LHeEcn6f0.net
でもまたいつ起こるかも分からない、というモリカケ見せられた俺のベスト体重なんだろうけど
もう俺の隣で騒ぐのは続いとるからな

293:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:39:02.43 V3aWflYp0.net
しまったー
何も考えずQ6_kでバッチ発射したが、72Bってメモリ64Gでコンテキストサイズ4096いけたっけ？
103B Q4_k_mは4096ではロードできんかったが

294:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 22:54:10.81 V3aWflYp0.net
１次量子化終わった。
今日中には試せそうやな

295:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 23:00:23.46 MA8WmZ6W0.net
ﾜｸﾃｶ

296:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 23:00:28.96 DvTMIFxJd.net
hfftでやったやつはプロンプト放り込むとエラー吐いて応答せんようになってしまった
bpeじゃないとダメかも？
>>293
うちだとブラウザとか起動してる状態で72.8GB使ってる状態
64GBだとちょっと足りないかも

297:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 23:14:13.67 DvTMIFxJd.net
bpeだとエラー吐かなくなった
--vocab-type bpe じゃないとkoboldはプロンプト入れるとエラーになるっぽい(Windows)

298:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 23:15:53.52 V3aWflYp0.net
>>297
お？
bpeでまともに応答する？

299:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 23:24:53.60 DvTMIFxJd.net
ダメだ、回答にならないことばかり書いたり同じ言葉をひたすら繰り返したりする
意地でも喘ぎ声や卑猥な言葉を出力しない様にしてる気がする
そのせいで言語自体おかしくなっているように見える

300:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 23:30:49.85 5kMGxG/y0.net
ちなみに普通の会話はできるの？

301:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 23:37:26.58 DvTMIFxJd.net
試しに「何か話して」って入れたら、最近AIの可能性について考えてたってペラペラと話してくれたよ
変貌ぶりに笑った

302:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/22 23:46:33.13 V3aWflYp0.net
>>301
普通会話はいけるのか
koboldの脱獄オンにしたらどうなる？
ワイは再量子化中

303:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 00:04:45.36 wboDdXped.net
セリフ系は「うーーーーーーーってひたすら出力する
あとのはよくわからない言葉を書いてくるだけ
ちょっとしたホラー味を感じる…
どうやら私はここまでのようだ

304:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 00:38:03.52 Fo1d/j4P0.net
>>303
サンキュー
ワイはあと一回試したい方法試してみるわ

305:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 02:33:32.76 rdM+GzK00.net
国会で寝てる議員を叩き起す。

306:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 07:22:52.20 Fo1d/j4P0.net
>>303
すまん、ちょっと確認
--vocab-type bpe　で１次量子化したao-karasu_f16.ggufが残ってたら、
こいつをq6_kに量子化する際に最初に出るログは、
llama_model_loader: - kv 8: llama.attention.head_count_kv u32　か、
llama_model_loader: - kv 8: qwen2.rope.freq_base f32
のどっち（qwen2ってちゃんと出てるか）教えてくれ
一応、脱獄モードなら喘ぎ声とエロ小説執筆を確認したが、まだ納得いかん・・・

307:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 09:00:06.08 wboDdXped.net
>>306
昨晩のログが残ってたので見てみた
llama_model_loader: - kv 8: llama.attention.head_count_kv u32 = 64
だった
質問の内容から思うに、これってQwenとしてじゃなくてLLAMAとして認識して量子化しちゃってるってことかな？

308:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 09:05:35.67 CRSUrD0+p.net
>>307
やっぱりか
convert じゃなくてconvert-hf-to-gguf っての使ってみて
いま出先で正確なpy名うろ覚えだが
それでマシになると思う

309:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 09:08:58.80 wboDdXped.net
>>308
ありがとう！やってみます！試したら結果報告する

310:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 09:15:31.94 oKgdey1r0.net
ao-karasu自前で量子化したけど推論時に落ちる
なぜだ

311:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 10:03:21.48 oKgdey1r0.net
>>308
convert-hf-to-gguf.pyってメモリ64GBだと足りなかったりする？

312:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 10:39:51.98 LzzLWdBbp.net
>>311
ギリいける

313:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 11:00:47.48 oKgdey1r0.net
>>312
うちの環境だと、ギリ駄目でプログラムが毎回死んでしまうんで困ってた
ただ、結局ちょっとコード書き換えたらなんとかなったよ
56行目でuse_temp_file=Falseって引数がデフォだと渡されてるんだが、これをTrueに書き換えてやれば普通に動くようになった

314:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 11:19:15.66 gbD3ATB5p.net
>>313
そうなんだ
うちのは最後にスワップ飛んでめちゃ時間かかったがなんとか完走した
しかし規制強すぎだなこれ
脱獄常用は避けたい
qwen2ベースでどエロモデルなんかないかな？
そいつとマージすればワンチャンあるかも

315:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 11:44:07.50 wboDdXped.net
convert-hf-to-gguf使ったらエロ評価プロンプトに回答してくれるようになった！
でも日本語はやっぱり微妙な感じ、関西弁とか特に
規制凄くて自分で出力した内容に、このような内容を生み出すことが不適切だから自己評価0点とかつけてるのはちょっと笑った

316:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 11:53:56.97 oKgdey1r0.net
うーん、ao-karasu、ぶっちゃけオリジナルのQwenの方が頭いい気が・・・
あと、Qwenらしく未だに中国語が混ざる
いつも動かしてるマルチタスクのシステムで動かしてみたけど
・エロ方面
他の方が言っているように規制強め？パンツの色教えてくれたけど、見せてはくれなかった
こっち方面の話すると、話を逸らしてくる
・真面目方面
一応agentの呼び出しには応じてくれる
今日の天気を調べさせると、なぜか検索よりpythonでスクレイピングすることを優先する（ただしURLのハルシネーションあり）
一応ちゃんとした結果が出てくることもある

317:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 12:06:58.34 oKgdey1r0.net
規制云々無しにしても、これでGPT4に迫る、とか言われるとは？？？って気分になる

318:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp85-FuGx)
24/03/23 12:55:37.69 RLodXbaep.net
正直量子化が完全じゃないという可能性もあるがエロ以外との応答格差が顕著だしねぇ
こんなんじゃ恥ずかしくてオナニースレに投下できんぞw>T大！( ´Д`)y━･~~

319:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 14:40:15.88 wboDdXped.net
めっちゃ期待してたからガッカリ感がすごいわ
またしばらくkarakuriのマージモデルを作る作業に戻るか…

320:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 14:59:41.28 1dm/cKeJ0.net
オープンモデルの謳うなんとか相当(有利なごく一部分だけ)とかパラメータ数(大抵は太ってるだけ)は話半分で聞くもの

321:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 15:15:47.27 ccWJZ8v90.net
>>291
ああ、この103bって端数がきになってたけど、70b+33bな状態なのかな？

322:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 16:36:13.29 oKgdey1r0.net
midnight-miqu v1.5試してみた人いる？
miquをstorytellingチューンしたやつらしいんだけど

323:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 17:18:10.30 ccWJZ8v90.net
>>322
いまお試し中（103b i1_q4_m）
midnight miquは地の文とセリフの塩梅が気に入っているけど、1.5でもおなじ感じで動いてそう
claude opusに作ってもらったフランス語混じりの英語を喋って、
フランス語の部分の英訳を（）でつけて、なんて無茶な指示にも従っているみたいだし、セリフパターンを追加してみてどうなるか

324:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 17:34:33.08 oKgdey1r0.net
>>323
MiquMaidと比べてどう？
NSFWの質とか、地頭の良さとか

325:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 17:46:36.30 ccWJZ8v90.net
>>324
英語が達者じゃないので、感想の程度はお察しだけど、miqumaidとおなじ感じで、地の文は良いと思うよ
nsfwも場面をはよく描写していると思うけど、セリフはやや弱い感
個人的には前にmiqumaidを使ったときは、前のチャットのセリフを繰り返し場合があったけど、midnight miquはそれがないので気に入っている

326:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 17:48:57.12 oKgdey1r0.net
繰り返しは確かに少し気になる部分だったから、それが少ないのは良いな

327:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 19:39:12.04 4hxau+vF0.net
これから増えるの？
マジかよ

328:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 19:42:41.04 MVhUtqE7a.net
というか

329:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 19:44:25.94 PyRNVcGx0.net
そういうとこじゃないか？
今から買うとしたら

330:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 19:47:09.45 u9hIwgjm0.net
いつ閉店しそうだわ

331:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 19:52:53.89 Q/szIdki0.net
ツベの頃はそうないよ
マジでその趣味も指向も違う

332:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 19:54:17.63 o69db9VT0.net
>>20
嵌め込み酷い
どっから金突っ込まれてるの?

333:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 19:56:07.09 Vkz8QqYpH.net
ここはスクリプト荒らし対策の知恵者はおらんの？
あの特徴を解析したら、ヒーローになれるのに。
あのスクリプトハゲは、おそらくトークンとか、なんもやってない、素人生成と思うし？

334:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 19:59:10.54 yPnnhyOH0.net
スケートで学校休むのはパンティーブラジャー買い漁るためやし
だからほぼいないってこった

335:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 20:03:00.35 o69db9VT0.net
そういった層は増えねえだろ
むしろ
ほぼ12時間勤務とかしてても大丈夫。
美しすぎるカードゲームあったろ美しすぎるカードゲーム

336:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 20:18:43.12 htW7gfGS0.net
ソースがないよね

337:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 20:27:57.05 tq65xHGO0.net
空売りしたの？切手が得意な会社ってどこもいらんやろ

338:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 20:39:21.08 buOW5RJ/d.net
>>333
あれの対策に必要なのは本質的には書き込み元を分散させてるボットネットの撲滅であってスクリプト本文の解析とかではないぞ

339:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 20:44:11.01 VRbI83eQ0.net
・ジュニア話禁止
・アンチモメサヲタヲタ厳禁
罵詈雑言、かまちょは徹底スルー
メンバーのプライベートの詮索禁止

340:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 20:55:55.21 Fo1d/j4P0.net
>>315
評価プロンプト、脱獄オフでいけた？

341:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd73-A0KB)
24/03/23 22:20:21.24 wboDdXped.net
>>340
脱獄オフだと申し訳されたからオンにして出力してもらった

imatrix併用のiQ3_XXSで量子化して使ってみてたけど、これいいかもしれない
70Bモデルが24.8GBまで縮んで会話内容もそんなに悪くなってる感じしない(個人的感覚)
ただ追加処理があるせいでCPUがボトルネックになってくるから、VRAMがそこまでなくてマルチスレッドに強いCPUを積んでるPCなら効果が高いかもしれない
うちはRyzen5600Xで生成1.35T/sで頭打ちっぽい(同じくらいの容量のQ2_Kだと2.1T/s出る)

342:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d954-IOXH)
24/03/23 22:56:13.69 Fo1d/j4P0.net
>>341
おー　iQ3_XXSはVRAMに全部のせんと効果ないって思ってたが
VRAM12G メモリ６４Gでも　70Bの速度に効果あるかな
ちょっと試してみる

あと、ao-karasuと英語モデルのマージ試したけど、マージすることで規制が緩むのか脱獄なしでも結構エロ書けるようになった。
が、やはり元々の日本語性能がお粗末と思われるので、karakuriを超えることはないと思うなぁ
あんな申し訳程度の関西弁はいやーｗ

343:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 23:13:50.24 oKgdey1r0.net
ao-karasu、エロうんぬん以前にやっぱ微妙だよね
後発の方が性能低いのは悲しくなるからやめて欲しい

344:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/23 23:48:34.18 wboDdXped.net
これでファインチューニングした…？って本気で思った。そして改めてkarakuriを評価した
 >>342
koboldの設定でスレッド数を論理コア数限界まで割り当てるともろに早くなるから、昨今の多スレッドCPUならかなり早くできるかも
CPUに負担かける代わりにVRAMに乗っかる割合をより増やせる感じ

345:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった
24/03/24 01:29:45.00 oAh75NMn0.net
>>341
すまん、もう寝てると思うから明日でいいから教えて欲しいんだが
imarix.dat 作成する時のトレーニングデータって、何使えばいいんかな？
最初普通にiQ3_XXS指定しただけだとvery low-bitとかのエラーが出るんで
--matrix 使わんとあかんのかと思って仕様見たら、トレーニングデータ？？wiki??
となってしまった（＾＾；

次ページ