ロボット作成日記

ollamaのthinkingの取得はできた。lmstudioもapiを直接たたいて、thinkingデータが来ているのは確認できた。

履歴管理のため、llmbaseにあったメモリ管理を外に出した。甘利美和巣くなったとは思えないが、それでもまとまっていたころよりはまし。

どうもこれまで使えない感じだったが、使えるソフトのイメージがわきつつある。

今ローカルllmの速度に不満があるので、他のDgx sparkとか、AI max pro 395とかのベンチマーク調べて見たけど、oss-gpt120Bはかなり伸びるみたいだけど、一番伸びてほしいサイズ２４－３０Bであまり伸びてないからなんかいいや、となった。

ここまでのところでアップロードしようとしたけど相対importに変えてまとめ直してみる。

oss-gpt20bがたの同サイズのモデルと比べて2-3倍速い。カスタマイズで優遇されているのか？構造の問題か。

あとNvidiaのドライバ更新でAIの速度上がったきがする。

KVキャッシュはとってこれなかった。まあ重くなりすぎるからかな。あとはwebserch付けたらいったんアップロードかな。そしたらそのあとでテキストデータの履歴管理つけて、そのあとoperation強化かな。

いったんほりゅにしようと思う。
AIにミニマムのllmのAPIラップ作らせてみたらollamaではうまくthinkingもとれた。しばらくしたら、langchainから変更も考えたほうがいいかも。あと、kvキャッシュとってこれるのがollamaだけと知って、履歴管理どうしようかと思っている。<- なんかAIごとにこの辺り言っていることが違う。

だいぶまとまってきた。thinking対応やwebserch付けたらいったん上げようかな。
そのあと履歴機能つけたり、音声入力付ければ基本機能は完成かな。
Applicationsというフォルダを作ったので、特化機能アプリも管理しやすくなった。

LMStudioのglm-4.7-flashはオリジナルのより有志がMXFP4で量子化したバージョンのほうが安定する。

オリジナルはすぐ同じ文章を繰り返すけど有志版はそれが起こらない。同じように量子化されたものでも、行った人によってモデルの動作が明らかに異なる。

角を丸めたりとか、コード表示時にうまくコードを閉じれないことがある問題とかを修正中。