投稿者: robot_creation_root

さんざん迷走したあげく、何か公開できるかというと………

まあそういうこともある。

ollamaからうまくデータが取れない。langchainのアップデートしてみたけどうまくいかない。

別のこともやっているし、いったんは保留しておく。

追記：英語で指示出したらトークンが返ってきた。日本語がダメなのかな。でも同じ質問をollama guiでやると普通に帰ってくる。ちなみぬ英語で帰ってきたときのtpsは50位出てた。

なんかアップデートが来てたから入れたら。GPT-oss20Bがだいぶ改善してた。

アイドル時

GPT-oss20B実行時

120B実行時

120Bはさすがに変わってないかな。

でも２０Bは使えるかもと思える速度は出てた。

以下OllamaのデフォルトのGUIで動かいてみたときのシステムの状態

アイドル時

20B実行時

120B実行時

120BはVRAMに乗らないのは当然だけど一応動いためちゃくちゃ遅かったけど。
20BもVRAMに乗らなかった。ollamaでは４bit量子化の恩恵は受けられないのかもしれない。それとも何か設定があるのか？

一部不具合見つけて直したりしている。あと俺まで作ってきたエージェントをどうするかも迷っている。新しく複数のモデルを選択できるようになっているので、そのあたりをどうまとめるのか。今後新しいのを作るときどうするのか。なんというか頭の中が散らかってまとまらない。

Ollamaの比較用のプログラムを公開
正直できがいいとは言えず、もう少し作りこみたかったけど、ここで時間をかけてもしょうがないのでこのあたりで公開。

chrome使用中固まる。その時edgeを起動すると治る。何かやってる？

デバッグ中にこれができるなら、こんなめんどくさいコードにしなくていいよね。みたいなのが出てきてかなりの書き換えが発生中。

今比較用のツールのようなもの作成中。

今プログラムの作成にAIを使用してはいるけど、
AIはひな型を作らせるにはいいけど細かな修正はまだあまりうまくないね。あとこれまでのコードを無視して自分流に書き換えようとするからそのあたりの扱いが大変。コード量的には7－8割は作ってくれるけど残りの２割は自分でやらないとという感じだな。０からコード書かせた場合、修正とかの相性もいいだろうからもっといけるのかもしれないけど。

ollamaを使えるようにしただけで選択肢が広がりすぎてどうまとめるか思案中。