月: 2025年8月

ollamaからうまくデータが取れない。langchainのアップデートしてみたけどうまくいかない。

別のこともやっているし、いったんは保留しておく。

追記：英語で指示出したらトークンが返ってきた。日本語がダメなのかな。でも同じ質問をollama guiでやると普通に帰ってくる。ちなみぬ英語で帰ってきたときのtpsは50位出てた。

なんかアップデートが来てたから入れたら。GPT-oss20Bがだいぶ改善してた。

アイドル時

GPT-oss20B実行時

120B実行時

120Bはさすがに変わってないかな。

でも２０Bは使えるかもと思える速度は出てた。

以下OllamaのデフォルトのGUIで動かいてみたときのシステムの状態

アイドル時

20B実行時

120B実行時

120BはVRAMに乗らないのは当然だけど一応動いためちゃくちゃ遅かったけど。
20BもVRAMに乗らなかった。ollamaでは４bit量子化の恩恵は受けられないのかもしれない。それとも何か設定があるのか？