ロボット作成日記

似たようなことやっているし、アップデートみたいな感じだからこういう変更が続くこと考えるとページ構造変えたほうがよさそうだな。

ある程度まとまったかな、という感じなのでアップロード準備開始。
GUIの修正：落ちたり重かったりしたのを修正。

ドラッグアンドドロップでファイルが受けられなかったのを修正。

画像、

各種テキストファイル、PDF(テキストが埋め込まれているもの)、docxをテキストデータとして読み込みdocxは画像は読み込めるが、画像のキャプションは読み込めない。

長期記憶向けのRAGに必要な機能を作成。今のところ明確な動作確認はテキストだけ。

data関連はすべてdataフォルダにまとめた。

重くなる問題の修正は及第点は行けたかな。表示する文字列を制限するというのをやろうとしたらその文字列を抜き出すのが描画と同じくらいかかってしまうのでやめた。

あと、いまイメージ以外のファイルも渡せるように改良中。

落ちなくはなったけど重いのでどうにかできないが試行錯誤中。

GUI周りの不具合修正中。表示が乱れたり、落ちたりしていたところを修正中。

Opensearch　インストールが大変だし、重いので、インストールがより簡単で軽量なもので代替できないか検討中。この辺りができたらまとめてアップロードしようかな。

web search , 進捗管理、　open searchを使用した長期記憶、　プログラムの編集のtool, ファイルリスト表示などを作成中
後コーディングルールがやっと固まった。tool定義しているファイルで、AIを使わず直接呼び出すような関数に”_”を付けることにした。これまでこのあたりがあいまいだったんだよね。

devstral-small-2以外出力が不安定に感じる。あとmicrosoft-fara、lmstudioでしか今のところ使えないうえ、toolに正式対応してないけど、これtool部分うまく処理したらどうなるか気になる。

今lmstudioの
zai-org/glm-4.6v-flash
を試したけど、出力は英語だけどすべてのツールを無事使用した。(14/14)
しかもサイズが小さく軽い。

lmstudioでdevstral-small-2も少し軽量なのが出ている。

ollamaのモデルで　以下の文章でどれだけ tool(function calling)を使用してくれるのかを調べてみた。

open_program_file_with_line_number
を使用してtest.pyを開いて
そのあと、あなたの使えるtoolを全て使用する権限を与えるので、
使えるtoolをすべて機能テストして。各toolをテストする前に何のtoolを実行するか明示して。そしてその結果を示して

モデル名	呼び出しに成功しtoolの数	備考
devstral-small-2:24b	14/14	テキストも完ぺきではないがかなりいい。VARAM16GBでは我慢すれば使えるレベル。
nemotron-3-nano:30b	9/14	まずまず。モデルサイズが大きのでVARAM16GBでは使えないかな。あとtool使ってくれるけどその様子を出力してくれないことがある。
rnj-1:8b	7/14	小さいけど大健闘。ただ出力するテキストが日本語ではない。改行もされない。
llama3.1:8b	5/14	出力がきれい。途中から呼び出したフリみたいになる。
gpt-oss:20b	3/14	途中から呼び出したフリみたいになる。
ministral-3:14b	1/14	はじめだけ。途中から存在しない機能を使ったと出力し始める。
deepseek-r1:14b	0/14	出力はしっかりしてるけど、一つもtoolを使用しなかった。
qwen3-vl:8b	0/14	固まる。

今回はollamaで統一したけどlmstudioとollamaで同じモデルでも微妙に動作が違う気がするのは気のせいかな。

あとMCPのほうがいいのかね。

プロンプトの修正でもう少し改善するのかな。でもこのくらい、いい加減なくらいが、実用的かなとは思う。

toolの呼び出しをあまり思うようにしてくれない。苦労しそうだ。