カテゴリー: 未分類

Ollamaの比較用のプログラムを公開
正直できがいいとは言えず、もう少し作りこみたかったけど、ここで時間をかけてもしょうがないのでこのあたりで公開。

chrome使用中固まる。その時edgeを起動すると治る。何かやってる？

デバッグ中にこれができるなら、こんなめんどくさいコードにしなくていいよね。みたいなのが出てきてかなりの書き換えが発生中。

今比較用のツールのようなもの作成中。

今プログラムの作成にAIを使用してはいるけど、
AIはひな型を作らせるにはいいけど細かな修正はまだあまりうまくないね。あとこれまでのコードを無視して自分流に書き換えようとするからそのあたりの扱いが大変。コード量的には7－8割は作ってくれるけど残りの２割は自分でやらないとという感じだな。０からコード書かせた場合、修正とかの相性もいいだろうからもっといけるのかもしれないけど。

ollamaを使えるようにしただけで選択肢が広がりすぎてどうまとめるか思案中。

なんか50シリーズにいろいろ対応してないのかな。とりえずローカルはollamaのみにしようと思う。

あと音声入出力とかもやりたいかな。

Hugginfaceのは各モデルによって環境がバラバラすぎて単純に組み込むのがむつかしそう。
phi4-multimodal単体で直接動かそうとしてうまくいかず、あきらめかけた時突然動いたから困る。
環境再現性が不明なのもまた困る。

5070TiになったことでローカルLLMを使えるようになったのでローカルLLMを使えるようにするためにolllamaやhiggingfaceのllmに対応作業中。

新しいPCが届いたので環境を移して確認中。
ローカルllmはVRAMに収まるサイズだととても快適。Ollamaをつかったが始める際も特につまるところはなかった。

画像生成はてこずっている。

さんざん悩んだ結果前書いたものの中にない5070Tiに決定。処理性能やメモリ帯域幅がそれなりにあり懸念点はVRAMぐらい。ファインチューニングなどでVRAMに満足できなくなったら、300Wというのが消費電力的に上位のやつと一致して交換しやすそうというのが決めて。
　前回検討していたシステムは100万超えるのもざらだったから、相当リーズナブル。そうれでも50万近いから購入ボタン押すときはめちゃくちゃ緊張した。