今ローカルllmの速度に不満があるので、他のDgx sparkとか、AI max pro 395とかのベンチマーク調べて見たけど、oss-gpt120Bはかなり伸びるみたいだけど、一番伸びてほしいサイズ24-30Bであまり伸びてないからなんかいいや、となった。
今ローカルllmの速度に不満があるので、他のDgx sparkとか、AI max pro 395とかのベンチマーク調べて見たけど、oss-gpt120Bはかなり伸びるみたいだけど、一番伸びてほしいサイズ24-30Bであまり伸びてないからなんかいいや、となった。