今回はQwen3 32Bを入れて動かしてみます
モデルの導入はいつも通り「ollama run qwen3:32b」なので省略します
まず動かしてみる
さて、画面
まず、「こんにちは」
んーw 打ってから戻ってくるまでが長いw

だいぶ、遅い・・・・・
やっと来たけど、22秒以上かかった気がする。。。モデルの読み込みか?

軽く打ってみる
やっぱり長いww数分待ってます・・・・・・
超遅い・・・・やはり限界か

出てはきたが、遅いので、実用するのは難しいなぁ
次回はちょっと何か軽量策がないか探してみます
💻 ローカルLLMでは容量が大きいグラフィックボードが必須です!
リンク
リンク
関連記事はこちら👇
【ローカルLLM検証 環境構築編#1】 モデル実行・管理、LLM(モデル)、ブラウザチャットまで
【ローカルLLM検証 環境構築編#2】ローカルLLMにマルチモーダルモデルを入れる
【ローカルLLM検証 環境構築編#3】ローカルLLMに推論が強そうなLLMを入れてみる(deepseek-r1:32b)



コメント