【ローカルLLM検証 環境構築編#5】ローカルLLM:Qwen3 32Bはサクサク動くのか?

環境構築

 今回はQwen3 32Bを入れて動かしてみます

 モデルの導入はいつも通り「ollama run qwen3:32b」なので省略します

まず動かしてみる

さて、画面
まず、「こんにちは」

んーw 打ってから戻ってくるまでが長いw

だいぶ、遅い・・・・・
やっと来たけど、22秒以上かかった気がする。。。モデルの読み込みか?

軽く打ってみる

やっぱり長いww数分待ってます・・・・・・
超遅い・・・・やはり限界か

出てはきたが、遅いので、実用するのは難しいなぁ

次回はちょっと何か軽量策がないか探してみます

💻 ローカルLLMでは容量が大きいグラフィックボードが必須です!

関連記事はこちら👇

【ローカルLLM検証 環境構築編#1】 モデル実行・管理、LLM(モデル)、ブラウザチャットまで
【ローカルLLM検証 環境構築編#2】ローカルLLMにマルチモーダルモデルを入れる
【ローカルLLM検証 環境構築編#3】ローカルLLMに推論が強そうなLLMを入れてみる(deepseek-r1:32b)

コメント

タイトルとURLをコピーしました