コンテキスト長

環境構築

【ローカルLLM検証 環境構築編#8】Qwen3 32Bをサクサク動かせないのか?

Qwen3:32Bのレスポンスが遅い原因をClaudeと一緒に調査。量子化Bit確認からnum_ctx(コンテキスト長)調整まで、実際のVRAM使用量の変化を追った検証記録です。
ローカルLLM

【ローカルLLM検証_モデル編#1】Qwen3.8:27Bを入れて、Qwen3.6:27Bと比較してみた

Ollamaで話題のQwen3.8:27Bを実際に使ってみたレビュー。Qwen3.6:27Bと比較すると速度が大幅向上(1秒未満)、出力の創造性も高い。17GB・262KコンテキストでVRAM 32GBに快適動作。実出力例と速度比較表付き。