【ローカルLLM検証画像生成編#1】ローカルLLMのComfyUIで比較画像を作成する苦悩・・・・

　ローカルLLMを有効活用しようと思い、今用語説明で作成している図解で、シンプルな画像はComfyUIで生成したいなと思い検証してみました

　ただ、日本語に強くなかったり、指示の仕方にクセがあったりで、中々うまくいかない
その検証過程です

　ComfyUIとQwen-Image-2512を使用しています

AIに作ってもらった細かい指示のプロンプト
1. プロンプト
2. 結果
自分でプロンプトを調整してみる

AIに作ってもらった細かい指示のプロンプト

今回は「バイアスとバリアンスのトレードオフ」をダーツを使って描いてもらう
ダーツボード3つ並べて下記を描画したい
　左にバイアスが強い：矢が1か所に集中
　中にバリアンスが強い：矢がバラバラ
　右にバランスが良い：矢が中央付近に集中

プロンプト

まずClaudeに相談してプロンプトを作ってもらいました。そして下記を画像生成に投げる

フラットなベクターイラスト、ミニマルで、クリーンな線画、
シンプルなカートゥーン風、写実的にしない、リアルにしない、
白背景、青紫(#5B4FCF)とオレンジ(#F2994A)の配色。
1枚の画像の中に、3つの独立したダーツボードを横並びに配置する。
各ダーツボードの間には細い縦の区切り線を入れる。
3つのダーツボードは、サイズもデザインも全く同じにする。
各ダーツボードの間には、右向きの小さな矢印を入れる。

【左のダーツボード】
ダーツはちょうど5本。5本すべてが、互いに接触または
ほぼ接触するくらい、ぎっしりと1箇所に集まっている。
この集団全体を、ボードの「10時の方向」に配置し、
中心点から半径の半分以上離れた場所に位置させる。
この集団は、中心よりも外周に近い場所に、はっきりと
配置されていなければならない。ブルズアイ（中心の的）
と、ボード中心から半径3分の1以内のエリアは完全に
空白のままにし、中心付近には一切ダーツを置かないこと。

【中央のダーツボード】
ダーツはちょうど5本。5本それぞれが、ボード上の
全く別々の場所に刺さっている。互いに離れた位置に
散らばっており、1本は上端付近、1本は下端付近、
1本は左端付近、1本は右端付近、1本はその中間、
という配置にする。2本のダーツが接触することはない。
5本すべてがボードの表面上に刺さっており、ボードの
外に出ているものや、的を外しているものは1本もない
ようにする。

【右のダーツボード】
ダーツはちょうど5本。5本すべてが、ボードの中心の
ブルズアイの一点に直接重なり合うようにして、ぎっしり
と密集している。それ以外の場所にはダーツは1本も
刺さっていない。

文字、アルファベット、単語、キャプション、タイトルは
一切含めないこと。

結果

　んー。矢の数指定しているのですが、バラバラだし、指示したのもバラバラ
色は従ってくれているｗ

自分でプロンプトを調整してみる

　AIとやり取りしたのですが、結果が変わらない・・・・
これはもう自分でやるしかない！ということで、プロンプトを考える

プロンプト

結果を先に書きますが、下記の方針がよかったです

　・シンプルがよい
　・各イラストごとに指示

フラットなベクターイラスト、ミニマルで、クリーンな線画、
シンプルなカートゥーン風、写実的にしない、リアルにしない
背景色は白

文字、アルファベット、単語、キャプション、タイトルは
一切含めないこと。

ダーツボートとダーツを使用
絵柄はすべて同じ
ダーツは1本ずつ全体が見える
ダーツの大きさは同じ

バイアスとバリアンスのトレードオフを描きたい
ダーツボートとダーツを使って下記の3つを描画する
左：ダーツボードの右上に1か所に集中して5本刺さっている
中央：ダーツボードの左上、左下、右上、右下、中心に1本ずつ刺さっている
右：ダーツボードの中心に5本全て刺さっている

これを英訳します

Flat vector illustration; minimalist, clean line art;
simple cartoon style; non-realistic/stylized;
white background.

Do not include any text, letters, words, captions, or titles.

Use a dartboard and darts;
all elements must be identical in style;
each dart must be fully visible;
all darts must be the same size.

Illustrate the bias-variance tradeoff using the dartboard and darts by depicting the following three scenarios:
Left: Five darts clustered together in the upper-right section of the dartboard.
Center: Five darts distributed individually across the upper-left, lower-left, upper-right, lower-right, and center sections.
Right: All five darts hitting the center of the dartboard.

結果

　もちろん1枚作製はうまくいきません。4枚～8枚くらい作成してよいものを選びます。
すると、下記。
左側が偏りがあり、真ん中はバラバラ、右側が中心に集まっており、こちらが意図した画像を生成してくれています

💻 ローカルLLMでは容量が大きいグラフィックボードが必須です！

リンク

なぜうまくいったのか？

プロンプトを見ていただいたらわかると思いますが、めちゃくちゃシンプルにしました
これよく考えると、最初のプロンプトでの「色は従ってくれている」と合致します

最初から色の指示は箇条書きでシンプルにしてました
それに倣って、メインの画像部分もシンプルな書き方にしました

そして、画像ごとにダーツの刺さり方を個別指定
これはプロンプトあるあるですね。細かく指示したほうがそりゃぁ良い結果になります

失敗例

下記はプロンプトはよさそうに見えるのですが、結果を見るとうまくいきませんでした

【全体】
フラットなベクターイラスト、ミニマルで、クリーンな線画、
シンプルなカートゥーン風、写実的にしない、リアルにしない、
白背景、青紫(#5B4FCF)とオレンジ(#F2994A)の配色。
1枚の画像の中に、3つの独立したダーツボードを横並びに配置する。
各ダーツボードの間には細い縦の区切り線を入れる。
3つのダーツボードは、サイズもデザインも全く同じにする。
ダーツのサイズも同じにする。
ダーツは全体が見えるようにする。
ダーツの本数は指示通り厳守する。
各ダーツボードの間には、右向きの小さな矢印を入れる。

【左のダーツボード】
ダーツは5本で全てダーツボードの中心から右上に離れたところに刺さっている

【中央のダーツボード】
ダーツは5本で全てダーツボードの別々の箇所に刺さっている

【右のダーツボード】
ダーツは5本で全てダーツボードの中心に刺さっている

【禁止】
文字、アルファベット、単語、キャプション、タイトルは
一切含めないこと。