ControlNetの使い方｜OpenPose・Canny【初心者向け】

ControlNet は、参照画像の構造を生成へ渡す仕組みです。ポーズ、輪郭、奥行き、線画のように「形」を固定し、プロンプトは見た目、服、画風、光を担当します。形を文章だけで書こうとして語を増やすより、骨格や線を画像で渡した方が、同じ姿勢が残りやすいです。

役割を混ぜないでください。参照画像が姿勢を決めているのに、プロンプトへ同じ姿勢を三種類書くと、腕が平均の位置に戻ります。プロンプトに残すのは、服、髪、人数、画風、光です。姿勢の単語を全部消す必要はありません。参照と矛盾する姿勢だけを外します。

人物は 1 adult woman か 1 adult man、二人なら 2 adults から書き、adult を残します。服は閉じた日常着です。タグだけで姿勢を書く入口は ポーズプロンプト、画面に入る範囲は 構図・アングルのプロンプト一覧 です。参照のポーズ作例は 正面を向いたポーズ です。

ControlNet のモデルは、チェックポイントのベースと一致させます。SD 1.5 用を SDXL に載せても、構造は乗りません。FLUX には、ControlNet とは別の Canny と Depth のモデルが公式リポジトリにあります。系統を混ぜないでください。土台の見分けは Stable Diffusionモデル一覧 です。

種類は、参照画像のどの情報を残すかで選びます。全部を同時に強くすると、参照の色までコピーされて、プロンプトの服が負けます。最初は一つです。

SD 1.5 の ControlNet 1.1 では、ファイル名が種類と対応しています。公式の一覧にある名前だけを、ここでは挙げます。

control_v11p_sd15_openpose
control_v11p_sd15_canny
control_v11p_sd15_lineart
control_v11p_sd15s2_lineart_anime
control_v11f1p_sd15_depth
control_v11p_sd15_scribble
control_v11p_sd15_softedge
control_v11f1e_sd15_tile
control_v11p_sd15_inpaint

OpenPose の公式の説明では、体だけの Openpose と、体・手・顔の Openpose Full を使い分ける、と書かれています。DWPose は、別の前処理で似た骨格を出す名前です。モデルファイル自体は、ベースに合ったものを選んでください。手の点まで渡すと指は安定しやすい一方、参照の手の形に強く引っ張られます。手のタグ側の直しは 手・指のプロンプト です。

SDXL では、種類ごとの専用ファイルの代わりに、複数の条件を一つのネットワークで扱う Union 系が使われます。公開されている例は xinsir/controlnet-union-sdxl-1.0 です。カードは 10 種類以上の条件に対応する、と説明しています。どの前処理名が対応するかは、そのカードで確認してください。ファイルサイズはこのページでは書きません。

最初の一枚は、表の一行だけを選びます。OpenPose で姿勢が残ってから、服の色を変える実験に進みます。姿勢が残っていない段階で Canny を足すと、線と骨格が別の方向を向いて、腕が二本分になります。Tile は拡大の段で足すもので、最初の構図決めには使いません。Inpaint は、残したい範囲と描き直す範囲がマスクで分かれているときだけです。マスクが無い写真に Inpaint のモデルを載せても、服だけを変える役にはなりません。

前処理の名前が画面に二つあるときは、抽出結果の見た目で選びます。骨格の点が見えれば OpenPose 系、細い輪郭なら Canny か Lineart、ぼかした境界なら SoftEdge、濃淡の面なら Depth です。名前が似ていても、抽出結果が写真のままなら、その前処理は動いていません。生成の前に、抽出結果だけを保存してください。

先にチェックポイントの系統を決め、それに合う ControlNet だけを置きます。SD 1.5、SDXL、FLUX は別物です。

WebUI のフォルダは models/ControlNet です。ComfyUI は ComfyUI/models/controlnet です。前処理（preprocessor）は、参照画像から線や骨格を作る側の処理で、ControlNet のモデルファイルとは別です。

WebUI: models/ControlNet
ComfyUI: ComfyUI/models/controlnet
ComfyUI の前処理: カスタムノード comfyui_controlnet_aux

Automatic1111 には、ControlNet の拡張が別途要ります。広く使われているのは sd-webui-controlnet です。Forge は ControlNet を統合して同梱しています。Automatic1111 用の拡張を Forge に重ねて入れる必要は、基本的にありません。Forge の公式 README のステータス表では、Union や Flux 用の行が時期によって未実装になっています。使っている版の一覧にモデルが出るかを確認してください。

sd-webui-controlnet、Forge、ControlNet 1.1 のリポジトリ、ComfyUI の ControlNet 手順が一次情報です。ComfyUI のコアだけには、すべての前処理は入っていません。公式チュートリアルも、前処理済みの画像を渡す例と、補助ノードを使う例を分けています。線や骨格を自分で作るなら comfyui_controlnet_aux を入れます。導入後のメニュー名は版で変わるので、公式ドキュメントで確認してください。

手順は短く保ちます。インストールの細部は、版で画面が変わるため、上の一次情報を見てください。

1. チェックポイントを、ControlNet と同じベースにする。 2. モデルファイルを models/ControlNet に置き、UI を更新する。 3. ControlNet の欄を有効にし、参照画像を置く。 4. 前処理とモデルを、同じ種類で選ぶ。OpenPose の画像に Canny のモデルは合わせません。 5. Pixel Perfect を使い、Control Weight は 0.8 から 1.0、開始は 0、終了は 1 を目安にする。 6. プロンプトには服と画風を書き、生成する。

Enable: on
Preprocessor: openpose (or the matching type)
Model: the file for that same type and base
Weight: 0.8
Starting step: 0
Ending step: 1
Pixel Perfect: on

Control Mode は、最初は Balanced です。プロンプトの服が参照に負けるときは「プロンプトを優先」側、姿勢がプロンプトに負けるときは「ControlNet を優先」側へ一つだけ動かします。両方の極端を同じ日に試すと、どちらが効いたのかが残りません。

開始と終了は、生成のどの区間で参照を効かせるかです。0 が最初、1 が最後、という割合で扱う画面が一般的です。最初だけ参照に寄せ、終わりはプロンプトの塗りに任せるなら、終了を 0.8 前後まで下げます。これは目安です。項目名が Step でも Percent でも、画面の説明が 0 から 1 なら割合です。版によってステップ数そのものを入れる欄もあるので、ラベルを読んでください。

参照画像とプロンプトの人数が違うと、人が増減します。一人の骨格に 2 adults を書かないでください。二人の位置のタグ側は 二人構図 です。

ComfyUI では、Load ControlNet Model で models/controlnet のファイルを読み、Apply ControlNet で条件付けに重ねます。公式チュートリアルでは、positive の条件付けに Apply ControlNet を繋ぐ形が示されています。negative にも同じ参照を通すかは、ワークフローによって違います。最新の繋ぎは公式ドキュメントで確認してください。

Load Image
  -> preprocessor (comfyui_controlnet_aux) if the image is not already a pose or a line
Load ControlNet Model
Apply ControlNet
  conditioning: CLIP Text Encode (positive)
  control_net: Load ControlNet Model
  image: the pose, line, or depth
  strength: 0.8
  start_percent: 0
  end_percent: 1
KSampler

strength が WebUI の Weight に近い数字です。start_percent と end_percent が、開始と終了の割合です。初期は 0 と 1、つまり全区間です。前処理の解像度を生成サイズに合わせる考え方が、WebUI の Pixel Perfect に近い役割です。ノードの名前は版で違います。

SDXL の Union を使うときは、Load ControlNet Model に Union のファイルを指定し、前処理だけを目的の種類にします。SD 1.5 の control_v11p_sd15_openpose を、SDXL のチェックポイントへ繋がないでください。読み込めても、姿勢は乗りません。

前処理済みの画像を自分で用意できるなら、補助ノードは省略できます。公式チュートリアルも、その前提で例を置いています。省略したときに色が参照のまま残るのは、線や骨格ではなく元の写真を渡しているときです。渡す画像が写真なのか、抽出した線なのかを、先に確認してください。

数字は、画面の初期値と、よく使う範囲です。最適値の測定結果ではありません。

Weight を 1.2 以上にしても姿勢が乗らないときは、モデルのベースが違います。数字を上げる前に、ファイル名の sd15 と、今のチェックポイントの系統を見比べてください。

姿勢は乗るのに、服が参照画像の服のままになるときは、Weight を 0.7 まで下げるか、終了を 0.8 にして、プロンプトの服を人数の直後へ移します。画風まで参照に引っ張られるときも同じです。参照は構造だけに戻し、塗りはプロンプトへ返します。

手だけが崩れるときは、OpenPose Full のように手の点がある前処理へ切り替え、プロンプトの手のポーズは一つにします。点の無い Canny で指を精密に再現しようとすると、線は残っても本数が増えやすいです。指のネガティブは 手・指のプロンプト と併用します。

モデル・バージョンによって効きが違うことがあります。Union が Forge の一覧に出るかも、版に依存します。最新の項目名は公式ドキュメントで確認してください。

比較する日は、抽出済みの骨格や線を固定します。毎回抽出し直すと、関節が少しずつ動き、服を変えたのか姿勢が変わったのかが残りません。固定した参照に対して、プロンプトの服だけを差し替えた二枚を見てください。二枚で姿勢が同じなら、ControlNet は仕事をしています。姿勢まで変わるなら、Weight が低いか、参照が KSampler まで届いていません。

参照の色が残るのは、失敗というより、写真そのものを渡しているときによく起きます。線や骨格のプレビューに、服の模様まで残っているなら、その模様はプロンプトより優先されやすいです。模様を消した線に作り直してから、もう一度同じプロンプトを通してください。Weight を 1.3 まで上げても、渡している画像が構造でなければ、構造にはなりません。

六つの型は、ControlNet が構造、プロンプトが見た目、という分け方です。参照画像は、自分で撮影したもの、自分で描いたもの、使用が許されたものだけを使ってください。

姿勢を成人の人物へ移す

1 adult woman, adult, black hair, white blouse, cardigan,
upper body, looking at viewer, simple background, soft daylight

ネガティブ:

bad anatomy, bad hands, extra fingers, missing fingers, extra arms, extra legs, fused bodies, blurry, lowres, text, watermark, signature, child, kid, toddler, baby, loli, shota, teen, underage, baby face

姿勢の語は参照に任せ、プロンプトは服と光だけにしています。カメラの高さを文章で足すなら 構図・アングルのプロンプト一覧 から一つです。

線画に色を塗る

1 adult woman, adult, black hair, white blouse, long skirt,
flat color, soft daylight, simple background

ネガティブ:

bad anatomy, bad hands, extra fingers, missing fingers, extra arms, extra legs, fused bodies, blurry, lowres, text, watermark, signature, child, kid, toddler, baby, loli, shota, teen, underage, baby face,
photorealistic

Lineart か Anime lineart を使い、線のモデルに写真の前処理を混ぜません。

奥行きは残して、服だけを変える

1 adult woman, adult, black hair, navy coat,
upper body, looking at viewer, indoor, window

ネガティブ:

bad anatomy, bad hands, extra fingers, missing fingers, extra arms, extra legs, fused bodies, blurry, lowres, text, watermark, signature, child, kid, toddler, baby, loli, shota, teen, underage, baby face

Depth で部屋の配置を残し、コートはプロンプト側に書きます。参照画像の服の色が残るときは、Weight を下げます。

二人の姿勢

2 adults, 1 adult woman, 1 adult man, adult,
white blouse, suit, necktie, standing, full body, simple background

ネガティブ:

bad anatomy, bad hands, extra fingers, missing fingers, extra arms, extra legs, fused bodies, blurry, lowres, text, watermark, signature, child, kid, toddler, baby, loli, shota, teen, underage, baby face,
extra people

参照の人数と 2 adults を一致させます。二人の距離の語は 二人構図 です。男性二人の姿勢集は BLポーズ ですが、ControlNet を使うときも参照画像の権利は同じです。

建物の奥行きを残す（人物なし）

building exterior, stone wall, front view, soft daylight, clear sky

ネガティブ:

bad anatomy, bad hands, extra fingers, missing fingers, extra arms, extra legs, fused bodies, blurry, lowres, text, watermark, signature, child, kid, toddler, baby, loli, shota, teen, underage, baby face,
text, watermark

配置を保ったまま細部を増やす

1 adult woman, adult, black hair, white blouse,
portrait, looking at viewer, soft daylight, detailed

ネガティブ:

bad anatomy, bad hands, extra fingers, missing fingers, extra arms, extra legs, fused bodies, blurry, lowres, text, watermark, signature, child, kid, toddler, baby, loli, shota, teen, underage, baby face

Tile は、元の配置を崩さずに拡大や再描画へ進むときの種類です。倍率の推奨値はここには書きません。UI の拡大手順に合わせてください。

自然文。構造は参照画像、文章は見た目

1 adult woman, adult, wearing a white blouse and a cardigan.
Keep the pose from the reference image. Change only the clothing and the lighting.
Soft daylight, plain background. Keep the clothing on.
Negative: bad anatomy, bad hands, extra fingers, missing fingers, extra arms, extra legs, fused bodies, blurry, lowres, text, watermark, signature, child, kid, toddler, baby, loli, shota, teen, underage, baby face

ChatGPT や Gemini に参照画像を渡せる画面では、姿勢を文章で繰り返さず、残すものと変えるものを一文で分けます。FLUX の Canny と Depth は ControlNet のファイルではありません。公式リポジトリの、そのモデル用の手順を使ってください。

症状ごとに、数字を上げる前に見る場所が違います。

前処理のプレビューが出る画面では、生成の前にそのプレビューを見てください。骨格が折れている画像を渡すと、生成側も折れます。プレビューが真っ黒なら、前処理のモデルがダウンロードできていません。サイズの数字を変えるより、補助ファイルの取得を先に確認します。取得先は、使っている拡張の説明に従ってください。

LoRA と同時に使うときは、ControlNet で姿勢が三枚安定してから、LoRA の強さを 0.5 前後で足します。同じ日に両方の強さを動かすと、原因が分かれません。書き方は LoRAの使い方 です。

反映されない、と見える枚の半分は、欄がオフのままです。WebUI では Enable、ComfyUI では Apply ControlNet が条件付けに繋がっているか、を生成ボタンの前に見ます。繋がっていても、チェックポイントを SDXL に変えたあとで SD 1.5 のファイルが選ばれたままだと、姿勢は乗りません。モデルを切り替えた日は、ControlNet のファイル名をもう一度読んでください。sd15 が残っていたら、そのベース用ではありません。

手が画面の端で切れている参照は、指の点が欠けます。欠けた点を渡すと、生成側も欠けます。参照を引きで撮り直すか、手を骨格の内側に入れてから抽出してください。プロンプトに detailed hands を足しても、欠けた点は戻りません。

参照画像は、自分で撮影したもの、自分で描いたもの、使用が許されたものだけにしてください。他人の写真、既存の作品の画面、権利者の許可が必要なキャラクターの立ち絵を、そのまま ControlNet に入れないでください。構造だけを抽出しても、元の画像の権利が消えるわけではありません。

出力を公開するときは、チェックポイントと ControlNet ファイルのライセンスも確認します。商用利用と、生成物の条件はモデルごとに違います。配布ページには成人向けの作例が含まれることがあります。閲覧に注意してください。このページは、ファイルの入手先を特定の成人向けサイトへは案内しません。

実在の人物の写真から姿勢以外の顔まで移したい、という使い方はここには書きません。姿勢の骨格と、服や光のプロンプトを分ける、までがこのページの範囲です。最新のライセンスは、各モデルの公式ページで確認してください。

公開する前に、参照画像の出所を自分のメモに残します。自分で描いた線画、自分で撮った姿勢、使用が許された素材、のどれかです。メモが無い画像は、生成の前に外してください。抽出した骨格だけを保存して元の写真を捨てても、元の写真に権利があれば、使ってよいことにはなりません。骨格は手段で、許諾の代わりにはなりません。

出力側も同じです。ControlNet のファイルが商用を許していても、チェックポイントが非商用なら、公開の条件は厳しい方に合わせます。両方のカードを開いて、商用の行だけを読んでから、公開用のフォルダへ移してください。試しの枚と公開の枚を混ぜると、後からどちらのライセンスだったかが消えます。