コントロールネット
画像素材を使ってお絵描きAIを操る ControlNet についてのメモです。
参照画像 → preprocessor → model → 画像AI
このような動作なので、適切な preprocessor と model の組み合わせを指定する必要があります。
配布されているものを利用する場合など、プリプロセス済みの画像が既にあるなら、modelの指定だけで使えます。
用途
線画ラフからカラーイラストへ
scribble、t2ia_sketch_pidi
カラーイラストを線画に変換（preprocessorのみで可）
lineart_anime_denoise、lineart_realistic、invert (from white bg & black line)
モノクロ線画に着色
lineart_anime
元画像をアレンジ
tile_resample、control_v11e_sd15_ip2p
ざっくりしたカラーマスク作成
seg（preprocessorのみで可）
preprocessor + model
invert (from white bg & black line)
階調を反転するだけ？
canny
control_canny-fp16、t2iadapter_canny_sd14v1、control_v11p_sd15_canny
検出した輪郭線を使って、色違いの絵を描く。
depth_leres
control_depth-fp16、control_v11f1p_sd15_depth、t2iadapter_depth_sd14v1
検出した深度マップを使って絵を描く。
depth_leres++
depth_midas
depth_zoe
inpaint_global_haromonious
control_v11p_sd15_inpaint
inpaintのすごいやつ、らしい。
lineart_anime
control_v11p_sd15_lineart、control_v11p_sd15s2_lineart_anime
モノクロ線画の参照もOK。線画の着色をしてくれる感じのアレ。
lineart_anime_denoise
lineart_coarse
細い線を重ね描きしたような線画。
lineart_realistic
lineart_standard(from white bg & black line)
mediapipe_face
control_v2p_sd15_mediapipe_face
https://www.fanbox.cc/@hcanadli12345/posts/5781249
参照画像の人物の表情を検出して、同じ顔の位置に表情をした絵を描く。
アニメ顔は認識しづらいみたい。実写参照で実写描画だと効く。
mlsd
control_mlsd-fp16、control_v11p_sd15_mlsd
参照画像から直線を検出する。曲線は無視される。
normal_bae
control_v11p_sd15_normalbae
法線マップ（ノーマルマップ）を参照して絵を描く。
normal_midas
control_normal-fp16
openpose
control_openpose-fp16、control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1
参照画像の人物からポーズを検出して、絵を描く。
OpenPose系の参照画像は実写が適している感じ。
openpose_face
openpose_faceonly
openpose_full
openpose_hand
reference_adain
reference_adain+attn
reference_only
参照画像の要素を使って絵を描く。参照画像と似たキャラが描ける。
scribble_hed
control_scribble-fp16、control_v11p_sd15_scribble
ざっくりした輪郭線を使って絵を描く。モノクロのラフ画像も使える。
scribble_pidinet
scribble_xdog
他のscribbleよりも画像が精細。
seg_ofade20k
control_seg-fp16、control_v11p_sd15_seg、t2iadapter_seg_sd14v1
seg_ofcoco
seg_ufade20k
shuffle
control_v11e_sd15_shuffle
参照画像を変形させたものを使って絵を描く。どう使うのかな？
softedge_hed
control_v11p_sd15_softedge、control_hed-fp16
softedge_hedsafe
白、黒、グレーの3階調になるみたい。
softedge_pidinet
softedge_pidisafe
白、黒、グレーの3階調になるみたい。
t2ia_color_grid
t2iadapter_color_sd14v1
モザイクタイル化した配色を利用して画像を生成する。
t2ia_sketch_pidi
t2iadapter_sketch_sd14v1
モノクロラフ画像OK。
t2ia_style_clipvision
t2iadapter_style_sd14v1
https://www.youtube.com/watch?v=swkqAgGxTzI
参照画像と似たような画像を作れるけど、よくわからない。
threshold
白黒2階調。
https://www.fanbox.cc/@hcanadli12345/posts/5834864
tile_resample
control_v11f1e_sd15_tile
プロンプトで元絵をアレンジ、サイズ変更、別のCheckpointを使って絵柄の変更など。
model only
control_v11e_sd15_ip2p
参照画像をアレンジする。 prompt: fire; bloom
make it into X, という構文がいいらしい。
元絵を維持したい場合は、Control Weight 1.5等に高くするといいっぽい？
t2iadapter_keypose_sd14v1
preprocessor が出てくるまで使い道が無さそう？
https://twitter.com/clock_luna/status/1626687253522305024
参考リンク
はかな鳥｜pixivFANBOX
https://www.fanbox.cc/@hcanadli12345
【Stable Difussion Web UI】ポーズや表情を自由に変えられる「ControlNet 1.1」の使い方！ | イクログ
https://ikuriblog.com/how-to-use-controlnet-with-stable-difussion-web-ui/
0 件のコメント:
コメントを投稿