モデルの説明
アニメ調に寄せた「SDXL(stable-diffusion-xl-base-1.0)」モデルです,内容は「niji-v5」データセットでLoRAファインチューニングしてマージしたモデルです,
使用例
niji-diffusion-xl-base-1.0.safetensorsとstable-diffusion-webuiで以下のパラメータで画像生成します,
※合計13000枚ぐらい100枚しか学習していないのでPromptに複数書くとnijiの絵じゃなくなります,Negative promptに複数書くのは大丈夫っぽいです,
Prompt:
masterpiece, best quality, high quality, absurdres, 1girl, flower
Negative prompt:
worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
PNG info:
Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 1536x1024, Model hash: 791d0c791e, Model: sd_xl_niji_1.0, Clip skip: 2, ENSD: 31337, Token merging ratio: 0.5, Eta: 0.67, Version: v1.5.1
「かんたん☆コピー機学習法（きっと初級編）」を参考に、「ぼかし（blur）」のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします, 1で作ったモデルに、niji-v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします, LoRAモデルとして配布できるようにしたいです, というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています, うまく調整できず何度もやり直して大変でした,あとで作り方を動画にしたいです, モデル、学習データや学習ツールを作成および配布してくださった方々に心から感謝申し上げます, sd-scripts 4072f723c12822e2fa1b2e076cc1f90b8f4e30c9 bitsandbytes 0.39.1 Pytorch 2.0.0+cu117 xformers 0.0.19
モデルの作り方
今後のモデルの改善
感想
謝辞
ライブラリ
ライセンス
描述:
さらにnijijourneyの画像1000枚ほどを目で見てアニメやイラスト風で良いもの選んで学習させました。
以下に何をやったか記録しますが、何が効いているのかわかりません。
以下にハイパーパラメータを記載しますが、その後v11とsd-webui-supermerger階層マージ（block_lrに近い絵が良さそうな比率）をしているため一度で仕上がりませんでした。
最後にblurを-0.05ほど、LECOで作ったanimeを1でLoRAマージして仕上げました。
-
GPU: RTX3090 24GB
-
optimizer_type: PagedLion8bit
-
optimizer_args: weight_decay=0.01, betas=.9,.999
-
block_lr: 0,1e-08,1e-08,1e-08,1e-08,1e-07,1e-07,1e-07,1e-06,1e-06,1e-05,1e-05,1e-05,1e-06,1e-06,1e-07,1e-07,1e-07,1e-08,1e-08,1e-08,1e-08,0
-
lr_scheduler: cosine
-
lr_warmup_steps: 100
-
gradient_checkpointing
-
mixed_precision: bf16
-
full_bf16
-
max_token_length: 225
-
min_snr_gamma: 5
-
noise_offset: 0.0357
-
max_train_epochs: 3
-
batch_size: 10
-
enable_bucket: true
-
resolution: [1024,1024]
训练词语:
名称: nijiDiffusionXlBase1_v23.safetensors
大小 (KB): 6775433
类型: Model
Pickle 扫描结果: Success
Pickle 扫描信息: No Pickle imports
病毒扫描结果: Success
