Stable Diffusion web UI x Kohya's GUI：训练 LoRA 模型教学，快速上手最流行的 AI

0xSoul

我知道大家已经等了这篇图文教程很久了！站长一直在等待软件和时机成熟，网络上有更多的参考资料和资源时才开始研究 LoRA 训练。过去我自己最常使用的是超网络（Hypernetwork）训练小模型来达成特定画风或人物（物件）的绘制，但训练步数要 2000 至 10000 步，我都设置每 500 步存一个小模型，训练完后自己去挑选 LOSS 值较低且效果较佳的模型，整个流程相当耗时费力（通常耗时约两至三小时），成功率不一定很高。

而 LoRA 训练小模型有特定的公式，每张图最少训练 100 步，总步数不低于 1500 步，也就是说建议训练图片大于 15 张，若小于则用这个公式计算每张步数：“1500/图片张数=每张训练步数”，举例来说，我训练的图片共 10 张，那我就是每张训练 150 步即可，只要依照这个公式去训练产生的小模型效果就会很好，若不好就是要去检查训练图片是否合适，图片品质很重要（建议都用 R-ESRGAN 4x+ Anime6B 去跑一次去除杂音及优化），尺寸统一都是 1:1，而我就设为基本的 512 x 512 px，效果就很好了！如果显卡够力可以试着 768 x 768 px 的图片拿去训练看看！训练 LoRA 最低显卡 VRAM 为 7G！所以市售 8G、12G VRAM 的显卡都适合拿来用。

LoRA 训练出来的小模型文件不大，顶多 100 多 MB 而已，而且每训练一个模型只要不到十分钟，很快就能让 AI 学会一个物件如何绘制，非常强大，实际产图成功率极高，能非常接近我想要的模样，二次元动漫风格用 LoRA 训练出来的模型绘制非常合适，这次就以「孤独摇滚！」（ぼっち・ざ・ろっく！，Bocchi the Rock!）中的登场角色以「喜多郁代」（きた いくよ，Kita Ikuyo）为例进行训练，并编写本篇教程供大家参考。

使用软件列表

Stable Diffusion web UI：处理训练图片、AI 绘图用
Kohya's GUI：训练 LoRA 模型
※备注：请先点入个别软件链接去依照教学安装好，熟悉软件界面操作后再往下看教学。



为了准备训练图像，我将D盘作为主要工作位置，文件夹的排列如下：

文件夹排列：
📂 D:\ai\source -> 存放训练图像的文件夹（已去噪声并裁剪为1:1比例）
📂 D:\ai\model -> 存放 LoRA 模型输出的位置
📂 D:\ai\destination -> 存放整理过后的训练图像的位置，训练时从该文件夹读取（包括 txt 提词注释）

我一共准备了17张训练图像，每张图像训练100次，预计完成LoRA模型的训练需要1700步。


▲ 这是我已经裁切处理好的 17 张要训练的图片，都是喜多郁代！特别注意，建议多个角度、表情，以脸为主，全身的图几张就好，这样训练效果最好。


首先使用 Stable Diffusion web UI 生成提词注释的文本文件(txt格式)，然后在“训练”->“图像预处理”页面中清晰地写下源目录和目标目录，勾选“使用deepbooru生成说明文字（标记）”，最后点击“预处理”。




最后，您可以在目标目录中找到配有txt文件的训练图像，并将它们整理到一个子目录中，命名方式为“每张步数+底线+模型名称”，前文已经说明了每张步数的计算公式！按照公式计算就不会出问题！在这里，我将其命名为“100_kita_ikuyo”，软件将直接读取每张步数。




接下来切换到Kohya's GUI，进入“Dreambooth LoRA”，点击“Configuration file”加载快速配置文件。在这里，我整理了以下两种快速配置文件，参考了外国网友的教程，请将其全文复制并存储为.json文件，并在此处加载。（* *只需加载一种配置文件）

LoraBasicSettings.json （基础设置文件）

1. {
   
2.   "pretrained_model_name_or_path": "runwayml/stable-diffusion-v1-5",
   
3.   "v2": false,
   
4.   "v_parameterization": false,
   
5.   "logging_dir": "",
   
6.   "train_data_dir": "D:/ai/destination",
   
7.   "reg_data_dir": "",
   
8.   "output_dir": "D:/ai/model",
   
9.   "max_resolution": "512,512",
   
10.   "learning_rate": "0.0001",
    
11.   "lr_scheduler": "constant",
    
12.   "lr_warmup": "0",
    
13.   "train_batch_size": 2,
    
14.   "epoch": "1",
    
15.   "save_every_n_epochs": "1",
    
16.   "mixed_precision": "fp16",
    
17.   "save_precision": "fp16",
    
18.   "seed": "1234",
    
19.   "num_cpu_threads_per_process": 2,
    
20.   "cache_latents": true,
    
21.   "caption_extension": ".txt",
    
22.   "enable_bucket": false,
    
23.   "gradient_checkpointing": false,
    
24.   "full_fp16": false,
    
25.   "no_token_padding": false,
    
26.   "stop_text_encoder_training": 0,
    
27.   "use_8bit_adam": true,
    
28.   "xformers": true,
    
29.   "save_model_as": "safetensors",
    
30.   "shuffle_caption": false,
    
31.   "save_state": false,
    
32.   "resume": "",
    
33.   "prior_loss_weight": 1.0,
    
34.   "text_encoder_lr": "5e-5",
    
35.   "unet_lr": "0.0001",
    
36.   "network_dim": 128,
    
37.   "lora_network_weights": "",
    
38.   "color_aug": false,
    
39.   "flip_aug": false,
    
40.   "clip_skip": 2,
    
41.   "gradient_accumulation_steps": 1.0,
    
42.   "mem_eff_attn": false,
    
43.   "output_name": "Addams",
    
44.   "model_list": "runwayml/stable-diffusion-v1-5",
    
45.   "max_token_length": "75",
    
46.   "max_train_epochs": "",
    
47.   "max_data_loader_n_workers": "1",
    
48.   "network_alpha": 128,
    
49.   "training_comment": "",
    
50.   "keep_tokens": "0",
    
51.   "lr_scheduler_num_cycles": "",
    
52.   "lr_scheduler_power": ""
    
53. }

复制代码

LoraLowVRAMSettings.json （低VRAM设置文件）

1. {
   
2.   "pretrained_model_name_or_path": "runwayml/stable-diffusion-v1-5",
   
3.   "v2": false,
   
4.   "v_parameterization": false,
   
5.   "logging_dir": "",
   
6.   "train_data_dir": "D:/ai/destination",
   
7.   "reg_data_dir": "",
   
8.   "output_dir": "D:/ai/model",
   
9.   "max_resolution": "512,512",
   
10.   "learning_rate": "0.0001",
    
11.   "lr_scheduler": "constant",
    
12.   "lr_warmup": "0",
    
13.   "train_batch_size": 1,
    
14.   "epoch": "1",
    
15.   "save_every_n_epochs": "1",
    
16.   "mixed_precision": "fp16",
    
17.   "save_precision": "fp16",
    
18.   "seed": "1234",
    
19.   "num_cpu_threads_per_process": 2,
    
20.   "cache_latents": true,
    
21.   "caption_extension": ".txt",
    
22.   "enable_bucket": false,
    
23.   "gradient_checkpointing": true,
    
24.   "full_fp16": false,
    
25.   "no_token_padding": false,
    
26.   "stop_text_encoder_training": 0,
    
27.   "use_8bit_adam": true,
    
28.   "xformers": true,
    
29.   "save_model_as": "safetensors",
    
30.   "shuffle_caption": false,
    
31.   "save_state": false,
    
32.   "resume": "",
    
33.   "prior_loss_weight": 1.0,
    
34.   "text_encoder_lr": "5e-5",
    
35.   "unet_lr": "0.0001",
    
36.   "network_dim": 128,
    
37.   "lora_network_weights": "",
    
38.   "color_aug": false,
    
39.   "flip_aug": false,
    
40.   "clip_skip": 2,
    
41.   "gradient_accumulation_steps": 1.0,
    
42.   "mem_eff_attn": true,
    
43.   "output_name": "Addams",
    
44.   "model_list": "runwayml/stable-diffusion-v1-5",
    
45.   "max_token_length": "75",
    
46.   "max_train_epochs": "",
    
47.   "max_data_loader_n_workers": "1",
    
48.   "network_alpha": 128,
    
49.   "training_comment": "",
    
50.   "keep_tokens": "0",
    
51.   "lr_scheduler_num_cycles": "",
    
52.   "lr_scheduler_power": ""
    
53. }

复制代码

接下来，在“(Optional) Model Quick Pick”中选择“custom”自定义训练基础模型，左侧的“Pretrained model name or path”选择大型模型。由于我们要训练二次元动漫人物模型，因此需要选择用于绘制此类物体的大型模型作为基础模型！下面的两个选择框只需要勾选使用 Stable Diffusion 2.0 架构生成的大型模型，但目前大多数大型模型仍然是使用 Stable Diffusion 1.0 架构生成的，因此这里都不勾选。






在“Folders”部分，我已经为大家设置了路径，您可以将其更改为您喜欢的路径！“Model output name”可设置模型输出名称。





在“Training parameters”部分，基本上在快速设置文件中已经设置好了！基础设置中的“Train batch size”设置为2，意思是训练批次为2，因此原本的1700步训练只需要850步就可以完成，但相对会牺牲更多的VRAM，这取决于您的GPU性能。 “Max resolution”是训练图像的宽高，通常为512 x 512像素，除非您的GPU非常强，否则不需要更改。如果您有兴趣研究其他设置，可以进一步了解其设置！






点击“Train model”开始训练LoRA小模型，可以在终端输出端看到正在运行的画面。




▲ 训练完成！可以到输出目录找到单个小模型文件，直接复制到 stable-diffusion-webui\models\Lora 下面，这样就能用它来 AI 绘图啦！您看是不是很快，十分钟不到就生成了一个小模型！





▲ 大模型选一样的，提词、参数设置好点红色箭头处的图标。


我用了这个promet：

masterpiece, (best quality:1.2), Amazing, beautiful detailed eyes, 1girl, solo, finely detail,depth_of_field, extremely detailed CG unity 8k wallpaper, (kita_ikuyo:1.3), (upper_body), red_hair, skirt, shoes, (open_mouth:0.7), (ok_sign), school_uniform, pleated_skirt, long_hair, yellow_eyes, bow, sailor_collar, white_legwear, loafers, socks, red_bow, bowtie, smile, serafuku, brown_footwear, looking_at_viewer, long_sleeves, red_bowtie, :d.

▲ 选择「Lora」标签，点击刚刚训练好的小模型就会自动在提词处末端加入<lora:name:1>，1 代表强度为 100%，我常常设置为 0.8，即强度为 80%。如果没有看到刚刚训练好的小模型，可以点击「Refresh」重新载入哦！都确认无误就能点击「生成」开始 AI 绘图了！



左侧是无lora模型，右侧是有lora模型


▲ AI绘图生成结果，有无 LoRA 模型就是差这么多！这两张种子码一样，一次输出就有如此高的成功率，非常强大。

希望这次的教学能帮助您突飞猛进，AI绘图短短几个月发展成这样，非常惊人。当然目前要操作到训练等还是需要不少技术能力，门槛不算低，不过随着软件进步，未来入手门槛将会大大降低。当然要能好好运用 AI 绘图，还是要从基础下手啦！


排错笔记：

如果在更新 Kohya's GUI 后进行训练时遇到以下错误信息：

Traceback (most recent call last):
File "D:\kohya_ss\train_network.py", line 573, in <module>
train(args)
File "D:\kohya_ss\train_network.py", line 356, in train
"ss_noise_offset": args.noise_offset,
AttributeError: 'Namespace' object has no attribute 'noise_offset'
[...]

先到 https://github.com/kohya-ss/sd-scripts 下载 ZIP 文件，将 sd-scripts-main\library 中的 train_util.py 复制到 kohya_ss\library 下取代原文件，重新跑一次训练就能正常运作了！目前发现新版软件训练时会占用更多 GPU VRAM。