AIGC

该章节主要介绍 Stable-Diffusion 中模型的训练，考虑到硬件条件的限制，实际上这里介绍的训练，都是针对大模型的各种微调技术（Lora，Dreambooth，HyperNetwork, …），这里会以 LoRA 模型的训练为主。 参考文献： AIGC教程：Stable Diffusion精进，如何训练特定画风LoRA模型？ | 游戏大观 | GameLook.com.cn stable diffusion打造自己专属的LORA模型 - 王清培 - 博客园 (cnblogs.com) sd-scripts/train_README-zh.md at main · kohya-ss/sd-scripts · GitHub Train LoRA LoRA 的优势就是其模型更小，且更加模块化；也就是说其的训练成本和要求都更低，同时使用代价小，可以作为某种风格插件或者角色插件来使用。 使用 LoRA 进行 Stable Diffusion 的高效参数微调 (huggingface.co) [2106.09685] LoRA: Low-Rank Adaptation of Large Language Models (arxiv.org) ...

该章节主要包括 Promot 生成和部分工作流的分析，旨在了解如何写出更好的关键词，如何生成更好的图片，当我们不知道怎么描述的时候也可以将该工作交给 ChatGPT，让其为我们攥写一般基础的提示词 Prompt 编写范式 参考资料：【Stable Diffusion】Prompt 通常编写可以遵照以下的类别进行组织，主要有 <质量控制> + <前置> + <主体> + <场景词> 几类，其中分别包括以下的几类词： 质量控制：画质、镜头效果、光照效果 前置词：画风、艺术家、风格 主体：人物&对象、姿势、服装、道具 场景：环境、背景、细节 Additional Network：载入额外模型 分割符号： 各个关键词之间用 , 分割，且对应的权重从前到后依次递减，因此在编写关键词的时候也要注意先后顺序。 权重加权符号：各种括号代表各种不同的加权系数，这里建议用 (prompt: weight) 统一来编写提示词的权重规则，整体可读性会更好。 这里的 weight 指的是权重变成原本的 weight 倍，就可以调整加强或减弱。 各个括号的默认系数如下: () -> 1.1 ; {} -> 1.05 ; [] -> 0.952 可以通过(())进行叠加即 1.1*1.1 额外模型调取：编写格式为 <lora:loramodelname:multiplier>，即载入 loramodelname 模型，权重为 multiplier，该权重不建议过大。 关键词的切换： 语法如下 [key1:key2:step]，通过该语法可以实现在进行到不同步骤的时候使用不同的关键词进行渲染，其中 :key2 可以忽略，忽略后即可理解为 ["":key1:step]，有一下的一些规则： Step 在大于 1 时表示具体的步骤，小于 1 时表示迭代步数的百分比 如果想要在某步之后忽略 key1，与上面忽略 key2 正好相反，可以写成 [key1::step] [key1|key2] 则表示两个关键词交替选择渲染 反向提示词：反向提示词就是让 AI 避免生成什么样的图片，使用得当可以帮助我们更好的生成想要的图片，后面再关键词的地方会介绍一些常见的反向关键词，例如低画质相关和一些容易变形身体部位的描述等 ...

ControlNet 是 Stable Diffusion 最强力的插件之一，它能够控制 SD 的整个扩散过程，包括让 AI 参考动作/骨架/线条/景深，从而更精准的生成图片。 ControlNet 按照骨架動作繪圖 | Stable Diffusion WebUI使用手冊 骨架人偶 PoseX | Stable Diffusion WebUI 使用手冊 生成多個人物 Latent Couple | Stable Diffusion WebUI使用手冊 拓展地址：Mikubill/sd-webui-controlnet: WebUI extension for ControlNet (github.com) ControlNet 地址：lllyasviel/ControlNet: Let us control diffusion models! (github.com) 模型地址：lllyasviel/ControlNet-v1-1 at main (huggingface.co) 插件安装和模型下载 AssertionError: extension access disabled because of command line flags 无法在 Listen 模式下安装插件，这是为了安全性考虑。 插件安装界面安装 ControlNet 的 webui 插件，然后去模型地址下载 ControlNet 的模型，将模型放置在：stable-diffusion-webui/extensions/sd-webui-controlnet/models 目录中，而 CN 其中包含了很多种类，包括： ...

本篇章介绍关于 Stable DIffusion 的一些基础概念和 WebUI 的基本功能元素，同时介绍一些启动项和模型加载的东西。 启动项设置（局域网） 最常用的启动项是 --listen，通过该启动项允许局域网内的其他设备通过 ip 和端口访问部署好的 Stable Diffusion 服务。而设置启动项的方式有以下几种： 命令行执行启动脚本的时候携带 powershell ./webui.bat --listen # ./webui.sh --listen 修改主入口脚本中的启动选项 vim launch.py python # 修改下面这一行的参数, 将" "中填入需要的参数 # commandline_args = os.environ.get('COMMANDLINE_ARGS', "") commandline_args = os.environ.get('COMMANDLINE_ARGS', "--listen") 其他的启动项介绍可以参考：2.3. 命令列引數 | Stable Diffusion WebUI使用手冊(正體中文)｜Ivon的部落格 (ivonblog.com) 模型相关 提供相关模型下载的网址主要有以下几个： ...

This Chapter introduce how to set up stable diffusion and mid-journey, and record some problem I meet when I deploy it. (Deprecated) midjourney 由于 midjourney 现需要付费使用，同时没有开源，因此我们讲一笔带过该部分内容，该部分内容大多转载于 超详细！AI 绘画神器 Midjourney 基础使用手册 midjourney 的安装步骤主要分成以下的几步： 点击 Join the Beta 注册账号，注册完会跳转到； Discord 首页，亲自创建自己的服务器，仅供我和我的朋友使用； 下载客户端，在默认对话界面讯在或开始新的对话，输入 Midjourney Bot，添加到服务器 付费开启体验。 (Deprecated) DreamStudio 说是可以本地部署，但是实际体验非常不好，应该只是部署了 Webui，然后调用官方提供的免费 API；所以有时候生成不出来，但是又不报错，不知道是不是使用姿势有问题，反正很屎。 https://github.com/Stability-AI/StableStudio 装好 npm 和 yarn 参考 quick start，git clone -> (cd) yarn 安装 -> yarn dev 部署在本地端口上。 官网注册账号-> 获取 API -> 填入并在最上方转到 Generate 页面即可。 Stable Diffusion 部署专题 该部分作为 Intro，仅介绍 Stable Diffusion 的安装和部署，以及一些启用参数等，具体的使用在后面的文章进行进一步的讲解。 ...