最新更新時(shí)間：2023/8/10
名詞解釋
lora
lora是大模型的路標(biāo)，是字典的書簽。AI將提示詞對應(yīng)的底模特征與訓(xùn)練集中的特征進(jìn)行對比，將兩者的差異進(jìn)行對比并將差異儲(chǔ)存，這就是lora。
AI在訓(xùn)練集學(xué)習(xí)時(shí)，先識(shí)別訓(xùn)練集中特征，并將此特征與最符合的提示詞進(jìn)行綁定。所以當(dāng)提示詞中沒有合適的對象時(shí)，則綁定到了觸發(fā)詞中。
當(dāng)AI識(shí)別的特征過于復(fù)雜時(shí)，難以識(shí)別其屬于哪種提示詞，也無法精確地綁定到對應(yīng)地提示詞，并污染solo等高度概括詞。這種情況在鬼怪類由為嚴(yán)重，需要專門裁切來強(qiáng)化訓(xùn)練，否則即便將復(fù)雜特征都賦予到觸發(fā)詞上，也會(huì)過擬合無法使用。
(資料圖片僅供參考)
在使用lora時(shí)，AI會(huì)優(yōu)先從lora中查詢提示詞對應(yīng)的特征。
底模
含義：訓(xùn)練lora時(shí)使用的大模型。
底模與訓(xùn)練lora的畫風(fēng)越貼近，在訓(xùn)練時(shí)，更容易將特征進(jìn)行匹配并記錄差異。許多新的大模型都是基于最初的大模型，將各種提示詞對應(yīng)的特征進(jìn)行了優(yōu)化，使之能出圖更加符合美感。但是這意味著這些特征已經(jīng)是被改造過的，如果魔化嚴(yán)重，在此底模訓(xùn)練出的lora在其他大模型上就難以使用，效果不佳。所以訓(xùn)練時(shí)，也推薦直接使用進(jìn)行l(wèi)ora訓(xùn)練。
loss率
含義：訓(xùn)練模型與實(shí)際樣本之間的偏差值，存在局部最優(yōu)以及全局最優(yōu)，
不同作者作者：
1、loss降低保證了更多的細(xì)節(jié)得到學(xué)習(xí)，訓(xùn)練圖片特征融合率更高（畫風(fēng)、劃痕、光影、色彩、材質(zhì)）
2、不同的圖片數(shù)量和特征差異所對應(yīng)的最優(yōu)化的loss出現(xiàn)在不同訓(xùn)練步數(shù)區(qū)間
3、好的loss率至少應(yīng)該在以下，不同優(yōu)化器的最佳loss不同
4、實(shí)踐上，同類對比下loss越低lora的效果越好，當(dāng)loss在后半段的波動(dòng)越穩(wěn)定，效果越好。
學(xué)習(xí)率
含義：尋找最優(yōu)模型時(shí)的訓(xùn)練跨度，學(xué)習(xí)率的數(shù)值影響全局最優(yōu)的尋找路徑
泛化
含義：模型在訓(xùn)練集以外的數(shù)據(jù)上的擬合程度。
在使用其他提示詞和特征時(shí)，lora的特征仍能正確地被還原和使用。
梯度下降
含義：指導(dǎo)AI學(xué)習(xí)策略
擬合
過擬合：只會(huì)盲目照搬訓(xùn)練集里的圖，而不總結(jié)規(guī)律
過擬合特征：
Tag 失效，無法調(diào)用
畫面物體/人物出現(xiàn)詭異細(xì)節(jié)
畫面線條變粗
欠擬合：還原度太差，與訓(xùn)練集不相像
擬合成功：lora的目標(biāo)對象能成功還原出訓(xùn)練集中的特征
收斂
研究函數(shù)的重要工具，指學(xué)習(xí)結(jié)果會(huì)聚于一點(diǎn)，向某一值靠近
魯棒性
在異常和危險(xiǎn)情況下系統(tǒng)生存的能力，面對各種異常情況時(shí)仍能保持相對穩(wěn)定的性能。
即模型的穩(wěn)定性、堅(jiān)韌性。
表現(xiàn)：
在不同的大模型下都能有不錯(cuò)的發(fā)揮。
還原性
含義：與訓(xùn)練圖集特征的相似度
LyCORIS
特征：在畫風(fēng)結(jié)合效果上更好
官方：/KohakuBlueleaf/
正則化
含義：先驗(yàn)知識(shí)，在AI訓(xùn)練lora前提前認(rèn)知元素之間的相對位置。
作用1：提高lora的泛化能力，在煉制功能性和畫風(fēng)lora中必不可少。在物品lora中，使AI認(rèn)知物品的位置關(guān)系。
作用2：給某一提示詞提供不同的特征，從而降低此提示詞的權(quán)重，提高lora的泛化性，和突出目標(biāo)特征的還原性
官方網(wǎng)址：/kohya-ss/sd-scripts/blob/main/docs/train_
不同作者建議：
1、數(shù)量推薦：訓(xùn)練集（10~30）；正則訓(xùn)練集（80~100），至少大于等于訓(xùn)練集數(shù)量。訓(xùn)練次數(shù)：6_ 訓(xùn)練集,1_ 正則訓(xùn)練集。
2、不用打標(biāo)和預(yù)處理
3、不適用角色lora
4、用于數(shù)據(jù)增強(qiáng)：在人型lora訓(xùn)練集中放入風(fēng)格和姿態(tài)各異的無臉果圖來假裝角色對象的裸體形象，從而泛化其畫風(fēng)和動(dòng)作，適用于訓(xùn)練集數(shù)量過少的情況。（對此方法的還原性存疑，以及訓(xùn)練步數(shù)參數(shù)未知）
先驗(yàn)知識(shí)
先驗(yàn)知識(shí)是指在進(jìn)行學(xué)習(xí)、推理或決策之前已經(jīng)具備的關(guān)于特定領(lǐng)域的知識(shí)和概念。
在機(jī)器學(xué)習(xí)中，先驗(yàn)知識(shí)可以用來指導(dǎo)模型的學(xué)習(xí)過程，幫助模型更快、更準(zhǔn)確地進(jìn)行訓(xùn)練和推理。
先驗(yàn)知識(shí)可以幫助我們從大量的信息中篩選出重要的內(nèi)容，減少冗余和無關(guān)信息的干擾
打標(biāo)類型與對比
提示詞分類：
喚起（觸發(fā)詞、高度概括詞1girl、solo）
人物特征（發(fā)型、發(fā)色、眼睛顏色、臉型）
衣服（上中下）
配件（服飾配件武器）
姿勢（表情）
背景（特效視角表達(dá)形式）
負(fù)面詞
打全標(biāo)：中庸
不刪除任何詞（包括重復(fù)的詞匯，僅刪除錯(cuò)誤詞）
刪特征：還原與泛化不錯(cuò)
人物特征詞被刪除
僅喚起：過擬合
人物特征詞被刪除，衣服保留高度概括詞（shoes、uniform?）
不同打標(biāo)方法效果對比
判斷邏輯：只有需要的特征得到充分還原便是好，不需要的特征越充分還原就越不受控。
過擬合：僅喚起
泛化性（換裝能力）：正則化>全標(biāo)=刪特征>?僅喚起
過擬合風(fēng)險(xiǎn)（崩壞概率）：僅喚起>?刪特征>全標(biāo)>正則化
學(xué)習(xí)速度：全標(biāo)=僅喚起=刪特征>?正則化
還原性：訓(xùn)練時(shí)間減少的正則對象還原性變差
易調(diào)用性： 僅喚起 > 刪特征 > 全標(biāo)>?正則化
結(jié)論
1、當(dāng)需要發(fā)表lora給予他人使用時(shí)，選擇刪特征+正則
2、當(dāng)不需要換裝自用時(shí)，選擇打全標(biāo)
3、當(dāng)需要降低特征污染、提高還原性時(shí)，要增加訓(xùn)練時(shí)間
4、當(dāng)需要增強(qiáng)泛化能力時(shí)，則增加正則化訓(xùn)練，提高正則化權(quán)重
聲明：很多內(nèi)容都是從不同作者的教學(xué)視頻和文章中摘抄并加之個(gè)人總結(jié)來的，涉及之多很難再一一找到出處，只能在此為所有教學(xué)奉獻(xiàn)的老師致以感謝。
