你好,歡迎進(jìn)入江蘇優(yōu)軟數(shù)字科技有限公司官網(wǎng)!
發(fā)布時(shí)間:2024-08-04
瀏覽次數(shù):0
清華團(tuán)隊(duì)開發(fā)了“四步畫圖”的LCM,早期內(nèi)容已經(jīng)介紹完畢。沒想到,很快,.AI在11月28日星期二正式上線了sdxl turbo模型。和LCM類似,變態(tài)的是號稱一步生成高清大圖。sdxl turbo模型現(xiàn)在可以在多個(gè)平臺(tái)上使用了。在這段視頻中,大狂將介紹使用draw平臺(tái)在MAC電腦上部署sdxl turbo的過程,一些操作技巧,以及我發(fā)現(xiàn)的一些好玩好用的模型,分享給大家。
點(diǎn)擊播放視頻
部署前你需要了解SDXL Turbo的一些基本特性,例如:模型不使用文字引導(dǎo)和負(fù)面提示詞,請將文字引導(dǎo)設(shè)置為0;生成的圖片有固定的分辨率(像素),非1024,模型無法達(dá)到完美的照片級真實(shí)感;模型無法呈現(xiàn)清晰的文字;一般情況下可能無法正確生成人臉和人物;本模型僅供研究使用,不得用于商業(yè)用途。
上面說了它的使用有很多限制,所以提前給大家一個(gè)心理預(yù)期吧。如果你生成的圖片變形怪異,不夠逼真,或者生成1024*1024沒有高清還原,而且圖片中有多個(gè)人物,多個(gè)頭或者多個(gè)手,遇到這些問題不要驚訝text sublime mac,因?yàn)檫@些都是SDXL Turbo的典型特性。這樣看來,它沒什么用。那么除了一步到位的繪制速度快,它還能干什么呢?也歡迎大家?guī)е@個(gè)疑問觀看下一篇教程。
(下圖是未經(jīng)過高清修復(fù),用SDXL turbo生成的1024*1024圖像)
注:12 月 3 日,測試版已更新(但正式版仍未到來),內(nèi)置了新的支持 turbo 的多重采樣器和 SDXL turbo 模型,并且最小生成步驟數(shù)可設(shè)置為 1。本期的很多內(nèi)容不再那么麻煩。您也可以等待應(yīng)用商店更新。如果您不想等待更新,可以按照以下說明進(jìn)行嘗試。
第 1 部分:下載模型
目前draw作者正在積極開發(fā)更新turbo相關(guān)的模型和設(shè)置,截止本視頻發(fā)布,軟件還沒有內(nèi)置模型,所以需要去face官網(wǎng),點(diǎn)擊中間的文件和,到頁面最下方text sublime mac,有兩個(gè)文件,一般下載6.94GB,fp16版本就夠了,其他文件就不用了。
第 2 部分:導(dǎo)入 draw
打開軟件按照正常方法導(dǎo)入模型,點(diǎn)擊模型下拉菜單-點(diǎn)擊-選擇中間的導(dǎo)入模型,然后點(diǎn)擊- from File,選擇你下載的6.94GB sdxl turbo模型文件,圖片大小微調(diào)成512*512,其他選項(xiàng)不用選,然后導(dǎo)入自定義模型,稍等片刻,turbo模型就導(dǎo)入成功了。
(注:SDXL turbo官方給出的模型是512*512,但是目前已經(jīng)有幾種經(jīng)過微調(diào)的模型混合使用turbo,可以達(dá)到1024*1024)
這里補(bǔ)充一下,如果你用的是普通電腦,在模型管理界面,點(diǎn)擊最后的三個(gè)點(diǎn),就可以創(chuàng)建8位模型了。這樣會(huì)大大減小模型體積,節(jié)省空間,繪制速度也會(huì)更快。實(shí)際生成的模型質(zhì)量不會(huì)有太大差別。我所有sdxl相關(guān)的模型都是8位的。創(chuàng)建一個(gè)8位模型大概需要20分鐘,請耐心等待。
第三部分
適當(dāng)?shù)脑O(shè)置使 sdxl Turbo 模型有效
由于draw只內(nèi)置了這六個(gè)采樣器,所以這六個(gè)采樣器無法讓sdxl turbo跑出好畫面。(官方的turbo采樣器是euler a,不過好像有bug,12月3號beta版又添加了包括lcm在內(nèi)的幾個(gè)新采樣器,大家可以等待更新)
要使其在此軟件中工作,您需要使用 LCM 采樣器。這里有兩種方法。
第一種方法是簡單修改代碼,讓sdxl turbo默認(rèn)使用lcm的采樣器,進(jìn)入draw的model目錄,具體目錄的路徑我給你們了,你們按照順序找就可以了。
—————————
繪制模型目錄:/Users/你的用戶名///com..draw-/Data//
—————————
模型目錄下有個(gè).json文件,可以用代碼編輯器相關(guān)的軟件打開,我用的是text,這個(gè)文件每個(gè)人的不一樣,需要仔細(xì)找到sdxl turbo模型的部分,比如我用的是8bit,在這一部分添加這段代碼,英文逗號別忘了,然后+S保存。編輯代碼的目的是為了讓sdxl Turbo默認(rèn)使用LCM的采樣器,當(dāng)我們再次打開軟件使用sdxl Turbo生成圖片的時(shí)候,可以看到采樣器默認(rèn)是LCM,圖片按照提示字樣就能正常運(yùn)行了;
第二種方法--不修改代碼,配合lcm sdxl lora,也可以讓其生效。主模型我們選擇sdxl turbo,lora中l(wèi)cm sdxl base。權(quán)重可以調(diào)整為0或者更低的百分比,因?yàn)槲覀冎幌M鹟ora起到LCM 的作用,不需要它有其他的作用。畢竟SDXL Turbo和LCM lora是沖突的,所以就讓它的權(quán)重為0,只讓lora起到給主模型LCM 的作用。這個(gè)地方聽起來有點(diǎn)繞,多練習(xí)幾次才能知道這里的妙處。這樣,即使不修改代碼,也可以讓SDXL Turbo在draw中正常工作。通常我的8g內(nèi)存的m1 mac,4步就可以跑完一張Turbo圖片,不到10秒。
第四部分
如何將生成步驟數(shù)更改為 1 步
由于目前 Draw 的最低步數(shù)為 4,因此 sdxl turbo 1 步繪制的潛力無法充分發(fā)揮。(12 月 3 日上午內(nèi)測更新已將步數(shù)提升至 1,后續(xù)就不用這么麻煩了。)如果不想等待 app store 更新,可以按照下面的腳本操作。
12月3日,測試版已經(jīng)可以將步數(shù)增加到1
所以,這里我給大家介紹一種用腳本一步到位畫圖的方法。點(diǎn)擊軟件底部-預(yù)設(shè)-點(diǎn)擊管理腳本-點(diǎn)擊左下角的創(chuàng)建-粘貼我給你的代碼-隨便起個(gè)名字就叫“一步到位畫圖”。
—————————
腳本代碼:
常量 = {....};
.步驟 = 1;
。跑步({ });
—————————
step后面的數(shù)值可以自由修改,也就是兩步或者三步都可以。如果我們想一步繪制,直接在預(yù)設(shè)里點(diǎn)擊這個(gè)腳本就可以實(shí)現(xiàn)一步繪制??梢钥吹?,sdxl turbo一步繪制的效果也還不錯(cuò)。不過很顯然,Turbo模型是一個(gè)為了速度而稍微犧牲質(zhì)量的模型,用它來快速構(gòu)圖,然后再用其他模型來畫圖,是一個(gè)不錯(cuò)的搭配。
第五部分
如有侵權(quán)請聯(lián)系刪除!
Copyright ? 2023 江蘇優(yōu)軟數(shù)字科技有限公司 All Rights Reserved.正版sublime text、Codejock、IntelliJ IDEA、sketch、Mestrenova、DNAstar服務(wù)提供商
13262879759
微信二維碼