Как перерисовать любой рисунок с помощью StableDiffusion / StableDiffusion :: гайд :: туториал :: нейронные сети

нейронные сети гайд туториал StableDiffusion песочница 

Как перерисовать любой рисунок с помощью StableDiffusion

нейронные сети,гайд,туториал,StableDiffusion,песочница

Нужно:

Установленный и настроенный свежий Automatic1111 web-guiУстановленное расширение ControlNet, и все нужные модели к немуУмение хоть сколько-нибудь с этим работать

Всё происходит во вкладке txt2img

Сначала берём исходное изображение, кладём его в 2 вкладки ControlNet'a и включаем их. Вот как-то так:

ControlNet vi. 1.224 ControlNet Unit О
Single Image
13 Image
ControlNet Unit 1 ControlNet Unit 2 Batch,нейронные сети,гайд,туториал,StableDiffusion,песочница

Первую вкладку (Unit 0) настраиваем следующим образом:

Control Type
All	Canny Depth Normal		OpenPose	MLSD
Lineart	SoftEdge Scribble	Seg	Shuffle	Tile
Inpaint	IP2P O Reference	T2IA		
Preprocessor
reference_only
Control Weight	1
Starting Control
0;3	Ending Control
Step
1

Style Fidelity (only for "Balanced" mode)
0,5
Control Mode
Balanced

А вот так вторую (Unit 1):

Control Type
All	Canny	Depth Normal		OpenPose	MLSD
Lineart	SoftEdge	Scribble	Seg	Shuffle	Tile
O Inpaint	IP2P	Reference	T2IA		
Preprocessor	Model
inpaint_only+lama	controlnetllModelsJnpaint [I ▼
Control Weight
Starting Control Step
Ending Control Step
1
Control Mode
O Balanced	My prompt

Два инстанса нужны, потому что первый отвечает за передачу стиля, а второй обеспечивает генерацию поверх существующего изображения с учётом контекста.

Осталось нарисовать маску:

нейронные сети,гайд,туториал,StableDiffusion,песочница

Параметры генерации, промпты:

Sampling method DPM++2M Karras
Restore faces	Tiling
Hires, fix
Width
Sampling steps
32
600	Batch count 2
~) n 608	• Batch size 2
6
o
<$>	Extra,нейронные сети,гайд,туториал,StableDiffusion,песочница

В промпте, то что хотим сгенерировать в зоне маски 

Позитивный - (white flowers:1.1), (best quality, masterpiece:1.2)

Негативный как обычно - EasyNegative, (worst quality, low quality, normal quality:1.4), (painting of bad artist:1.2)

Нажимаем Generate и получаем:

нейронные сети,гайд,туториал,StableDiffusion,песочница

Пара моментов:

Старайтесь генерировать поближе (насколько возможно) к оригинальному разрешение. Hires. fix лучше не использовать - он ломает тонкие детали.

Нужен подходящий чекпойнт в зависимости от стиля оригинального рисунка. Под реалистичные рисунки реалистичные модели, под стилизованные - стилизованные.


Подробнее

ControlNet vi. 1.224 ControlNet Unit О Single Image 13 Image ControlNet Unit 1 ControlNet Unit 2 Batch
Control Type All Canny Depth Normal OpenPose MLSD Lineart SoftEdge Scribble Seg Shuffle Tile Inpaint IP2P O Reference T2IA Preprocessor reference_only Control Weight 1 Starting Control 0;3 Ending Control Step 1 Style Fidelity (only for "Balanced" mode) 0,5 Control Mode Balanced My prompt is more important O ControlNet is more important
Control Type All Canny Depth Normal OpenPose MLSD Lineart SoftEdge Scribble Seg Shuffle Tile O Inpaint IP2P Reference T2IA Preprocessor Model inpaint_only+lama controlnetllModelsJnpaint [I ▼ Control Weight Starting Control Step Ending Control Step 1 Control Mode O Balanced My prompt is more important ControlNet is more important

Sampling method DPM++2M Karras Restore faces Tiling Hires, fix Width Sampling steps 32 600 Batch count 2 ~) n 608 • Batch size 2 6 o <$> Extra

нейронные сети,гайд,туториал,StableDiffusion,песочница
Еще на тему
Развернуть
Вот 2 моих гайда:
https://dtf.ru/s/595875-neyro-iskusstvo/1956288-kak-ubrat-tekst-s-oblozhki-mangi-za-10-minut
https://dtf.ru/howto/1982890-kak-dorisovyvat-lyubye-kartinki-s-pomoshchyu-sd
Да вы все ахуели мне что тебе еще больше параноить по нейронкам ?
А чего параноить?
баяны теперь можно обновлять
SWaad SWaad 25.07.202317:17 ответить ссылка 8.6

Так, ладно. А этот гайд поможет перерисовывать анимедевочек без трусиков?

warrcan warrcan 25.07.202317:28 ответить ссылка 2.2
присоединяюсь к вопросу про раздевание 2д девочек
Можно. Скорее всего придется задействовать дополнительно модель более узкой направленности чтобы получилось красиво, но раздевать девочек ещё никогда не было так просто.
Без штанов точно можно оставить.
ш 1 JâiÜ и»^1Д		ip^t/ \. 1 !/• ■
	B » b H i t	iV JF	r.Tv-
	■ •	J'1' .•>/ - 'Z
, .•		X ' ¿.У </ wVt'-£ip^4!HKrv
ду-*Тг-* ~. . !	ÿiïfif x
i •-£	
Г »•. .. Л ’' г» 0 ... «ГПх	4 • J-
слава прогрессу!
40 гривень штаны!
Всё, пиздец, сейчас ремастеры артов пойдут
Ulrixion Ulrixion 25.07.202320:46 ответить ссылка 1.5
Плохо что ли? Хорошо!
Уже давно, ты просто не замечаешь.
Tormen Tormen 26.07.202312:37 ответить ссылка 0.0
Как теперь web-ui накатывать в google сollab? Раньше можно было добавить --share и вылазила ссылка в конце установки. Теперь 3 ссылки и все нерабочие.
Никогда не пользовался коллабом. Помочь не смогу (
Жаль. Не пользовался 2-3 месяца, скопилось много картинок, которые хотелось перерисовать. А там уже баны какие-то пошли:

https://github.com/camenduru/stable-diffusion-webui-colab#readme

Как я понял, слишком многие оставляли виртуалки работать вхолостую.
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы

Похожие посты
txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings l Extensions
Installed Available Install from URL — URL for extension's git repository
https://github.com/Mikubill/sd-webui-controlnetl Local directory name
Leave empty for auto
Install
подробнее»

Stable diffusion нейронные сети нейромазня ControlNet гайд длиннопост

txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings l Extensions Installed Available Install from URL — URL for extension's git repository https://github.com/Mikubill/sd-webui-controlnetl Local directory name Leave empty for auto Install
stable-diffusion-webui	X +
<-	^ G Щ
@ Создать '	LO ГО ® Й 0 I'l' Сортировать v = П|
i
f
> 4
6
I
A
Имя	Дата изменения	Тип
•git	29.03.2024 22:37	Папка с файлами
.github	29.03.2024 22:37	Папка с файлами
_pycache_	29.03.2024 22:56	Папка с файлами
config_states	29.03.2024 22:56	Папка с файл
подробнее»

Stable diffusion нейронные сети гайд ControlNet automatic1111

stable-diffusion-webui X + <- ^ G Щ @ Создать ' LO ГО ® Й 0 I'l' Сортировать v = П| i f > 4 6 I A Имя Дата изменения Тип •git 29.03.2024 22:37 Папка с файлами .github 29.03.2024 22:37 Папка с файлами _pycache_ 29.03.2024 22:56 Папка с файлами config_states 29.03.2024 22:56 Папка с файл
0 Output
Save Send to img2img		Send to inpaint Send to extras
		
Interrupt		Save prompt as style
RuntimeError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 6.00 GiB total capacity; 5.17 GiB already allocated; 0 bytes free; 5.18 GiB reserved in total by PyTorch) If reserved memory is »
подробнее»

Stable diffusion нейросети помощь новичок песочница

0 Output Save Send to img2img Send to inpaint Send to extras Interrupt Save prompt as style RuntimeError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 6.00 GiB total capacity; 5.17 GiB already allocated; 0 bytes free; 5.18 GiB reserved in total by PyTorch) If reserved memory is »