초고속 스테이블 디퓨전 이미지 동영상 만들기

초고속 스테이블 디퓨전 이미지 동영상 만들기

영상에서 사용한 명령어

txt2img
모델: DreamShaper
프롬프트 : a very cool car
샘플러: Euler
CFG: 2 (1~2 정도로 설정합니다)
샘플링 단계 : 8


img2img
모델:mistoon sapphire
프롬프트:(masterpiece,best quality:1.2), highres, 4k, clearly, complex detail
네거디브:(worst quality, low quality:1.2), EasyNegative,
스텝:8
CFG:2
컨트롤넷
타일 + 라인아트
디노이징:0.6


스테이블 디퓨전의 다양한 기초강의 목록
시간에따라 강의는 새롭게 항상 업데이트가 됩니다.
AI 창작실 유튜브 기초강의 목록

🥳실사 이미지 동영상 만들기
   • 스테이블 디퓨전 실사 이미지 동영상 만들기  

🍀이미지투 이미지 왕기초 강의
   • 스테이블 디퓨전 왕기초 가이드 (이미지변환하기)  

💕스테이블 실사이미지 및 세팅 에 대한 설명
   • Видео  

🤖스테이블 디퓨전의 컨트롤넷에 대한 기능과 종류
   • 스테이블 디퓨전 컨트롤넷의 기능과 종류  

🍀이미지 투 이미지로 얼굴 바꿔보기
   • 스테이블 디퓨전 광고모델 만들기 + 필터  

💕스테이블 디퓨전으로 특징을 살린 동영상 만들기
   • 스테이블 디퓨전 특징을 살린 동영상 만들기( 앱신스 활용 )  

🍡동영상 만들기의 전반적인 작업 과정
   • 스테이블 디퓨전 동영상 만들기 2 (작업과정,앱신스, 기타)  

🍡손모양을 자유롭게 DW openpose 알아보기
   • 손모양을 자유롭게 DW OPENPOSE (스테이블 디퓨전)  


ControlNet이란 인물이나 배경 등의 배치, 형상, 자세 등을 잡아내어, 이를 바탕으로 이미지를 생성해주는 Stable Diffusion 모델의 일부입니다. 이 글에서는 지난 글에 이어 ControlNet에 대한 좀더 자세한 정보를 알아보겠습니다.

이 글의 목차는 다음과 같습니다.

ControlNet 모델 요약
ControlNet 모델의 종류
전처리기(Preprocessor)와 모델 개요

Canny 모델
곡선 및 직선 외곽선 추출
노이즈에 취약
형태를 완전히 모사함, 무늬까지 복제

Depth 모델
전반적으로 형태를 잘 복제함
무늬는 달라짐
midas, leres, leres++, zoe

ControlNet Inpainting
img2img의 inpaint사용시, 훨씬 전체적인
이미지와 일관성이 높도록 생성해줌

IP-Adapter
Image Prompt
이미지를 프롬프트로 사용
이미지의 전반적인 분위를 살려냄

IP2P
InstructPix2Pix
명령어를 입력해 이미지를 편집
turn him into a cyborg 프롬프트를 사용

LineArt
외곽선을 감지하여 그림 형태로 변환

MLSD
빠른 직선 감지
실내, 빌딩, 거리 등 외곽선 감지에 유리

Normal Map
3차원 형상 추출

OpenPose
인간의 자세만 추출.
얼굴과 손을 처리해주는 전처리기도 있음

Reference
참조 이미지와 유사한 이미지 생성
특히 AI 이미지를 생성한 후, 동일한 모델을
사용하면 비슷한 얼굴의 다른 모습을 생성하기 쉬움

Scribble
이미지를 손으로 그린 낙서 스타일로 바꿔줌.

Segmentation
대상의 종류에 따라 분류하여 color map을
만들고, 동일한 종류를 배치함
동일한 유형이 유지되는 특징

Soft Edge
곡선 및 직선 외곽선 감지

Shuffle
입력된 이미지를 섞어버림
형태는 유지되지 않고, 색감만 사용함

Tile Resample
이미지에 상세한 디테일 추가
AI 확대도구와 함께 사용시 유용

Color grid T2I adapter
64배로 축소했다가 확대하여 color 그리드 생성
이 그리드를 해당지역 평균 색감으로 사용
Suffle처럼 색감만 사용함

콘트롤넷(ControlNet)을 사용하기 위해서는 제일 먼저 적절한 전처리기와 이에 맞는 모델을 선택해야 합니다. 예전에는 전처리기(Preprocessor)와 모델을 따로따로 선택해야 했습니다. 하지만, 전처리가와 모델을 서로 관계없는 것을 선택할 경우 이상한 결과가 나올 수 있었습니다. 그런데 얼마전부터 아래 중간에 보이는 Control Type 영역이 생겨서 여기를 클릭하면 바로 아래쪽에 관계된 전처리기와 모델이 자동 선택되도록 바꼈습니다. 그래도 좀 더 안심하고 사용할 수 있게 되었습니다.

*************LCM 로라 다운경로 는 댓글에 적어둘게요**********