본문 바로가기

A LIGHTHOUSE KEEPER'S LOG READING THE PATTERNS OF THE WORLD

AI 스튜디오 대표 이미지 01 / AI STUDIOAI 스튜디오도구가 막히면 등대지기가 먼저 부딪혀 봅니다. 그림·글·자동화, 그리고 돌아가는 길까지 AI Lab 대표 이미지 02 / AI LABAI LabAI 직원들과 회사를 굴리며 실제로 겪은 일을 한 편씩 꺼냅니다 라보의 이세계 여행 대표 이미지 03 / LABO'S ISEKAI라보의 이세계 여행등대지기 라보가 문 너머 다른 세계로 떠나는 툰 연재
VIVA STORY LAB

같이 여행해요.

AI 스튜디오

ControlNet 스케치를 넣으면 AI 그림체가 달라져요?

by Labo 2026. 11. 9.

ControlNet scribble로 스케치를 넣으면 그림체가 달라져요. 그림체의 절반은 스케치에서 오거든요. 등대지기 라보입니다. 오늘은 ControlNet 스케치를 넣으면 AI 그림체가 달라지는지, ControlNet scribble로 스케치를 넣는 법과 lineart 모드를 쓰다가 scribble로 돌아온 제 기록을 하나씩 풀어 볼게요. 손님이 "프롬프트로 안 되면, 스케치를 넣으면 달라져요?"를 들고 왔거든요. 해 보고 알게 된 건 이거예요. 그림체의 절반은 스케치에서 와요. 스케치가 이미 작가 것이면 그림체 로라를 억지로 얹지 않아요.

ControlNet 스케치를 넣으면 AI 그림체가 달라져요, ControlNet scribble sketch to image in ComfyUI, 컨트롤넷 스케치로 작가 선 살리기

글로 설명하던 그림을, 이제 선으로 보여 주는 날이에요.

"ControlNet 스케치를 넣으면 AI 그림체가 달라져요?"

손님: 라보 씨, 지난번에 캡션에 없던 문구는 프롬프트에 넣어도 안 먹힌다고 하셨잖아요. 그럼 프롬프트로 할 수 있는 게 생각보다 적은 거예요?

라보: 제가 해 봤을 땐 그랬어요. 캡션 편에서 말한 것처럼 로라가 배운 말만 알아듣고, 그 밖의 말은 그냥 흘려보내요. 그리고 배운 말만 쓴다고 해도, 글로는 "이 사람이 이 각도로 이 자리에 서 있다"를 원하는 만큼 정확하게 못 적겠더라고요.

손님: 웹툰은 컷마다 구도가 정해져 있잖아요. 그걸 글로 다 적어요?

라보: 바로 그거예요. 프롬프트만으로는 잘 안 나와서, 저는 스케치를 직접 넣어 보기로 했어요. 글로 구도를 설명하는 대신, 선으로 보여 주는 거죠.

손님: 스케치는 어떤 걸 넣었어요? 대충 그린 거요, 다 그린 거요?

라보: 두 가지를 각각 돌려 봤어요. 작업 단계에 따라 스케치 모양이 다르잖아요.

  • 명암을 넣은 스케치. 선 위에 그림자(셰이드)까지 칠해 둔 것.
  • 흑백 선만 있는 스케치. 명암 없이 선만 있는 것.

둘 다 넣어서 각각 어떻게 나오는지 봤어요. 명암 넣은 쪽 이야기는 길어서 다음 편으로 따로 뺄게요. 오늘은 스케치를 "어떻게" 넣는지부터요.

"컨트롤넷이 스케치를 어떻게 따라 해요?"

손님: 그림을 넣는 거면, 그림을 바탕에 깔고 그 위에 다시 그리는 거예요?

라보: 그렇게 생각하기 쉬운데, 조금 달라요. 여기서 쓰는 게 컨트롤넷(ControlNet)이에요. 지도 편에서 "구도 부품"이라고 했던 그거요. 로라가 그림체를 가르치는 부품이라면, 컨트롤넷은 "선은 여기, 사람은 여기"를 붙잡아 주는 부품이에요. 둘은 따로예요.

손님: 스케치를 그대로 베끼는 건 아니고요?

라보: 네. 컨트롤넷은 스케치에서 무엇을 읽어 갈지를 고르는 "모드"가 있어요. 모드마다 읽는 게 달라요.

  • scribble: 낙서처럼 굵은 선의 흐름을 읽어요. 대략 어디에 무엇이 있는지, 큰 구조를 따라가요.
  • lineart: 이름 그대로 선화의 선을 읽는 모드예요.
  • canny: 그림에서 밝기가 확 바뀌는 경계를 찾아 윤곽선으로 읽어요.

저는 콤피(ComfyUI)에서 이걸 했어요. 스케치를 이런 모드에 맞게 손질해 주는 노드들은 콤피로 이사하면서 깐 확장 ControlNet-Aux에 들어 있어요.

ControlNet scribble vs lineart vs canny, 컨트롤넷 모드 비교, 같은 스케치를 scribble lineart canny로 읽은 결과 예시

같은 스케치라도 어떤 모드로 읽느냐에 따라 AI가 붙잡는 게 달라져요.

"lineart 모드가 제일 맞는 거 아니에요?"

손님: 근데 웹툰 스케치는 선이잖아요. 그럼 당연히 lineart 아니에요? 이름부터 딱인데요.

라보: 저도 정확히 그렇게 생각했어요. 선화니까 lineart. 그래서 처음엔 lineart 모드로 돌렸어요.

손님: 근데요?

라보: 이상하게 나왔어요. 제가 원한 건 스케치의 구조, 그러니까 누가 어디 있고 몸이 어느 쪽을 향하는지만 따라 하는 거였거든요. 그런데 lineart 모드는 구조만이 아니라 색까지 따라 복사해 버렸어요. 원하지 않던 것까지 붙잡아 온 거예요.

손님: 선을 따라 하랬더니 색까지 따라 했다고요?

라보: 네. 그래서 scribble로 돌아갔어요. scribble은 큰 흐름만 읽으니까 구조는 붙잡고, 나머지는 AI가 새로 칠할 여지가 남아요. lineart가 왜 색까지 가져왔는지, 그 원인은 제 기록에 남아 있지 않아요. 제게 필요한 건 "구조만"이었고, 그건 scribble 쪽이었어요.

손님: 이름만 보고 고르면 안 되는 거네요.

라보: 네. 모드 이름이 아니라, 내가 붙잡고 싶은 게 뭔지로 골라요. 구조만이면 scribble부터 해 보세요.

"강도는 얼마로 해요?"

손님: scribble로 정했으면, 숫자는요? 화면에 칸이 엄청 많던데.

라보: 제 설정 기록을 그대로 보여 줄게요. 콤피의 컨트롤넷 노드와 KSampler 노드에 넣은 값이에요.

노드 칸 제 값
ControlNet 모드 scribble
ControlNet 강도(strength) 0.85
ControlNet 시작(start) 0
ControlNet 끝(end) 0.9
KSampler 스텝(steps) 30
KSampler CFG 6.5
KSampler 샘플러(sampler) dpmpp_2m
KSampler 스케줄러(scheduler) karras
KSampler denoise 1.0

손님: 하나씩 알려 주세요. 강도는 세게 따라 하라는 거죠?

라보: 네, 하나씩 갈게요.

  • 강도: 스케치를 얼마나 세게 따라 할지예요. 1에 가까울수록 스케치에 꽉 붙어요.
  • 시작·끝: 그림이 만들어지는 과정을 0에서 1까지로 봤을 때, 컨트롤넷이 언제부터 언제까지 붙잡을지예요. 시작 0, 끝 0.9면 처음부터 거의 끝까지 붙잡고, 맨 마지막 조금만 AI한테 풀어 줘요.
  • 스텝 30: 노이즈를 몇 번에 걸쳐 걷어 낼지예요. 제 3050에서는 SDXL 30스텝이 스텝당 10초 안팎, 한 장에 6~7분 걸렸어요.
  • CFG 6.5: 프롬프트를 얼마나 고집스럽게 따를지예요.
  • dpmpp_2m, karras: 노이즈를 걷어 내는 방식과 그 속도 조절 방식이에요. 처음엔 이 조합 그대로 두셔도 돼요.
  • denoise 1.0: 바탕 그림 없이 새로 그린다는 뜻이에요. 에폭 편에서 말한 txt2img 쪽이에요. 구조는 바탕 그림이 아니라 컨트롤넷이 잡아 줘요.

ComfyUI ControlNet scribble official example, Apply ControlNet strength start end and KSampler settings, 콤피 컨트롤넷 스크리블 공식 예시 설정 화면

ComfyUI 공식 문서의 스크리블 예시 화면이에요. Apply ControlNet 노드의 strength·start_percent·end_percent 칸과 KSampler의 steps·cfg·sampler_name 칸이 보여요. 숫자는 공식 예시 값이에요.

손님: 그럼 강도는 0.85가 정답이에요?

라보: 여기서 솔직하게 말할게요. 제 기록에 숫자가 둘 있어요.

  • 설정 기록: scribble 0.85 (시작 0, 끝 0.9)
  • 9월 기록: 작가 선을 살리려면 강도를 0.9~0.95로 유지해야 한다

손님: 어? 둘이 달라요.

라보: 네, 달라요. 그런데 저는 이 둘을 하나로 합치지 않아요. 둘 다 제가 실제로 적어 둔 기록이라서요. 중간값을 내서 "0.9가 정답"이라고 하면 그건 제가 해 본 숫자가 아니게 돼요. 9월 기록이 말하는 건 하나예요. 강도를 내리면 작가의 선이 흐려진다. 선을 살리고 싶으면 높게 버텨야 한다는 거죠.

손님: 그럼 저는 어떻게 해요?

라보: 두 숫자를 다 적어 두고, 같은 스케치·같은 시드로 0.85와 0.9~0.95를 나란히 뽑아 보세요. 선이 살아 있는 쪽이 그 스케치의 답이에요. 하나만 덧붙이면, 에폭 편에서 본 컨트롤넷 1.0은 그때 다른 작업에서 쓴 값이라 여기 숫자와는 따로 봐 주세요.

"그림체의 절반은 스케치에서 온다고요?"

손님: 스케치로 구조 잡고, 그림체는 로라로 입히면 완벽한 거 아니에요? 그동안 로라 만드느라 고생하셨잖아요.

라보: 저도 처음엔 당연히 둘 다 걸 생각이었어요. 그런데 10월에 방침을 하나 정했어요.

스케치에 이미 작가의 그림체가 들어 있으니, 그림체 로라를 억지로 넣지 않는다.

손님: 스케치에 그림체가 들어 있다고요?

라보: 생각해 보면 그래요. 작가가 직접 그린 스케치는 선 하나하나가 이미 그 사람 손이에요. 얼굴 비율, 선을 끊는 자리, 몸을 꺾는 방식. 컨트롤넷이 그 선을 붙잡고 있으면, 그림체를 따로 가르친 로라가 없어도 작가의 손이 이미 그림 안에 들어와 있는 거예요.

손님: 그래서 강도를 높게 버텨야 작가 선이 산다는 거랑 같은 얘기네요.

라보: 맞아요. 둘 다 "작가가 그린 선을 주인공으로 둔다"는 쪽이에요. 로라를 버린다는 게 아니라, 스케치가 있는 컷에서는 억지로 넣지 않는다는 거예요. 그림체의 절반은 스케치에서 와요.

손님: 저도 아빠 스케치로 해 보고 싶어요. 근데 아까 명암 넣은 스케치는 어떻게 됐어요?

라보: 그게요. 명암까지 정성껏 넣어 줬는데, 결과가 너무 납작하게 나왔어요. 그 얘기는 다음 편에서 할게요.

자주 묻는 질문

Q. ControlNet scribble과 lineart는 뭐가 달라요?
scribble은 큰 선의 흐름, 즉 구조를 따라가요. 제가 lineart로 돌렸을 땐 구조만이 아니라 색까지 따라 복사해서 scribble로 돌아왔어요. 구조만 필요하면 scribble부터 해 보세요.

Q. 컨트롤넷 강도는 얼마로 해요?
제 설정 기록은 scribble 0.85, 시작 0, 끝 0.9예요. 9월 기록엔 작가 선을 살리려면 0.9~0.95를 유지해야 한다고 적혀 있어요. 같은 스케치·같은 시드로 나란히 뽑아 비교해 보세요.

Q. 스케치를 넣을 때 KSampler는 어떻게 맞춰요?
저는 30스텝, CFG 6.5, dpmpp_2m, karras, denoise 1.0으로 돌렸어요. 구조는 컨트롤넷이 잡아 줘요.

Q. 스케치를 넣을 때도 그림체 로라를 걸어야 해요?
저는 10월부터 억지로 넣지 않아요. 작가가 그린 스케치에 이미 그림체가 들어 있어서요.

공식 주소
ComfyUI 공식 깃허브 (오픈소스, 무료)
ControlNet-Aux 공식 깃허브 (오픈소스, 무료, 콤피 확장)
※ 깃허브는 코드를 공개해 두는 사이트라 실행 전에 안에 뭐가 들었는지 누구나 볼 수 있어요.

이 편에서 작가가 한 일
구도와 선을 스케치로 직접 그렸어요. 명암 넣은 스케치와 선만 있는 스케치를 따로 준비했어요.
스케치를 scribble로 읽게 고르고, 강도를 정하고, 그림체 로라는 억지로 얹지 않기로 정했어요.
AI에게 맡긴 일
컨트롤넷이 스케치의 구조를 붙잡는 일.
그 구조를 따라 바탕 그림 없이 새로 그리고 칠하는 일(denoise 1.0).

시리즈 · AI 웹툰 그리려면
1편 AI 웹툰 그리려면 어떻게 해야할까
2편 스테이블 디퓨전이 뭐예요?
3편 SD1.5, SDXL, FLUX는 뭐가 달라요?
4편 세이프텐서는 왜 이름이 그래요?
5편 AI 그림은 왜 엔비디아예요?
6편 kohya 코야
7편 그림은 몇 장 준비해야 할까?
8편 kohya 학습과 LoRA
9편 그림체 잘 나오나요?
10편 1스텝에 52초, 왜 이렇게 느린거지
11편 런팟은 어떻게 써요?
12편 로라 학습에 좋은 그림을 다 넣었는데 왜 엉뚱한 그림이 나와요?
13편 내 그림, AI 그림 사이트에 올려도 괜찮아요?
14편 스웜 대신 ComfyUI, 포터블로 어떻게 깔아요?
15편 ComfyUI 노드, 기본 워크플로는 어떻게 이어요?
16편 ComfyUI 워크플로 JSON 파일이 왜 안 열려요?
17편 로라 에폭 4랑 6 그림이 왜 똑같아요?
18편 ComfyUI 그림 크기, 매번 손으로 넣어요?
19편 로라 학습, 같은 캐릭터가 왜 다른 사람처럼 나와요?
20편 로라로 인체가 자꾸 틀어질 때, 몸부터 가르치면 돼요?
21편 로라 캡션, AI한테 맡겨도 돼요?
22편 (이 글) ControlNet 스케치를 넣으면 AI 그림체가 달라져요?
23편 (다음) AI 채색했더니 왜 그림이 납작해져요?
24편 AI 웹툰 얼굴, FaceDetailer로도 왜 아직 안 돼요?

작성 기준: 2026년 10월, 라보의 실제 기록. 컨트롤넷·KSampler 값은 제 컴퓨터(RTX 3050 8GB)와 제 작업 기준이라 그림마다 맞는 값은 다를 수 있어요. 콤피와 확장의 화면·버전도 바뀔 수 있어요.

등대 일지. 그림체의 절반은 스케치에서 온다. 뱃길을 이미 손으로 그어 둔 해도가 있으면, 남의 불빛을 억지로 빌려 오지 않는다.