본문 바로가기

A LIGHTHOUSE KEEPER'S LOG READING THE PATTERNS OF THE WORLD

AI 스튜디오 대표 이미지 01 / AI STUDIOAI 스튜디오도구가 막히면 등대지기가 먼저 부딪혀 봅니다. 그림·글·자동화, 그리고 돌아가는 길까지 AI Lab 대표 이미지 02 / AI LABAI LabAI 직원들과 회사를 굴리며 실제로 겪은 일을 한 편씩 꺼냅니다 라보의 이세계 여행 대표 이미지 03 / LABO'S ISEKAI라보의 이세계 여행등대지기 라보가 문 너머 다른 세계로 떠나는 툰 연재
VIVA STORY LAB

같이 여행해요.

AI 스튜디오

로라 학습에 좋은 그림을 다 넣었는데 왜 엉뚱한 그림이 나와요?

by Labo 2026. 10. 30.

로라 학습에 좋은 그림을 전부 넣으면 엉뚱한 그림이 나와요. 한 번에 하나만 가르치세요. 등대지기 라보입니다. 오늘은 로라 학습에 좋은 그림을 다 넣었는데 엉뚱한 그림이 나왔던 제 기록으로, 로라 학습에 어떤 그림을 넣어야 하는지 이야기해 볼게요. 제 첫 로라는 생각과 전혀 다른 그림을 냈는데, 제 생각엔 좋은 그림을 다 넣어서 AI가 뭘 배워야 할지 몰랐던 것 같아요. 그 뒤로는 한 번에 하나만 가르쳐요. 손님이 런팟에서 받아 온 로라 파일을 들고 "이제 걸어 보기만 하면 되죠?" 하며 들어왔거든요.

로라 학습 좋은 그림 다 넣었는데 엉뚱한 그림, first LoRA wrong result, 로라 학습 실패 원인, 학습 데이터 고르는 법, AI 웹툰 만들기

첫 로라를 걸어 본 날, 화면에 나온 건 생각과 전혀 다른 그림이었어요.

"로라 학습 끝나고 받은 파일, 바로 걸면 돼요?"

손님: 라보 씨, 지난번에 말한 대로 받고, 열어 보고, 지웠어요. 근데 파일이 하나가 아니라 여러 개예요. 이거 다 같은 거예요?

라보: 잘 오셨어요. 런팟 편 끝에서 제 첫 로라 얘기를 하다 말았죠. 걸기 전에 그 얘기부터 할게요. 손님이 지금 들고 온 거랑 거의 같은 상황이었거든요.

제가 런팟(RunPod)에서 처음 제대로 돌린 로라는 이렇게 학습했어요.

  • 그래픽카드: RTX A5000 (메모리 24GB)
  • 그림: 36장
  • Rank 64, batch 2
  • 에폭 12
  • 걸린 시간: 에폭 2개당 약 8분
  • 그래픽카드 메모리(VRAM): 24GB 중 11.7GB 사용

손님: 36장이요? 지난번엔 40장 남짓 모으셨다면서요.

라보: 모은 건 40장 남짓이었고, 학습 기록에 남은 숫자는 36장이에요. 그리고 Rank는 로라가 배운 걸 담는 칸의 크기, batch 2는 한 번에 두 장씩 본다는 뜻이에요. 집에서 처음 돌렸을 땐 Rank 32였고, 이번엔 64였어요. 그래도 그래픽카드 메모리는 절반도 안 썼어요.

손님: 그럼 파일이 여러 개인 건요?

라보: 에폭은 그림 전체를 한 바퀴 다 보는 거예요. 12에폭이면 열두 바퀴죠. 저는 중간중간 저장되게 해 둬서, 2·4·6·8·10번째 에폭에서 하나씩, 그리고 다 끝난 최종 파일 하나가 생겼어요. 손님 파일이 여러 개인 것도 같은 이유일 거예요.

손님: 다 같은 그림체인데 덜 배운 거랑 더 배운 거?

라보: 맞아요. 바퀴를 몇 번 돌았느냐만 달라요. 파일은 전부 .safetensors예요. 이 이름이 왜 붙었는지는 세이프텐서 편에 있어요. 제 파일은 하나에 436MB였어요. Rank를 64로 올려서 그런지 생각보다 컸어요.

"스웜에서는 어디에 걸어요?"

라보: 저는 스웜(SwarmUI)에서 테스트했어요. 순서는 코야 학습과 스웜 편에서 한 그대로예요.

  • ① 받은 로라 파일을 스웜 폴더 안 Models\Lora에 넣어요.
  • ② 스웜을 켜고, 아래쪽 모델 목록에서 LoRA 쪽을 열어 그 파일을 눌러 걸어요.
  • ③ 프롬프트 맨 앞에 학습 때 정한 트리거 단어를 적어요. 예를 들면 lbtoon01처럼요.
  • ④ 베이스 모델에 합치지 말고, 걸어서 뽑아요.

SwarmUI LoRA 적용 화면, how to use LoRA in SwarmUI, 스웜 로라 거는 법, Models Lora 폴더와 LoRA 목록

SwarmUI 공식 깃허브 화면이에요. 아래쪽 모델 목록 줄의 LoRAs 칸을 열어 받은 파일을 눌러 걸어요.

손님: 쉽네요? 그럼 뽑기만 하면 아빠 그림체가 나오는 거예요?

라보: 저도 딱 그렇게 생각했어요. 집에서 56분 돌린 첫 학습은 색감만 조금 따라왔으니까, 이번엔 SDXL에 그림도 다시 골랐고 그래픽카드도 빌렸으니 될 거라고요.

"생각과 전혀 다른 그림이 어떻게 나와요?"

손님: 그래서요? 어떻게 나왔어요?

라보: 세 가지가 한꺼번에 나왔어요.

  • 주인공이 안 나왔어요. 주인공의 특징 대신, 이집트나 마야 유적에 있을 법한 장식 무늬가 엉뚱하게 붙어 나왔어요.
  • 몸 비율이 무너졌어요. 그날 제가 적은 말이 "비율 엉망"이에요.
  • 글자가 번져 나왔어요. 학습 그림 속에 있던 글자가 뭉개진 채로 그림 위에 떠올랐어요.

손님: 장식 무늬요? 그런 걸 넣으셨어요?

라보: 왜 하필 그 무늬였는지는 저도 정확히 몰라요. 그날 저는 캐릭터가 얼마나 같은 사람으로 나오는지에 점수를 매겼는데, 10점 만점에 4.5점이었어요.

손님: 반도 안 되네요. 런팟 돈까지 냈는데요.

라보: 학습 자체는 끝까지 돌았어요. 메모리도 남았고, 파일도 여섯 개 다 나왔어요. 프로그램 쪽에는 문제가 없었던 거예요. 문제는 제가 넣은 그림 쪽에 있었어요.

"좋은 그림을 다 넣으면 AI가 뭘 배울지 몰라요?"

손님: 저도 아빠 그림 중에서 좋은 것만 골라 넣었는데요. 좋은 그림 넣으면 좋은 게 나와야 하는 거 아니에요?

라보: 제가 딱 그 생각으로 넣었어요. 좋은 작품이라고 생각해서, 한 작품을 통째로 넣었어요. 인물 컷만이 아니라 배경 그림, 사람이 우르르 나오는 군중 장면까지 전부요.

손님: 그게 왜요? 다 같은 그림체잖아요.

라보: 그림체는 같았죠. 그런데 AI 입장에서 생각해 봐야 해요. 로라를 가르칠 때 AI한테 "이 그림의 그림체를 배워"라고 따로 말해 줄 방법이 없어요. AI는 넣어 준 그림 전체를 보고, 그림들 사이에 되풀이되는 걸 배워요. 그런데 제 묶음에는 인물도 있고, 배경도 있고, 군중도 있고, 글자가 든 그림도 있었어요.

손님: 아, 뭘 배우라는 건지 모르는 거예요?

라보: 네. 그림체를 배워야 할지, 인물을 배워야 할지, 배경을 배워야 할지 AI가 알 수 없었던 거예요. 제 생각엔 그게 제일 큰 원인이었던 것 같아요. 저한테는 "좋은 작품"이었지만, AI한테는 이것저것 다 섞인 숙제 더미였던 거죠.

로라 학습 데이터 비교, whole artwork vs one subject training images, 좋은 그림 통째로 넣기 vs 가르칠 것 하나만 보이는 그림, 그림체 로라 데이터 고르는 법

왼쪽은 배경·군중·말풍선 컷이 섞인 묶음, 오른쪽은 한 인물만 여러 자세로 보이는 묶음이에요. 실제 학습 그림이 아니라 설명을 위해 그린 그림이에요.

손님: 그럼 어떤 그림을 넣어야 해요?

라보: 그날 제가 얻은 결론은 이거예요. 제 생각엔, 좋은 그림을 다 넣으면 AI는 뭘 배워야 할지 몰라요. 그래서 한 번에 하나만 가르쳐요. 좋은 그림이 아니라 가르칠 것 하나만 보이는 그림을 넣는 거예요. 그림체를 가르치고 싶으면 그림체가 잘 보이는 그림을, 한 인물을 가르치고 싶으면 그 인물이 잘 보이는 그림을요. 그림이 아무리 좋아도 가르칠 것 말고 다른 게 많이 보이면, AI는 그것까지 같이 배워요.

"그럼 원인이 그거 하나예요?"

라보: 그날 같이 적어 둔 원인이 셋 더 있어요. 결국 같은 이야기로 모이지만, 따로 짚어 볼게요.

① 그림체와 캐릭터를 한 로라에 섞었어요.
저는 로라 하나로 그림체도 배우고 주인공도 배우길 바랐어요. 두 가지를 한 번에 가르치려 한 거예요. 작품을 통째로 넣은 것도 결국 이 욕심에서 나왔어요.

② 캡션이 부정확했어요.
캡션은 그림마다 붙이는 설명 글이에요. 이게 그림 내용을 정확히 적지 못하면 AI가 그림 속 무엇이 무엇인지 더 헷갈려요. 캡션에는 그림 내용만 적고 그림체는 적지 않는다는 얘기는 그림 고르는 편에 있어요.

③ 네거티브 프롬프트를 비워 뒀어요.
손님: 네거티브요? 그건 뭐예요?

라보: 뽑을 때 "이건 나오지 마"라고 적는 칸이에요. 스웜 프롬프트 칸 아래에 따로 있어요. 저는 그 칸을 통째로 비워 두고 뽑았어요. 나오지 말았으면 하는 걸 하나도 말하지 않은 거죠.

손님: 그럼 다시 할 땐 어떻게 하셨어요?

라보: 규칙을 하나 정했어요. 그림체 로라 먼저, 캐릭터는 검증 뒤 하나씩. 학습 그림에 그림체와 캐릭터를 섞지 않아요. 먼저 그림체만 가르쳐서 그림체가 제대로 나오는지 확인하고, 그다음에 캐릭터를 한 명씩 따로 가르쳐요.

그림체 로라 먼저 캐릭터 로라는 하나씩, style LoRA first then character LoRA one by one, 로라 학습 순서, 학습 데이터에 그림체와 캐릭터 섞지 않기

그림체 로라를 먼저 확인하고, 캐릭터는 한 명씩 따로 가르치는 순서예요.

손님: 그럼 저도 걸기 전에 폴더부터 다시 볼게요. 배경이랑 여러 명 나오는 컷이 꽤 있었던 것 같아요.

라보: 좋아요. 걸어 보는 것도 해 보세요. 결과가 이상하면 그림 탓이 아니라 묶음 탓일 수 있다는 것만 기억하고요.

손님: 근데 라보 씨, 4.5점 받은 날은 그냥 주무셨어요?

라보: 아니요. 그날 다른 길을 찾아봤어요. 내 컴퓨터 말고, 그림을 올리면 알아서 채색해 주는 남의 사이트들이요.

손님: 내 그림을 AI 그림 사이트에 올려도 괜찮아요?

라보: 그게 다음 편 얘기예요.

자주 묻는 질문

Q. 로라 학습은 끝났는데 결과 그림이 이상해요. 왜 그래요?
학습이 끝났다고 잘 배운 건 아니에요. 제 경우엔 프로그램이 아니라 넣은 그림이 문제였어요. 한 작품을 배경·군중 장면까지 통째로 넣어서, AI가 그림체·인물·배경 중 무엇을 배워야 할지 몰랐던 것 같아요.

Q. 로라 학습 그림은 좋은 그림 위주로 고르면 돼요?
좋은 그림보다 가르칠 것 하나만 보이는 그림을 고르세요. 그림체를 가르칠 땐 그림체가, 인물을 가르칠 땐 그 인물이 잘 보이는 그림으로요.

Q. 그림체와 캐릭터를 로라 하나로 같이 가르쳐도 돼요?
저는 섞었다가 실패했어요. 그 뒤로는 그림체 로라를 먼저 만들어 확인하고, 캐릭터는 한 명씩 따로 가르쳐요.

Q. 학습이 끝나면 로라 파일이 여러 개 생기는 건 뭐예요?
에폭마다 저장된 파일이에요. 저는 12에폭으로 돌려서 2·4·6·8·10번째와 최종 파일이 생겼어요. 덜 배운 것부터 다 배운 것까지라, 하나씩 걸어 보며 비교할 수 있어요.

공식 주소
SwarmUI 공식 깃허브 (오픈소스, 무료)
RunPod (유료, 시간당 요금은 사이트에서 확인)
※ 깃허브는 코드를 공개해 두는 사이트라 실행 전에 안에 뭐가 들었는지 누구나 볼 수 있어요.

이 편에서 작가가 한 일
학습할 그림을 골랐어요. 한 작품을 배경·군중 장면까지 통째로 넣은 36장이었어요.
결과에 10점 만점에 4.5점을 매기고 원인 넷을 적었어요.
"그림체 로라 먼저, 캐릭터는 검증 뒤 하나씩" 규칙을 정했어요.
AI에게 맡긴 일
런팟 A5000에서 12에폭 학습, 에폭마다 로라 파일 저장.
스웜에서 로라를 걸고 그림 뽑기.

시리즈 · AI 웹툰 그리려면
1편 AI 웹툰 그리려면 어떻게 해야할까
2편 스테이블 디퓨전이 뭐예요?
3편 SD1.5, SDXL, FLUX는 뭐가 달라요?
4편 세이프텐서는 왜 이름이 그래요?
5편 AI 그림은 왜 엔비디아예요?
6편 kohya 코야
7편 그림은 몇 장 준비해야 할까?
8편 kohya 학습과 LoRA
9편 그림체 잘 나오나요?
10편 1스텝에 52초, 왜 이렇게 느린거지
11편 런팟은 어떻게 써요?
12편 (이 글) 로라 학습에 좋은 그림을 다 넣었는데 왜 엉뚱한 그림이 나와요?
13편 (다음) 내 그림, AI 그림 사이트에 올려도 괜찮아요?
14편 스웜 대신 ComfyUI, 포터블로 어떻게 깔아요?
15편 ComfyUI 노드, 기본 워크플로는 어떻게 이어요?
16편 ComfyUI 워크플로 JSON 파일이 왜 안 열려요?
17편 로라 에폭 4랑 6 그림이 왜 똑같아요?
18편 ComfyUI 그림 크기, 매번 손으로 넣어요?
19편 로라 학습, 같은 캐릭터가 왜 다른 사람처럼 나와요?
20편 로라로 인체가 자꾸 틀어질 때, 몸부터 가르치면 돼요?
21편 로라 캡션, AI한테 맡겨도 돼요?
22편 ControlNet 스케치를 넣으면 AI 그림체가 달라져요?
23편 AI 채색했더니 왜 그림이 납작해져요?
24편 AI 웹툰 얼굴, FaceDetailer로도 왜 아직 안 돼요?

작성 기준: 2026년 10월, 라보의 실제 기록. 스웜·런팟 화면 배치와 버전은 바뀔 수 있어요.

등대 일지. 좋은 그림을 다 실으면 AI는 뭘 배워야 할지 모르는 것 같다. 등대가 불빛 하나로 방향 하나만 가리키듯, 한 번에 하나만 가르친다.