본문 바로가기

A LIGHTHOUSE KEEPER'S LOG READING THE PATTERNS OF THE WORLD

AI 스튜디오 대표 이미지 01 / AI STUDIOAI 스튜디오도구가 막히면 등대지기가 먼저 부딪혀 봅니다. 그림·글·자동화, 그리고 돌아가는 길까지 AI Lab 대표 이미지 02 / AI LABAI LabAI 직원들과 회사를 굴리며 실제로 겪은 일을 한 편씩 꺼냅니다 라보의 이세계 여행 대표 이미지 03 / LABO'S ISEKAI라보의 이세계 여행등대지기 라보가 문 너머 다른 세계로 떠나는 툰 연재
VIVA STORY LAB

같이 여행해요.

AI 스튜디오

로라 캡션, AI한테 맡겨도 돼요?

by Labo 2026. 11. 8.

로라 캡션을 AI에 맡겨도 될까요? 88장을 AI 셋이 교차 검사해 보니 캡션에 없는 말은 안 먹혔어요. 등대지기 라보입니다. 오늘은 로라 캡션, AI한테 맡겨도 되는지, 그러니까 학습 그림마다 붙이는 캡션 txt 파일이 뭔지, 그리고 선화 로라용 그림 88장의 캡션을 Claude, GPT, Grok 셋에게 맡겨 서로 검사하게 한 제 기록을 이야기할게요. 해 보고 제일 크게 배운 건 이거예요. 캡션에 없던 말은 프롬프트에 넣어도 안 먹혀요. 지난번 "AI 셋이요?" 하고 궁금해하던 손님이 오늘은 노트까지 펴 들고 왔거든요.

로라 캡션 AI한테 맡겨도 돼요, LoRA caption txt cross check with three AI, 로라 캡션 작성, Claude GPT Grok 교차검증

그림 한 장마다 붙는 짧은 글 한 줄, 그걸 셋이서 들여다보는 날이에요.

"로라 캡션이 정확히 뭐예요?"

손님: 라보 씨, 캡션이라는 말이 계속 나오는데요. 그거 프롬프트랑 같은 거 아니에요?

라보: 비슷하게 생겼는데 쓰는 때가 달라요. 이렇게 기억하면 돼요.

  • 프롬프트는 뽑을 때 쓰는 글이에요. "이런 그림 그려 줘."
  • 캡션은 가르칠 때 쓰는 글이에요. "이 그림은 이런 그림이야."

손님: 가르칠 때 쓰는 글이면, 어디에 써요?

라보: 그림 옆에 같은 이름의 txt 파일로 둬요. 학습 폴더 안이 이렇게 생겼어요.

C:\lora_example\5_lbtoon01\
  001.png
  001.txt
  002.png
  002.txt

001.png의 캡션은 001.txt에 들어 있어요. 이름이 같아야 코야가 "이 글은 이 그림 설명이구나" 하고 짝을 지어요. 이름이 하나라도 틀리면 그 그림은 설명 없이 배우게 돼요.

LoRA training image and caption txt pair, 학습 그림과 같은 이름의 캡션 txt 파일, 001.png 001.txt, 로라 캡션 파일 구조

그림 파일과 같은 이름의 txt 파일이 나란히 짝을 이룬 모습이에요. 예시 이름과 예시 글이에요.

손님: 그럼 88장이면 txt도 88개예요?

라보: 네. 그림 88장에 txt 88개요. 그 88개를 AI한테 맡겼어요.

"AI 셋에게 맡기면 똑같이 써 줘요?"

손님: 하나한테 맡기면 되지, 왜 셋이에요?

라보: 첫 학습이 실패했을 때, AI가 그림을 한 장도 안 보고 정해 버린 일이 있었어요. 55장 로라 때는 캡션을 Claude와 GPT 둘이 서로 검토했고, 이번엔 Grok까지 셋으로 했어요.

7월 3일부터 4일까지, 선화 로라용 그림 88장의 캡션을 이렇게 만들었어요.

  • Claude, GPT, Grok 셋이 같은 그림의 캡션을 서로 교차로 검증
  • 셋의 의견이 부딪친 곳: 22건
  • 그 과정에서 Claude가 자기 오류 3건을 스스로 정정

손님: 22건이나요? 어떤 게 부딪쳤어요?

라보: 건마다 뭐였는지는 적어 두지 못했어요. 남은 건 숫자예요.

손님: 그래도 Claude가 자기 틀린 걸 인정했다는 건 신기하네요.

라보: 셋이 서로 검증하는 과정에서 나온 정정이에요. 하나만 썼으면 그 3건은 틀린 채로 학습에 들어갔을 수도 있어요. 그래서 제 결론은 이래요. AI에게 캡션을 맡겨도 돼요. 대신 하나에게만 맡기지 않아요. 셋이 서로 틀린 걸 잡아 주지만, 마지막 판단은 사람이 해요.

caption cross check Claude GPT Grok, 캡션 교차검증, AI 셋 의견 충돌 22건, Claude 자기 오류 3건 정정, 선화 로라 88장

세 AI가 같은 캡션을 돌려 보며 부딪친 곳 22건, 스스로 고친 곳 3건을 정리한 그림이에요.

"캡션은 어떤 모양으로 써요?"

라보: 제가 이 88장에 쓴 방식은 셋이에요.

  • 태그식(booru 방식): 문장 대신 쉼표로 끊은 단어 묶음
  • 순서 섞기: 학습할 때마다 태그 순서를 섞어요
  • 맨 앞 단어는 고정: 맨 앞은 트리거 단어 자리라서 안 섞어요

손님: 보여 주세요, 실제로 어떻게 생겼는지.

라보: 실제 캡션은 보여 드릴 수 없어서, 내용을 바꾼 가짜 예시로 보여 드릴게요.

lbtoon01, 1girl, solo, standing, long coat, short hair, looking at viewer, lineart, monochrome, white_background

손님: 맨 앞의 lbtoon01이 트리거예요?

라보: 네, 예시 트리거예요. 이건 늘 맨 앞에 두고, 뒤의 태그들만 순서를 섞어요. 순서를 섞는 건, 앞에 있는 단어만 세게 배우지 않게 하려는 거예요. 맨 앞을 고정하는 건, 트리거 단어가 그 로라를 부르는 이름이라서예요.

손님: 근데 저번에 알베도는 문장으로 쓴다고 하지 않았어요?

라보: 맞아요. 베이스 모델마다 캡션 말투가 달라요. 그 모델이 처음 배울 때 어떤 글을 보고 배웠느냐에 따라 알아듣는 말투가 다르거든요.

베이스 캡션 말투 가짜 예시
Illustrious 계열 태그 lbtoon01, 1girl, solo, long coat
알베도(AlbedoBase XL) 자연어 문장 lbtoon01, a young woman in a long coat standing alone
Pony 계열 score 태그 score_9, lbtoon01, 1girl, solo

손님: 포니도 써 보셨어요?

라보: 써 봤어요. 결과가 마음에 안 들어서 버렸어요.

"캡션에 없던 말은 왜 프롬프트에 넣어도 안 먹혀요?"

라보: 이 88장으로 학습을 두 판 돌렸어요. 설정은 이랬어요.

  • 그림 88장 × 반복 7 = 616. 한 에폭에 그림을 보는 횟수예요.
  • 10에폭, batch 2 (한 번에 그림 두 장씩)
  • LoCon, dim 16 / alpha 8
  • 학습률 1e-4, 텍스트 인코더는 5e-5
  • 학습률 스케줄 cosine
  • 최대 해상도 버킷 2048
  • 둘째 판은 3,110스텝

손님: 하나씩 알려 주세요. 다 처음 보는 말이에요.

라보: 짧게 갈게요.

  • LoCon은 로라의 한 종류예요. 보통 로라보다 조금 더 넓은 곳까지 손대며 배워요.
  • dim은 로라가 배운 걸 담는 그릇 크기, alpha는 그 배운 걸 얼마나 세게 반영할지 조절하는 값이에요. 저는 16과 8, 그러니까 alpha를 dim의 절반으로 뒀어요.
  • 학습률은 한 번 배울 때 얼마나 크게 고칠지예요. 1e-4는 0.0001이에요. 텍스트 인코더(캡션 글을 읽는 쪽)는 그 절반인 5e-5로 더 조심스럽게요.
  • cosine은 학습률을 처음엔 크게, 갈수록 부드럽게 줄여 가는 방식이에요.
  • 버킷 2048은 그림을 비율별로 묶어 학습하되, 가장 큰 묶음을 2048 크기까지 둔다는 뜻이에요. 그림을 억지로 정사각형으로 자르지 않아도 돼요.

손님: 그럼 두 판은 뭐가 달랐어요?

라보: 딱 둘이에요.

  • 트리거 단어
  • 캡션에 lineart, monochrome, white_background 태그를 넣었는지

결과는 태그를 넣은 판이 더 안정적으로 불려 나왔어요.

손님: 그럼 태그를 안 넣은 판은 프롬프트에 lineart를 쓰면 되잖아요?

라보: 저도 그렇게 생각했어요. 그런데 여기서 이번 편에서 제일 중요한 걸 배웠어요. 학습 캡션에 없던 말은 프롬프트에 넣어도 안 먹혀요.

손님: 네? 프롬프트에 쓰면 다 알아듣는 거 아니에요?

라보: 로라 입장에선 아니에요. 로라는 캡션에 있던 말과 그림을 짝지어 배워요. 캡션에 한 번도 안 나온 말은, 로라가 "그게 내가 배운 어떤 그림이지?"를 몰라요. 저는 예전에 프롬프트 맨 앞에 긴 문구를 붙여 쓰고 있었는데, 7월 4일 실제로 뽑아 비교해 보고 그 문구를 버렸어요. 학습 캡션에 없던 말이었거든요.

손님: 그러니까 나중에 프롬프트로 부르고 싶은 말은, 처음부터 캡션에 넣어 둬야 하는 거네요.

라보: 그거예요. 캡션은 나중에 쓸 말을 미리 가르쳐 두는 곳이에요.

"가중치는 얼마로 걸어요?"

손님: 그 선화 로라는 얼마나 세게 걸어요? 1로 다 걸면 돼요?

라보: 여기서도 하나 실측한 게 있어요. 가중치를 여섯 단계로 바꿔 가며 뽑아 봤는데, 0.75와 0.8 사이에서 전신 컷이 상반신으로 잘려 나왔어요.

손님: 숫자 조금 바꿨는데 컷이 잘려요?

라보: 네. 그래서 지금 쓰는 기본값은 이래요.

  • txt2img에서 가중치 0.7
  • 네거티브: color, colored, realistic, photo, 3d

네거티브는 선화 로라니까 색, 실사, 사진, 3D 쪽으로 새지 않게 밀어내는 말들이에요.

LoRA weight threshold 0.75 0.8 full body cropped to upper body, 로라 가중치 0.75와 0.8 사이 전신이 상반신으로 잘림, 실용값 0.7

가중치 눈금 위에 0.7 기본값과, 전신이 상반신으로 잘리기 시작한 0.75~0.8 구간을 표시한 그림이에요.

손님: 캡션 잘 쓰고, 가중치 0.7 맞추면 이제 원하는 그림이 다 나와요?

라보: 그게 또 아니었어요. 프롬프트만으로는 원하는 그림이 잘 안 나와서, 결국 스케치를 넣어 봤어요. 명암을 넣은 스케치, 흑백 선만 있는 스케치를 각각요.

손님: 스케치를 넣으면 달라져요?

라보: 그 얘기는 다음 편에서 할게요.

자주 묻는 질문

Q. 로라 캡션과 프롬프트는 뭐가 달라요?
프롬프트는 뽑을 때, 캡션은 가르칠 때 쓰는 글이에요. 캡션은 그림과 같은 이름의 txt 파일로 학습 폴더에 둬요.

Q. 로라 캡션을 AI한테 맡겨도 돼요?
저는 맡겼어요. 대신 셋(Claude, GPT, Grok)이 서로 검사하게 했어요. 88장에서 22건이 부딪쳤고 Claude가 자기 오류 3건을 고쳤어요. 하나에게만 맡기지 않고, 마지막 판단은 사람이 하는 게 핵심이에요.

Q. 프롬프트에 lineart를 넣었는데 선화가 안 나와요.
학습 캡션에 없던 말은 프롬프트에 넣어도 안 먹혀요. 저는 캡션에 lineart, monochrome, white_background를 넣은 판이 더 안정적으로 불려 나왔어요.

Q. 캡션 태그 순서는 어떻게 해요?
저는 태그식으로 쓰고 순서를 섞되, 맨 앞 트리거 단어만 고정했어요.

Q. 선화 로라 가중치는 얼마가 좋아요?
제 선화 로라는 0.75와 0.8 사이에서 전신이 상반신으로 잘렸어요. 그래서 txt2img 0.7, 네거티브 color, colored, realistic, photo, 3d를 기본으로 써요.

공식 주소
Kohya_ss 공식 깃허브 (오픈소스, 무료)
Claude (Anthropic)
ChatGPT (OpenAI)
Grok (xAI)
※ 깃허브는 코드를 공개해 두는 사이트라 실행 전에 안에 뭐가 들었는지 누구나 볼 수 있어요.

이 편에서 작가가 한 일
선화 로라용 그림 88장을 고르고, 캡션을 태그식·순서 섞기·맨 앞 트리거 고정으로 쓰기로 정했어요.
트리거와 태그 세 개만 다른 두 판을 비교하고, 가중치를 여섯 단계로 뽑아 본 뒤 기본값 0.7을 정했어요. 캡션에 없던 긴 앞머리 문구도 직접 비교해 보고 버렸어요.
AI에게 맡긴 일
88장의 캡션을 Claude, GPT, Grok 셋이 교차로 검증했어요. 22건이 부딪쳤고, Claude가 자기 오류 3건을 고쳤어요.
코야로 두 판 학습(10에폭, 둘째 판 3,110스텝)을 돌렸어요.

시리즈 · AI 웹툰 그리려면
1편 AI 웹툰 그리려면 어떻게 해야할까
2편 스테이블 디퓨전이 뭐예요?
3편 SD1.5, SDXL, FLUX는 뭐가 달라요?
4편 세이프텐서는 왜 이름이 그래요?
5편 AI 그림은 왜 엔비디아예요?
6편 kohya 코야
7편 그림은 몇 장 준비해야 할까?
8편 kohya 학습과 LoRA
9편 그림체 잘 나오나요?
10편 1스텝에 52초, 왜 이렇게 느린거지
11편 런팟은 어떻게 써요?
12편 로라 학습에 좋은 그림을 다 넣었는데 왜 엉뚱한 그림이 나와요?
13편 내 그림, AI 그림 사이트에 올려도 괜찮아요?
14편 스웜 대신 ComfyUI, 포터블로 어떻게 깔아요?
15편 ComfyUI 노드, 기본 워크플로는 어떻게 이어요?
16편 ComfyUI 워크플로 JSON 파일이 왜 안 열려요?
17편 로라 에폭 4랑 6 그림이 왜 똑같아요?
18편 ComfyUI 그림 크기, 매번 손으로 넣어요?
19편 로라 학습, 같은 캐릭터가 왜 다른 사람처럼 나와요?
20편 로라로 인체가 자꾸 틀어질 때, 몸부터 가르치면 돼요?
21편 (이 글) 로라 캡션, AI한테 맡겨도 돼요?
22편 (다음) ControlNet 스케치를 넣으면 AI 그림체가 달라져요?
23편 AI 채색했더니 왜 그림이 납작해져요?
24편 AI 웹툰 얼굴, FaceDetailer로도 왜 아직 안 돼요?

작성 기준: 2026년 10월, 라보의 실제 기록. 학습 설정과 가중치 값은 제 선화 로라 기준이라 그림과 베이스 모델이 다르면 달라질 수 있어요. 코야 화면, 옵션 이름, 각 AI 서비스도 바뀔 수 있어요.

등대 일지. 항해일지에 적지 않은 바다는 다시 찾아갈 수 없다. 세 사람이 함께 적으면 어긋난 줄이 보이지만, 마지막 줄은 선장이 쓴다.