ComfyUI 모델 파일 정리 - Checkpoint, LoRA, VAE 그리고 모델 고르는 법

ComfyUI 모델 파일 정리 - Checkpoint, LoRA, VAE 그리고 모델 고르는 법

Reqruies

ComfyUI: 최신 안정 버전 기준
모델 정보: 2026년 중반 기준 (모델은 빠르게 바뀝니다)

Introduction

질문	이 글에서 보는 내용
models 폴더의 파일은 각각 뭔가?	폴더별 역할과 노드 연결
Checkpoint, Base, Merge는 뭐가 다른가?	모델의 "출신" 구분
SD1.5, SDXL, Pony, Flux 중 뭘 쓰나?	계열별 특징과 용도
LoRA는 어떻게 쓰나?	강도, 트리거 단어, 호환
에러가 나거나 결과가 이상하면?	호환 규칙과 증상별 원인

The Big Picture: What Goes Into One Image

flowchart TB
    A["Text Encoder<br/>(CLIP / T5)"] --> B["Diffusion Model<br/>(UNet / DiT)"]
    L["LoRA"] -.-> B
    L -.-> A
    C["ControlNet"] -.-> B
    B --> D["VAE Decode"]
    D --> E["Upscale Model"]

단계	하는 일	파일 종류
프롬프트 해석	글을 모델이 이해하는 숫자로 바꿉니다	Text Encoder (CLIP, T5)
그림 만들기	노이즈에서 이미지를 조금씩 만들어 갑니다	Diffusion Model (UNet, DiT)
보정	화풍, 캐릭터, 구도를 바꿉니다	LoRA, ControlNet, Embedding
픽셀로 변환	내부 표현을 실제 이미지로 풀어냅니다	VAE
후처리	해상도를 키우고 디테일을 살립니다	Upscale Model, Detailer

The models Folder Map

폴더	들어가는 것	쓰는 노드
checkpoints	올인원 모델 (Diffusion + CLIP + VAE)	Load Checkpoint
diffusion_models (예전 unet)	Diffusion Model만 따로 쪼갠 파일, GGUF	Load Diffusion Model, UNet Loader
text_encoders (예전 clip)	CLIP, T5 같은 글 해석 모델	Load CLIP, DualCLIP Loader
vae	VAE 단독 파일	Load VAE
loras	LoRA	Load LoRA
controlnet	ControlNet, T2I-Adapter	Load ControlNet Model
embeddings	Textual Inversion	프롬프트에 embedding:이름
upscale_models	ESRGAN 계열 업스케일러	Load Upscale Model
clip_vision	이미지를 이해하는 CLIP (IP-Adapter, Redux용)	Load CLIP Vision
ipadapter	IP-Adapter (커스텀 노드 필요)	IPAdapter 노드
ultralytics/bbox, sams	얼굴 검출, 영역 분할 (Impact Pack용)	Detector, SAM Loader

이미 Automatic1111이나 다른 UI를 쓰고 있다면 모델을 복사하지 않아도 됩니다. ComfyUI 폴더의 extra_model_paths.yaml.example을 extra_model_paths.yaml로 바꾸고 경로를 적으면 같은 폴더를 공유합니다. 수십 GB 모델을 두 벌로 두지 않아도 됩니다.

Checkpoint: The All-in-One File

Load Checkpoint 출력	연결하는 곳
MODEL	KSampler (LoRA를 쓰면 LoRA를 거쳐서)
CLIP	CLIP Text Encode (프롬프트 입력 노드)
VAE	VAE Decode

Checkpoint vs split models

구분	올인원 (Checkpoint)	분리형 (split)
파일	1개	Diffusion Model + Text Encoder + VAE
폴더	checkpoints	diffusion_models, text_encoders, vae
노드	Load Checkpoint	Load Diffusion Model + Load CLIP + Load VAE
장점	간단하다	Text Encoder를 다른 정밀도로 바꾸거나 여러 모델이 공유할 수 있다
예	SD1.5, SDXL 계열	Flux, SD3.5, Z-Image, Qwen-Image, Wan

File Formats and Precision

Extension

확장자	설명	권장
.safetensors	숫자(텐서)만 담은 안전한 형식	항상 이것을 받으세요
.ckpt	Python pickle 기반이라 열 때 코드가 실행될 수 있습니다	가능하면 피하세요
.gguf	양자화한 큰 모델용 형식 (커스텀 노드 ComfyUI-GGUF 필요)	VRAM이 부족할 때
.pt, .pth, .bin	구형 형식, 업스케일러 등에 남아 있습니다	출처를 믿을 때만

Precision (fp32, fp16, bf16, fp8)

표기	의미	특징
fp32	32비트	가장 크고 거의 쓰지 않습니다
fp16, bf16	16비트	기본값입니다. 품질 손실이 사실상 없습니다
fp8 (e4m3fn, e5m2)	8비트	크기가 절반입니다. 눈으로 구분이 어려운 경우가 많습니다
Q8, Q5, Q4 (GGUF)	양자화	숫자가 작을수록 작고 품질이 조금씩 떨어집니다

Base, Fine-tune, Merge: Where a Model Comes From

종류	만든 방식	특징	예
Base (원본)	회사가 처음부터 대규모로 학습	범용입니다. 특정 화풍이 없어서 다른 모델의 뿌리가 됩니다	SD1.5, SDXL 1.0, Flux.1 dev
Fine-tune	Base에 추가 데이터를 학습	한 방향(애니, 실사, 특정 소재)에 특화됩니다	Pony Diffusion, Illustrious XL
Merge	여러 모델의 가중치를 비율로 섞음	학습 없이 섞어서 취향 맞는 결과를 만듭니다	Civitai의 인기 모델 대부분

Merge는 나쁜 것인가

• 장점: 여러 모델의 장점을 섞어서 결과가 바로 예쁘게 나옵니다.
• 단점: 어떤 모델이 얼마나 섞였는지 불투명하고, 프롬프트 반응이 모델마다 다릅니다. 라이선스도 섞입니다.
• 팁: 초보에게는 인기 많은 merge가 오히려 쉽습니다. 고급 사용자는 Base나 Fine-tune에 LoRA를 얹어서 직접 조절합니다.

Distilled: Turbo, Lightning, Hyper, schnell

이름	보통 steps	CFG	비고
SDXL Turbo, SD Turbo	1~4	1 전후	속도 위주, 해상도 낮음
SDXL-Lightning, Hyper-SD	2~8	1~2	LoRA로도 배포되어 아무 SDXL 모델에 얹을 수 있습니다
LCM	4~8	1~2	LoRA를 얹는 방식, 설정이 까다롭습니다
Flux.1 schnell	1~4	1	라이선스가 자유롭습니다 (Apache 2.0)

Other labels you will see

라벨	뜻
Inpainting	이미지 일부를 다시 그리기용 모델. 요즘은 일반 모델로도 inpaint가 되어서 꼭 필요하지는 않습니다
Refiner	SDXL 후반부를 다듬는 보조 모델. 지금은 거의 쓰지 않습니다
Edit / Kontext	이미지를 주고 "이렇게 바꿔 줘"라고 지시하는 편집용 모델
NSFW / SFW	학습 데이터 성향. 모델 페이지의 안내와 라이선스를 확인하세요

Model Families: Which One Should I Use

계열	기본 해상도	프롬프트 스타일	VRAM 기준	잘하는 것
SD 1.5	512	짧은 태그 + 문장	4~6GB	가볍고 생태계가 가장 큽니다. 구형 LoRA와 ControlNet이 많습니다
SDXL	1024	태그 + 문장	8GB~	균형 잡힌 범용. 선택지가 가장 많습니다
Pony / Illustrious / NoobAI	1024	태그 위주	8GB~	애니·일러스트, 캐릭터 이해 (SDXL 기반)
Flux.1 (dev, schnell)	1024 이상	자연어 문장	12GB~ (fp8, GGUF로 절감)	사실적인 묘사, 손과 글자, 긴 프롬프트 이해
SD 3.5 (Large, Medium)	1024	자연어	8GB~	프롬프트 충실도, 라이선스는 약관 확인
Z-Image (Turbo)	1024 이상	자연어	12~16GB	작은 모델로 빠르게(8 steps 전후) 사실적인 사진, 한글·중국어·영어 글자
Qwen-Image	1024 이상	자연어	큼	이미지 속 글자(한글 포함) 표현이 강점
Flux.1 Kontext, Qwen-Image-Edit	입력 이미지 기준	지시문	큼	기존 이미지를 지시대로 편집
Wan, HunyuanVideo, LTX-Video	영상	자연어	큼	텍스트/이미지 → 영상

상황별로 고르기

하고 싶은 것	추천
처음이라 우선 뭐든 돌려 보고 싶다	SDXL 계열의 인기 merge 하나
애니, 일러스트, 특정 캐릭터	Illustrious / NoobAI 계열 (또는 Pony)
사진처럼 사실적인 인물, 제품	Flux.1 dev 계열 또는 SDXL 실사 fine-tune
이미지 안에 글자를 넣어야 한다	Flux, Qwen-Image 또는 Z-Image
큰 GPU 없이 사진 느낌을 빠르게	Z-Image Turbo (8 steps 전후)
VRAM이 8GB 이하	SD1.5, SDXL (fp16), 또는 Flux GGUF Q4~Q5
기존 사진을 지시대로 수정	Flux.1 Kontext, Qwen-Image-Edit
짧은 영상	Wan 계열
상업적으로 쓴다	모델 카드의 라이선스부터 확인 (Flux dev는 비상업 조건)

계열별 사용 팁

• SD1.5: 구형이라 해상도를 512 근처로 두고, 크게 뽑으려면 업스케일로 올립니다. 애니 계열은 Clip skip 2를 요구하는 경우가 많습니다.
• SDXL: 1024x1024 근처(1216x832, 832x1216 등 비슷한 면적)로 뽑습니다. 해상도가 크게 벗어나면 구도가 깨집니다.
• Pony: 품질 태그(score_9, score_8_up, score_7_up 등)를 앞에 붙이는 방식이 필요합니다.
• Illustrious / NoobAI: Danbooru 태그 위주로 씁니다. 모델 카드가 추천하는 품질 태그를 따르세요.
• Z-Image Turbo: 분리형이라 Diffusion Model, Text Encoder(Qwen 계열 LLM), VAE를 따로 받습니다. steps는 8 전후, CFG는 1 전후로 두고 문장으로 설명합니다. 공식 템플릿 workflow가 가장 쉽습니다.
• Flux: 문장으로 설명합니다. CFG는 1로 두고 FluxGuidance 노드로 강도(3.5 전후)를 조절합니다. dev는 negative prompt가 사실상 듣지 않습니다.

계열	Steps	CFG	샘플러 예
Z-Image Turbo	8 전후	1	모델 카드 안내
SD1.5 / SDXL	20~30	5~8	dpmpp_2m + karras, euler_ancestral
Illustrious / Pony	25~30	4~7	euler_ancestral, dpmpp_2m
Flux dev	20~30	1 (+ FluxGuidance 3.5)	euler + simple
Flux schnell	1~4	1	euler + simple
Turbo / Lightning	2~8	1~2	모델 카드 안내

LoRA: Small Add-on Files

LoRA 종류	용도	예
Character	특정 인물, 캐릭터	얼굴과 의상 유지
Style	화풍, 색감	수채화, 특정 작가풍
Concept	특정 소재, 사물, 포즈	특정 옷, 배경
Detail / Slider	디테일, 나이, 표정 같은 한 축의 조절	슬라이더 LoRA
Speed	적은 steps로 그리게 함	Lightning, Hyper, LCM

How to use it in ComfyUI

1. 파일을 models/loras에 넣고 새로고침합니다.
2. Load LoRA 노드를 Load Checkpoint 뒤에 연결합니다. MODEL과 CLIP을 받아서 다시 MODEL과 CLIP을 내보냅니다.
3. 나온 MODEL은 KSampler로, CLIP은 CLIP Text Encode로 연결합니다.
4. 여러 개를 쓰려면 Load LoRA 노드를 이어서 붙입니다.

노드 입력	의미	처음 값
strength_model	그림 생성 모델에 주는 영향	0.6 ~ 1.0
strength_clip	글 해석에 주는 영향	strength_model과 같게, 문제가 있으면 낮춤

LoRA를 쓸 때 꼭 알아야 할 것

• 계열이 맞아야 합니다. SD1.5용 LoRA는 SDXL에 못 씁니다. Flux용은 Flux에만 됩니다.
• 트리거 단어를 확인하세요. 많은 LoRA가 프롬프트에 특정 단어를 써야 작동합니다. 모델 페이지에 적혀 있습니다.
• 강도는 낮게 시작하세요. 1.0에서 얼굴이 뭉개지거나 색이 탁해지면 0.6~0.8로 낮춥니다.
• 여러 개를 겹치면 서로 싸웁니다. 합이 1.5~2를 넘으면 결과가 깨지기 쉽습니다.
• 같은 SDXL이라도 Pony용 LoRA를 Illustrious에, 또는 반대로 쓰면 잘 안 맞는 경우가 많습니다. 학습한 모델 계열을 확인하세요.

VAE, Text Encoder, Embedding

VAE

증상	원인과 해결
색이 탁하고 회색빛이다	내장 VAE가 약한 모델입니다. 모델이 권장하는 VAE를 Load VAE로 연결합니다
SDXL에서 검은 이미지	fp16 NaN 문제입니다. sdxl-vae-fp16-fix 같은 수정 VAE를 사용합니다
Flux/SD3에서 색이 이상하다	Flux는 전용 ae.safetensors를 써야 합니다. SD1.5, SDXL의 VAE와 호환되지 않습니다

Text Encoder (CLIP, T5)

계열	Text Encoder
SD1.5	CLIP-L
SDXL	CLIP-L + CLIP-G
Flux, SD3.5	CLIP-L + T5-XXL (긴 문장 이해)
Z-Image, Qwen-Image	Qwen 계열 LLM (한글 등 다국어 이해)

Embedding (Textual Inversion)

ControlNet, IP-Adapter and Upscalers

ControlNet: Control the Composition

종류	입력으로 쓰는 정보	이럴 때
Canny	외곽선	사진의 형태를 그대로 두고 화풍만 바꿀 때
Depth	거리 정보	공간감과 원근을 유지할 때
OpenPose	사람 뼈대	포즈를 지정할 때
Lineart / Scribble	선화, 낙서	스케치를 완성작으로 만들 때
Tile	원본 질감	업스케일하며 디테일을 살릴 때

IP-Adapter and Redux: Image as a Prompt

Upscale Models

방식	설명	특징
Upscale Model	이미지 자체를 확대	빠르고 결과가 안정적입니다
Latent Upscale + 재샘플링	latent를 키운 뒤 다시 그림	디테일이 새로 생기지만 denoise가 높으면 모양이 변합니다
두 방식을 조합	모델로 키운 뒤 낮은 denoise(0.2~0.4)로 한 번 더	가장 많이 쓰는 방식입니다

Detailer (Impact Pack)

Compatibility Rules: Mix Only What Matches

조합	되나?	비고
SDXL Checkpoint + SDXL LoRA	O	이상적
SDXL Checkpoint + SD1.5 LoRA	X	에러나 의미 없는 결과
Pony Checkpoint + Illustrious LoRA	대체로 어색	둘 다 SDXL 기반이지만 학습 방식이 달라 호환이 낮습니다
SD1.5 Checkpoint + SDXL ControlNet	X	계열 일치 필요
Flux + SDXL VAE	X	Flux는 전용 VAE
SDXL Checkpoint + 다른 SDXL VAE	O	색 문제가 있을 때 교체

VRAM Guide

VRAM	편하게 쓸 수 있는 것	부족할 때 방법
6~8GB	SD1.5, SDXL (fp16)	해상도를 낮추고 tiled VAE를 사용
12GB	SDXL 전반, Flux fp8, Z-Image Turbo	Flux GGUF Q5 정도
16GB	Flux dev fp8, SD3.5 Large	영상 모델은 짧은 길이로
24GB~	Flux fp16, Qwen-Image, 영상 모델

Where to Get Models and How to Read a Model Page

사이트	특징
Hugging Face	공식 배포처. Base, 분리형 모델, 공식 workflow가 여기에 있습니다
Civitai	커뮤니티 모델. Checkpoint, LoRA가 가장 많고, 예시 이미지로 화풍을 가늠할 수 있습니다
ComfyUI Manager	ComfyUI 안에서 모델과 커스텀 노드를 검색하고 설치합니다

항목	확인할 것
Base Model	SD 1.5, SDXL 1.0, Pony, Illustrious, Flux.1 D 등 계열. 내 LoRA와 맞는지 판단하는 기준입니다
Type	Checkpoint, LoRA, VAE, Embedding, ControlNet
Version 설명	권장 Sampler, Steps, CFG, Clip skip, VAE
Trigger Words	LoRA를 켜는 단어
License	상업적 이용 가능 여부
예시 이미지	우측 정보 버튼으로 프롬프트와 workflow를 확인할 수 있습니다

• .safetensors인지 확인합니다.
• Base Model이 내가 쓰는 계열과 같은지 봅니다.
• fp16, fp8, pruned 중 내 VRAM에 맞는 것을 고릅니다.
• 라이선스와 출처를 확인합니다. 모르는 곳의 .ckpt나 .exe를 같이 주는 파일은 받지 마세요.

Troubleshooting

증상	가능한 원인	해결
모델이 드롭다운에 안 보인다	폴더 위치가 틀렸거나 새로고침 전	올바른 폴더에 넣고 R 키
mat1 and mat2 shapes... 에러	서로 다른 계열 연결	Checkpoint, LoRA, ControlNet의 Base Model을 맞춤
검은 이미지	fp16 VAE NaN, 잘못된 VAE	수정 VAE를 연결하거나 fp32 VAE
색이 탁하다	VAE 문제	권장 VAE 사용
LoRA를 넣어도 변화가 없다	트리거 단어 누락, 강도가 낮음, 다른 계열	트리거 단어 추가, 강도 상향, 계열 확인
결과가 뭉개지고 이상하다	해상도가 모델 기본값과 크게 다름	SDXL은 1024 근처로
사람이 이상한 형태로 나온다	CFG가 너무 높음, LoRA 과적용	CFG와 LoRA 강도 낮춤
같은 프롬프트인데 Flux에서 negative가 안 먹는다	Flux dev는 negative를 쓰지 않는 설계	원하는 것을 긍정문으로 서술
Out Of Memory	VRAM 부족	해상도 축소, fp8/GGUF, --lowvram
너무 빨리, 이상하게 완성된다	Turbo/Lightning에 일반 설정(CFG 7, 30 steps) 사용	steps 48, CFG 12로

Summary

주제	핵심
models 폴더	파일 종류마다 폴더와 노드가 정해져 있고, 새로고침해야 보입니다
Checkpoint	Diffusion + CLIP + VAE가 든 올인원, 최근 모델은 분리형이 많습니다
파일 형식	.safetensors를 받고, VRAM에 맞춰 fp16 / fp8 / GGUF를 고릅니다
Base / Fine-tune / Merge	원본, 한 방향 특화, 가중치 혼합. 초보에게는 인기 merge가 쉽습니다
Distilled	Turbo, Lightning, schnell은 적은 steps로 빠르게, 설정이 다릅니다
모델 계열	SD1.5, SDXL, Pony / Illustrious, Flux, Z-Image, Qwen-Image, 영상 모델 중 용도와 VRAM으로 고릅니다
LoRA	계열 일치, 트리거 단어, 낮은 강도에서 시작합니다
보조 모델	VAE, Text Encoder, ControlNet, IP-Adapter, Upscale, Detailer
호환 규칙	같은 계열끼리만 섞이고, 에러는 대부분 계열 불일치입니다