SDXL on To the Moon

집 컴퓨터로 AI 가상 인물 만들기 — 무료로 '말하는 아나운서' 영상까지

Sat, 04 Jul 2026 18:00:00 +0900

요즘 유튜브나 뉴스에서 **AI가 만든 가상 인물(버추얼 휴먼)**이 부쩍 많이 보입니다. 실존하지 않는 사람이 아나운서처럼 또박또박 설명을 하죠. “저거 만들려면 비싼 서비스 써야 하는 거 아냐?” 싶은데, 결론부터 말하면 집에 있는 게이밍 노트북 한 대로, 돈 한 푼 안 들이고 꽤 그럴듯하게 만들 수 있습니다. 이 글은 실제로 ‘아리’라는 가상 아나운서를 만들어 자기소개 영상까지 뽑아본 기록입니다.

결과부터 — ‘아리’의 자기소개

말보다 영상이 빠르죠. 아래가 이번에 만든 결과물입니다. 실존하지 않는 사람이고, 목소리도 얼굴도 전부 AI로 생성했습니다.

"안녕하세요, 저는 AI로 생성된 아리입니다. 반갑습니다."

가상 인물 영상은 ‘3가지 재료’로 만들어집니다

챗GPT나 클로드 하나로 “영상 만들어줘” 하면 되는 게 아닙니다. 말하는 가상 인물은 세 가지를 각각 만들어서 합치는 작업이에요.

재료	하는 일	이번에 쓴 도구
① 얼굴	존재하지 않는 인물의 사진	SDXL (로컬 이미지 생성)
② 목소리	대본을 사람 음성으로	edge-tts (무료)
③ 입 움직임	음성에 맞춰 입을 립싱크	SadTalker (무료·로컬)

셋 다 무료이고, 인터넷 없이 내 GPU에서 돌아갑니다. 하나씩 볼게요.

① 얼굴 — SDXL로 ‘아리’를 빚다

먼저 세상에 없는 얼굴이 필요합니다. 저는 로컬에서 SDXL(Stable Diffusion XL)로 “단정하고 신뢰감 있는 한국 여성 아나운서"를 여러 장 생성한 뒤, 마음에 드는 얼굴을 골랐습니다. 이때 시드(seed)를 고정하면 같은 인물의 표정·각도만 바꿔가며 여러 컷을 뽑을 수 있어요. 이렇게 ‘아리’라는 고정 캐릭터가 탄생했습니다.

② 목소리 — edge-tts로 공짜 한국어 음성

대본은 아주 짧게 잡았습니다. “안녕하세요, 저는 AI로 생성된 아리입니다. 반갑습니다.” 이 문장을 마이크로소프트의 edge-tts(무료 TTS)로 한국어 음성 파일로 만들었습니다. 여성 음성 ko-KR-SunHiNeural을 쓰면 발음이 꽤 자연스럽습니다.

③ 입 움직임 — SadTalker로 립싱크

핵심은 여기입니다. SadTalker는 사진 한 장과 음성 파일만 주면, 음성에 맞춰 입과 표정을 움직이는 영상을 만들어 주는 오픈소스 프로젝트예요. 완전 무료이고 내 GPU에서 돌아갑니다. 얼굴 사진 + 아까 만든 음성을 넣으면 끝.

그런데 여기서부터 삽질이 시작됐습니다. 그냥은 안 예쁘게 나오더라고요. 실제로 통했던 팁을 공유합니다.

팁 1. 소스 사진은 반드시 ‘입을 다문’ 얼굴로

처음엔 활짝 웃으며 이빨이 보이는 사진을 넣었더니, 입 주변이 뭉개지면서 에일리언처럼 어색했습니다. 알고 보니 SadTalker는 입을 다문 무표정 사진을 소스로 줄 때 립싱크가 훨씬 자연스럽게 나옵니다. 입 벌린 사진은 그 벌어진 입 위에 억지로 립싱크를 얹느라 망가지는 거죠.

같은 인물(시드 고정)로 입 다문 버전을 새로 뽑아 소스로 교체하니 확연히 좋아졌습니다.

팁 2. ’expression_scale’은 과하지 않게

표정 강도 옵션(expression_scale)을 1.2로 주면 입이 과장돼서 부자연스럽습니다. 1.0 정도가 딱 적당했어요.

팁 3. 어깨까지 나오게 하려면 ‘_full’ 결과물을 쓰세요

SadTalker는 결과 영상을 두 개 만듭니다. 하나는 얼굴만 크롭한 버전, 다른 하나는 파일명에 _full이 붙은 원본 사진 전체(어깨·상반신 포함)에 얼굴을 합성한 버전입니다. 얼굴만 크게 나와서 답답하다면 _full 쪽을 쓰면 됩니다. 저도 이걸 몰라서 한참 헤맸어요.

팁 4. (설치) PyTorch는 cu121 조합이 안전

설치할 때 가장 흔한 함정이 GPU용 PyTorch입니다. 최신 그래픽 드라이버가 깔린 PC에서는 오래된 cu118(torch 2.0.1) 조합이 c10_cuda.dll 로딩 에러(WinError 127)를 내는 경우가 있어요. torch 2.1.2 + torchvision 0.16.2 (cu121) 조합으로 설치하면 안정적이고, SadTalker가 요구하는 라이브러리와도 호환됩니다.

어느 정도 GPU가 필요할까

무겁지 않습니다. VRAM 8GB면 충분해요. 저는 노트북용 RTX 4060(8GB)으로 돌렸고, RTX 3070급이면 동일하게 됩니다. 짧은 6초 클립은 몇 분이면 나오고, 화질 보정(gfpgan)까지 켜도 부담 없습니다. 다만 8분짜리 긴 영상을 통째로 립싱크하면 프레임이 수만 장이라 꽤 오래 걸리니, 긴 강의 영상은 발표자를 화면 한켠에 작게 넣는 식이 현실적입니다.

솔직한 결론 — 어디까지 되고, 어디부터 안 되나

된다: 공짜로, 내 PC에서, 세상에 없는 인물이 내 대본을 읽는 영상을 만들 수 있다. 개인 프로젝트·학습·프로토타입엔 충분하다.
한계: 아무리 팁을 써도 입 주변은 ‘완벽하게 자연스럽다’까진 못 간다. 자세히 보면 티가 난다. 방송급으로 매끈한 걸 원하면 HeyGen·Synthesia 같은 상업 웹서비스(유료)가 답이다. 이때도 얼굴은 지금처럼 SDXL로 만든 걸 아바타로 넣으면 된다.
라이선스 주의: SadTalker는 본래 연구용으로 공개된 프로젝트라, 수익화 콘텐츠에 쓸 땐 라이선스를 한 번 확인하는 게 안전하다.

돈 안 들이고 여기까지 만들 수 있다는 것 자체가, AI 도구가 얼마나 문턱을 낮춰놨는지 보여주는 것 같습니다. 다음엔 이 ‘아리’에게 슬라이드를 붙여 진짜 강의를 시켜볼 생각입니다.

클로드가 내 노트북에서 직접 그림을 그리게 만들기 — ComfyUI + SDXL 로컬 설치기

Thu, 02 Jul 2026 23:30:00 +0900

클로드(Claude)는 텍스트 AI라서 스스로 그림을 그리지 못한다. 하지만 로컬 PC에서 돌아가는 이미지 생성 서버를 붙여주면, “고양이 그려줘” 한마디로 클로드가 프롬프트를 다듬어 그림을 만들어내게 할 수 있다. 오늘은 게이밍 노트북(RTX 4060)에 ComfyUI + SDXL을 설치해서 이걸 실제로 구축한 과정을 정리한다. 비용은 0원, 인터넷 없이도 동작한다.

어떤 도구로 그리게 할까 — 선택지 3개

Automatic1111 WebUI (로컬) — 전통적인 웹 UI라 직접 만지기엔 가장 쉽지만, 메모리 관리가 헐거워 VRAM 8GB에서 SDXL이 버겁다.
나노바나나 (클라우드, Gemini API) — 설치 없이 API 키만 있으면 되고 품질도 좋지만, 장당 약 50원 + 인터넷 필수 + 워터마크가 박힌다.
ComfyUI (로컬) ← 최종 선택 — 노드 UI가 낯설지만 어차피 클로드가 API로 호출하니 상관없다. 세 후보 중 VRAM 효율이 가장 좋고(8GB 노트북에 결정적), 워크플로 전체가 JSON이라 프로그램이 호출하기 가장 깔끔하며, 무료·무제한·오프라인이다.

전체 구조

핵심 아이디어는 간단하다. 클로드는 “지휘"만 하고, 그림은 로컬 GPU가 그린다.

1
2
3
4
5
6
7
8
9


사용자: "노을 지는 서울 야경 그려줘"
 ↓
클로드: 한국어 요청 → 영어 프롬프트로 변환·보강
 ↓
ComfyUI 서버 (로컬, http://127.0.0.1:8188)
 ↓
SDXL 모델이 RTX 4060에서 이미지 생성 (20~40초)
 ↓
클로드가 완성된 PNG를 채팅에 표시

ComfyUI: Stable Diffusion을 돌리는 오픈소스 프로그램. REST API를 제공해서 외부 프로그램(클로드)이 호출할 수 있다.
SDXL: Stability AI의 이미지 생성 모델. 1024×1024 네이티브 해상도.

내 PC로 가능할까? — 사양 확인

설치 전에 확인한 최소 조건과 내 노트북(HP Victus 16) 사양:

항목	필요 사양	내 노트북	판정
GPU VRAM	8GB 이상 권장 (SDXL)	RTX 4060 Laptop 8GB	통과
RAM	16GB	16GB	통과
디스크	약 20GB	351GB 여유	통과

VRAM 8GB가 SDXL의 사실상 마지노선이다. 6GB 이하면 더 가벼운 SD 1.5 모델을 쓰는 게 낫다.

설치 과정 (Windows 11 기준)

1. ComfyUI 클론 + 가상환경

1
2


git clone --depth 1 https://github.com/comfyanonymous/ComfyUI C:\ComfyUI
python -m venv C:\ComfyUI\venv

2. PyTorch (CUDA 버전) 설치

일반 pip install torch는 CPU 버전이 설치되므로, 반드시 CUDA 인덱스를 지정해야 GPU를 쓴다.

1

C:\ComfyUI\venv\Scripts\python.exe -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

설치 후 GPU 인식 확인:

1
2


C:\ComfyUI\venv\Scripts\python.exe -c "import torch; print(torch.cuda.is_available())"
# True 가 나와야 함

3. 의존성 + SDXL 모델 다운로드

1
2
3
4


C:\ComfyUI\venv\Scripts\python.exe -m pip install -r C:\ComfyUI\requirements.txt

# SDXL base 모델 (~6.5GB) → models\checkpoints\ 에 저장
curl.exe -L -o C:\ComfyUI\models\checkpoints\sd_xl_base_1.0.safetensors https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors

4. 서버 실행

1

C:\ComfyUI\venv\Scripts\python.exe C:\ComfyUI\main.py --port 8188

브라우저에서 http://127.0.0.1:8188을 열면 노드 기반 UI가 뜨지만, 클로드 연동이 목적이라면 UI를 직접 만질 일은 거의 없다.

클로드와 연결하기

ComfyUI의 API는 두 개 엔드포인트가 핵심이다.

POST /prompt — 워크플로(JSON)를 제출하면 prompt_id를 돌려준다
GET /history/{prompt_id} — 생성이 끝나면 결과 이미지 파일명이 담겨 온다

이걸 호출하는 파이썬 스크립트(generate.py)를 하나 만들고, 클로드 코드(Claude Code)에는 스킬(skill) 하나를 등록했다. 스킬은 “이런 요청이 오면 이 스크립트를 실행해라"라는 지침서다:

1
2
3
4
5
6


---
name: draw-local
description: 사용자가 그림을 요청하면 로컬 ComfyUI로 생성. 한국어 프롬프트는 영어로 번역.
---
C:\ComfyUI\venv\Scripts\python.exe C:\ComfyUI\generate.py "PROMPT"
실행 후 SAVED <경로>가 출력되면 그 PNG를 채팅에 표시할 것.

이제 클로드에게 “~그려줘"라고 하면: ① 서버가 꺼져 있으면 자동 기동 → ② 한국어를 영어 프롬프트로 번역·보강 → ③ 생성 → ④ 채팅에 그림 표시까지 알아서 한다.

결과물 — 프롬프트 예시 3개

실제로 이 노트북에서 생성한 이미지들이다. 프롬프트를 어떻게 쓰느냐가 품질의 절반이다.

예시 1 — 인물/동물 + 조명 지정

1

a cute orange cat sitting on a windowsill, warm sunlight, photorealistic

예시 2 — 풍경 + 분위기 키워드

1

a serene mountain lake at sunrise, mist over the water, photorealistic

예시 3 — 실존 장소 + 시간대 + 스타일

1
2


Seoul city skyline at sunset, Namsan Tower and Han River, glowing orange and purple sky,
city lights turning on at dusk, skyscrapers, photorealistic, cinematic lighting, high detail

프롬프트 팁: ① 영어로 쓸 것(SDXL은 영어 학습 비중이 압도적) ② photorealistic, cinematic lighting 같은 스타일 키워드를 뒤에 붙일 것 ③ 피하고 싶은 요소는 네거티브 프롬프트(blurry, low quality, watermark...)로 분리할 것.

실측 성능 (RTX 4060 Laptop, 8GB)

첫 생성: 약 1분 (서버 기동 + 모델 VRAM 로딩 포함)
이후: 장당 20~40초 (1024×1024, 28스텝)
스텝을 20으로 줄이면 ~24초, 품질 차이는 크지 않음

정리

8GB VRAM 노트북이면 SDXL 로컬 생성이 충분히 실용적이다.
클로드 연동의 핵심은 “ComfyUI API를 부르는 스크립트 + 스킬 등록” 두 가지뿐.
클라우드 API(나노바나나 등) 대비 장점: 무료·무제한·오프라인. 단점: 품질과 텍스트 렌더링은 클라우드 모델이 우세.
다음 단계: 나노바나나(Gemini 이미지 API) 연동을 추가해서 로컬/클라우드를 골라 쓰는 것도 고려 중.