전체 레시피 miribomrecipe
No.26따라하기릴스 #26

Claude가 혼자 만든 뮤비, 이거 진짜예요? — 만드는 법

한 사람은 Claude에게 틱톡을 보여주고 200달러를 쥐여줬고, 9시간 뒤 틱톡 피드를 통째로 패러디한 뮤직비디오를 받았어요(조회 361만). 원조는 "컴퓨터에 5분 말하고 잤더니 Claude가 12시간 일했다"는 영상(조회 391만)이에요. 같은 노래로 레트로 애니, 다크 타이포, 종이 질감 버전까지 줄줄이 나왔어요. 원작자들이 공개한 프롬프트 전문과 도구 조합을, 처음 해보는 사람도 따라 할 수 있게 단계별로 풀어 정리했어요.

  • 13개복사용 프롬프트
  • $65~실제 든 비용
  • 26.10기준
X @pleometric · Claude Opus 5.5

어떻게 만들어요?

how it works

Claude가 "감독"이 되고, 다른 AI들을 도구처럼 불러 써요

이렇게 작동해요

  1. 1노래MP3 + 가사 (Suno 등)
  2. 2Claude 기획장면·스타일·타이밍 설계
  3. 3재료 생성fal 이미지 · Seedance 영상
  4. 4코드로 완성가사 모션 + 렌더 → mp4

Claude는 영상을 직접 "그리는" AI가 아니라, 다른 AI에 일을 시키고 결과를 코드로 조립하는 감독이에요. 이미지는 fal, 영상은 Seedance, 효과음은 ElevenLabs에 맡기고, 가사 타이밍과 모션그래픽은 Claude가 JavaScript로 직접 짜서 mp4로 뽑아요. 그래서 처음 지시 한 번만 잘 쓰면 몇 시간 동안 알아서 작업해요.

준비물

어떤 방법으로 할까요?

pick a route

처음이면 A부터 — 돈이 거의 안 들어요

추천 · 방법 A

코드 애니메이션 뮤비

처음 해보는 사람, 비용 없이 해보고 싶은 사람

도구
Suno(노래) + Claude
비용
Claude 요금제만
결과
타이포·도형·캐릭터가 박자에 맞춰 움직이는 영상
난이도
★☆☆
이 방법으로 하기
방법 B

풀 파이프라인 (원조 방식)

조회수 391만·361만 영상과 같은 퀄리티를 원하는 사람

도구
Claude + fal + Seedance 2.5 + ElevenLabs
비용
65~200달러 + Claude Max
결과
캐릭터가 나오는 진짜 뮤직비디오
난이도
★★★
이 방법으로 하기
방법 C

클립 편집형

영상 AI는 써봤고, 편집을 Claude에게 맡기고 싶은 사람

도구
Suno + Midjourney + Kling·Wan + Claude
비용
각 서비스 구독료
결과
시네마틱 클립 + 박자 맞춘 가사 그래픽
난이도
★★☆
이 방법으로 하기

따라 하는 법

method
X @_mexicat (참고 영상)
01STEP 1추천

방법 A · 노래 + Claude만으로 만들기

  • 노래만 있으면 Claude가 가사 타이밍을 찾고, 장면마다 JavaScript 애니메이션을 짜서 영상으로 뽑아요. 영상 생성 AI를 안 써서 비용이 거의 안 들어요.
    1. 1Suno에서 노래를 만들고 MP3와 가사 텍스트를 저장 (Suno의 가사 영상도 있으면 같이 받기)
    2. 2Claude Code를 열고 작업 폴더에 MP3·가사·가사 영상을 넣기
    3. 3아래 프롬프트를 붙여넣고 실행 → 중간에 질문하면 답해주기
    4. 4완성된 mp4를 보고 "2절 부분 글자 더 크게"처럼 부분만 고쳐달라고 하기
  • 방법 A 프롬프트
    이 폴더에 노래 MP3, 가사, Suno 가사 영상이 있어. 이 노래의 뮤직비디오를 만들어줘.
    1) 가사 영상을 프레임별로 확인해서 각 줄이 불리는 시간을 찾아줘. 2) 오디오 분석으로 BPM과 박자를 찾아줘. 3) 장면을 직접 설계하고, 모든 도형·캐릭터·가사를 JavaScript 벡터 애니메이션으로 그려줘. 4) 박자에 맞춰 컷이 바뀌고, 후렴은 가사를 화면 가득 크게. 5) 헤드리스 브라우저로 프레임을 렌더해서 MP3와 합쳐 1080x1920 mp4로 만들어줘. 완성 후 여러 장면을 캡처해서 스스로 점검하고 고쳐줘.
  • TIP원작자는 Claude가 소리를 직접 못 듣기 때문에 "가사 영상을 프레임별로 읽어서" 타이밍을 맞췄다고 설명해요. 가사 영상을 꼭 같이 주세요.
X @donaldjewkes
02STEP 2방법 B

방법 B ① 원조 프롬프트로 지시하기

  • 조회 391만 원조 영상의 방식이에요. 원작자는 "컴퓨터에 5분 말했고, Claude가 12시간 일했다"고 해요. 핵심은 도구·목표·품질 기준을 한 번에 다 알려주는 것이에요.
    1. 1fal.ai 가입 → API 키 발급 → 크레딧 충전 (처음엔 50~100달러 정도로 시작)
    2. 2ElevenLabs 가입 → API 키 발급
    3. 3두 키를 작업 폴더의 .env 파일이나 메모에 적어두고 Claude에게 위치를 알려주기
    4. 4노래 MP3와 (있다면) 참고 영상을 폴더에 넣기
    5. 5아래 프롬프트(한국어 또는 영어 원문)를 붙여넣고 실행
  • 원조 프롬프트 (한국어 번역·핵심 정리)
    첨부한 MP4와 원본 링크는 "Claude Pop"이라는 노래의 뮤직비디오야. AI 발전 속도가 빨라지고 특이점이 다가오는 느낌을 담은 팝송이야.
    
    이 영상의 새 버전을 처음부터 끝까지 네가 혼자 만들어줘. 음원은 똑같이 쓰고, 가사를 화면에 가장 멋지게 보여줄 방법을 깊이 고민해줘. 지금 스타일에 얽매이지 않아도 돼. 추상적인 모션그래픽도 좋아.
    
    인터넷에서 레퍼런스를 자유롭게 찾아봐. JavaScript 애니메이션으로 종이 질감이 나는 새 뮤직비디오를 만들되, 요즘 감성에 맞게 원하는 방향으로 밀어붙여줘.
    
    효과음은 ElevenLabs API로, 이미지는 fal API로 만들어. 너를 닮은 팝 주인공 캐릭터 시트를 만들고, 백댄서와 조연 캐릭터, 무대 세트도 디자인해줘. 캐릭터를 세트에 넣은 뒤 Seedance 2.5로 가사별 장면 영상을 만들어줘.
    
    노래를 잘라서 Seedance에 레퍼런스로 넣어 타이밍을 정확히 맞추고, 립싱크가 맞는지 확인하는 검증 과정을 만들어 필요한 만큼 다시 돌려줘.
    
    그다음 그 영상을 밑그림 삼아 JavaScript 애니메이션으로 처음부터 다시 그려서 덮어줘. 실사로 먼저 찍고 그 위에 그림을 그리는 애니메이션 기법처럼.
    
    가사는 영상 안에 멋진 모션그래픽으로 넣어줘. 특히 시작 부분은 시선을 잡도록 가사를 크게 보여줘.
    
    완성되면 영상을 여러 번 끝까지 보고, 장면마다 캡처해서 품질이 충분한지 스스로 점검해줘. 목표는 대박 나는 뮤직비디오야.
  • 주의API 키는 남에게 보이지 않게 관리하세요. Claude가 몇 시간 동안 생성 API를 계속 부르니, fal 대시보드에서 사용 한도(limit)를 꼭 걸어두세요.
X @makevoid · @_mexicat
03STEP 3방법 B

방법 B ② 캐릭터·장면 만들고 덧그리기

  • Claude가 내부에서 하는 일을 단계로 풀면 이래요. 중간에 결과를 보고 방향을 잡아주면 훨씬 좋아져요.
    1. 1캐릭터 시트: fal의 이미지 모델로 주인공 정면·측면·표정을 한 장에
    2. 2백댄서·조연·무대 세트 이미지 생성
    3. 3Seedance 2.5로 가사 구간별 장면 영상 생성 (노래를 잘라 레퍼런스로 넣어 립싱크 맞추기)
    4. 4그 영상을 밑그림으로 JavaScript 애니메이션을 덮어 그리기 (실사 위에 그림 그리는 로토스코프 기법)
    5. 5가사 모션그래픽 + ElevenLabs 효과음 → 최종 렌더
  • 중간 점검 프롬프트
    지금까지 만든 캐릭터 시트와 장면 3개를 먼저 보여줘. 내가 스타일을 확인하고 나서 전체 장면을 만들어줘. 얼굴이 장면마다 달라지지 않게 캐릭터 시트를 매번 참고 이미지로 넣어줘.
  • 스타일만 바꿔 다시 만들기
    같은 노래, 같은 구성으로 스타일만 바꿔서 다시 만들어줘. 이번엔 (90년대 레트로 애니 / 검은 배경의 3D 타이포 / 종이 질감 콜라주) 느낌으로. 장면 타이밍은 그대로 유지해줘.
  • TIP같은 노래로 만든 영상들이 레트로 애니(74만), 다크 타이포(158만), 종이 질감(65달러) 등 완전히 다른 결과가 나왔어요. 스타일 한 줄만 바꿔도 돼요.
X @javif4_
04STEP 4방법 C

방법 C · 클립 만들고 편집은 Claude에게

  • "코딩은 못 해요, 기계랑 대화만 해요." 원작자는 Suno로 노래, Midjourney로 이미지, Kling·Wan으로 클립 116개를 만든 뒤 가사 그래픽과 박자 편집을 Claude에게 맡겼어요.
    1. 1Suno로 노래 만들기 → MP3 저장
    2. 2Midjourney로 장면 이미지 → Kling 또는 Wan으로 짧은 클립(5초 안팎) 여러 개
    3. 3클립을 한 폴더에 넣고 파일 이름에 장면 번호 붙이기
    4. 4Claude Code에 아래 프롬프트로 편집 맡기기
  • 방법 C 편집 프롬프트
    이 폴더의 클립들과 노래 MP3로 뮤직비디오를 편집해줘. 박자(BPM)를 찾아서 컷이 박자에 맞게 바뀌게 하고, 가사를 줄마다 화면에 그래픽으로 넣어줘. 후렴은 클립을 빠르게 잘라 붙이고 가사를 크게. 1920x1080 mp4로 렌더해줘.
X @pleometric
05STEP 5응용

응용 · 틱톡을 보여주고 맡기기 (200달러, 9시간)

  • 361만 조회 영상은 Claude에게 틱톡을 먼저 보게 한 뒤 예산 200달러를 주고 뮤직비디오를 맡긴 결과예요. 그래서 영상 전체가 틱톡 피드를 넘기는 듯한 패러디가 됐어요. 원작자는 이전 작업에서 원조(donaldjewkes) 방식을 따라 했다고 밝혔어요.
  • 레퍼런스를 보여주고 맡기기
    먼저 (틱톡/유튜브 쇼츠) 인기 영상들을 둘러보고 요즘 유행하는 형식과 밈을 정리해줘. 그다음 그 형식을 패러디하는 뮤직비디오를 이 노래로 만들어줘. 예산은 이미지·영상 생성비 (금액)달러 안에서 써. 중간에 계획을 먼저 보여주고, 내가 OK하면 진행해줘.
  • TIP처음엔 예산을 작게(20~30달러) 주고 짧은 30초 버전부터 만들어 보세요. 마음에 들면 같은 방식으로 늘리면 돼요.

프롬프트 모아보기

prompt pack

누르면 바로 복사돼요 · 상황별로 골라 쓰세요

원조 프롬프트 영어 원문

X @donaldjewkes 공개 전문 중 핵심 (길이 때문에 일부 줄임)

01원조 프롬프트 (영어)
I've included an MP4 file and an original link to a video that is called "Claude Pop." It's a pop song that is about increasing rate of progress and the experience of the singularity approaching.

I want you to independently do an end-to-end complete pass on making an updated version of this video. Use the exact same audio track and think and feel very deeply about what is the best way to visually represent all of the lyrics on screen. You do not need to anchor to the current style, you can do truly anything that you think might best let you visually express yourself, including abstract motion graphics.

You can use the internet freely to pull in references. You can look at motion design. I want you to make a new music video that has beautifully rendered JavaScript animations with a papery feel in a similar style to the reference that is created, but push the aesthetics in any direction you want and consider what is part of the modern zeitgeist.

You can also use the ElevenLabs API to do sound design. There's also a fal API key that's available to you. Generate some character sheets and have a pop protagonist that represents you. Once you have your character sheet, you can make a few backup dancers and some supporting characters as you see fit. You can design your own sets. You can insert the characters and then do Seedance 2.5 video generations to serve as the base assets, and you could pass in the lyrics so you can generate individual scenes.

You can cut up the song and pass it in as a reference in Seedance so that the timing is exactly right. Build out the right verification loops so that you can run Seedance as much as you need, and confirm that the audio is properly synced up.

After that, use your visual reasoning skills and your ability to build animations in JavaScript, and reconstruct the video from scratch as an overlay, like the animation technique where you shoot first in traditional film and then draw over top of it.

It'd be good to have amazing motion graphics of the text lyrics embedded into the video itself. At the start, for the visual hook, we want lyrics to be much more visually present.

Watch the entire video multiple times, take screenshots at individual parts, and think about whether something is really up to the bar of quality that we need here. The goal is to make a banger.

영어 원문 그대로 붙여넣어도 돼요 · 노래 이름·스타일만 바꾸세요

자주 쓰는 수정 지시

완성본을 보고 이렇게 고쳐달라고 하세요

가장 쉬운 방법

easy way

Claude 앱만 있어도 30초 맛보기는 돼요

  • Claude 앱(웹)에서 Opus 5.5 선택
  • 노래 가사를 붙여넣고 아래 프롬프트 실행
  • HTML 미리보기로 바로 재생 — 화면 녹화로 저장
  • 마음에 들면 Claude Code로 옮겨서 mp4로 제대로 뽑기
앱에서 30초 맛보기
아래 가사의 30초 분량 가사 영상을 HTML 애니메이션으로 만들어줘. BPM은 (숫자)야. 박자마다 글자가 튀어나오고, 후렴은 화면 가득 크게. 배경은 (스타일) 느낌으로. 재생 버튼을 누르면 시작하게 해줘.

(가사 붙여넣기)

이럴 땐 이렇게

troubleshooting

자주 막히는 부분을 모았어요

QClaude가 노래를 들을 수 있어요?
A

직접 듣지는 못해요. 대신 오디오 분석 도구로 BPM·박자를 찾고, 가사 영상(Suno 등)을 프레임별로 읽어서 타이밍을 맞춰요. 그래서 가사 영상이나 가사별 시간표를 같이 주면 훨씬 정확해요.

Q몇 시간씩 혼자 일하게 하려면?
A

Claude Code에서 실행하고, 프롬프트에 "끝까지 스스로 진행하고 중간 점검은 캡처로 해줘"를 넣으세요. 원작자들은 밤에 걸어두고 아침에 확인했어요.

Q비용이 걱정돼요
A

방법 A는 Claude 요금제 말고는 거의 안 들어요. 방법 B는 fal에서 한도를 걸고, 프롬프트에 예산을 숫자로 적으세요. 실제 사례는 65달러(makevoid), 200달러(pleometric)였어요.

Q립싱크가 안 맞아요
A

Seedance에 노래 해당 구간을 잘라서 레퍼런스로 넣으라고 하세요. "립싱크 검증 후 안 맞으면 다시 생성"을 프롬프트에 넣는 게 원조 방식이에요.

Q남의 노래로 해도 돼요?
A

연습은 괜찮지만 SNS에 올리면 저작권 문제가 생길 수 있어요. Suno로 만든 내 노래를 쓰는 게 안전해요.

꿀팁

tips
  1. 1

    첫 3초에 가사를 크게 띄우세요. 원조 프롬프트도 "시작은 가사를 크게"를 강조해요.

  2. 2

    스타일을 말로 길게 설명하기보다 "90년대 레트로 애니"처럼 누구나 아는 이름으로 주면 결과가 또렷해요.

  3. 3

    완성 후 "여러 번 보고 캡처해서 스스로 점검해"라고 시키면 품질이 확 올라가요.

  4. 4

    같은 노래로 스타일만 바꿔 여러 버전을 만들어 보세요. 반응 좋은 스타일을 고르기 쉬워요.

용어 풀이

glossary

처음 보는 단어가 있다면

Claude Code
컴퓨터에서 Claude가 파일을 만들고 프로그램을 실행할 수 있게 해주는 도구. 몇 시간짜리 작업은 이걸로 해요.
fal
여러 이미지·영상 생성 모델을 API로 쓸 수 있는 서비스. Claude가 키를 받아 직접 호출해요.
Seedance 2.5
바이트댄스의 영상 생성 모델. 이미지·오디오를 레퍼런스로 넣어 장면 영상을 만들어요.
ElevenLabs
목소리·효과음 생성 AI. 원조 영상에서는 효과음(사운드 디자인)에 썼어요.
BPM
1분에 박자가 몇 번인지. 컷 전환과 가사 등장을 박자에 맞추는 기준이에요.
로토스코프(덧그리기)
실사·영상을 먼저 만들고 그 위에 그림을 그려 애니메이션으로 만드는 기법.
API 키
서비스를 프로그램에서 쓰기 위한 비밀번호 같은 값. 다른 사람에게 보여주면 안 돼요.

원작·출처

source

릴스에 나온 영상과 글의 원본이에요

X @pleometric틱톡 보여주고 200달러, 9시간 뒤 뮤비 (조회 361만)
원문 보기
X @donaldjewkes원조: 말 5분, Claude 12시간 (조회 391만) · 프롬프트 전문
원문 보기
X @pleometric원조 방식을 따라 만든 레트로 애니 버전 (74만)
원문 보기
X @_mexicat다른 스타일로 다듬은 다크 타이포 버전 (158만)
원문 보기
X @makevoid종이 질감 버전, 토큰 600만 + 약 65달러
원문 보기
X @javif4_Suno → Midjourney → Kling·Wan 116클립 → Claude 편집
원문 보기
X @technollama노래 + Claude 코드 애니메이션 과정 설명
원문 보기
도움이 됐다면 저장·공유해주세요친구에게 보내면 같이 만들어볼 수 있어요

다른 레시피

more recipes
프롬프트 13개 바로 보기