타버스(Tavus)가 음성과 짧은 영상만으로 사람의 입모양을 자동으로 맞춰주는 **제로샷(Zero-shot) 립싱크 모델 ‘허밍버드-0(Hummingbird-0)’**를 선보였어요. 이 모델은 본래 전체 얼굴 합성 기술인 ‘Phoenix-3’를 개발하던 중 파생된 연구 결과로, 성능이 뛰어나 별도 공개됐습니다.

 허밍버드-0는 별도의 학습이나 클로닝 없이, 오디오와 짧은 참조 영상만으로 자연스럽고 정밀한 입술 싱크를 생성해요. 다른 립싱크 AI들이 겪는 어색한 타이밍, 입 왜곡, 얼굴 이질감 문제 없이 실제 인물의 정체성을 유지한 채 일관된 결과를 보여줍니다.

 활용 범위도 넓어요. AI 영화 제작, 영상 더빙, 기업 영상 현지화, 인플루언서 광고, 팟캐스트 편집 등 다양한 분야에서 실시간 또는 API 기반으로 사용할 수 있어요. 특히 영상 제작자들이 기존 영상에 새 음성만 넣으면 자동으로 입모양을 맞춰주는 워크플로우에 쉽게 통합 가능하죠.

 벤치마크 테스트 결과도 뛰어났어요. 다양한 인종, 조명, 녹음 환경의 샘플 30여 개를 비교한 결과 입술 정확도, 얼굴 유지, 시각적 품질 모든 측면에서 기존 최고 모델보다 우수한 결과를 기록했어요. 요금도 비교적 저렴해, 분당 1.5달러로 상용 립싱크 모델 중 가장 비용 효율적인 수준이에요.

 현재는 연구 미리보기 형태로 FAL 모델 갤러리와 Tavus API에서 이용 가능하며, 클립 길이는 최대 5분까지 지원돼요. 10초당 약 1분의 생성 시간이 걸리며, 25fps로 출력되며 1080p 이상은 자동 다운스케일 처리돼요.

 이젠 레고도 “프롬프트 장인”이 짓는 시대!
카네기 멜론 연구팀이 만든 LegoGPT는 텍스트만 입력하면 실제로 조립 가능한 레고 구조물을 자동으로 설계해주는 AI예요.

이 AI는 “다음 단어” 대신 “다음 블록”을 예측하는 방식으로 작동해요.
말 그대로 GPT가 블록을 쌓는 거죠. “아기자기한 정원을 만들어줘”라고 하면 실제로 균형 잡힌 정원 구조물이 생겨납니다. (물리 법칙까지 고려해서요!)

어떻게 가능한 거냐고요?
그 핵심은 StableText2Lego라는 데이터셋! 총 47,000개가 넘는 안정적인 구조물 예시와 설명이 담겨 있어서 AI가 배울 게 엄청 많아요. 게다가 ‘롤백 시스템’까지 탑재돼 있어서 “이 블록은 좀 위험한데…?” 싶으면 과감하게 뒤로 가서 다시 블록을 선택하는 똑똑함도 갖췄습니다.

그리고 뭐다? 오픈소스다!
GitHub에서 직접 다운받아서 써볼 수도 있고 HuggingFace에서 데모를 테스트 해볼수도 있어요! (진짜 레고 조립 로봇 만들 사람 여기 있나요? 손! 🙋)

상상력만 있으면 나만의 레고 월드도 AI가 대신 만들어주는 시대. LegoGPT… 이름은 귀엽지만 야망은 큽니다. 레고보다 더 탄탄한 AI 놀이가 이제 시작된 걸지도? 😎