← 블로그
엔지니어링읽는 시간 6분

실시간 더빙이 몇 초 늦게 나오는 이유

Ethan Hu
DubTab을 만듭니다
이 페이지에서
헤드폰으로 온라인 강의를 듣는 학습자. 파란 음파와 초록 음파가 조금 어긋나 번역 음성의 짧은 지연을 보여 줌

실시간 더빙을 1분쯤 쓰면 대부분 같은 질문을 해요. 왜 목소리가 늦나요? 자막은 화자 바로 옆에 붙어요. 번역 목소리는 몇 초 뒤에 도착해요.

원인은 두 가지이고, 컴퓨터가 느려서가 아니에요. 목소리는 한 구절을 들은 다음에야 말할 수 있어요. 그리고 번역한 구절은 대개 원문보다 말하는 데 더 오래 걸려요. 앞의 것이 더 낮출 수 없는 하한이에요. 뒤의 것이, 몇 초가 몇 초로 남을지를 정해요.

들은 다음에야 말할 수 있어요

듣지 못한 문장은 누구도 번역할 수 없어요. 사람 통역사도 같은 제약 안에서 일해요. 통역 연구에서는 듣는 것과 말하기 사이의 거리를 ear-voice span(이어-보이스 스팬)이라고 불러요. 그 연구를 정리한 2025년 리뷰에 따르면, 프로 동시통역의 평균은 2초에서 5초예요. 수년 훈련한 사람이, 부스 안에서, 화자 한 명에게 집중할 때의 숫자예요.

뜻을 결정하는 말이 맨 뒤에 오는 언어에서는 기다림이 더 길어져요. 한국어가 그래요. 용언이 문장 끝에 오니, 그걸 듣기 전에는 번역할 수 없어요. 독일어도 많은 문장에서 본동사가 뒤로 가요. 같은 이유로 목소리는 기다릴 수밖에 없어요.

왜 목소리는 기다려야 하는가독일어 → 한국어
  1. Ich habe den Vertrag
    계약서가 있다.끝난 말처럼 들린다. 아니다.
  2. Ich habe den Vertrag gestern
    어제 …… 그 계약을아직 동사가 없다
  3. Ich habe den Vertrag gestern nicht
    어제 …… 그 계약을 …… 않다부정은 있다. 무엇을?
  4. Ich habe den Vertrag gestern nicht unterschrieben.
    어제 그 계약에 서명하지 않았다.이제 말할 수 있다
독일어는 동사를——여기서는 ‘아니다’까지——문장 끝에 둡니다. 마지막 단어가 오기 전에는 한국어를 자신 있게 말할 수 없습니다. 일찍 입을 열면 추측이 되고, 이 추측은 틀립니다.

그래서 목소리는 말할 수 있을 만큼 구절이 모일 때까지 기다렸다가, 번역하고, 말하기 시작해요. 자연스러운 끊김이 먼저 오면 긴 문장 끝까지 붙잡고 있지는 않아요. 다만 뜻이 실리기 전에는 시작할 수 없어요. 추측했다가 틀리는 목소리는, 조금 늦은 목소리보다 나빠져요.

자막은 한발 앞서요. 구절이 번역되는 순간 띄울 수 있어요. 목소리는 따라갈 수 있는 속도로, 그 위에 소리 내어 읽어야 해요. 화자에게 최대한 붙고 싶을 때는 자막을 눈으로 따라가고, 목소리에는 나머지를 맡기세요.

몇 초가 더 벌어지는 이유

두 번째 원인은 놓치기 쉬워요. 번역한 문장은 대개 원문보다 길어요. 영어에서 스페인어, 프랑스어, 이탈리아어, 포르투갈어로 가면 특히 늘어나요. 화자는 문장과 문장 사이에서 쉴 수 있어요. 번역 목소리는 못 쉬는 일이 많아요.

자연스러운 속도로는, 목소리가 아직 앞줄을 읽고 있는데 화자는 다음 줄 중간까지 가 있어요. 다음 줄 번역은 이미 준비되어 있고, 차례를 기다려요. 한 줄마다 시작이 조금 더 늦어지고, 강의 하나 동안 간격은 계속 커져요.

간격이 어떻게 움직이는지

도표. 화자가 여섯 구를 말하고, 번역 음성이 각각을 뒤이어 말합니다. 자동 따라잡기를 끄면 번역이 한 구씩 더 늦게 시작해, 화자가 멈춰도 목소리는 몇 구 뒤입니다. 켜면 밀린 구를 더 빨리 말해 짧은 거리를 유지합니다. 말이 빠르고 번역이 길면 빠른 목소리도 더 밀립니다.

도식이며 축척이 아닙니다. 번역 문장은 원문보다 말하는 데 더 오래 걸리므로, 자연스러운 속도로 말하면 한 줄마다 시작이 늦어집니다. 자동 따라잡기는 밀렸을 때만 목소리를 빠르게 해 간격을 유지합니다. 다만 말이 빠르고 번역이 길면 그래도 밀립니다.

진짜 선택은 여기이고, 공짜인 선택지는 없어요.

세 가지는 한꺼번에 안 돼요

라이브 번역 음성은 화자 가까이에 머물고, 자연스러운 속도로 말하고, 모든 줄을 다 말할 수 있어요. 번역이 길어질 때는 셋을 동시에 할 수 없어요.

지키는 것치르는 값DubTab에서는
화자 가까이, 모든 줄밀리면 목소리가 빨라짐자동 따라잡기 켬(기본값)
자연스러운 속도, 모든 줄긴 세션일수록 더 밀림자동 따라잡기 끔
화자 가까이, 자연스러운 속도말한 내용의 일부가 잘리거나 짧아짐제공하지 않음

사람 통역사는 종종 세 번째 줄을 골라요. 핵심이 아닌 것을 일반화하고 빼요. 같은 리뷰도, 통역 연구가 너무 빠른 말보다 그런 타협을 낫게 본다고 적어요. 그건 내용을 이해한 사람이 그 자리에서 내리는 판단이에요.

그 판단을 소프트웨어에 맡기지 않아요. 강의나 수업에서는, 건너뛰어도 될 것처럼 들린 줄이 정작 필요했던 줄일 때가 있어요. 그래서 DubTab은 두 설정 모두에서 번역한 줄을 전부 읽어요. 고르는 것은 더 빠른 목소리냐, 더 늦은 목소리냐예요.

지금 보고 있는 걸로 써 보세요
재생 중인 영상이나 방송에, 내 언어로 더빙과 자막을 붙여요. 15분 무료 체험, 카드 필요 없어요.
DubTab 써 보기

자동 따라잡기가 하는 일

자동 따라잡기는 번역 목소리가 밀린 뒤에만 속도를 올려요. 첫 줄은 자연스러운 속도로 재생하고, 따라잡은 뒤에는 다시 늦춰요. 영상과 원본 오디오는 절대 빨라지지 않아요. 늘 보통 속도로 재생돼요.

얼마나 자주 들리는지는, 더빙하는 언어에 따라 달라요. 영어로는 할 일이 비교적 적어요. 번역이 길어지는 언어로——특히 스페인어로——가면, 목소리는 꽤 긴 시간을 빠른 채로 보내요. 그건 들려요. 여기서 말해 두는 편이, 쓰다가 발견하는 것보다 나아요.

모자랄 때도 있어요. 말이 빠른 화자에 긴 번역이 겹치면, 빠른 목소리로도 못 따라가요. 간격은 다시 커져요. 다만 더 천천히요. 화자가 멈추면 줄어들어요. 위 그림의 맨 아래 칸이 그 경우예요.

그럴 때는:

  • 타이밍이 중요하면 자막을 읽으세요. 자막은 어느 쪽이든 화자 가까이에 머물러요.
  • 빠른 목소리가 지연보다 더 거슬리면 자동 따라잡기를 끄세요. 모든 줄은 그대로 재생되고, 자연스러운 속도로, 더 뒤에서요.
  • 설정 위치는 더빙 지연 도움말에 있어요. 확장 프로그램과 데스크톱 앱에서 이름이 달라요.

지연이 없다면, 미리 만든 더빙이에요

지연 없는 실시간 더빙은 없어요. 화면과 딱 맞는 더빙은 녹화 전체를 가지고 미리 만든 거예요. 영상을 올릴 때 YouTube가 만들어 줄 수 있는 더빙 트랙과 같은 종류예요. 다른 제품이고, 그 차이도 적어 두었어요. 내 언어로 공식 더빙이 있으면 그걸 쓰세요.

그 밖은——라이브 방송, 강의, 통화——먼저 들어야 해요. 우리가 정할 수 있는 것은 그다음이에요. 몇 초가 1분이 되지 않게 하는 것. 안 될 때는 안 된다고 말하는 것. 그리고 화자의 말 가운데 무엇이 필요 없었는지를, 이쪽에서 대신 정하지 않는 것이에요.