갤럭시 AI 기능 중 대표적인 것은 실시간 통역입니다. 그런데 영어﹒중국어﹒일어 등 주요 언어들은 데이터베이스를 제공하는 업체가 많아 이들로부터 학습용 데이터를 구매하면 되는데, 까다롭기로 소문난 베트남어﹒아랍어﹒스페인어는 어떤 방법으로 통역하는 걸까요?
갤럭시 AI 통역
데이터베이스를 제공하는 언어와 달리 6 성조(聲調)를 갖고 있는 베트남어나 30여 방언으로 구성된 아랍어, 같은 언어를 사용하지만, 국가별로 다른 단어를 사용하는 스페인어 등은 통역하기 까다로운 언어입니다.
그래서 자연스러운 통역을 위해선 사전에 각 언어를 얼마나 잘 학습했는지가 관건으로, 각 언어에 맞는 특별한 학습법이 통역 수준을 결정하게 됩니다.
AI 통역 단계
AI 통역은 세 단계를 거치는데, 우선 자동 음성인식(ASR)을 통해 음성을 텍스트로 인식하고, 이를 인공 신경망 기반 기계번역(NMT)을 거친 뒤, 번역된 텍스트를 다시 음성으로 변환하는(TTS) 과정을 거칩니다.
음성인식(ASR)
ASR은 구어체로 발화되는 음성을 정확하게 듣고 인식하는 것이 관건으로, 문자를 번역하는 것과 달리 주변 소음이 섞이는 일이 많아 일부러 시끄러운 카페나 사무실에서 녹음된 음성을 학습합니다.
인공 신경망 번역(NMT)
NMT는 통역 수준을 크게 끌어올린 기술로, 문장을 단어나 구(句)로 쪼개 통계적으로 가장 유사한 의미를 찾아 번역하는 기존 ‘통계 기반 번역(SMT)’의 한계를 극복했다는 평가를 받고 있습니다.
일상생활 대화를 통역할 때는 단순히 단어의 뜻을 일대일로 번역하는 것보다 맥락에 맞는 통역을 제공하는 기술이 더 필요한데, NMT는 AI를 활용해 문장을 통째로 외워 번역하는 방식입니다.
세계 2억 명 이상의 인구가 사용하는 인도네시아어는 관사와 복수형이 없고 동사 시제 변화도 없어 배우기 쉬운 언어로 분류되지만, 그만큼 맥락을 충분히 파악해야 정확히 이해할 수 있어 통역이나 번역이 쉽지 않습니다.
그래서 삼성전자는 인도네시아어 학습 과정에서 단어가 아니라 문장을 통째로 학습시켜 갤럭시 AI가 의사소통의 맥락과 규칙을 이해할 수 있도록 했습니다.
언어 맞춤별 학습
6 성조를 가진 베트남어는 성조의 미세한 차이를 인식할 수 있도록 음성 데이터를 정교하게 다듬는 과정을 거치는데, 갤럭시 AI에는 성조의 미세한 차이를 인식할 수 있도록 한 단어를 0.02초의 짧은 프레임으로 잘라내 이를 데이터베이스화했습니다.
스페인어는 스페인을 포함해 아르헨티나﹒볼리비아﹒멕시코 등 22국에서 공식어로 사용되지만, 나라별로 다른 단어를 사용합니다. 가령 ‘수영장’은 멕시코에선 ‘알베르카’로, 아르헨티나﹒파라과이﹒우루과이에서는 ‘필레타’로 표현합니다.
그래서 중남미 국가의 스페인어 차이를 이해할 수 있도록 각 국가의 오디오와 텍스트 등 방대한 양의 데이터를 수집해 학습시킵니다. 세계 20여 국에서 4억 명 이상이 사용하는 아랍어는 지역별로 발음과 어휘, 억양이 다릅니다.
그래서 여러 방언의 미묘한 차이와 변형을 정확히 이해할 수 있는 원어민들이 다양한 출처에서 수집한 각기 다른 방언의 음성 녹음을 듣고, 그것을 일일이 글과 문장으로 바꾸는 수작업을 거쳐 실시간 AI 통역 모델을 완성하였습니다.
더욱 다양한 언어 추가 예정
삼성전자는 아랍어를 포함해 총 16개 언어에 대해 AI 통역을 지원하고 있는데, 조만간 루마니어어﹒튀르키예어 등 4개 언어를 추가할 계획입니다.