Tacotron제 1 장

안녕하세요 여러분 오랜만 입니다~ 다시 타코트론으로 찾아뵙네요

그럼 오늘도 열심히 달려볼까요?

 

혹시 전에 올린 타코트론의 관한 글을 아직 안 읽으셨다면 

https://startagainbornagain.tistory.com/22?category=720149

Attention의 이해와 Encoder, Decoder(Tacotron을 들어가기 전에)

이거 먼저 읽고 진행하시는 편이 더 수월할 것 입니다.

아 그리고 이번년 안에 타코트론 코드와 이론 공유를 마칠예정이니 참고해주세요(전편 포함 총 4편 예정)

 

음성에 관한 인공지능은 제가 알기로는 크게 두가지로 나누는걸로 알고 있는데

하나는 TTS(Text To Speech)로 우리말로 음성합성, 또 하나는 STT(Speech To Text)로 우리말로는 음성인식이라고 합니다.

타코트론은 이 둘 중에서 음성합성으로 불릴 수 있습니다. (음성인식에 대해 궁금하신 분이 계시다면 자연어 처리에 대해 먼저 공부하시는걸 추천드립니다. 근데 생각해보니 음성합성을 학습시킬 때 자연어 처리에 대해 공부해야 할 듯 하군요.......)

 

 

 

 

자 시작해 봅시다.

 

 

 

앞에서 저희 Encoder와 Decoder공부하신거 기억 나시나요? 오늘은 아마 전편 내용이 구체적으로 무엇을 의미 했었나에 대해 정리라고 보시는 편이 좋을 듯 하네요 

 

Encoder Decoder 모델(TTS)

다들 LSTM에 대해 안다고 생각하고 LSTM의 설명은 생략 하도록 하겠습니다. 궁금하시다면 직접 검색해서 공부하세요 파란색 부분은 Encoder부분이고 노란색은 Decoder부분입니다.

이모델은 음성 합성에서 처음으로 사용하기 시작한 모델이고 한 문장을 해석하는데 최적화 되어 있어서 번역기를 만드는데 많이 쓰일 수 있습니다(현 번역기들이 쓰고 있는지는 궁금하네요) 하지만 이 모델에는 장점이 될 수 있지만 단점이 될 수 있는 것이 한 문장에만 최적화 되어 있어 더 많은 문장을 입력할 수록 앞에 문장을 잃어버리는 특성 때문에 음성합성을 하기에는 어려움이 있겠죠

 

 

 

 

ATTENTION을 이용한 Encoder-Decoder 모델

이것이 바로 타코트론의 기초가 되는 Attention을 이용한 모델인데요 Attention을 이용한 것 빼면 앞에 있던 모델과 다를 바가 없습니다. Attention에 대해 깊숙히 설명하는 것은 생략하고요 큰 특징은 기존 Encoder부분에서 일정 문장들을 한도 초과하여 넣을 때 앞에 문장이나 단어들이 사라지는 것을 방지하는 역할을 해줍니다. 하지만 이 모델은 문장의 제한을 없앴지만 TTS모델을 만들기에는 부족한 점이 있는데요

그 이유는 음성 데이터를 학습을 시키면 그 음성 데이터의 특성들 예를 들어 사람의 음색이나, 높낮이, 그외 특징점들을 알아내지 못한다는 단점이 있습니다. 

 

그래서 다음부터 본격적으로 나갈 Tacotron의 특징점을 조금 소개했는데 알아차리셨나요? ㅎㅎ

그럼 다음에 보도록 하겠습니다. 

 

 

 

참고자료

그 외 구글링 (사진같은 것들)

https://developer.download.nvidia.com/video/gputechconf/gtc/2019/presentation/s91022-text-to-speech-overview-of-the-latest-research-using-tacotron2-and-waveglow-with-tensor-core-performance.pdf