Hỏi về cách gắn vào tacotron2

[dugduy]

Chào bạn, mình thấy viphoneme sẽ có thể sửa được tình trạng nói ngọng của mô hình tacotron2 khi training bằng tiếng Việt.
Mình đã thử thay thế symbols của tacotron2 và trong file list training thành dạng ipa rồi.
Nhưng nó không hoạt động. Bạn giúp mình với!

[v-nhandt21]

Hi bạn, bạn tham khảo cách apply viphoneme cho E2E TTS models ở đây nha, có lỗi gì thì nhắn mình:
https://github.com/v-nhandt21/ViSV2TTS/blob/bea6fa1f85527c824c85986d8b7bfa3e3efd120a/synthesizer/utils/vitext.py#L32

[dugduy]

Hi bạn, bạn tham khảo cách apply viphoneme cho E2E TTS models ở đây nha, có lỗi gì thì nhắn mình: https://github.com/v-nhandt21/ViSV2TTS/blob/bea6fa1f85527c824c85986d8b7bfa3e3efd120a/synthesizer/utils/vitext.py#L32

Có phải là mình cần thay cái text2seq của cái tacotron2 thành cái text2seq của viphoneme không?

P/s: còn cái repo đó của bạn (visv2tts) mình chưa biết cách training, cái phần https://github.com/v-nhandt21/ViSV2TTS#preprocess-data mình vẫn chưa hiểu lắm, bạn thêm ví dụ vào cho dễ hiểu nha!

[v-nhandt21]

Hi bạn, bạn tham khảo cách apply viphoneme cho E2E TTS models ở đây nha, có lỗi gì thì nhắn mình: https://github.com/v-nhandt21/ViSV2TTS/blob/bea6fa1f85527c824c85986d8b7bfa3e3efd120a/synthesizer/utils/vitext.py#L32

Có phải là mình cần thay cái text2seq của cái tacotron2 thành cái text2seq của viphoneme không?

P/s: còn cái repo đó của bạn (visv2tts) mình chưa biết cách training, cái phần https://github.com/v-nhandt21/ViSV2TTS#preprocess-data mình vẫn chưa hiểu lắm, bạn thêm ví dụ vào cho dễ hiểu nha!

À visv2tts bạn đừng quan tâm, mình chỉ gửi ví dụ các tạo phoneme và đặc biệt symbols bạn phải lấy list các phoneme á

PS: Nếu như bạn dùng Tacotron2 thì data ít nhất 15h mới tốt được he, do nó khó hội tụ