無監(jiān)督多模態(tài)機(jī)器翻譯 (Unsupervised Multimodal Machine Translation, UMMT) 旨在利用視覺等信息來幫助源
和目標(biāo)語言的語義空間對齊,為低資源語言對的翻譯提供了有效的手段. 現(xiàn)有的 UMMT 模型雖然在近距離語言對翻譯中取得一系列的研究進(jìn)展, 但是遠(yuǎn)距離語言對在基于回譯的無監(jiān)督框架中會出現(xiàn)語義信息丟失嚴(yán)重和語義空間對齊困難等問題, 其翻譯質(zhì)量并不理想。
團(tuán)隊(duì)圖爾貢博士,研究面向遠(yuǎn)距離語言對的 UMMT 方法, 其核心思想是利用圖像作為輔助和樞軸信息來促進(jìn)兩種語言的語句在機(jī)器翻譯潛在語義空間對齊。
相關(guān)論文發(fā)表在:
1. Unsupervised Multimodal Machine Translation for Low-resource Distant Language Pairs
2. Visual Pivoting Unsupervised Multimodal Machine Translation in Low-Resource Distant Language Pairs
EMNLP 2024錄用為Findings
論文和代碼請?jiān)贕ithub上下載:
https://github.com/WUT-IDEA/multimodal-machine-translation-with-low-resource
學(xué)者網(wǎng)

評論 0