Comparación de la adecuación de las traducciones ofrecidas on-line en textos de diversos ámbitos

Abstract

En el mundo de hoy en día existe una cantidad creciente de traducciones generadas de manera automática por herramientas de traducción. Ante este hecho, merece la pena preguntarse por la validez de estos métodos y si las traducciones que generan son de calidad suficiente para no precisar de la revisión posterior por un traductor. En este Trabajo Fin de Grado se busca evaluar un par de herramientas de traducción automática (Google Translate y OpenNMT) con el uso de los estimadores de calidad más habituales (BLEU, TER, NIST, METEOR, CHRF) en diversos ámbitos lingüísticos (textos de origen jurídico, comercial, literario, foros online y subtítulos de películas). Para ello se toman entre 300 y 500 líneas de varios textos en inglés, y se buscan o se elaboran traducciones consideradas correctas, que se emplearán como traducciones de referencia. Obtendremos igualmente traducciones automáticas, a las que denominaremos hipótesis o candidatas. Tras un formateado y preprocesado, dichos textos serán sometidos a un programa encargado de realizar sucesivamente el cálculo de los estimadores. Se representan los resultados en forma de gráfica y se sacan conclusiones. De esta forma se considerará qué textos, debido a sus características intrínsecas, son más adecuados para ser traducidos automáticamente y cuáles presentan más dificultades y requieren mayor trabajo de post-edición.

Nowadays there are a growing number of translations which are product not of a human translator, but of a machine. An enormous quantity of words in a variety of languages is spewed from automata when fed with text in a source language. In terms of items translated, the productivity is fabulous, but what about the quality of the generated translations? As anyone can corroborate, in a great many occasions they are in dire need of further human-supervised translation. In this end-of-degree project we aim to evaluate a couple of Machine Translation (MT) tools (GoogleTranslate and OpenNMT) using standard adequacy estimates (BLEU, TER, NIST, METEOR, CHRF) translating texts taken from different linguistic fields (legal, commercial, literary, online forums and film captions). For this purpose, we have extracted around 300 to 500 lines from English source texts considered representative of those categories. When possible, we took official reference translations, but when there was no reference text, we made our own translation. In a similar fashion, we used the aforementioned MTs to obtain the candidate translations whose adequacy will be quantified. After formatting and pre-processing, these texts will be used as input to a program, which will calculate the desired estimators. Numeric results are presented as a bar graph to draw conclusions more easily. Therefore, this will show which texts are more suitable to be translated with MTs, due to their intrinsic features, and which ones prove to be more problematic and require more post-edition effort.