翻译机评测_翻译机评测对比 2024新鲜出炉

2024年6月5日，美国旧金山的机器翻译及大语言模型服务集成平台Intento联手多语言数据服务提供商e2f发布了《2024机器翻译报告》，这是Intento连续第8年发布该报告。

 

2024年6月5日，美国旧金山的机器翻译及大语言模型服务集成平台Intento联手多语言数据服务提供商e2f发布了《2024机器翻译报告》，这是Intento连续第8年发布该报告本年度报告分析了52个机器翻译引擎（全部为神经机器翻译引擎，NMT）和大语言模型（LLM）在11个语言对、9个领域的翻译表现。

相比2023年，受评的机器翻译引擎数量明显减少，而LLM却在增加：2023年报告中评测的37个引擎中，NMT模型32个、LLM5个，而本年度评测的52个引擎中，NMT引擎降至28个、LLM增至24个Intento给出的测试结论显示，NMT引擎在英语到阿拉伯语、IT和法律领域的翻译质量更优异，而LLM在口语、教育和娱乐领域的翻译效果更好。

需要说明的是，本次Intento测试的11个语言对均是以英文为核心的翻译任务，分别是英语到西班牙语（拉美）、法语（欧）、葡萄牙语（巴西）、意大利语、德语、荷兰语、乌克兰语、韩语、日语、中文（简体）、阿拉伯语。

从总体上来看，参与测试的所有机器翻译引擎中，支持语种数量较2023年仅提升了0.5%，增长并不明显，而这大多应该归功于小牛翻译的升级，小牛翻译在2023年8月将原有388种语言升级至454种，其中绝大多数都为联合国教科文组织认定的濒危语种。

可以说，在语种数量方面，小牛翻译继续保持世界领先地位小牛翻译以支持142506个语言对成为所有测试引擎中的佼佼者，是第二名支持数量的3.21倍（后者为44315个），其中有112217个语言对为小牛翻译引擎独有。

报告给出了12条结论，最值得关注的5条内容包括：1、市场格局：LLM正在改变机器翻译市场的格局，本次报告跟踪的94家提供商中，有33%为LLM供应商，在2023年时仅有18%2、翻译价格及速度：LLM的整体价格更便宜，但速度更慢，测评结果显示，二者翻译速度相差可达50-1000倍甚至更多，因此，在即时翻译领域，NMT仍然是最佳选择。

3、翻译质量：在这些LLM中，如GPT-4o、Gemini Pro 1.5这些商业化模型质量更优秀，开源模型仅能位列第二梯队4、翻译错误类型：NMT和LLM所犯的翻译错误类似，二者并没有太大差异5、模型定制：。

无论是NMT还是LLM，由于支持用户自行定义翻译记忆和术语库，从而在测试中消除了很多错误，测试结果的质量也更高此外，LLM还可以采用“提示工程（prompt engineering）”和“检索增强生成（RAG）”等技术提升翻译质量。

关于报告中提到的LLM翻译速度比NMT慢的原因，东北大学小牛团队穆永誉这样解释：”LLM相比于NMT推理速度慢，或者说翻译速度慢，主要原因有两个首先，二者的参数量相差可以说是天壤之别参数量越大意味着模型的学习能力越强，但所需要的计算资源越多，LLM的参数量可以高达万亿（比如，GPT4的参数量是1.8万亿），而NMT的参数量通常只有几亿规模，如果把GPT4这样的大模型比作一辆重型卡车，而一般的NMT模型也就是一辆自行车而已。

所以，即便是用具有高算力资源的NVIDIA A100/A800/H200等GPU卡做推理，能让GPT4这样的重卡跑起来已经实属不易，跑得慢是完全正常的；而NMT的模型参数量很小，所以，即便用在算力不是很强的NVIDIA 2080Ti/3090上，也可以搞百米冲刺，像小牛翻译的NMT模型，一张GPU卡就可以轻松翻译1000词/秒；。

此外，二者使用的模型架构有着明显不同虽然二者都是基于Transformer，但是NMT采用的是“编码器-解码器（encoder-decoder）”架构，LLM只采用解码器架构（decoder only）。

对于Transformer模型来说，解码器越轻量，模型的推断速度就越快NMT的参数主要分布在编码器，其解码器非常轻，相比之下，LLM的全部参数都用于解码器，因此，这也导致了其推理速度非常慢”小牛翻译技术负责人杜权博士表示：“这个报告中提到，在针对教育领域的内容做评测时，小牛翻译与谷歌翻译在英中互译的表现，超越了其他引擎。

这给了我们一点小惊喜不过，由于这个评测是在2024年3月25日至5月14日期间做的，而我们最近这半年已经对小牛翻译引擎做了4次大的优化，所以，很可能Intento没有获取到我们最新的更好质量的机器译文”。

实际上，与谷歌翻译或者是ChatGPT不同，小牛翻译是以中文为核心的翻译引擎除了中英互译，小牛翻译在小语种翻译品质上表现也十分优秀，尤其是日语、俄语、阿拉伯语、泰语、越南语、马来语、印尼语等语种与中文互译。

”

杜权博士最后谈到：“我非常期待Intento明年能够继续测试小牛翻译引擎，让我们与全球同行在同一平台一较高下”如果您对报告内容感兴趣，敬请关注“小牛翻译”官方公众号，后台回复“2024机器翻译报告”，获取报告原版PDF。