ドイツのAI翻訳サービス「DeepL翻訳」が日本語・中国語に対応したことを受け、ネット上で「Google翻訳より自然」などと注目されています。実際にDeepL翻訳が、「Google翻訳」や昨年話題になった「みらい翻訳」より優れているのか、比較してみました。
「DeepL翻訳」はどれだけ凄いの？他サービスと比較
ドイツのAI翻訳サービス「DeepL翻訳」が3月19日、日本語・中国語に対応したと発表しました。
DeepL翻訳が翻訳結果の精度について、Google、Microsoft、Amazonと比較するために実施したブラインドテストの結果では、DeepL翻訳が他よりも優れていると選ばれる頻度が最も高かったとのこと。
発表を受け、日本ではDeepL翻訳を使って比較してみたというユーザーの投稿がTwitterで話題になっていました。
試しに、いま僕が読み返している、グーグルのAI開発を率いている大天才Jeff Deanの論文（2019年11月13日）の概要を、DeepL翻訳（1枚目）とグーグル翻訳（2枚目）に入れてみた。
— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) 2020年3月20日
Jeff Deanの論文https://t.co/bY37gofyAL
DeepL翻訳https://t.co/ur1PHUroUg
グーグル翻訳https://t.co/Hcemk5XdPA pic.twitter.com/9o5VJkfm11
翻訳の分野では、2019年に「TOEIC960点レベルの翻訳」として話題となった「みらい翻訳」が優秀でしたが、実際にどれほどの差が生まれるのか。話題になっていたツイートと同じJeff Dean氏の論文の概要を翻訳した結果が以下のとおり。
Jeff Dean氏の論文の概要
The past decade has seen a remarkable series of advances in machine learning, and in particular deep learning approaches based on artificial neural networks, to improve our abilities to build more accurate systems across a broad range of areas, including computer vision, speech recognition, language translation, and natural language understanding tasks. This paper is a companion paper to a keynote talk at the 2020 International Solid-State Circuits Conference (ISSCC) discussing some of the advances in machine learning, and their implications on the kinds of computational devices we need to build, especially in the post-Moore's Law-era. It also discusses some of the ways that machine learning may also be able to help with some aspects of the circuit design process. Finally, it provides a sketch of at least one interesting direction towards much larger-scale multi-task models that are sparsely activated and employ much more dynamic, example- and task-based routing than the machine learning models of today.
「DeepL翻訳」での翻訳結果
過去10年間で機械学習、特に人工ニューラルネットワークに基づく深層学習アプローチは目覚ましい進歩を遂げ、コンピュータビジョン、音声認識、言語翻訳、自然言語理解タスクを含む幅広い分野でより正確なシステムを構築する能力を向上させてきた。この論文は、2020年国際固体回路会議（ISSCC）での基調講演に付随するもので、機械学習の進歩の一部と、特にムーアの法則後の時代に私たちが構築する必要がある計算デバイスの種類に与える影響について議論しています。また、機械学習が回路設計プロセスのいくつかの側面を助けることができるかもしれない方法のいくつかについても論じています。最後に、今日の機械学習モデルよりもはるかに大規模なマルチタスクモデルに向けた興味深い方向性のスケッチを提供しています。
「Google翻訳」での翻訳結果。
過去10年間に、機械学習、特に人工ニューラルネットワークに基づくディープラーニングアプローチの顕著な一連の進歩が見られ、コンピュータービジョン、音声認識、言語などの幅広い分野でより正確なシステムを構築する能力が向上しました翻訳、および自然言語理解タスク。この論文は、2020年の国際固体回路会議（ISSCC）での基調講演の参考論文であり、機械学習の進歩と、特にポストポストで構築する必要がある種類の計算デバイスへの影響について議論しています。ムーアの法則時代。また、機械学習が回路設計プロセスのいくつかの側面を支援できる方法のいくつかについても説明します。最後に、スパースにアクティブ化され、現在の機械学習モデルよりもはるかに動的な、例ベースおよびタスクベースのルーティングを採用する、はるかに大規模なマルチタスクモデルへの少なくとも1つの興味深い方向のスケッチを提供します。
「みらい翻訳」での翻訳結果
過去10年間に、機械学習、特に人工ニューラルネットワークに基づくディープラーニング手法において、コンピュータビジョン、音声認識、言語翻訳、および自然言語理解タスクを含む広範囲の分野にわたって、より正確なシステムを構築する能力を向上させるという著しい進歩があった。この論文は、2020年のInternational Solid-State Circuits Conference(ISSCC)で行われた基調講演のコンパニオンペーパーで、機械学習の進歩と、特にムーアの法則以降の時代に、私たちが構築する必要のある計算デバイスの種類に与える影響について議論している。また、機械学習が回路設計プロセスのいくつかの局面で役立つ可能性があるいくつかの方法についても説明する。最後に、現在の機械学習モデルよりもはるかに動的で、例やタスクに基づいたルーティングを採用する、まばらに起動されるより大規模なマルチタスクモデルに向けた、少なくとも1つの興味深い方向のスケッチを提供する。
この翻訳結果だけで、どの翻訳サービスが1番とはいい切れませんが、Google翻訳が際立って翻訳精度が低く見えます。
「DeepL翻訳」は方言にも対応!? 各サービスで翻訳してみると……
Twitterでは、DeepL翻訳は日本語の「方言」も翻訳できると話題になっていました。こちらも「Google翻訳」「みらい翻訳」と比較してみます。
https://t.co/hGo8Hn6Sme
— さよなり🍣西村良太 (@sayonari) 2020年3月21日
噂のDeepLの翻訳を試してみた。論文の翻訳が話題になってたので、三重県松阪市の方言を入れてみた。翻訳できた。なにこれどうなっとんの？ pic.twitter.com/7OzsJtwcmV
日本語も翻訳できるん？めっちゃええやん。せやなー。これすごいんやにー。普通こんなの出来やんやん。なにこれ、三重県の松阪市のみの方言まで翻訳できとるやん。
Twitterで話題になっていた方言の文章
「DeepL翻訳」での翻訳結果
Can you translate Japanese?It's so good.That's right.This is amazing.Normally, you can't do this.What the heck, it can even translate the dialect of Matsusaka City in Mie Prefecture.
「Google翻訳」での翻訳結果。
Can you translate Japanese?That's really cool.Seyana.This is amazing.Usually this is not possible.What can translate even the dialect of only Matsusaka city in Mie prefecture.
「みらい翻訳」での翻訳結果
Can you translate Japanese?Very good.No way.This is amazing.This is how it usually works.What? I can even translate the dialect of only Matsusaka City in Mie Prefecture.
また日本独特のAA（アスキーアート）も翻訳できるようです。
ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!
翻訳前の原文
「DeepL翻訳」での翻訳結果
Holy shit!
「Google翻訳」での翻訳結果。
ｷ (ｷ) ∀ !!
「みらい翻訳」での翻訳結果
Kita ━━━━ (゚ ∀ ゚) ━━━━!!