Mantra : マンガの超高精度な自動翻訳

※掲載している情報は、受賞当時の情報のため、現在は異なる場合があります。

Mantraはマンガを自動翻訳で翻訳する技術です。展示では、Mantraを使って実際に日本語のマンガを英語に翻訳したものをお見せします。また、実際にその場でリアルタイムに漫画を翻訳するデモを行います。

Mantraは機械翻訳と自動文字抽出によりマンガを自動で翻訳する技術です。近年機械学習技術の進展により機械翻訳・文字認識の性能は飛躍的に向上していますが、それでもマンガの翻訳には多くの課題があります。まず、機械翻訳では訓練データとなる対訳コーパスの量・質に強く依存しますが、大規模なマンガの対訳コーパスは存在せず、マンガ固有の表現を学習する事が困難でした。また、マンガの文字はフォントの多様性や文字の変形などの問題があり、従来のOCR技術では高精度な文字認識が困難でした。本技術は、複数の言語で出版された既存のマンガから自動的に対訳コーパスを抽出し学習します。これにより、マンガ固有の表現を適切に翻訳する事が可能になります。また、文字認識ではマンガ画像と類似したノイズや変形を加えたフォントを学習に用いることで、フォントの多様性・傾き・変形に対して極めて頑健な認識を実現しました。これらの技術を組み合わせる事で、Mantraは超高精度なマンガの自動翻訳を実現しています。