Mantra : マンガの超高精度な自動翻訳

技術内容

Mantraは機械翻訳と自動文字抽出によりマンガを自動で翻訳する技術です。近年機械学習技術の進展により機械翻訳・文字認識の性能は飛躍的に向上していますが、それでもマンガの翻訳には多くの課題があります。まず、機械翻訳では訓練データとなる対訳コーパスの量・質に強く依存しますが、大規模なマンガの対訳コーパスは存在せず、マンガ固有の表現を学習する事が困難でした。また、マンガの文字はフォントの多様性や文字の変形などの問題があり、従来のOCR技術では高精度な文字認識が困難でした。本技術は、複数の言語で出版された既存のマンガから自動的に対訳コーパスを抽出し学習します。これにより、マンガ固有の表現を適切に翻訳する事が可能になります。また、文字認識ではマンガ画像と類似したノイズや変形を加えたフォントを学習に用いることで、フォントの多様性・傾き・変形に対して極めて頑健な認識を実現しました。これらの技術を組み合わせる事で、Mantraは超高精度なマンガの自動翻訳を実現しています。

動画はこちら

展示内容

Mantraはマンガを自動翻訳で翻訳する技術です。展示では、Mantraを使って実際に日本語のマンガを英語に翻訳したものをお見せします。また、実際にその場でリアルタイムに漫画を翻訳するデモを行います。

講評

日本を代表するコンテンツ分野である「マンガ」に対するコンテンツ技術。表現自体の新しい試みではなく、(1)産業としての経済的価値、(2)マンガをグローバルなコンテンツにするの明確な方向性は、デジタルコンテンツ技術として正面から取り組むテーマ。コーパス収集、専用OCRなどは、AIやロボティクスによる発展を期待したい。