Mantra : マンガの超高精度な自動翻訳

Mantra : マンガの超高精度な自動翻訳

東京大学情報理工学系研究科喜連川研究室、佐藤真一研究室

採択技術名

Mantra : マンガの超高精度な自動翻訳

採択者名

東京大学情報理工学系研究科喜連川研究室、佐藤真一研究室

採択年

2018年

※掲載している情報は、受賞当時の情報のため、現在は異なる場合があります。

概要

Mantraはマンガを自動翻訳で翻訳する技術です。展示では、Mantraを使って実際に日本語のマンガを英語に翻訳したものをお見せします。また、実際にその場でリアルタイムに漫画を翻訳するデモを行います。

詳細

Mantraは機械翻訳と自動文字抽出によりマンガを自動で翻訳する技術です。近年機械学習技術の進展により機械翻訳・文字認識の性能は飛躍的に向上していますが、それでもマンガの翻訳には多くの課題があります。まず、機械翻訳では訓練データとなる対訳コーパスの量・質に強く依存しますが、大規模なマンガの対訳コーパスは存在せず、マンガ固有の表現を学習する事が困難でした。また、マンガの文字はフォントの多様性や文字の変形などの問題があり、従来のOCR技術では高精度な文字認識が困難でした。本技術は、複数の言語で出版された既存のマンガから自動的に対訳コーパスを抽出し学習します。これにより、マンガ固有の表現を適切に翻訳する事が可能になります。また、文字認識ではマンガ画像と類似したノイズや変形を加えたフォントを学習に用いることで、フォントの多様性・傾き・変形に対して極めて頑健な認識を実現しました。これらの技術を組み合わせる事で、Mantraは超高精度なマンガの自動翻訳を実現しています。

審査講評

https://dcexpo.jp/i-tech/c/wp-content/themes/force_tcd078/img/common/no_avatar.png
審査委員

日本を代表するコンテンツ分野である「マンガ」に対するコンテンツ技術。表現自体の新しい試みではなく、(1)産業としての経済的価値、(2)マンガをグローバルなコンテンツにするの明確な方向性は、デジタルコンテンツ技術として正面から取り組むテーマ。コーパス収集、専用OCRなどは、AIやロボティクスによる発展を期待したい。

  • おすすめ記事
  • 特集記事
PAGE TOP