翻訳スコア 0.96 なのに英訳が破綻した話
往復翻訳スコアは万能ではなかった
このブログでは、日本語の記事をAIで英訳し、その品質を「往復翻訳」で自動検証しています。
仕組みはシンプルで、日本語 → 英語 → 日本語 と往復させて、元の文章と再翻訳後の文章を embedding（ベクトル化）して cosine similarity で比較する。スコアが高ければ「意味がちゃんと保持された翻訳」と判定できる、というものです。
詳しくはこちらの記事で解説しています。
ところが先日、スコアが 0.9635 と高いのに、英訳として全く成立しないケースが発生しました。
プロジェクト・ヘイル・メアリーの記事で語っていること
問題の記事は、映画『プロジェクト・ヘイル・メアリー』について書いたこちらです。
この記事は大きく2つのパートで構成されています。
- 4DX体験レポ — ゴジラ-1.0との比較、ロッキー参戦後の盛り上がり
- 日本語タイトル考察 — 「ヘイル・メアリー」の語源、邦題ローカライズの問題
これを gemini-3.1-flash-lite-preview に英訳させて、往復翻訳スコアを測ってみたところ、0.9635 という高スコアが出ました。
数値だけ見れば「高品質な翻訳」です。しかし、実際の英訳を読んでみると…
英訳の何がダメだったのか
特に記事の後半に問題がありまくりでした。
1. アメリカ人にアメフトを説明する滑稽さ
原文ではタイトルの元ネタ「Hail Mary pass」の語源をていねいに解説しています。日本人の読者にはなじみがない概念なので、これは必要な説明です。
ところがこれをそのまま英訳すると、英語圏の、特に米国の読者に「アメフトの Hail Mary パスって知ってます？」と解説する記事になってしまいます。
In American football, a "Hail Mary" is that desperate, last-second, long-shot pass teams throw when they're about to lose. It's a literal prayer to the Virgin Mary — a "help me out here" move when you have no other options.
My guess is that less than 1% of the Japanese audience catches that cultural nuance.
国民の半分がスーパーボウルを観るアメリカ人に対して、もはや慣用句となっている誰もが知っている常識を、日本人がなんだか残念な英語で得々と解説している。控えめに言ってもかなり滑稽です。
「日本人の何%がわかると思う？」とアメリカ人に問いかけても「いや、俺は普通に知ってるけど…」としか言いようがない。
2. 邦題問題が存在しない世界への翻訳
「『プロジェクト・ヘイル・メアリー』という邦題、日本人に通じるの？」という問いかけは、日本語の読者だからこそ共感できる話題です。
英語圏には「映画タイトルのローカライズ」という概念自体が馴染みがありません。"Project Hail Mary" がそのまま "Project Hail Mary" というタイトルで公開されました、と言われても「それが何か？」としか思わない。日本では文化的な理解の問題やマーケティング戦略の都合で、書籍や映画が全然違うタイトルで翻訳・公開されることがあるという背景を知らないと、「同じように『オデッセイ』を『火星の人』にしとけよ」というツッコミも、事情を知らない英語読者には完全にイミフです。
Still, if they wanted to stay true to the book, I wish they'd stuck with the book's title for The Martian (which was released as Odyssey in Japan). I'm curious to see what they do with the title for Nolan's upcoming The Odyssey.
「日本ではオデッセイとしてリリースされた」と事実を淡々と述べているだけ。英語読者には「へぇ」で終わる情報で、原文にあった「なんでやねん」の温度感が完全に消えています。
3. Grace の語源が自明
原文では「主人公の名前 Grace は "Hail Mary, full of grace" から来ている、オヤジギャグに近いネーミング」と解説しています。
しかし、英語話者、特にキリスト教徒にとっては、Grace と "full of grace" の繋がりは自明です。「オヤジギャグ」という評価は通じますが、その前の説明パートがまるごと冗長になります。
Also, fun fact: the protagonist's name, Grace, is a nod to the "Hail Mary" prayer itself ("Hail Mary, full of grace"). It's basically a massive dad joke of a naming convention.
毎週教会で祈りを捧げるクリスチャンに対して、「ちなみにこれ豆知識な！」とアベ・マリアの冒頭句を解説するというのも、なかなかイタいものがあります。
どうしてこうなった…
なぜスコアは高かったのか？
これが重要なポイントです。
往復翻訳スコアが測っているのは「情報の欠落・歪み」です。原文の意味が翻訳を通じてどれだけ保持されたかを数値化している。
上記の問題はすべて、情報としては正確に保持されているのです。
- Hail Mary pass の説明 → 英訳でも正しく説明されている
- 邦題の問題提起 → 英訳でも正しく述べられている
- Grace の語源 → 英訳でも正しく解説されている
意味は保持されている。だからスコアは高い。
でも、英語ネイティブの読者にとって意味がない。
2つの直交するシグナル
この実験で明確になったのは、翻訳品質には少なくとも2つの独立した軸があるということです。
| 軸 | 測っているもの | 今回の結果 |
|---|---|---|
| 意味保持率（往復翻訳スコア） | 情報が欠落・歪曲なく伝わっているか | 0.9635（高い） |
| ネイティブ適合性 | その言語の読者にとって自然で意味があるか | 破綻（低い） |
この2つは直交するシグナルです。片方が高くても、もう片方が低いことは普通にあり得る。
逆のケースも考えられます。大胆に意訳して文化的な文脈を補完した翻訳は、ネイティブ適合性は高いかもしれませんが、往復翻訳で元に戻すと原文からズレる（＝スコアは下がる）可能性がある。
直訳版 vs ローカライズ版
実際に、この記事の英語版には AI による直訳版と、英語圏の読者向けに手動でローカライズした版の2つがあります。先ほどの直訳版と同じ箇所を、ローカライズ版で見てみます。
Hail Mary pass の説明
直訳版（gemini-3.1-flash-lite-preview、スコア 0.9635）:
In American football, a "Hail Mary" is that desperate, last-second, long-shot pass teams throw when they're about to lose. It's a literal prayer to the Virgin Mary — a "help me out here" move when you have no other options.
My guess is that less than 1% of the Japanese audience catches that cultural nuance.
ローカライズ版（手動、スコア 0.9396）:
Here's something you probably never think about: the title Project Hail Mary is a masterpiece of naming. It tells you everything — the desperation, the prayer, the impossibly long odds. You hear "Hail Mary" and you instantly get the football metaphor, the religious undertone, the whole vibe of humanity's last-ditch effort.
Now imagine you've never watched a single football game in your life. You've never been to church. "Mary" is just a foreign name, and "Hail" means nothing to you.
直訳版はアメリカ人にアメフトを説明し、「日本人の何%がわかると思う？」と問いかけている。
一方ローカライズ版は、「あなたにとって当たり前のこの感覚が、日本では消える」と英語ネイティブに語りかけている。
Grace の語源
直訳版:
Also, fun fact: the protagonist's name, Grace, is a nod to the "Hail Mary" prayer itself ("Hail Mary, full of grace"). It's basically a massive dad joke of a naming convention.
ローカライズ版:
You've probably already noticed this, but the protagonist's name is itself a wink — "Hail Mary, full of grace." Andy Weir is not above a dad joke, and honestly, I respect that. In Japanese, this wordplay is completely invisible. "Grace" is just another foreign name, and the Ave Maria connection flies over everyone's head.
直訳版は「アベ・マリアって知ってます？」と説明する。
ローカライズ版は「もう気づいてますよね」から入って、「日本人の多くはこれに全然気づかない」と展開する。
邦題のツッコミ
直訳版:
Still, if they wanted to stay true to the book, I wish they'd stuck with the book's title for The Martian (which was released as Odyssey in Japan). I'm curious to see what they do with the title for Nolan's upcoming The Odyssey.
ローカライズ版:
Speaking of Japanese titles — while Project Hail Mary kept the English title as-is, Andy Weir's other adaptation The Martian was released as Odyssey in Japan. Not The Martian. Not the Japanese novel title The Man on Mars. Just... Odyssey. Imagine if your local theater renamed Interstellar to Space Journey for no apparent reason. That's the level of inconsistency we're dealing with.
直訳版は「日本ではオデッセイとしてリリースされた」と事実を述べるだけ。
ローカライズ版は「Interstellar を Space Journey にリネームされたら？」という比喩で、英語ネイティブに「それはおかしい」と体感させている。
スコアが高い方（直訳版）は、英語ネイティブにとって滑稽な記事になっている。
スコアが低い方（ローカライズ版）は、読み物として成立している。
これが「直交するシグナル」の意味です。
この記事ではAI直訳は採用しません
結論として、プロジェクト・ヘイル・メアリーの記事には skip_translation: true というフラグを設定しました。自動翻訳パイプラインはこの記事をスキップします。上で引用したローカライズ版は、パイプラインとは別に手動で書き起こしたものです。
日本語で読むからこそ成立する記事を、機械的に英訳しても価値がない。それは翻訳ではなく、ただの言語変換です。
本当に英語版を作るなら、「直訳」ではなく「ローカライズ」が必要です。つまり、英語圏の読者向けに視点を変えて書き直す。Hail Mary の説明を省き、代わりに日本での受容のされ方を外から観察する視点で書く、といった根本的な再構成が求められます。
次にやること
今回の記事翻訳の試行錯誤を経ると、次にやること、いえ「やるべきこと」が見えてきました。
この知見を踏まえて、翻訳パイプラインに批評役モデルを導入する計画です。
翻訳役（Gemini Flash 系）が訳した英文を、別のモデル（Claude や GPT-4o）に「ネイティブ視点で問題点を指摘して」と投げる。往復翻訳スコアでは見えない「ネイティブ感の欠如」を、もう1つのシグナルとして可視化する狙いです。
スコアだけに頼らない、多角的な品質評価へ。まだ構想段階ですが、今回の実験がその必要性を実データで裏付けてくれました。