世界共通の言語法則『よく使う言葉ほど意味が増える』をAIで解明 (2/3)

AIが発見した“言葉の法則”とは？

研究チームは、この「よく使われる単語ほど意味が豊かになる」という法則が、本当に色々な言語に共通しているのかを調べることにしました。

そこで、世界中のさまざまな言語の文章を大量に集めて、それらを「コーパス」と呼ばれる大きなデータセットにしました。

具体的に言うと、今回の研究では英語や日本語、さらに聖書文章の24言語（27コーパス）をまとめた特別なデータを使いました。

（※英語2・日本語2の一般コーパスに、聖書翻訳の27サブコーパス（24言語）を加えた計31コーパスを分析。）

研究チームは、これらのデータから各単語がどれくらい頻繁に登場するか（出現頻度）をまず数えました。そして同時に、AI（人工知能）を使って、それぞれの単語がどれだけ多様な文脈で使われているか（意味の豊かさ）を測定しました。

ここで使われたAIの技術では、文章を読み込むことで単語が登場した場面ごとに「単語ベクトル（単語の意味を数値化したもの）」が作られます。

ベクトルの広がりが大きいほど、その単語はさまざまな意味で使われていると判断されます。

その結果、英語や日本語を含む多くの言語で、「頻繁に使われる単語ほど文脈が広がり、意味が豊かになる」という関係が確認されました。

グラフにすると、出現頻度と意味の豊かさの間に、なめらかな直線のような関係が見えてきます。

ただし、この傾向はすべての言語で同じように現れるわけではなく、言語によって直線の見え方にばらつきがありました。

特に、あまり使われない単語では関係が崩れやすく、グラフから外れてしまうこともありました。

それでも多くの言語で、この法則がおおむね成り立っていることが統計的に確認されました。

さらにこのAIの手法は、従来のように辞書に頼る方法とは異なり、時代や使われる場面を問わず、どんな言語データにも応用できるのが強みです。

研究チームは実際に、約100年前の文章や外国語を学ぶ人が書いた文にもこの方法を適用しました。

古い文では、頻繁に使われる単語ほど意味の広がりが見られましたが、使用頻度が低い単語では、ややずれが目立つ傾向がありました。

外国語学習者の文でも同じようなズレた結果が得られました。

それでもそれ以外の幅広い文章において、「頻繁に使われる単語ほど文脈が広がり、意味が豊かになる」という確認された意味は大きいでしょう。

次に研究チームは、「この法則の見え方がAIの性能によって変わるのか」という新たな疑問に挑戦しました。

ここで言うAIの性能とは、AIがどれくらい細かく言葉の意味を区別できるかということで、AIの「パラメータ数（処理の細かさを決める数字の数）」によって決まります。

パラメータ数が多いほど、AIはより賢くなります。

実験では、小型のAI（約2900万パラメータのbert-small）と、大型のAI（約3億4000万パラメータのbert-large）を使って比較しました。

その結果、小型AIでは「よく使う単語ほど意味が豊かになる」という関係がほとんど見られませんでした。

これは、小さいAIが単語の意味の違いを細かく認識するのが難しいためです。

一方、大きなAIでは、意味の豊かさと出現頻度の関係がはっきりと現れ、法則がより明確に観察されました。

また、AIの「種類」によっても結果が変わることがわかりました。

たとえば、BERT（バート）というAIは、単語の前後にある文章全体を参考にして意味を判断するマスク型モデルです。

一方、GPT-2（ジーピーティー・ツー）は、過去に書かれた単語の流れだけを見て、次に来る単語を予測する自己回帰型モデルというタイプのAIです。GPT-2は文章の「後ろ」にある文脈は使えません。

このGPT-2を使った場合、法則が明確に現れるためには、非常に大きなモデル（GPT-2 XL、約15億パラメータ）が必要でした。

これは、BERTのように前後の文脈を使えるAIに比べて、GPT-2のように過去の文脈しか使えないAIは、同じ法則を見つけるのにより大きな処理能力が必要だということを意味します。

このように、研究チームの一連の実験から、AIが単語の意味を正しく見分けられるかどうかを調べるための「新しい評価のものさし」として、「意味‐頻度の法則」が使える可能性が示されました。

今後、AIの語彙力（ごいりょく）をチェックする新しい方法として、活用されるかもしれません。