chatGPTの性能が大幅に低下していると判明!検証された4つの能力の詳細を解説
chatGPTの性能が大幅に低下していると判明!検証された4つの能力の詳細を解説 / Credit:Canva . ナゾロジー編集部
artificial-intelligence

chatGPTが大幅性能低下!「数学正解率が98%から2%」検証論文を詳しく解説 (5/6)

2023.07.25 Tuesday

前ページ作られる「プログラムコード」は実行不可能なものばかりになった

<

1

2

3

4

5

6

>

視覚的な推論能力は僅かに改善した

視覚的な推論能力は僅かに改善した
視覚的な推論能力は僅かに改善した / Credit:Lingjiao Chen et al . How Is ChatGPT’s Behavior Changing over Time? . arXiv (2023)

最後に研究者たちは、視覚的な推論能力の変化を調べました。

このテストでは、GPTに対して複数の図形が提示され、一致している図形を選ぶことが求められます。

結果、上の図のように、GPT4とGPT3.5の両方において3月に比べて6月ではわずかな性能向上がみられました。

ただGPT4においては、3月の時点で解けたパズル問題が6月になるとできなくなっているケースもみられました。

(※GPT3.5は3月でも6月でもできませんでした)

このパズルは3つの例を参考に4つ目の「?」のパターンを推測するものであり、人間にとっては簡単なものです。

画像
Credit:Lingjiao Chen et al . How Is ChatGPT’s Behavior Changing over Time? . arXiv (2023)

視覚的な推論能力は全体的に上がっているにもかかわらず、一部の問題の解決能力が失われているというのは、非常に興味深い現象と言えるでしょう。

そのため研究者たちはGPTのような高度なAIについては、バージョンアップで起こる変化を細かく監視していく必要があると述べています。

次ページ以前のバージョンを使う方法が残されている

<

1

2

3

4

5

6

>

人気記事ランキング

  • TODAY
  • WEEK
  • MONTH

Amazonお買い得品ランキング

AI・人工知能のニュースartificial-intelligence news

もっと見る

役立つ科学情報

注目の科学ニュースpick up !!