Chat GPTの精度を試した結果・・・

話題のChat GPTを試してみました。結論を先に言うと、正確な情報を得るための検索機能としては精度が低いです。誤った回答が多いです。例えば東大卒の政治家は?に山本太郎が出てきたりします。おそらく日本語化がまだ上手くいっておらず、日本語情報の蓄積・AIでの分析が足りていないのだと思います。

初期画面のTry ChatGPTのボタンを押してSign UpからIDを作れば無料ですぐに使えますのでお試しください。

Introducing ChatGPT
We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, ad...

Emailアドレス、名前、生年月日、電話番号の登録が必要です。登録したメルアドと電話番号にメールが送られてくるので、承認してやると利用開始できます。

初期画面は英語だけですが質問欄に日本語で入力すると回答も日本語で返ってきます。さっそく簡単な質問で回答の精度を試してみました。

質問したのは次の3問です。

  • 日本の大手銀行の名前
  • 日本の銀行で出世するのに有利な大学
  • 銀行に就職するのに有利な資格

以下が応答例です。

どうでしょう。10位の「しぶや銀行」は謎ですし、6位は1位の旧名称、7位は3位の旧名称です。8位は現PAYPAY銀行。また、ここに出ていない大手銀行や政府系金融機関もありますよね。回答の精度は低いと言わざるを得ないでしょう。

では、次の質問です。

学歴話を始めると、あれこれ言い出す人が出てきちゃいますが、まー概ね正しいですかね。具体的な名称の後に出てきた説明も、無難です。

現実には社内政治や遊泳術の巧拙が一番大事だったりしますけど、現状では無難な回答にとどまっているようです。

今後AIの学習が進むともっと「生々しいリアル」に迫るかもしれません。そこらへんをAIがどう消化していくのかがChat Gptの将来展開に影響しそうです。

さて次の質問です。

ほぼ妥当な感じです。司法試験とか税理士試験とか、難度の高い資格は挙げず、現実に銀行で取得奨励している資格が上がっています。

ですが、1は何の資格のことを指しているのか曖昧です。おそらく「証券外務員」のことを指しているのでしょう。

なお、上述の質問の他にもある地域の観光名所を尋ねてみましたが、全然違う地域の有名な寺がでてきたりしました。

ということで、情報の検索や事実確認には、まだまだグーグルやWikiの方が優っていると思います。

しかし、ChatGPTでは、より人の会話に近い形で質問を投げ、回答を得ることができます。この応答が、AIと対話しているような新鮮な感動を与えてくれます。その驚きが急速にChatGPTが有名になっている理由だと思います。

精度はともかく、新しい技術を避けて生きていくことはできませんから早く使ってみるに越したことはありません。

百聞は一見に如かず。

コメント

タイトルとURLをコピーしました