社外に配る資料を作るため、ある制度の内容を生成AIに調べさせた。一つのAIの 回答だけでは確からしさが判断できないため、複数の生成AIを用いた検証を行いたい。 進め方として最も適切なものはどれか。
正解：ア
ア同じ質問を別の生成AIにもして、答えが食い違った箇所を資料で確かめる。
正解。別のAIに同じことを尋ねると、どこが怪しいかが浮かび上がります。 食い違った箇所は特に確かめる必要があるという手がかりが得られるので、 そこを元の資料に当たって裏を取ります。
イ三つの生成AIに同じ質問をして、多数が一致した内容は正しいと判断する。
誤り。似た情報を学習していれば、同じ誤りで一致することがあります。多数決で 決めてしまうと、一致した誤りを正解として通してしまいます。一致は確からしさの 目安にはなりますが、正しさの証明にはなりません。
ウ同じ生成AIに同じ質問を繰り返し、毎回同じ答えなら正しいと判断する。
誤り。同じAIが同じ答えを返すのは、そのAIの中で確からしいとされる答えが 変わらないというだけです。判断の元になっている知識は同じなので、誤りも そのまま繰り返されます。答えの安定と正しさは別のことです。
エ回答に参考文献を示すよう指示し、文献名が示されていれば正しいと判断する。
誤り。生成AIは、存在しない文献名やページをもっともらしく書くことが あります。示された文献が実在するか、その記述が本当にあるかまで確かめて 初めて根拠になります。示されたこと自体は裏付けになりません。
セカンドオピニオンを取る
医師の診断に不安が残るとき、別の医師にも診てもらいます。 二人の見立てが分かれたら、その点を重点的に調べます。 複数の生成AIを用いた検証も考え方は同じです。 一つのAIの答えを鵜呑みにせず、別のAIにも同じことを尋ね、 答えが割れた箇所を「ここは怪しい」という手がかりとして扱います。
生成AIは学習したデータも作り方も製品ごとに違うため、 同じ質問でも回答が一致しないことがあります。 この違いこそが、疑うべき箇所を教えてくれる材料になります。
一致しても、正しいとは限らない
ここを取り違えないことが肝心です。 複数のAIが同じ答えを返しても、それは正しさの証明ではありません。
- 学習した元の情報が同じなら、同じ誤りで一致することがある
- 世の中に広まっている誤情報は、どのAIも同じように拾う
- 一致は「疑う優先度が下がる」だけで、確認が不要になるわけではない
最後は制度の告示や公式サイトなど、出どころの確かな資料に当たります。 AIどうしの突合は、どこを確かめるべきかの当たりを付ける工程です。
似た手立てとの違い
| 手立て | 何が分かるか |
|---|---|
| 複数の生成AIを用いた検証 | 答えが割れた箇所。確かめるべき場所の見当がつく |
| 同じAIに繰り返し尋ねる | 出力の安定度。知識は同じなので誤りも繰り返す |
| 参考文献を示させる | 確認の手がかり。文献自体が実在するかは別に要確認 |
| 出典の資料に当たる | 正しさそのもの。最終的な裏付けはここで取る |
試験では「複数のAIに聞けば正しさが保証される」と読める選択肢は誤りです。 確かめる場所を絞り込む方法である、という位置付けで覚えます。