広報部では、新商品の写真をそのまま読み込ませて特徴の説明文を作らせたり、 売上のグラフが載った資料を読ませて要点をまとめさせたりしている。 ここで使われているマルチモーダルAIの特徴はどれか。
正解：ウ
ア日本語だけでなく、多くの言語で入力も出力もできること。
誤り。これは多言語への対応の説明です。「マルチ」を言語の多さだと 受け取ってしまう典型的な混同ですが、ここでいうモーダルとは言語ではなく 文章・画像・音声といった情報の種類のことです。
イ文章を短く言い換えたり、誤字や不自然な表現を直したりできること。
誤り。これは文章の添削・要約という使い方の説明です。文章だけを扱うAIでも できることで、写真やグラフを読み取る力とは別の話です。何ができるかと、 どの種類の情報を扱えるかを分けて考えます。
ウ文章に加えて画像や音声など、種類の異なる情報をまとめて扱えること。
正解。写真を見せて特徴を言わせる、資料の図表を読ませて要点をまとめさせる、 といった使い方ができるのは、文章以外の情報も同じように入力として 受け取れるからです。扱える情報の種類が広いことが特徴です。
エ外部の文書を検索し、その記述を根拠として回答を作れること。
誤り。これはRAGによる知識連携の説明です。社内文書のように学習していない 知識を答えさせたいときの仕組みで、参照先を足す話です。扱える情報の種類を 広げるのか、参照できる知識を足すのかが違います。
目も耳も持っているAI
文章しか扱えないAIに商品を説明させるには、色や形を人がいちいち言葉にして 渡す必要があります。マルチモーダルAIは、写真そのものを見せれば 「白い円筒形で、上面にボタンが一つある」と読み取ってくれます。 耳と目がついた相手に相談するようなもので、こちらの説明の手間が減ります。
モーダルとは情報の様式、つまり文章・画像・音声・動画といった種類のことです。 複数の種類をまとめて扱えるので「マルチ」モーダルと呼びます。
業務ではこう使う
- 商品写真を読み込ませ、通販サイト用の説明文の案を作らせる
- 手書きのアンケート用紙を撮影して読み取らせ、内容を一覧にまとめさせる
- 会議の録音を渡して議事録の下書きを作らせる
- 資料に載ったグラフを読ませ、傾向を文章で説明させる
入力だけでなく、文章の指示から画像や音声を作らせる方向にも広がります。 ただし写真の読み取りを誤ることはあるため、 数値や固有名詞は人が確かめる前提で使います。
似た言葉との違い
| 言葉 | 何を指すか |
|---|---|
| マルチモーダルAI | 文章・画像・音声など、種類の異なる情報を扱えること |
| 多言語対応 | 日本語や英語など、扱える言語の多さ |
| 文章の添削・要約 | 文章を直す、短くまとめるという使い方 |
| RAGによる知識連携 | 外部の文書を検索し、根拠として参照させる仕組み |
「マルチ」が何の多さを指しているのかで見分けられます。 言語の数ではなく、情報の種類の数だと覚えておけば迷いません。