PD試験 データ・AI
PD試験（仮称）データ・AI区分 サンプル問3（LLMによるトラブルシューティング支援）の解説
プロフェッショナルデジタルスキル（データ・AI）試験（仮称）の科目Bサンプル問3を、スマホで解いて確かめられます。追加学習を使わない検索付きのLLMの仕組みと、文脈内学習、根拠の提示の考え方を解説します。
PD試験 データ・AI
科目Bサンプル問題 問3
IPA 公表問題
B さんは，精密機器メーカーであるA 社の情報システム部門に所属している。A 社は，保守の現場で発生するトラブルに関連する情報をエンジニアが探し出すのに時間がかかりすぎているという課題を抱えている。その原因としては，製品仕様書が頻繁に改訂されている上に，文章量が多いことが挙げられる。
そこで，B さんは現場の保守点検を担うエンジニア向けに，大規模言語モデル（以下，LLM という）を活用した対話型のトラブルシューティング支援システム（以下，支援システムという）のプロトタイプを構築することになった。エンジニアや組織幹部へのヒアリングの結果，実装すべき要件とその理由を表1 のとおりに定義した。
| 要件 | 理由 |
|---|---|
| 製品仕様書の改訂が発生した場合，速やかに支援システムに反映されること | 製品仕様書の改訂は頻繁に起こるので，現場のエンジニアが古い情報を参照するおそれがあるから |
| 支援システムの提示した解決策が，どの製品仕様書に基づいているかをエンジニアが直接確認できること | LLM による推論だけでもっともらしく回答されてしまうと，誤った作業を誘発するリスクがあるから |
B さんは，次の二つのアプローチを検討し，要件を満たせるかどうかを評価した。
〔検討したアプローチ〕
- アプローチ①：現場の複雑な状況判断に対応するために，製品仕様書を用いて生成した学習データセットで追加学習したドメイン特化型のLLM を構築・運用する。
- アプローチ②：追加学習は行わず，エンジニアの質問に関連する情報を検索してプロンプトに付加し，LLM は与えられた情報に基づいて回答を生成する。
B さんは，二つのアプローチと要件を照らし合わせて検討した結果，製品仕様書の改訂をシステムに反映させる際に，アプローチ①に比べて，アプローチ②の方が短時間で済み，費用も低く抑えられることからアプローチ②を採用することにした。これを実現するために，［ a ］をプロンプトに付加し，LLM が与えられた情報に基づいて回答を生成する方式を設計した。この方式は，LLM のパラメータを更新せずに，提示された情報から回答を導き出す［ b ］という能力を活用したものである。また，支援システムが回答を出力するときに［ c ］ことで，現場のエンジニアが回答の妥当性を評価し，安全に作業を進められる仕組みを構築できる。
設問 本文中の［ a ］～［ c ］に入れる字句の組合せはどれか。解答群の中から最も適切なものを選べ。
- (一) 外部データベースから検索・抽出された，質問の関連文書
- (二) LLM がもつ知識から情報を検索・抽出するための，ベクトル変換した質問文
- (三) パラメトリック知識
- (四) 継続的学習（Continual Learning）
- (五) 文脈内学習（In-Context Learning）
- (六) 回答の根拠となった関連文書名を表示する
- (七) 回答内容の信頼度スコアを数値で表示する
答えと選択肢ごとの根拠を見る
正解：エ（a (一)／b (五)／c (六)） IPA 公表の解答例による
ア × 誤り パラメトリック知識（モデルのパラメータに入っている知識）を、プロンプトで与える情報を使う能力と取り違えた
a (一)／b (三)／c (六)
a・c は正しい。b の(三)が誤り。パラメトリック知識は、LLM が学習によってパラメータの中にもっている知識のこと。この方式は、パラメータを更新せず、プロンプトに付けた情報から答えを導くので、当たるのは文脈内学習（(五)）。
イ × 誤り パラメトリック知識を取り違え、信頼度スコアで根拠が確認できると考えた
a (一)／b (三)／c (七)
a は正しい。b の(三)は、パラメータの中にもつ知識のことで、パラメータを更新せずに情報から答えを導く能力ではない（(五)が当たる）。c の(七)は、信頼度の数値を見ても、どの製品仕様書に基づくかをエンジニアが直接確認できないので、表1の2つ目の要件を満たさない。
ウ × 誤り 継続的学習を、プロンプトに情報を付ける方式と取り違えた
a (一)／b (四)／c (六)
a・c は正しい。b の(四)が誤り。継続的学習は、新しいデータを使ってモデルを学び続けさせることで、パラメータを更新する。本文は、パラメータを更新せずに回答すると書いている。
エ ○ 正しい
a (一)／b (五)／c (六)
a：製品仕様書の改訂を速やかに反映するには、改訂した仕様書をデータベースに入れ直し、質問に関連する文書を検索して、プロンプトに付ける（(一)）。b：LLM のパラメータを更新せず、プロンプトで与えられた情報から答えを導く能力は、文脈内学習（(五)）。c：回答の根拠になった関連文書名を表示すれば、エンジニアがどの製品仕様書に基づくかを直接確認できる（(六)）。
オ × 誤り 信頼度の数値があれば、根拠を確認できると考えた
a (一)／b (五)／c (七)
a・b は正しい。c の(七)が誤り。回答の信頼度スコアは、数値を見るだけでは、どの製品仕様書に基づいているかをエンジニアが直接確認できない。表1の2つ目の要件には、根拠の文書名を示す(六)が合う。
カ × 誤り 質問をベクトルにして LLM の知識を検索する方式だと考えた
a (二)／b (三)／c (六)
c は正しい。a の(二)が誤り。この方式で検索するのは、LLM がもつ知識ではなく、外部のデータベースに入れた製品仕様書。仕様書が改訂されたら、データベースを更新すれば反映される。b の(三)も誤りで、パラメータを更新せずに答えを導く能力は文脈内学習（(五)）。
キ × 誤り 質問をベクトルにして LLM の知識を検索する方式だと考え、信頼度スコアを根拠の確認と取り違えた
a (二)／b (三)／c (七)
a・b・c のすべてが誤り。a は、検索の対象が LLM の知識ではなく外部のデータベース（(一)が当たる）。b は、パラメトリック知識ではなく文脈内学習（(五)）。c は、信頼度の数値では根拠となる製品仕様書を確認できない（(六)が当たる）。
ク × 誤り 質問をベクトルにして LLM の知識を検索する方式で、継続的学習で更新すると考えた
a (二)／b (四)／c (六)
c は正しい。a の(二)が誤り。この方式で検索するのは、LLM がもつ知識ではなく、外部のデータベースに入れた製品仕様書。b の(四)も誤り。継続的学習はパラメータを更新する方法で、本文はパラメータを更新しないとしている。
ケ × 誤り 質問をベクトルにして LLM の知識を検索する方式で、継続的学習で更新すると考え、信頼度スコアを根拠の確認と取り違えた
a (二)／b (四)／c (七)
a・b・c のすべてが誤り。a は、検索の対象が外部のデータベースの製品仕様書（(一)が当たる）。b は、パラメータを更新する継続的学習ではなく、文脈内学習（(五)）。c は、信頼度の数値では根拠となる製品仕様書を確認できない（(六)が当たる）。
コ × 誤り 質問をベクトルにして LLM の知識を検索する方式だと考え、信頼度スコアを根拠の確認と取り違えた
a (二)／b (五)／c (七)
b は(五)で正しい。a の(二)が誤り。この方式で検索するのは、LLM がもつ知識ではなく、外部のデータベースに入れた製品仕様書。c の(七)も誤り。信頼度の数値では、どの製品仕様書に基づくかをエンジニアが直接確認できない。
解説
答えはエ：関連文書をプロンプトに付け、文脈内学習で答え、根拠の文書名を出す
正解はエ（aが(一)、bが(五)、cが(六)）です。IPAは出題趣旨で、この問題を、LLMを活用した支援システムの構築を題材に、情報の鮮度や正確性が求められる要件を満たすために、文脈内学習などの技術を使って、信頼性の高いAI活用を設計する能力を評価するものとしています。
3つの空欄は、システムの流れの3つの段です。aは何をプロンプトに付けるか、bはその方式が使うLLMの能力、cは回答を出すときの工夫です。段ごとに、表1の要件と本文の言葉に照らして決めます。
3つの空欄を、要件で1つずつ決める
| 空欄 | 決め手になる本文・要件 | 答え |
|---|---|---|
| a | 仕様書の改訂を速やかに反映したい。「追加学習は行わず，…検索して…付加」 | (一)外部データベースから検索・抽出した関連文書 |
| b | 「LLM のパラメータを更新せずに，提示された情報から回答を導き出す」 | (五)文脈内学習 |
| c | 「どの製品仕様書に基づいているかをエンジニアが直接確認できること」 | (六)回答の根拠となった関連文書名を表示する |
aは、改訂のたびに追加学習をやり直すアプローチ①ではなく、改訂した仕様書をデータベースに入れ直すだけで済む方式を選ぶ理由とつながっています。質問に関係する部分を検索して、プロンプトに付けます。一般にRAG（検索拡張生成）と呼ばれる方式で、本文にその語は出てきませんが、述べられているのは同じ方式です。
選択肢の用語を、意味で見分ける
- (二)：ベクトル変換した質問文は、データベースを検索するときに使うことはありますが、LLMがもつ知識から検索するものではありません。付けるのは、外部のデータベースから見つけた文書です。
- (三)パラメトリック知識：LLMが学習で、パラメータの中にもつ知識のことです。パラメータを更新せずに、与えた情報から答える能力とは別のものです。
- (四)継続的学習：新しいデータで学習を続けて、パラメータを更新する方法です。本文のアプローチ②は、これをしない方式です。
- (五)文脈内学習：プロンプトに付けた例や情報を手がかりに、パラメータを更新しないで答える能力です。
- (七)信頼度スコア：数値を見ても、どの仕様書に基づくかは分かりません。(六)は、根拠の文書名を示すので、エンジニアが仕様書を開いて直接確かめられます。
間違えやすいところ：「信頼度」の数字があれば安全だと思う
回答に信頼度の数値が付いていると、安全に見えます。ただ、表1の要件は「どの製品仕様書に基づいているかを直接確認できること」です。数値では、確認する先が分かりません。LLMがもっともらしく答えて誤った作業を誘発するリスクを減らすには、確認できる根拠を見せる必要があります。
もう1つは、aに(二)を入れるものです。「質問をベクトルにする」という言い方が、検索の流れに合うように見えます。しかし、検索する先がLLMの知識だと、仕様書の改訂は反映されません。aでは、何をプロンプトに付けるかが問われている点を、先に押さえます。
時間をかけないコツ：cから決める
解く時間の目安は5分ほどです（当サイトの推測）。cは(六)か(七)の2択で、要件の文から(六)に決まります。次にbは、パラメータを更新しないことから(三)(四)を外して(五)にします。この2つで、エだけが残るので、aが(一)になることは最後の確認に使えば足ります。
実務の目で見ると：追加学習と検索付き生成の使い分け
製品仕様書のように頻繁に改訂される情報は、LLMに覚えさせるより、検索して渡す方式が向いています。追加学習は、学習データの作成と再学習に時間と費用がかかり、改訂のたびにやり直す必要が出ます。検索付きの方式なら、データベースの文書を差し替えるだけで、次の質問から反映されます。
一方で、検索で関係のない文書が付くと、答えも誤ります。根拠の文書名を出すのは、その誤りを、現場のエンジニアが見つけるための仕組みでもあります。
シラバス案（Ver.0.1）の科目Bの項目「2-4」には、RAGなどの生成AI技術の特性を理解して、目的に応じた方式を選び、システム構成を設計するスキルと、生成AIの出力を妥当性・有用性・根拠の明確さの観点から評価するスキルが含まれています。この問題は、その2つを、要件に沿った設計の選択として問う形になっています。
この解説について
問題と解答例はIPAの公表物です。選択肢ごとの根拠と解き方は、当サイトが書いた解説で、IPAの公式な解説ではありません（IPAは解説を公表していません）。出典は、IPAの「プロフェッショナルデジタルスキル（データ・AI）試験（仮称）科目Bのサンプル問題」（2026年10月30日掲載）です。問題文は出典を明記して、教育目的で載せています。IPAによると、サンプル問題は新しい出題分野と形式のイメージを共有するためのもので、実際の試験と同様の問題作成やチェックのプロセスを経たものではありません。
参考にした資料
独立行政法人情報処理推進機構（IPA）（確認）