共通論点

AIの結果の確かめ方は試験ごとにどう問われるか(人の関与・評価・監査)

AIの出力や学習結果を誰がどう確かめるかが、新しいITパスポート試験、データマネジメント試験(仮称)、PD試験(仮称)マネジメント区分でどう扱われているかを比べます。使う人、データを扱う人、監査する人の3つの立場で整理しました。

結論:ITパスポートは「うのみにしない」、DMは「条件を確かめて報告する」、PD-Mは「確かめる計画があるか」

AIの出力は、もっともらしくても誤っていることがあります。そのため、どこかで人が確かめる必要がありますが、誰が何を確かめるかは、試験によって立場が違います。

試験 立場 確かめること
新ITパスポート AIを使う人 出力に誤りが含まれうることを前提に、うのみにしない
DM データを扱う実務者 組織のルールに沿って使い、違反や問題を見つけたら報告する
PD-M 監査する人 学習の結果を評価する計画が、開発の計画に入っているか

サンプル問題があるのは、新ITパスポート 問4とPD-M問4です。DMには、この論点のサンプル問題はまだありません(2026年10月3日の時点)。入力の側の留意点(機密情報や個人情報を入れない)は、生成AIの業務利用の記事で扱っています。この記事は出力と結果の側を扱います。

新ITパスポート:出力の誤りを前提にして、人が確かめる

新ITパスポートのサンプル問4は、生成AIサービスを事業で使うときの留意点を3つ挙げ、適切なものを全て選ぶ問題でした。そのうちcは、生成AIを使って業界の動向を集めた場合、得られた情報に誤りが含まれるおそれがある、という出力の側の留意点で、答えのイ(a,b,c)に含まれています。

ITパスポートのシラバス案(Ver.0.1)は、情報倫理・AI倫理の分野の「AI 倫理・AI ガバナンス」に、AIのリスク・脅威の用語例として、ハルシネーション、根拠・出典不明の出力情報、古い出力情報、出力情報の再現性・一貫性の欠如を挙げています。同じ小分類に、説明可能なAI(XAI)とヒューマンインザループ(HITL)もあります。

HITLは、AIの処理の流れの中に人の判断を組み込むことです。ITパスポートの水準では、出力の誤りの種類を言葉で区別でき、誤りがありうるから人が確かめる工程を置く、という関係を説明できれば足ります。

DM:データを扱う実務者として、ルールを守り、問題を報告する

データマネジメント試験(仮称)のシラバス案(Ver.0.1)の科目B「1-5. AI 活用におけるデータ利用上の留意事項への対応」は、出力の側について、誤情報、差別的出力、偏った判断など、AIの利用結果に伴う倫理違反に関する組織のルールを守るスキルを挙げています。AI利用時の情報漏えい、不適切な利用、利用制限違反を見つけたときに、関係部門に報告・相談するスキルも含まれます。

科目Bには、ほかにもAIの結果を確かめる記述があります。「2-3」は、AIを活用した分析結果を意思決定に使うために、その妥当性を確かめるスキルを挙げ、確認の例として、利用データの範囲、対象期間、集計条件、利用項目、分析前提、出力結果の整合性を並べています。科目AのAIエージェントの用語例には、自律性と人間の関与(最終承認、例外処理など)とガードレールがあります。

当サイトの見方では、ITパスポートの「うのみにしない」を、DMでは「何と照らして確かめるか」まで具体化しています。たとえば、AIが出した売上の傾向は、対象期間や集計条件が自分の意図と同じかを確かめてから使います。

PD-M問4:学習の結果を評価する計画が抜けていないか

PD-Mのサンプル問4は、コールセンターにAIチャットボットを入れる計画のシステム監査です。監査チームはPoCからオペレーター教育までの5つの区分ごとにリスクを想定し、それぞれに監査要点を置きました。監査部長が不十分だと指摘したのは項番(3)で、答えはウです。

項番(3)のリスクは、要求される品質を満たす学習データと教師データを選定・準備して学習させ、結果を評価しないことで、不適切な回答を生成する、というものでした。ところが監査要点(3)は、データを準備する計画になっているかしか確かめていません。学習の結果を評価する計画があるかが、抜けていました。IPAは出題趣旨で、PoCの実施、学習データ・教師データの準備、学習結果の評価など、AIシステム開発に特有のリスクを踏まえて監査要点を設定する能力を評価するとしています。

同じ問題のリスク(5)は、オペレーターが多忙で教育が不十分だと、AIが示した誤った結果をそのまま顧客に回答する、というものです。当サイトの見方では、オペレーターは、AIの回答と顧客の間に立つ「人の関与」の役を担っています。監査要点(5)がAIの特性を踏まえた教育の計画を確かめているのは、その人が誤りに気づける状態かを確かめることにあたります。

ITパスポートのcの留意点(得られた情報に誤りが含まれるおそれ)に、PD-M問4で現場で向き合うのはオペレーターです。そのオペレーターが誤りに気づけるだけの教育が計画にあるかを確かめるのが、監査の側の仕事です。同じ「AIの誤り」が、ITパスポートでは使う人の注意として、PD-Mでは計画の抜けとして問われています。

学ぶ順番:誤りの種類 → 照らす条件 → 計画の抜け

学ぶ順番

  1. ITパスポート誤りの種類ハルシネーションなど4つを例と結び付ける。HITL の意味
  2. DM照らす条件利用データの範囲・対象期間・集計条件を確かめる
  3. PD-M計画の抜けリスクの文の動詞が監査要点に全部出てくるかを数える
図:この記事が勧める学ぶ順番。各段の詳しい説明は、図の下の文章にある。

ITパスポートの段階では、ハルシネーション、古い出力情報、根拠・出典不明の出力情報、再現性の欠如を、それぞれ1つの例と結び付けて覚えます。HITLは「人が確かめる工程を組み込むこと」と言えれば十分です。

DMを受けるなら、AIの分析結果を受け取ったときに、利用データの範囲、対象期間、集計条件の3つを確かめる習慣をつけます。問題を見つけたときに誰に報告するかは、自社のルールで決まっていることを前提に、データオーナーやデータ主管組織の役割と合わせて押さえます。

PD-Mを受けるなら、問4のようにリスクと監査要点を1行ずつ並べ、リスクの文の動詞(選定する、準備する、学習させる、評価する)が監査要点に全部出てくるかを数える練習をします。IPAが出題趣旨で「AI システム開発に特有のリスク」として、学習データ・教師データの準備と学習結果の評価を分けて挙げているとおり、AIの場合はこの2つを別々に確かめます。

参考にした資料