PD試験（仮称）マネジメント区分 サンプル問4（AIチャットボットのシステム監査）の解説

答えはウ：項番(3)は「評価」の確認が抜けている

正解はウ（項番(3)）です。IPAは出題趣旨で、この問題を、AIチャットボットの導入計画に係るシステム監査を題材に、PoCの実施、学習データ・教師データの準備、学習結果の評価など、AIシステム開発に特有のリスクを踏まえて監査要点を設定し、整理する能力を評価するものとしています。

監査部長の指示は「〔監査チームが想定したリスク〕に照らしてみると，不十分な監査要点がある」です。リスクと監査要点は、工程ごとに(1)〜(5)で1対1に並んでいます。各行で、リスクに書かれた要素がすべて監査要点で確かめられるかを見れば、1つだけ欠けている行が見つかります。

リスクと監査要点を、1行ずつ突き合わせる

項番(3)のリスクは「要求される品質を満たす学習データと教師データを選定，準備して学習させ，結果を評価しないことによって，不適切な回答を生成する」です。要素は、データを選定・準備すること、学習させること、結果を評価することの3つです。監査要点(3)は「要求品質を満たすための学習データと教師データを準備する計画となっているか」で、確かめているのはデータの準備までです。学習させた結果を評価する計画になっているかは、どこでも確かめていません。

AIのシステムでは、データをそろえても、学習の結果が期待どおりになるとは限りません。本文のPoCでも、1か月分のデータで学習させた結果に「一部想定外の状況が発生している」と書かれています。評価の計画がなければ、不適切な回答を生む状態のまま次の工程に進むおそれがあります。

間違えやすいところ：PoCと教育の行

ア（項番(1)）を選ぶのは、リスク(1)の「計画が曖昧」という言葉が強く印象に残る場合です。ただ、曖昧なのはB社のPoCの計画で、監査要点ではありません。監査要点(1)は計画・評価基準・評価結果の3つを確かめており、リスクの要素を覆っています。

オ（項番(5)）は、リスク(5)の「オペレーターの多忙」に監査要点が触れていないように見える行です。しかし監査要点(5)は「実施する計画となっているか」まで確かめています。開発概要書の「業務の繁閑を考慮しながらオペレーターを教育する」という記述が、多忙でも実施できる計画になっているかは、この監査要点で見られます。「AI の特性を踏まえた」教育内容の確認は、AIの誤った結果をそのまま回答するリスクに対応しています。

エ（項番(4)）で迷う場合もあります。開発概要書では、テスト工程が3か月分、本番移行工程が6か月分と、データの量が違います。ただ、リスク(4)が問題にしているのは評価の指標の整合で、データの量ではありません。監査要点(4)は同じ指標で評価する計画かを確かめているので、足りています。

時間をかけないコツ：リスクの動詞を数える

解く時間の目安は4分ほどです（当サイトの推測）。前半のヒアリング結果は読み飛ばしても解けます。先に〔監査チームが想定したリスク〕と表1だけを読み、各行でリスクに出てくる動詞（選定する、準備する、学習させる、評価する）が監査要点にも出てくるかを数えます。リスク(3)は動詞が4つあるのに、監査要点(3)には「準備する」の1つしかありません。この差に気づけば、ほかの行を細かく比べる前に答えが決まります。

実務の目で見ると：AIの監査は「データ」と「評価」を分けて見る

従来のシステム開発の監査では、要件どおりに作られ、テストされたかを確かめれば、品質の見通しが立ちました。AIを使うシステムでは、同じプログラムでも、学習させるデータと、その結果の評価によって振る舞いが変わります。そのため、データの準備と、学習結果の評価を、別々の監査要点として確かめる必要があります。この問題の項番(3)は、データの準備だけを見て評価を見落とすという、AIの監査で起きやすい抜けを題材にしています。

シラバス案（Ver.0.2）の科目Bの項目「4-3. 情報セキュリティ，新技術（AI ほか）の利活用などに関する監査の実施及び報告」は、新技術の利活用について、監査対象領域のリスクを識別・評価して個別監査計画を策定するスキルや、監査手続書を作成するスキルを挙げています。リスクから監査要点を導き、抜けがないかを確かめる作業は、その中心にあたります。