AWS Certified AI Practitioner（AIF-C01）の練習問題（当サイト作成）

正解：ウ（ラベルのないデータから似たものをまとめる、教師なし学習のクラスタリング）　当サイトの解答

• ア × 誤り 機械学習は、事前に正解ラベルをすべて用意してから使うものだと考えた

  教師あり学習は、入力と正解ラベルがペアになったデータで学習します。ラベルがない今回のデータには向きません。

• イ × 誤り 「グループに分ける」ことと「数値を予測する」ことを同じ作業と考えた

  回帰は、住宅価格のような連続した数値を予測する手法です。顧客を似た者同士に分ける目的とは違います。

• ウ ○ 正しい

  教師なし学習は、ラベルのないデータからパターンを見つけます。クラスタリングは似たデータをグループにまとめる手法で、購買行動に基づく顧客のグループ分けにも使われます。

• エ × 誤り グループ分けには、人手のラベル付けが欠かせないと考えた

  ラベル付けを前提にした方法です。今回は、ラベルなしで似た顧客をまとめる手法が適しています。

正解：ア（過学習（オーバーフィッティング））　当サイトの解答

• ア ○ 正しい

  訓練データでは精度が高く、新しいデータでは低い状態は、過学習です。訓練データのノイズまで学習してしまい、未知のデータに一般化できなくなっています。

• イ × 誤り 訓練データでの精度が高ければ、実際のデータでも同じ精度が出ると考えた

  評価の目安は、新しいデータでの精度です。訓練データと新しいデータで精度の差が大きいのは、うまくいっている状態ではありません。

• ウ × 誤り 精度が下がる原因を、処理の速さの問題と取り違えた

  推論の時間は、精度の話とは別の指標です。この状況で表れているのは、新しいデータへの対応力の低さです。

• エ × 誤り 新しいデータで精度が低ければ、過学習ではなく学習不足だと考えた

  未学習は、訓練データの段階から精度が低い状態です。この問題では訓練データで 98% の精度が出ているため、当てはまりません。

正解：エ（幅広いデータで事前学習した汎用のモデルで、プロンプトの指示により多様なタスクに使える。）　当サイトの解答

• ア × 誤り 基盤モデルも、従来のモデルと同じく人手のラベルが必須だと考えた

  基盤モデルは、ラベルのない幅広いデータで、自己教師あり学習によって事前学習します。人手のラベルは必須ではありません。

• イ × 誤り 生成 AI は、検索エンジンのように答えを探して返す仕組みだと考えた

  基盤モデルは、事前学習で得た知識をもとに応答を生成します。学習が不要なわけではありません。

• ウ × 誤り 大規模なモデルであれば、誤りや偏りも解消されると考えた

  基盤モデルでも、回答の信頼性やバイアスは課題として指摘されています。

• エ ○ 正しい

  基盤モデルは汎用性が高く、プロンプトの指示で多様なタスクをこなせます。事前学習済みのモデルを出発点にすれば、ゼロから学習するより速く低コストで新しいアプリケーションを作れます。

正解：イ（低くして、確率の高い出力が選ばれやすくする。）　当サイトの解答

• ア × 誤り temperature は「高いほど正確に答える」ための値だと考えた

  temperature を高くすると、確率の低い出力も選ばれやすくなり、応答のばらつきが大きくなります。

• イ ○ 正しい

  temperature を低くすると確率分布が急になり、応答がより決定的になります。毎回なるべく同じ答えにしたい場合に向いています。

• ウ × 誤り 候補を増やせば、応答が安定すると考えた

  Top K を高くすると、考慮する候補が増えて確率の低い出力も選ばれやすくなります。一貫性を上げたい目的とは逆の方向です。

• エ × 誤り 推論パラメータは、応答の内容には影響しないと考えた

  temperature は、次の単語の選ばれ方の確率分布を変えるため、応答のばらつきに影響します。

正解：ア（RAG（検索拡張生成）を使い、回答の前に社内規程の知識ベースを参照させる。）　当サイトの解答

• ア ○ 正しい

  RAG は、回答の生成前に、学習データの外にある知識ベースを参照させる手法です。モデルを再学習しなくても新しい情報を取り入れられ、費用対効果が高いとされています。

• イ × 誤り 新しい情報を使わせるには、そのたびに事前学習が必要だと考えた

  基盤モデルの開発には多額の費用がかかります。新しいデータを取り入れる手段としては、RAG のほうが費用対効果が高いです。

• ウ × 誤り ランダムさを上げれば、知らない情報にも答えられると考えた

  temperature は応答のばらつきを調整する値で、モデルに新しい知識を与えるものではありません。推測では、誤った回答になるおそれがあります。

• エ × 誤り 指示文に書けば、モデルが知らない情報も使えるようになると考えた

  指示文に書くだけでは、モデルは規程を参照できません。回答のときに規程の内容を取り込む仕組みが必要です。

正解：ウ（質問を埋め込みに変換して意味の近いチャンクを探し、取得した内容を質問に加えてモデルに送る。）　当サイトの解答

• ア × 誤り 社内データを使うには、質問のたびにモデルが再学習すると考えた

  ナレッジベースは RAG を使う仕組みで、モデルを継続的に再学習する必要をなくすものです。

• イ × 誤り 検索は、キーワードの完全一致で行われると考えた

  ベクトルの比較によって、質問と意味が近い文章のかたまり（チャンク）を探します。完全一致は条件ではありません。

• ウ ○ 正しい

  実行時は、埋め込みモデルで質問をベクトルに変換し、ベクトルインデックスから意味の近いチャンクを探します。その内容を加えたプロンプトをモデルに送り、回答を生成します。

• エ × 誤り 参照させたデータは、モデル本体に書き込まれると考えた

  データはチャンクに分けて埋め込みにし、ベクトルインデックスに保存されます。モデルの重みは変更されません。

正解：エ（「段階を追って考えてください」と指示し、中間のステップを示しながら解かせる。）　当サイトの解答

• ア × 誤り 短く答えさせるほど、正確になると考えた

  答えだけを求めると、中間の推論が省かれます。複雑な問題では、途中の段階を踏ませるほうが推論が高まります。

• イ × 誤り 入力が短いほど、モデルが迷わず正しく答えると考えた

  条件を省くと、答えに必要な情報が足りなくなります。望ましい出力を得るには、指示を適切に設計することが大切です。

• ウ × 誤り 繰り返し聞けば、答えが自然に正確になると考えた

  質問を繰り返すだけでは、推論の過程は改善されません。プロンプトの設計を見直す必要があります。

• エ ○ 正しい

  思考の連鎖（Chain-of-thought）は、複雑な問題を論理的な小さな段階に分けて解かせる手法です。中間のステップを踏ませることで、モデルの推論能力が高まります。

正解：イ（Amazon SageMaker Clarify）　当サイトの解答

• ア × 誤り AI 関連のサービスであれば、どれでもバイアスの検出に使えると考えた

  Amazon Rekognition は画像や動画の分析のサービスです。モデルの偏りの検出や、予測の説明を目的としたものではありません。

• イ ○ 正しい

  SageMaker Clarify は、データ準備、学習後、デプロイ後の各段階でバイアスを検出します。また、各特徴量が予測にどれだけ寄与したかを示す、説明可能性の機能も備えています。

• ウ × 誤り サービス名から用途を連想し、機械学習なら何でも当てはまると考えた

  Amazon Translate は、テキストの翻訳を行うサービスです。モデルの公平性の確認には使いません。

• エ × 誤り 責任ある AI の確認も、AI サービスのどれかが自動で行うと考えた

  Amazon Polly は、テキストを音声に変換するサービスです。偏りの検出や特徴量の寄与の説明には使いません。

正解：ア（Guardrails for Amazon Bedrock の機微な情報フィルターで、個人情報をブロックまたはマスクする。）　当サイトの解答

• ア ○ 正しい

  Guardrails の機微な情報フィルターは、入力プロンプトとモデルの応答の両方で、PII をブロックまたはマスクできます。通話記録の要約で個人情報を伏せる用途にも、使えます。

• イ × 誤り 出力のランダムさを上げれば、特定の情報が出なくなると考えた

  temperature は応答のばらつきの程度を調整する値で、特定の情報の出力を防ぐ仕組みではありません。

• ウ × 誤り 出力を短くすれば、個人情報も含まれなくなると考えた

  短くしても、その一文に個人情報が入る可能性は残ります。個人情報の扱いは、フィルターのような専用の仕組みで制御します。

• エ × 誤り 人の確認があれば、仕組みでの対策は要らないと考えた

  人の確認は有効な補助ですが、大量の処理では見落としが起こります。Guardrails のように、仕組みで自動的に検出する対策と組み合わせます。

正解：ウ（モデルは Bedrock サービスチームが運用するアカウントで動き、モデル提供会社はそこにアクセスできないため、プロンプトや応答を見られない。）　当サイトの解答

• ア × 誤り 他社のモデルを使うと、データはモデル提供会社の環境に渡ると考えた

  Bedrock は、モデルをサービスチームが運用するアカウントに配置します。モデル提供会社はそこにアクセスできません。

• イ × 誤り マネージドサービスでも、基盤の運用は利用者が行うと考えた

  Bedrock はフルマネージドのサービスです。利用者がモデルを動かすサーバーを用意する必要はありません。

• ウ ○ 正しい

  Bedrock では、リージョンごと・提供会社ごとにデプロイ用のアカウントがあり、Bedrock のサービスチームが運用します。提供会社はアクセスできず、ログや顧客のプロンプト・応答も見られません。

• エ × 誤り 責任共有モデルは、すべての責任を利用者側に移すものだと考えた

  責任共有モデルでは、AWS が世界規模のインフラを守り、利用者は自分のコンテンツを管理します。責任は分担されます。