IT資格マップ
SAP-C03 練習問題1:社内文書に答えるチャットボットの作り方
SAP-C03の練習問題1です。S3の社内文書にもとづいて答えるチャットボットを、学習を行わずに作る方法を、RAGとBedrockで四択で解きます。
AWS Solutions Architect Pro(SAP-C03)
AWS SAP-C03 オリジナル問題 1
人が全選択肢を確認済み(AI 作成)
AI が一次情報をもとに作成し、人がすべての選択肢を確認しました(確認)。
根拠(Amazon Web Servicesの公開資料の要約):Knowledge Bases は、データソースの文書を取り込んで検索できるようにし、RAG で回答に引用元を付けられるマネージド機能。根拠の資料を開く
Amazon Web Services、AWS は、Amazon.com, Inc. またはその関連会社の商標です。当サイトはAmazon Web Servicesと提携・公認の関係にありません。この問題は当サイトが独自に作成したもので、実際の試験の問題ではありません。
根拠の資料と食い違う点があれば、資料が優先です。解説文は検証の対象外です。品質方針
ある会社が、社内規程や手順書(S3 の数千の PDF・Word ファイル。毎週更新)にもとづいて質問に答える、社内向けのチャットボットを作ります。モデルの学習は自社で行いません。運用の手間を抑え、回答の根拠になった文書も示したいと考えています。最も適した構成はどれですか。
答えと選択肢ごとの根拠を見る
正解:イ(Amazon Bedrock の Knowledge Bases で、S3 をデータソースにして RAG を構成する。) 当サイトの解答
ア × 誤り 新しい情報を使わせるには、そのたびにモデルを学習し直すものだと考えた
ファインチューニングは、費用と手間がかかり、更新の反映も週に1回に遅れます。回答の根拠になった文書を示す仕組みもありません。
イ ○ 正しい
Knowledge Bases は、文書の取り込みから検索までをマネージドで行い、回答に引用元を付けられます。取り込みや検索の仕組みを自前で作らずに済みます。
ウ × 誤り 検索の仕組みを自作すれば、同じ効果を同じ手間で得られると考えた
文書の分割・埋め込み・索引の更新・検索の仕組みを、自分で作って保守する必要があります。「運用の手間を抑える」条件に合いません。
エ × 誤り 全文書を渡せば、RAG は要らないと考えた
数千の文書は、モデルが一度に扱える入力の長さを超えます。入力が長いと、費用と応答時間も増えます。
解説を開く
解説
答えはウ:Knowledge Bases で RAG
モデルに自社の最新の文書を使わせる方法は、モデルを学習し直すことと、回答のときに文書を検索して渡すこと(RAG)の2つです。更新が多く、根拠を示したい場合は、RAG が向いています。
この問題は、試験ガイドの分野「Architecture Design and Implementation Built for the Cloud」にあたります。当サイトが作った問題で、公式のサンプル問題とは別です。
誤答は何を取り違えているか
アとイは学習を伴うので条件に合いません。エは入力の長さと費用で成り立ちません。
似た問題を解くときの手がかり
AI を組み込む設計では、「知識を足す」要件にはまず RAG を考え、「話し方や形式を変える」要件でファインチューニングを検討します。
参考にした資料
Amazon Web Services(確認)