【自己紹介】
#Twitter：@Nurruttan / #YouTube：@Nurruttan
【転職支援サービス】
転職を検討しているデータサイエンティスト向けに【完全無料の】転職支援サービスを実施しています！
詳しくは下記をご覧ください！
【キャリア相談サービス】
キャリアに悩むデータサイエンティスト向けにキャリア相談サービスをやっています！
詳しくは下記をご覧ください！
こんにちは、ぬるったんです。
今回はRAGとはなにか？なぜ企業で必須なのか？というテーマで解説していきます。
昨今、生成AIが一つのビジネストレンドになっていますが、多くは個人で活用するAIツールの情報発信が多く、企業でどう活用するのか？という点で語られることが少ないように思えます。
しかし、データサイエンティストとしては生成AIを企業活用することが求められるので、企業でどのように生成AIを活躍していくのかは重要なテーマです。
その中でも、基礎に当たるRAG（Retrieval-Augmented Generation）について解説していきます。
YouTube版はこちらです。
RAGとはなにか？
そもそもRAGとはなにか？という点について解説していきます。
RAG（Retrieval-Augmented Generation）はLLMが本来知らない固有情報を入力するための手法であり、企業活用では必須の手法です。
左の図がRAGの一般的な構成です。
ポイントは主に3つです。
一つ目が、情報を追加で入力させる手法であるという点です。
LLMが知らない情報を参照させた上で回答をさせるための手法であり、LLMに新たに知識習得させることができます。
二つ目は、ベクトルデータベースに情報を格納するということです。
事前にベクトルデータベースに情報を格納してLLMが参照できるデータベースを事前に作っておくことが必要になります。
三つ目が、固有の情報を出力できるという点です。
ユーザー目線ではLLMがあたかも固有の情報を知っているような挙動に見えます。
実際は、情報を参照しているだけですが、ユーザー目線では固有の情報を知っているように見え、新たなユーザー体験を作ることができます。
RAGがなぜ必要なのか？
RAGがなぜ必要なのか？という点についてですが、結論から言うと、企業活用する上で、社内特有の情報を参照することが必須であるからです。
社内活用進めていく上では、RAGでの情報参照が重要な要素になります。
RAGがない場合
仮にRAGがなかった場合のことを考えてみましょう。
左図のように参照情報がなければ、LLMからは一般的な情報しか得られず、LLMが学習した範囲でしか出力されません。
社内情報など固有の情報は出力できず、企業内で活用するには、片手落ちです。
RAGを活用した場合
一方で、RAGを活用した場合は生成AIが事前に準備したベクトルデータベースを参照して回答を生成してくれます。
そのため、社内特有の固有情報を参照して出力することができます。
LLMが本来知らない情報を後付けで参照させて出力させることができるため、社内の情報を加味して回答が生成できるというのが、大きなメリットです。
このように、企業で生成AIを活用する時には、ほとんどの場合で固有の情報を参照して使いたくなるため、新たな情報参照を実施するために、RAGのスキルが重要になってきます。
Fine-Tuningとの違いは？
RAGとファインチューニングは、解いている問題が違います。モデルが知らない情報を参照させたいときはRAGを選び、出力の形式や口調を揃えたいときはファインチューニングを選びます。RAGはモデルの外側に参照先を足す仕組み、ファインチューニングはモデル自体を学習データで更新する仕組みです。
RAGは、LLMに外付けハードディスクをつなぐような構成です。モデル本体は再学習させず、参照させる文書を差し替えるだけで回答の内容が変わります。ファインチューニングは内部メモリを書き換えるアプローチで、モデルの重みそのものを追加学習で更新します。
企業の生成AI活用では、社内文書を参照させたい場面がほとんどであるため、知識を足す用途の第一候補はRAGになります。ファインチューニングは、分類や決まったフォーマットでの生成のように、モデルの振る舞いを揃えたい用途で使う手段です。
どちらを選ぶかの判断軸（更新頻度・データ量・コストと遅延・出典提示の要否・権限管理・評価のしやすさ）と、長文コンテキストを加えた3択の使い分けは、RAGとファインチューニングの違いは？選び方を解説で整理しています。
まとめ
今回はRAGってそもそも何なのか？なぜ企業活用で必須なのか？という点について解説しました。
- RAGはLLMに固有の知識を習得させるための手法
- 企業で活用する場合は、社内情報を参照させたいため、RAGは必須となる
- 知識を足す用途の第一候補はRAG。”Fine-Tuning”は出力の形式や振る舞いを揃える用途で、解いている問題が違う
と、いうのが今回のまとめになります。
生成AIのスキルは今後のデータサイエンティストのキャリア構築には非常に重要なスキルになってきます。
今後も生成AIの企業活用というテーマで発信していこうと思います。
今回は以上です。ありがとうございました。
にほんブログ村
