![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2025-01-10T18:31:55+09:00","default:irrp","irrp") #author("2025-01-14T13:47:39+09:00","default:irrp","irrp") →[[RAG関連]] →AWSによるRAG開発 →LLMのローカル知識対応 #contents *一般 [#de771b2c] -[[Self RAGを簡単に作ろう ~ DifyとAWS Bedrock Prompt Flowの比較 ~ - GMOインターネットグループ グループ研究開発本部>https://recruit.gmo.jp/engineer/jisedai/blog/self-rag-dify-and-aws-bedrock-prompt-flow/]] 2025.1 -[[「Don’t Do RAG」巨大コンテキストを活かした超高速なCAGという新手法【論文解説】>https://zenn.dev/chips0711/articles/8460b7db255f02]] 2025.1 -[[RAG普及で加速する製造業のナレッジ活用 技術継承への貢献にも期待：MONOist 2025年展望（1/3 ページ） - MONOist>https://monoist.itmedia.co.jp/mn/articles/2501/09/news092.html]] 2025.1 -[[ChatGPTにサイトを丸ごと読ませる!? WordPress×RAGで進化するQ&A>https://zenn.dev/churadata/articles/489552af6a69db]] 2025.1 -[[RAG開発の超入門【RaggleのQuickStart | Pythonのソースコードあり】>https://zenn.dev/galirage/articles/raggle_quickstart]] 2025.1 -[[AIエージェントの発展とRAGの新境地、「エージェンティックRAG」が注目される理由 | AMP[アンプ] - ビジネスインスピレーションメディア>https://ampmedia.jp/2024/12/29/agentic-rag/]] 2024.12 -[[RAG技術の現状考察と2025年のトレンド予想>https://zenn.dev/knowledgesense/articles/591f560b3a6151]] 2024.12 -[[Elasticsearchのハイブリッド検索を用いて高精度なRAGを簡単に実現する - Taste of Tech Topics>https://acro-engineer.hatenablog.com/entry/2024/12/17/120000]] 2024.12 -[[LLM を用いた PDF を元にした回答と、該当箇所のハイライト - Gunosy Tech Blog>https://tech.gunosy.io/entry/llm-pdf-rag-citation-ocr-highlight]] 2024.12 -[[WebページをRAGしたい時の精度向上手法「HtmlRAG」>https://zenn.dev/knowledgesense/articles/e35011933152e2]] 2024.11 -[[RAGはどのように進化しているのか？RAGのパラダイムと改善手法を体系的にご紹介！ | SIOS Tech. Lab>https://tech-lab.sios.jp/archives/43741]] 2024.11 -[[RAGが「複雑な質問に弱い問題」を解決する「Plan×RAG」>https://zenn.dev/knowledgesense/articles/5e0e0f623e1c83]] 2024.11 -[[長文コンテクストに強いRAG「LongRAG」登場！ - 超高効率な質問応答を実現 - #Python - Qiita>https://qiita.com/ryosuke_ohori/items/6b5314e6d45e8aef2ab1]] 2024.11 -[[「どんな質問をしたいのか？」別に考える、適切なRAG技法 〜RAG曼荼羅〜>https://zenn.dev/team_nishika/articles/4ac011b5663747]] 2024.10 -[[RAGに関する主要な論文を時系列順にまとめていく(2024年度版)｜R>https://note.com/rrrrrrrrrr_666/n/nb8c9010ce603]] 2024.10 -[[LangGraphでSelf RAGを構築し、RAGの回答精度をアップデートしよう。 - GMOインターネットグループ グループ研究開発本部>https://recruit.gmo.jp/engineer/jisedai/blog/self_rag_by_langgraph/]] 2024.10 --RAGの応答精度を向上させる手法の一つ (Advanced RAG)。質の低い検索結果や生成結果をLLM自身で修正する。 -[[RAGの民主化が始まる！？生成AIを使って部署固有の業務を効率化しよう【UiPath コンテキスト グラウンディング】 #rag - Qiita>https://qiita.com/ManabuTech/items/a1a095c1bef57ea7d46b]] 2024.10 -[[RAGに関する主要な論文を時系列順にまとめていく(2024年度版)｜R>https://note.com/rrrrrrrrrr_666/n/nb8c9010ce603]] 2024.9 -[[RAG-LLMシステムへのユーザークエリは4つのレベルに分類できる 最も複雑なのは「隠れた根拠からの推論が必要なクエリ」Microsoftによる研究 | AIDB>https://ai-data-base.com/archives/76241]] 2024.9 -[[RAG の精度を向上させる Advanced RAG on AWS の道標 | Amazon Web Services ブログ>https://aws.amazon.com/jp/blogs/news/a-practical-guide-to-improve-rag-systems-with-advanced-rag-on-aws/]] 2023.9 -[[RIG is 何？RAG の妹？DataGemma の論文を翻訳しながら RIG を読み解く〜?まずは翻訳〜 #rag - Qiita>https://qiita.com/kazuneet/items/80e3177316cff807b1f5]] 2024.9 -[[RAGで文書検索の精度を上げるには、複数の埋め込みモデルを使う>https://zenn.dev/knowledgesense/articles/653229e5c37f4e]] 2024.9 -[[RAG構築のポイント：効果的なAIチャットボット開発を目指して | ジコログ>https://self-development.info/rag%e6%a7%8b%e7%af%89%e3%81%ae%e3%83%9d%e3%82%a4%e3%83%b3%e3%83%88%ef%bc%9a%e5%8a%b9%e6%9e%9c%e7%9a%84%e3%81%aaai%e3%83%81%e3%83%a3%e3%83%83%e3%83%88%e3%83%9c%e3%83%83%e3%83%88%e9%96%8b%e7%99%ba/]] 2024.9 -[[【RAG】大規模言語モデルの能力を底上げする技術を初心者向けに徹底解説！ | キカガクブログ>https://www.kikagaku.co.jp/kikagaku-blog/rag/]] 2024.9 -[[生成AIを検証してみた件 ~読み込んだテキストデータを参照し正しく答えられるか？~ - シー・エス・エス イノベーションラボ（ブログ）>https://blog.css-net.co.jp/entry/2024/09/10/143706]] 2024.9 -[[RAGを作って学ぶCloudflareスタック>https://zenn.dev/yusukebe/articles/c7e2ec9f12427b#%E3%83%AA%E3%83%9D%E3%82%B8%E3%83%88%E3%83%AA]] 2024.8 -[[生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog>https://blog.g-gen.co.jp/entry/comparing-rag-architecture-across-cloud-vendors]] 2024.7 --各サービスの主な特徴: - AWS: カスタマイズ性が高く、複数の基盤モデルから選択可能 - Azure: 詳細なチューニングが可能で、Microsoft エコシステムとの連携が強み - Google Cloud: フルマネージドでサーバーレス、構築が簡単 --料金比較: - 想定シナリオ下での1ヶ月の利用料概算: AWS: 約32,000円 Azure: 約21,000円 Google Cloud: 約15,000円 --総評: - AWS: 中級者〜上級者向け、カスタマイズ性が高い - Azure: 上級者向け、詳細なチューニングが可能 - Google Cloud: 初級者〜中級者向け、スピーディな導入が可能 -[[適切なチャンクサイズを評価する方法（LlamaIndexのブログをやってみた） #AWS - Qiita>https://qiita.com/moritalous/items/86aef6d16605333f3d5a]] 2024.7 -[[RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳>https://sue124.hatenablog.com/entry/2024/07/02/233616]] 2024.7 -[[RAG構築におけるKendraとPineconeの使い分け - Speaker Deck>https://speakerdeck.com/sonoda_mj/raggou-zhu-niokerukendratopineconenoshi-ifen-ke]] 2024.6 --Kendraは高い -[[複雑なクエリを生成して精度をあげるRAGの手法 Middleware for LLMs>https://zenn.dev/knowledgesense/articles/acc5817d6a8ad7]] 2024.6 -[[生成AIキャラクター作成プラットフォームにおける LLM応答の柔軟性の拡張の工夫 - Speaker Deck>https://speakerdeck.com/ykimura517/sheng-cheng-aikiyarakutazuo-cheng-puratutohuomuniokeru-llmying-da-norou-ruan-xing-nokuo-zhang-nogong-fu]] 2024.6 -[[生成AI活用はRAG前提の時代へ、約5割が取り組み中〜302社402人へ生成AIの利用実態調査を実施、全社での導入は前回から20ポイント増加し半数を上回る結果に〜 - 株式会社エクサウィザーズ>https://exawizards.com/archives/27549/]] 2024.6 -[[第4回 生成AIの精度を高める「RAG」 | BCG Japan>https://bcg-jp.com/article/4412/]] 2024.5 --ナイーブRAG (第1世代) ---検索・生成・拡張の3ステップから成る最も単純な形式 --アドバンストRAG (第2世代) ---検索の前後に処理を入れて性能を改善したもの --モジュラーRAG (第3世代) ---前処理~検索の機能をモジュール化し、モジュールの組み合わせでRAGを構築する -[[RAGって一体どれくらいトークンを消費するの？ #AWS - Qiita>https://qiita.com/moritalous/items/8476bf4e7b273fba6b3c]] 2024.5 --LangChainを使って検証 -[[「RAGはそんなに簡単じゃない」──AIエンジニア主導でLLMを導入すると失敗に？ 日本語特化のELYZA・曽根岡CEOに聞く、LLM開発＆活用のいま（1/2 ページ） - ITmedia AI＋>https://www.itmedia.co.jp/aiplus/articles/2405/28/news104.html]] 2024.5 -[[RAGで文書を1トークンに圧縮する「xRAG」について>https://zenn.dev/knowledgesense/articles/2b6aa64f27ea89]] 2024.5 -[[オープンソースのRAGアプリ「RAGFlow」を試す>https://zenn.dev/kun432/scraps/5b8547c6aa1c95]] 2024.5 -[[Retrieval-Augmented Generationシステムの改善方法の紹介 - AITC - ISID | AI トランスフォーメンションセンター コラム>https://aitc.dentsusoken.com/column/Retrieval-Augmented_Generation]] 2024.5 -[[Towards Long Context RAG — LlamaIndex, Data Framework for LLM Applications>https://www.llamaindex.ai/blog/towards-long-context-rag]] 2024.5 -[[「実務で後一歩使えない」を解決するLLM・RAG ~文脈を付加して検索精度を上げる~>https://zenn.dev/team_nishika/articles/469cdd98535039]] 2024.5 -[[「実務で後一歩使えない」を解決するLLM・RAG ~PowerPoint/PDFの表を崩さず理解する~>https://zenn.dev/team_nishika/articles/62df68efd3fde0]] 2024.5 -[[RAGの評価：評価の必要性と問題点 - Beatrust techBlog>https://tech.beatrust.com/entry/2024/05/01/RAG%E3%81%AE%E8%A9%95%E4%BE%A1%EF%BC%9A%E8%A9%95%E4%BE%A1%E3%81%AE%E5%BF%85%E8%A6%81%E6%80%A7%E3%81%A8%E5%95%8F%E9%A1%8C%E7%82%B9]] 2024.5 -[[AnthropicAI Tool で Retrieval-Augmented Generation を実装してみた>https://zenn.dev/mizchi/articles/impl-rag-by-anthropic-tools]] 2024.4 -[[コサイン類似度のいろんな書き方 - Speaker Deck>https://speakerdeck.com/nogawanogawa/kosainlei-si-du-noironnashu-kifang]] 2024.4 -[[ChatGPTが自社データを学習｜社内AI / RAG構築方法 #機械学習 - Qiita>https://qiita.com/heapjp/items/0ff0ef47823f10dbe6c3]] 2024.4 -[[RAGを複雑な質問に強くする手法「CoA」について>https://zenn.dev/knowledgesense/articles/508187f1c616e3]] 2024.4 -[[ここがポイント！RAGを活用した生成AIボットの検索精度向上について #ChatGPT - Qiita>https://qiita.com/ps010/items/cdb75f3cad5c97f85de8]] 2024.4 -[[優秀と噂なCohere社のCommand R+でRAGチャットボットを簡単に構築して体験しよう！ #LLM - Qiita>https://qiita.com/itokazu/items/2b519ef301fdf1430486]] 2024.4 -[[⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について - Speaker Deck>https://speakerdeck.com/nearme_tech/gui-mo-yu-moderunokuo-zhang-rag-ga-zhong-watutakamozhi-renaijian-nituite]] 2024.4 -[[Geminiを使ったマルチモーダルRAGのハンズオン - GMOインターネットグループ グループ研究開発本部>https://recruit.gmo.jp/engineer/jisedai/blog/gemini-multimodal-rag-hands-on/]] 2024.4 -[[Advanced RAG Techniques | Pinecone>https://www.pinecone.io/learn/advanced-rag-techniques/]] 2024.3 -[[総務省が8525万円をかけて作らせたGovbot（ガボット）を３時間で作った話｜Sangmin Ahn>https://note.com/sangmin/n/n3cb256cc22cc]] 2024.3 -[[Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ>https://techblog.nhn-techorus.com/archives/30709]] 2024.3 -[[ASCII.jp：RAGの基礎知識を得て“ゼロ円RAGシステム”を構築してみた>https://ascii.jp/elem/000/004/190/4190949/?rss]] 2024.3 -[[RAGの新しい手法「CRAG」を3分で理解する>https://zenn.dev/knowledgesense/articles/bb5e15abb3c547]] 2024.3 -[[RAGの実装戦略まとめ #Python - Qiita>https://qiita.com/jw-automation/items/045917be7b558509fdf2]] 2024.3 --1 ハイブリッドサーチ 複数の検索方式の組み合わせによる検索性能の向上 --2 リランキング 検索で得た文書に対して、再度ランク付けを行い、関連性が高い文書のみを利用 --3 サブクエリ 複合的なクエリをサブクエリに分解して、それぞれのレスポンス結果を統合 --4 HyDE クエリに対する仮回答を生成させ、仮回答で検索 --5 ステップバックプロンプト クエリを一段抽象化させ、抽象化したクエリへの検索結果も合成して回答 --6 RAG Fusion 類似クエリを生成させ、各クエリでの検索結果を統合して回答を生成 --7 マルチステップクエリ クエリの分解と段階的な推進により、回答を洗練させる手法 --8 チャンク拡張 検索でヒットした前後のチャンクもコンテキストに含める --9 Pandas Dataframe CSVのようなデータテーブルの構造を保ったままクエリが可能 --10 TextToSQL 自然言語をSQLに変換して、データベースから必要な情報を抽出 -[[Claude3を使ってパワポ資料を読み込む処理をLambda関数上で実行してみた | DevelopersIO>https://dev.classmethod.jp/articles/read-powerpoint-document-with-claude-3-on-lambda-funcion/]] 2024.3 -[[ロングコンテキストLLMに対応したRAGの新アーキテクチャ｜npaka>https://note.com/npaka/n/n0b17244bae47]] 2024.3 -[[社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ) - ABEJA Tech Blog>https://tech-blog.abeja.asia/entry/in-house-jargon-slackbot-with-rag-202402]] 2024.2 -[[RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO>https://dev.classmethod.jp/articles/rag-knowledge-on-real-projects/]] 2024.2 -[[【生成AI】私が考えるRAGシステムに必要な機能について - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/functions-required-for-rag-system]] 2024.1 -[[【生成AI】RAGシステムの解析：必要性と各アーキテクチャ要素の考慮事項 - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/analysis-of-rag-system]] 2024.1 -[[LLMを組み合わせたRAGの実装 - Speaker Deck>https://speakerdeck.com/biosugar0/llmwozu-mihe-wasetaragnoshi-zhuang]] 2024.1 -[[社内規程集について回答してくれる生成AIを評価してみた〜生成AIのアーキテクチャ「RAG」の評価プロセス | LAC WATCH>https://www.lac.co.jp/lacwatch/people/20240118_003651.html]] 2024.1 -[[検索拡張生成（RAG）を用いたQA botを爆速で作る方法（Assistants API編） - GMOインターネットグループ グループ研究開発本部>https://recruit.gmo.jp/engineer/jisedai/blog/rag_by_assistants_api/]] 2024.1 -[[RAGによる社内ナレッジを活用したチャットボットの構築 #AI - Qiita>https://qiita.com/Mitsuhiro_Itagaki/items/be256775a8ce4b725827]] 2024.1 -[[LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB>https://aiboom.net/archives/61367]] 2023.12 -[[GPTsより精度の高いRAGシステムの構築 - Speaker Deck>https://speakerdeck.com/mkazutaka/gptsyorijing-du-nogao-iragsisutemunogou-zhu]] 2023.12 -[[Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する - A Day in the Life>https://secon.dev/entry/2023/12/15/080000-qa-rag-llm-sft/]] 2023.12 -[[Prompt Flowで評価Flowを自作してRAGのイケてるLLMOpsを実現してみた - ENGINEERING BLOG ドコモ開発者ブログ>https://nttdocomo-developers.jp/entry/20231211_1]] 2023.12 -[[GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog>https://tech.explaza.jp/entry/2023/12/04/162659]] 2023.12 -[[LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】>https://storialaw.jp/blog/10203]] 2023.11 -[[ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ>https://tech.connehito.com/entry/2023/11/14/221416]] 2023.11 -[[LlamaIndex の マルチモーダルRAG のしくみ｜npaka>https://note.com/npaka/n/n53e8aabed0f2]] 2023.11 -[[RAGにおけるドキュメント検索精度向上について(概要編)>https://zenn.dev/sompojapan_dx/articles/eb755a18e893ce]] 2023.11 -[[Retrieval-based LM (RAG system) ざっくり理解する - Speaker Deck>https://speakerdeck.com/smiyawaki0820/retrieval-based-lm-rag-system-zatukurili-jie-suru]] 2023.11 -[[RAGを使った生成AIボットでユーザの意図を理解して対話するためのフローを考えてみた | DevelopersIO>https://dev.classmethod.jp/articles/estimate-user-intention-in-genai-bot-with-rag/]] 2023.10 -[[入門KDB.AI (6) - サンプルコード(Image Search) - APC 技術ブログ>https://techblog.ap-com.co.jp/entry/2023/10/25/111523]] 2023.10 -[[ChatGPT/AOAI自社データ活用(RAG)の精度向上のプラクティス【情シス向け】 – CloudNative Inc. BLOGs>https://blog.cloudnative.co.jp/21171/]] 2023.10 -[[ベクトル検索で欲しい情報が得られないときの問題点と改良方法を考えてみた | DevelopersIO>https://dev.classmethod.jp/articles/problem-and-improve-methods-of-vector-search/]] 2023.7 -[[OpenAIのAPIを使って営業資料をベクトル検索するボットをつくってみた | DevelopersIO>https://dev.classmethod.jp/articles/implement-sales-documents-search-bot/]] 2023.7 -[[ChatGPTで独自データを扱うためのエンべディング｜緒方 壽人 (Takram)>https://note.com/ogatahisato/n/n899dcb459f35]] 2023.5 -[[社内情報検索システムで用いられるRAGの4つの実装方法 - Speaker Deck>https://speakerdeck.com/mkazutaka/she-nei-qing-bao-jian-suo-sisutemudeyong-irareruragno4tunoshi-zhuang-fang-fa]] 2023.10 -[[ChatGPT・AOAIに自社データを組み込む場合(RAG)のアクセス制御のデザインパターン – CloudNative Inc. BLOGs>https://blog.cloudnative.co.jp/20885/]] 2023.10 -[[【ChatGPT】ベクトルデータベースによる企業内データの活用(RAG) - Qiita>https://qiita.com/ksonoda/items/ba6d7b913fc744db3d79]] 2023.9 -[[LLMを利用したRAG（Retrieval Augmented Generation）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】>https://storialaw.jp/blog/9885]] 2023.8
