LLMのローカル知識対応の履歴(No.44) - 技術情報Wiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ] [ Twitter ]

→自然言語処理

→OpenAIのAPI

→Amazon Bedrock

→LLMライブラリ

→大規模言語モデル ←ファインチューニングに関してはこちら

RAG(Retrieval Augmented Generation または Retrieval-based Language Model）
一般
Amazon Bedrock によるエンベディング
OpenAI Embedding API
ベクトルDB

RAG(Retrieval Augmented Generation または Retrieval-based Language Model）†

Prompt Flowで評価Flowを自作してRAGのイケてるLLMOpsを実現してみた - ENGINEERING BLOG ドコモ開発者ブログ 2023.12

RAG、ファインチューニングとは｜生成AI進化の鍵は「ドメイン特化」 | AI専門ニュースメディア AINOW 2023.12

ChatGPT+LangChain| Elasticsearch公式ドキュメントのQ&Aを作ってみる 2023.12

Amazon Q(プレビュー)を利用し、手軽にRAGアプリを作ってみる - サーバーワークスエンジニアブログ 2023.12

生成AI初心者がAmazon BedrockのKnowledge baseを使ってRAGを試してみた – TechHarmony 2023.12

GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog 2023.12

OpenAI Embeddings APIとベクトル検索エンジンValdを使って類似文章検索をしてみよう 2023.12

ChatGPTに自前の情報を画像込みで返答させてみた〜実践的なRAGとEmbeddingの使い方〜 - バイセル Tech Blog 2023.11

[やってみた]Amazon BedrockのKnowledge baseを触ってみた #AWSreInvent | DevelopersIO 2023.11

[アップデート] Amazon Bedrockで簡単にRAGが実現できる、Retrieval Augmented Generation (RAG) with Knowledge BaseがとうとうGAになりました！！ #AWSreinvent | DevelopersIO 2023.11

LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】 2023.11

Bedrock で RAG などを行うための生成系 AI アプリケーション (generative-ai-use-cases-jp) を構築する手順を丁寧に解説 #AWS - Qiita 2023.11

Amazon OpenSearch ServiceとBedrockを組み合わせてRAGを作る（LangChainいらず） #AWS - Qiita 2023.11

langchainとDatabricksで(私が)学ぶRAG : MultiQueryRetrieverを使ったRAG #Databricks - Qiita 2023.11

LangChain への OpenAIのRAG戦略の適用｜npaka 2023.11

ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ 2023.11

Bedrock、Lambda、Kendra、S3を使用したRAGをSAMで実装してみた | DevelopersIO 2023.11

LlamaIndex のマルチモーダルRAG のしくみ｜npaka 2023.11

RAGにおけるドキュメント検索精度向上について(概要編) 2023.11

Retrieval-based LM (RAG system) ざっくり理解する - Speaker Deck 2023.11

Azure OpenAI サンプル(5. 企業内向けChatと社内文書検索) をデプロイしてみる 2023.10

RAGを使った生成AIボットでユーザの意図を理解して対話するためのフローを考えてみた | DevelopersIO 2023.10

入門KDB.AI (6) - サンプルコード(Image Search) - APC 技術ブログ 2023.10

LangChain AmazonKendraRetriever から必要な情報を返してもらえない人へ #AWS - Qiita 2023.10

ChatGPT/AOAI自社データ活用(RAG)の精度向上のプラクティス【情シス向け】 – CloudNative Inc. BLOGs 2023.10

Retrieval-Augmented Generation(RAG)とは？ | IBM ソリューションブログ 2023.10

AWS 内で大規模言語モデルを利用できる Amazon Bedrock を使って作る RAG アプリケーション - クックパッド開発者ブログ 2023.10

【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog 2023.10

【Amazon Bedrock】Titan Embeddings Generation 1を利用して過去のブログ記事から入力に関連する記事を出力してみた - DENET 技術ブログ 2023.10

ベクトル検索で欲しい情報が得られないときの問題点と改良方法を考えてみた | DevelopersIO 2023.7

OpenAIのAPIを使って営業資料をベクトル検索するボットをつくってみた | DevelopersIO 2023.7

ChatGPTで独自データを扱うためのエンべディング｜緒方壽人 (Takram) 2023.5

OpenAIのEmbeddings APIのベクトルを使って検索を行う | DevelopersIO 2023.5

【書籍出版記念】LangChainから学ぶLLMを使ったアプリケーションの工夫 - Speaker Deck 2023.10

社内情報検索システムで用いられるRAGの4つの実装方法 - Speaker Deck 2023.10

【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコールセンター向けAIチャットボットを構築してみた | DevelopersIO 2023.10

Amazon KendraとAWS Lambdaを使い、RAGのRetrievalフェーズを試してみた | DevelopersIO 2023.10

ChatGPT・AOAIに自社データを組み込む場合(RAG)のアクセス制御のデザインパターン – CloudNative Inc. BLOGs 2023.10

【Bedrock / Claude】AWSオンリーでRAGを使った生成AIボットを構築してみた【Kendra】 | DevelopersIO 2023.10

【Bedrock / Claude】AWSオンリーでRAGを使った社内情報を回答できる生成AIボットで構築してみた【Kendra】 | DevelopersIO 2023.10

【ChatGPT】ベクトルデータベースによる企業内データの活用(RAG) - Qiita 2023.9

LangChainでCognitive SearchのベクトルDBと連携させたRAGを構築する - Qiita 2023.9

LLMを利用したRAG（Retrieval Augmented Generation）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】 2023.8

実践LangChain！RAGによる特化LLMシステムの作り方 - Qiita 2023.6

一般†

【Golang】Azure OpenAI で Embedding したベクトルを使って、自前検索エンジンを作ろう 2023.12

[中級編]LLMへ至る道~単語を埋め込むってどういうこと？~[8日目] | DevelopersIO 2023.12

Amazon RDS for PostgreSQLがpgvectorモジュールに対応しベクトル検索できるようになりました | DevelopersIO 2023.10

BERT系モデルで文章をEmbeddingする際のTips - Qiita 2023.8

PostgreSQL(pgvector) のベクトル検索による全自動PDF検索 : Blob Storage にアップロードしPDFをテキストに変換 - Qiita 2023.6

Azure OpenAI Embedding モデルを利用し最も関連性の高いドキュメントを見つける方法 - Qiita 2023.6

ChatGPTを使ってOpenAIのEmbeddings APIを実験してみる - Kaizen Platform 開発者ブログ 2023.6

Embeddingで埋め込みベクトルとってDBに投入して検索するのをout-context learningと呼ぶのはどうか - きしだのHatena 2023.4

「単語ベクトル」とは何か？ - YouTube 2023.4

ChatGPTなどのチャットAIがどんな風に文章を認識しているのかが一目で分かる「Tokenizer」 - GIGAZINE 2023.4

OpenAI GPTにおいて、モデルごとにトークン量が変動するのはなぜ？ | IIJ Engineers Blog 2023.3

OpenAI 言語モデルごとのエンコーディング一覧 2023.3

人間の言葉をコンピュータが理解できるようにするための「ベクトル化」の話 | DevelopersIO 2022.12
- 形態素解析,構文解析,意味解析,文脈解析,カウントベース,分散表現

自然言語処理：単語ベクトルの導出ー埋め込み表、CBOW、Skipgram - YouTube 2020

ざっくり理解する単語の分散表現(One-hot encode, word2vec, ELMo, BERT) - Qiita 2019

自然言語処理の必須知識！Word2Vec とは？ | キカガクの技術ブログ 2022.12

青空文庫の全小説でword2vecしてみる - Qiita 2022.7

BERT vs Word2Vec ～単語分散表現による同義語抽出～ - Qiita 2022.7

Amazon Bedrock によるエンベディング†

Amazon BedrockでLLMを使ったベクトル検索を試す #AWS - Qiita 2023.12

「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ 2023.12

【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog 2023.10

Titan Embeddings Generation 1を利用して過去のブログ記事タイトルの類似性を散布図に落とし込んでみた - DENET 技術ブログ 2023.10

ASCII.jp：生成AI基盤のAmazon BedrockでTitan Embeddingsを試してみる 2023.10

Amazon BedrockでテキストのEmbeddingsを取得してみた | DevelopersIO 2023.10

Amazon BedrockのEmbeddingsを試しました。（良さげです） - Qiita 2023.9

OpenAI Embedding API†

大規模小説データをOpenAI Embedding APIで特徴抽出してUMAPで可視化してみた 2023.11

ChatGPT x LangChain で独自ドキュメントのベクターストア検索をチューニングする / 開発者向けブログ・イベント | GMO Developers 2023.9

OpenAI の Embeddings API はイケてるのか、定量的に調べてみる - Qiita 2023.9

OpenAIのEmbeddings APIを使って文の意味上の類似度を計算 | GMOアドパートナーズ TECH BLOG byGMO 2023.6

【ChatGPT】Embeddingsでドメイン知識をChatGPTに理解させる - Qiita 2023.6

ChatGPT_APIのEmbedding_カスタマイズ入門 - Speaker Deck 2023.4

ベクトルDB†

ベクトルデータベースってどういうものがある？ - CLOVER🍀 2023.12

【LLM】ベクトルデータベースって多くてどれを使ったら良いか分からないというあなたのための記事（6つのツールを比較） 2023.10

LangChainでCognitive SearchのベクトルDBと連携させたRAGを構築する - Qiita 2023.9

LangChainでCognitive SearchのベクトルDBを構築する - Qiita 2023.8

ベクトルデータベース Pinecone の概念を整理する | DevelopersIO 2023.4

ChromaDBの完全なチュートリアル - Qiita 2023.10