#author("2023-12-07T15:24:36+09:00","default:irrp","irrp")
→自然言語処理

→OpenAIのAPI

→Amazon Bedrock

→LLMライブラリ

→大規模言語モデル


#contents




*RAG(Retrieval Augmented Generation）[#g35e41ef]
-[[Amazon Q(プレビュー)を利用し、手軽にRAGアプリを作ってみる - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/rag-application-by-amazon-q]] 2023.12

-[[生成AI初心者がAmazon BedrockのKnowledge baseを使ってRAGを試してみた – TechHarmony>https://blog.usize-tech.com/amazon-bedrock-rag/]] 2023.12

-[[GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog>https://tech.explaza.jp/entry/2023/12/04/162659]] 2023.12

-[[OpenAI Embeddings APIとベクトル検索エンジンValdを使って類似文章検索をしてみよう>https://techblog.lycorp.co.jp/ja/20231202a]] 2023.12

-[[ChatGPTに自前の情報を画像込みで返答させてみた 〜実践的なRAGとEmbeddingの使い方〜 - バイセル Tech Blog>https://tech.buysell-technologies.com/entry/2023/11/30/182729]] 2023.11

-[[[やってみた]Amazon BedrockのKnowledge baseを触ってみた #AWSreInvent | DevelopersIO>https://dev.classmethod.jp/articles/try-bedrock-knowledge-base/]] 2023.11

-[[[アップデート] Amazon Bedrockで簡単にRAGが実現できる、Retrieval Augmented Generation (RAG) with Knowledge BaseがとうとうGAになりました！！ #AWSreinvent | DevelopersIO>https://dev.classmethod.jp/articles/update-reinvent2023-bedrock-rag/]] 2023.11

-[[LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】>https://storialaw.jp/blog/10203]] 2023.11

-[[Bedrock で RAG などを行うための 生成系 AI アプリケーション (generative-ai-use-cases-jp) を構築する手順を丁寧に解説 #AWS - Qiita>https://qiita.com/sugimount-a/items/aa7513de1f0947a94bdd]] 2023.11

-[[Amazon OpenSearch ServiceとBedrockを組み合わせてRAGを作る（LangChainいらず） #AWS - Qiita>https://qiita.com/moritalous/items/952025c00df1b9436cbb]] 2023.11

-[[langchainとDatabricksで(私が)学ぶRAG : MultiQueryRetrieverを使ったRAG #Databricks - Qiita>https://qiita.com/isanakamishiro2/items/2e4ce270a8bd366ba44a]] 2023.11

-[[LangChain への OpenAIのRAG戦略の適用｜npaka>https://note.com/npaka/n/n62cd25213679]] 2023.11

-[[ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ>https://tech.connehito.com/entry/2023/11/14/221416]] 2023.11

-[[Bedrock、Lambda、Kendra、S3を使用したRAGをSAMで実装してみた | DevelopersIO>https://dev.classmethod.jp/articles/rag-lambda-kendra-s3-sam/]] 2023.11

-[[LlamaIndex の マルチモーダルRAG のしくみ｜npaka>https://note.com/npaka/n/n53e8aabed0f2]] 2023.11

-[[RAGにおけるドキュメント検索精度向上について(概要編)>https://zenn.dev/sompojapan_dx/articles/eb755a18e893ce]] 2023.11

-[[Retrieval-based LM (RAG system) ざっくり理解する - Speaker Deck>https://speakerdeck.com/smiyawaki0820/retrieval-based-lm-rag-system-zatukurili-jie-suru]] 2023.11

-[[Azure OpenAI サンプル(5. 企業内向けChatと社内文書検索) をデプロイしてみる>https://zenn.dev/microsoft/articles/aoai-5sample]] 2023.10

-[[RAGを使った生成AIボットでユーザの意図を理解して対話するためのフローを考えてみた | DevelopersIO>https://dev.classmethod.jp/articles/estimate-user-intention-in-genai-bot-with-rag/]] 2023.10

-[[入門KDB.AI (6) - サンプルコード(Image Search) - APC 技術ブログ>https://techblog.ap-com.co.jp/entry/2023/10/25/111523]] 2023.10

-[[LangChain AmazonKendraRetriever から必要な情報を返してもらえない人へ #AWS - Qiita>https://qiita.com/s3kzk/items/be046a2ed62cd0663dbb]] 2023.10

-[[ChatGPT/AOAI自社データ活用(RAG)の精度向上のプラクティス【情シス向け】 – CloudNative Inc. BLOGs>https://blog.cloudnative.co.jp/21171/]] 2023.10

-[[Retrieval-Augmented Generation(RAG)とは？ | IBM ソリューション ブログ>https://www.ibm.com/blogs/solutions/jp-ja/retrieval-augmented-generation-rag/]] 2023.10

-[[AWS 内で大規模言語モデルを利用できる Amazon Bedrock を使って作る RAG アプリケーション - クックパッド開発者ブログ>https://techlife.cookpad.com/entry/bedrock]] 2023.10

-[[【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog>https://tech.nri-net.com/entry/aws_bedrock_rag_app]] 2023.10

-[[【Amazon Bedrock】Titan Embeddings Generation 1を利用して過去のブログ記事から入力に関連する記事を出力してみた - DENET 技術ブログ>https://blog.denet.co.jp/bedrock-titan-embeddings/]] 2023.10

-[[ベクトル検索で欲しい情報が得られないときの問題点と改良方法を考えてみた | DevelopersIO>https://dev.classmethod.jp/articles/problem-and-improve-methods-of-vector-search/]] 2023.7

-[[OpenAIのAPIを使って営業資料をベクトル検索するボットをつくってみた | DevelopersIO>https://dev.classmethod.jp/articles/implement-sales-documents-search-bot/]] 2023.7

-[[ChatGPTで独自データを扱うためのエンべディング｜緒方 壽人 (Takram)>https://note.com/ogatahisato/n/n899dcb459f35]] 2023.5

-[[OpenAIのEmbeddings APIのベクトルを使って検索を行う | DevelopersIO>https://dev.classmethod.jp/articles/search-with-openai-embeddings/]] 2023.5

-[[GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/03/09/094810]] 2023.3
-[[GPTのEmbeddingを使った近いエントリを探す処理がVector APIなどで10倍高速になった - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/04/03/173313]] 2023.4

-[[【書籍出版記念】LangChainから学ぶLLMを使ったアプリケーションの工夫 - Speaker Deck>https://speakerdeck.com/os1ma/shu-ji-chu-ban-ji-nian-langchainkaraxue-bullmwoshi-tutaapurikesiyonnogong-fu]] 2023.10

-[[社内情報検索システムで用いられるRAGの4つの実装方法 - Speaker Deck>https://speakerdeck.com/mkazutaka/she-nei-qing-bao-jian-suo-sisutemudeyong-irareruragno4tunoshi-zhuang-fang-fa]] 2023.10

-[[【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコールセンター向けAIチャットボットを構築してみた | DevelopersIO>https://dev.classmethod.jp/articles/amazon-bedrock-claude-connect-kendra-rag/]] 2023.10

-[[Amazon KendraとAWS Lambdaを使い、RAGのRetrievalフェーズを試してみた | DevelopersIO>https://dev.classmethod.jp/articles/kendra-lambda-retrieval/]] 2023.10

-[[ChatGPT・AOAIに自社データを組み込む場合(RAG)のアクセス制御のデザインパターン – CloudNative Inc. BLOGs>https://blog.cloudnative.co.jp/20885/]] 2023.10

-[[【Bedrock / Claude】AWSオンリーでRAGを使った生成AIボットを構築してみた【Kendra】 | DevelopersIO>https://dev.classmethod.jp/articles/implement-rag-with-aws-services/]] 2023.10

-[[【Bedrock / Claude】AWSオンリーでRAGを使った社内情報を回答できる生成AIボットで構築してみた【Kendra】 | DevelopersIO>https://dev.classmethod.jp/articles/implement-rag-with-aws-services/]] 2023.10

-[[【ChatGPT】ベクトルデータベースによる企業内データの活用(RAG) - Qiita>https://qiita.com/ksonoda/items/ba6d7b913fc744db3d79]] 2023.9

-[[LangChainでCognitive SearchのベクトルDBと連携させたRAGを構築する - Qiita>https://qiita.com/tmiyata25/items/bfb7f4f5f22ec659c791]] 2023.9

-[[LLMを利用したRAG（Retrieval Augmented Generation）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】>https://storialaw.jp/blog/9885]] 2023.8

-[[実践LangChain！RAGによる特化LLMシステムの作り方 - Qiita>https://qiita.com/t_serizawa/items/a2ced4441da714b3076f]] 2023.6


* 一般 [#hf9f1ff9]
-[[Amazon RDS for PostgreSQLがpgvectorモジュールに対応しベクトル検索できるようになりました | DevelopersIO>https://dev.classmethod.jp/articles/amazon-rds-postgresql-pgvector-embedding/]] 2023.10

-[[BERT系モデルで文章をEmbeddingする際のTips - Qiita>https://qiita.com/anyai_corp/items/1d66feea6102c28dd077]] 2023.8

-[[PostgreSQL(pgvector) のベクトル検索による全自動PDF検索 : Blob Storage にアップロードしPDFをテキストに変換 - Qiita>https://qiita.com/yoshioterada/items/fddbc738cca9f24dac8b]] 2023.6

-[[Azure OpenAI Embedding モデルを利用し最も関連性の高いドキュメントを見つける方法 - Qiita>https://qiita.com/yoshioterada/items/3e575828368bf3767532]] 2023.6

-[[ChatGPTを使ってOpenAIのEmbeddings APIを実験してみる - Kaizen Platform 開発者ブログ>https://developer.kaizenplatform.com/entry/yu/2023-06]] 2023.6

-[[tiktokenを使ってテキストをトークンに変換してみる - CLOVER🍀>https://kazuhira-r.hatenablog.com/entry/2023/12/04/230304]] 2023.12
-[[ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく - nikkie-ftnextの日記>https://nikkie-ftnext.hatenablog.com/entry/how-chatgpt-tokenize-japanese-text-tackling-with-tiktoken]] 2023.4

-[[Embeddingで埋め込みベクトルとってDBに投入して検索するのをout-context learningと呼ぶのはどうか - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/04/13/212226]] 2023.4

-[[「単語ベクトル」とは何か？ - YouTube>https://www.youtube.com/watch?v=l8YCKz15Hn8]] 2023.4

-[[ChatGPTなどのチャットAIがどんな風に文章を認識しているのかが一目で分かる「Tokenizer」 - GIGAZINE>https://gigazine.net/news/20230407-tokenizer-open-ai/]] 2023.4

-[[OpenAI GPTにおいて、モデルごとにトークン量が変動するのはなぜ？ | IIJ Engineers Blog>https://eng-blog.iij.ad.jp/archives/18815]] 2023.3

-[[OpenAI 言語モデルごとのエンコーディング一覧>https://zenn.dev/microsoft/articles/3438cf410cc0b5]] 2023.3

-[[人間の言葉をコンピュータが理解できるようにするための「ベクトル化」の話 | DevelopersIO>https://dev.classmethod.jp/articles/vectorization-in-natural-language-processing/]] 2022.12
--形態素解析,構文解析,意味解析,文脈解析,カウントベース,分散表現

-[[自然言語処理：単語ベクトルの導出ー埋め込み表、CBOW、Skipgram - YouTube>https://www.youtube.com/watch?v=ylWNajlpiEo]] 2020

-[[ざっくり理解する単語の分散表現(One-hot encode, word2vec, ELMo, BERT) - Qiita>https://qiita.com/norihitoishida/items/85150cfacc1f75f552f3]] 2019

-[[自然言語処理の必須知識！Word2Vec とは？ | キカガクの技術ブログ>https://blog.kikagaku.co.jp/word2vec]] 2022.12

-[[青空文庫の全小説でword2vecしてみる - Qiita>https://qiita.com/sheep96/items/1995a3eacfc0be317a08]] 2022.7

-[[BERT vs Word2Vec 〜単語分散表現による同義語抽出〜 - Qiita>https://qiita.com/chicken_data_analyst/items/15c0046062c6e016f467]] 2022.7

-[[Word2Vecを用いたタンパク質の分散表現 - Qiita>https://qiita.com/kuro3210/items/aa45753d301dfc13811b]] 2022.4
-[[【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita>https://qiita.com/naotaka1128/items/2c4551abfd40e43b0146#2-gensim-%E3%81%A7-doc2vec-%E3%81%AE%E3%83%A2%E3%83%87%E3%83%AB%E6%A7%8B%E7%AF%89]] 2016
-[[【word2vec】会社のクチコミを自然言語処理した結果を可視化してみる - Qiita>https://qiita.com/naotaka1128/items/e617f63907fed035408a]] 2017



*Amazon Bedrock によるエンベディング [#v422b591]
-[[【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog>https://tech.nri-net.com/entry/aws_bedrock_rag_app]] 2023.10

-[[Titan Embeddings Generation 1を利用して過去のブログ記事タイトルの類似性を散布図に落とし込んでみた - DENET 技術ブログ>https://blog.denet.co.jp/embeddings-scatter/]] 2023.10

-[[ASCII.jp：生成AI基盤のAmazon BedrockでTitan Embeddingsを試してみる>https://ascii.jp/elem/000/004/163/4163301/?rss]] 2023.10

-[[Amazon BedrockでテキストのEmbeddingsを取得してみた | DevelopersIO>https://dev.classmethod.jp/articles/amazon-bedrock-titan-embeddings/]] 2023.10

-[[Amazon BedrockのEmbeddingsを試しました。（良さげです） - Qiita>https://qiita.com/moritalous/items/d68ee613776e2e18b81b]] 2023.9



*OpenAI Embedding API [#p7cbc263]
-[[大規模小説データをOpenAI Embedding APIで特徴抽出してUMAPで可視化してみた>https://zenn.dev/tellernovel_inc/articles/62d70afb097176]] 2023.11

-[[ChatGPT x LangChain で独自ドキュメントのベクターストア検索をチューニングする / 開発者向けブログ・イベント | GMO Developers>https://developers.gmo.jp/38381/]] 2023.9

-[[OpenAI の Embeddings API はイケてるのか、定量的に調べてみる - Qiita>https://qiita.com/akeyhero/items/ce371bfed64399027c23]] 2023.9

-[[OpenAIのEmbeddings APIを使って文の意味上の類似度を計算 | GMOアドパートナーズ TECH BLOG byGMO>https://techblog.gmo-ap.jp/2023/06/22/embeddings_api_calc_sentence_similarity/]] 2023.6

-[[【ChatGPT】Embeddingsでドメイン知識をChatGPTに理解させる - Qiita>https://qiita.com/yuno_miyako/items/589efa5c5dd6df2b16a7]] 2023.6

-[[ChatGPT_APIのEmbedding_カスタマイズ入門 - Speaker Deck>https://speakerdeck.com/ryoheiigushi/chatgpt-apinoembedding-kasutamaisuru-men]] 2023.4



*ベクトルDB [#c373e648]
-[[【LLM】ベクトルデータベースって多くてどれを使ったら良いか分からないというあなたのための記事（6つのツールを比較）>https://zenn.dev/moekidev/articles/9e8b85025d590e]] 2023.10

-[[ベクトルデータベース Pinecone の概念を整理する | DevelopersIO>https://dev.classmethod.jp/articles/pinecone-overview/]] 2023.4

-[[ChromaDBの完全なチュートリアル - Qiita>https://qiita.com/jingwora/items/d39635b2d727725bf4ca]] 2023.10
トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS