- 追加された行はこの色です。
- 削除された行はこの色です。
#author("2024-03-12T16:52:51+09:00","default:irrp","irrp")
#author("2024-03-13T12:19:42+09:00","default:irrp","irrp")
→自然言語処理
→OpenAIのAPI
→Amazon Bedrock
→LLMライブラリ
→大規模言語モデル
#contents
*RAG(Retrieval Augmented Generation または Retrieval-based Language Model）[#g35e41ef]
-[[Amazon Bedrockで実践してみるRAG-Fusion>https://zenn.dev/spiralai/articles/a189f4cbe6541c]] 2024.3
-[[Amazon Q for Business で おやき RAG を作成する | DevelopersIO>https://dev.classmethod.jp/articles/create-oyaki-rag-in-amazon-q-for-business/]] 2024.3
-[[AWS Marketplace の Pinecone を Amazon Bedrock のナレッジベースとして利用する | Amazon Web Services ブログ>https://aws.amazon.com/jp/blogs/news/leveraging-pinecone-on-aws-marketplace-as-a-knowledge-base-for-amazon-bedrock/]] 2024.3
-[[ロングコンテキストLLMに対応したRAGの新アーキテクチャ｜npaka>https://note.com/npaka/n/n0b17244bae47]] 2024.3
-[[「社内のアレ分からん、教えてAI」を支援 Microsoftの“自社版ChatGPT作成サービス”、外部データ取り込み機能が正式リリース - ITmedia NEWS>https://www.itmedia.co.jp/news/articles/2402/21/news156.html]] 2024.2
-[[社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ) - ABEJA Tech Blog>https://tech-blog.abeja.asia/entry/in-house-jargon-slackbot-with-rag-202402]] 2024.2
-[[RAGの性能を改善するための8つの戦略 | Fintan>https://fintan.jp/page/10301/]] 2024.2
-[[RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO>https://dev.classmethod.jp/articles/rag-knowledge-on-real-projects/]] 2024.2
-[[AzureでRAGをガンガン試行錯誤してみて得たナレッジを紹介します！/Azure RAG knowledge share - Speaker Deck>https://speakerdeck.com/jnymyk/azure-rag-knowledge-share]] 2024.2
-[[戦国武将クイズに答えるRAGを構築して評価を自動化したら爆速でした | IIJ Engineers Blog>https://eng-blog.iij.ad.jp/archives/23628]] 2024.1
--[[Introduction | Ragas>https://docs.ragas.io/en/stable/]] RAG評価ツール
-[[【生成AI】私が考えるRAGシステムに必要な機能について - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/functions-required-for-rag-system]] 2024.1
-[[【生成AI】RAGシステムの解析：必要性と各アーキテクチャ要素の考慮事項 - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/analysis-of-rag-system]] 2024.1
-[[StepFunctionsとKnowledge baseを使ってノーコードでRAGを実現する #AWS - Qiita>https://qiita.com/cyberBOSE/items/538e79ef1210929ba73a]] 2024.1
-[[LLMを組み合わせたRAGの実装 - Speaker Deck>https://speakerdeck.com/biosugar0/llmwozu-mihe-wasetaragnoshi-zhuang]] 2024.1
-[[Retrieval-Augmented Generationシステムの改善方法の紹介 - AITC - ISID | AI トランスフォーメンションセンター コラム>https://aitc.dentsusoken.com/column/Retrieval-Augmented_Generation]] 2024.1
-[[社内規程集について回答してくれる生成AIを評価してみた〜生成AIのアーキテクチャ「RAG」の評価プロセス | LAC WATCH>https://www.lac.co.jp/lacwatch/people/20240118_003651.html]] 2024.1
-[[検索拡張生成（RAG）を用いたQA botを爆速で作る方法（Assistants API編） - GMOインターネットグループ グループ研究開発本部>https://recruit.gmo.jp/engineer/jisedai/blog/rag_by_assistants_api/]] 2024.1
-[[RAGによる社内ナレッジを活用したチャットボットの構築 #AI - Qiita>https://qiita.com/Mitsuhiro_Itagaki/items/be256775a8ce4b725827]] 2024.1
-[[RAG評価フレームワークのragasを使ってみた - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/what-is-ragas]] 2023.12
-[[LangChainを使ってリポジトリ内のソースコードについて答えてもらう #TypeScript - Qiita>https://qiita.com/koba_hiro_/items/4492d1ca920ee3c929c0]] 2023.12
-[[LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB>https://aiboom.net/archives/61367]] 2023.12
-[[生成AI／RAGで手持ちのソースコード解析（LangChain） #AI - Qiita>https://qiita.com/DeepMata/items/7136d43ef480751ded3d]] 2023.12
-[[GPTsより精度の高いRAGシステムの構築 - Speaker Deck>https://speakerdeck.com/mkazutaka/gptsyorijing-du-nogao-iragsisutemunogou-zhu]] 2023.12
-[[Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する - A Day in the Life>https://secon.dev/entry/2023/12/15/080000-qa-rag-llm-sft/]] 2023.12
-[[Prompt Flowで評価Flowを自作してRAGのイケてるLLMOpsを実現してみた - ENGINEERING BLOG ドコモ開発者ブログ>https://nttdocomo-developers.jp/entry/20231211_1]] 2023.12
-[[RAG、ファインチューニングとは｜生成AI進化の鍵は「ドメイン特化」 | AI専門ニュースメディア AINOW>https://ainow.ai/2023/12/14/275411/]] 2023.12
-[[ChatGPT+LangChain| Elasticsearch公式ドキュメントのQ&Aを作ってみる>https://zenn.dev/zozotech/articles/86543f2ad9a09e]] 2023.12
-[[Amazon Q(プレビュー)を利用し、手軽にRAGアプリを作ってみる - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/rag-application-by-amazon-q]] 2023.12
-[[GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog>https://tech.explaza.jp/entry/2023/12/04/162659]] 2023.12
-[[OpenAI Embeddings APIとベクトル検索エンジンValdを使って類似文章検索をしてみよう>https://techblog.lycorp.co.jp/ja/20231202a]] 2023.12
-[[ChatGPTに自前の情報を画像込みで返答させてみた 〜実践的なRAGとEmbeddingの使い方〜 - バイセル Tech Blog>https://tech.buysell-technologies.com/entry/2023/11/30/182729]] 2023.11
-[[LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】>https://storialaw.jp/blog/10203]] 2023.11
-[[langchainとDatabricksで(私が)学ぶRAG : MultiQueryRetrieverを使ったRAG #Databricks - Qiita>https://qiita.com/isanakamishiro2/items/2e4ce270a8bd366ba44a]] 2023.11
-[[LangChain への OpenAIのRAG戦略の適用｜npaka>https://note.com/npaka/n/n62cd25213679]] 2023.11
-[[ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ>https://tech.connehito.com/entry/2023/11/14/221416]] 2023.11
-[[LlamaIndex の マルチモーダルRAG のしくみ｜npaka>https://note.com/npaka/n/n53e8aabed0f2]] 2023.11
-[[RAGにおけるドキュメント検索精度向上について(概要編)>https://zenn.dev/sompojapan_dx/articles/eb755a18e893ce]] 2023.11
-[[Retrieval-based LM (RAG system) ざっくり理解する - Speaker Deck>https://speakerdeck.com/smiyawaki0820/retrieval-based-lm-rag-system-zatukurili-jie-suru]] 2023.11
-[[Azure OpenAI サンプル(5. 企業内向けChatと社内文書検索) をデプロイしてみる>https://zenn.dev/microsoft/articles/aoai-5sample]] 2023.10
-[[RAGを使った生成AIボットでユーザの意図を理解して対話するためのフローを考えてみた | DevelopersIO>https://dev.classmethod.jp/articles/estimate-user-intention-in-genai-bot-with-rag/]] 2023.10
-[[入門KDB.AI (6) - サンプルコード(Image Search) - APC 技術ブログ>https://techblog.ap-com.co.jp/entry/2023/10/25/111523]] 2023.10
-[[LangChain AmazonKendraRetriever から必要な情報を返してもらえない人へ #AWS - Qiita>https://qiita.com/s3kzk/items/be046a2ed62cd0663dbb]] 2023.10
-[[ChatGPT/AOAI自社データ活用(RAG)の精度向上のプラクティス【情シス向け】 – CloudNative Inc. BLOGs>https://blog.cloudnative.co.jp/21171/]] 2023.10
-[[Retrieval-Augmented Generation(RAG)とは？ | IBM ソリューション ブログ>https://www.ibm.com/blogs/solutions/jp-ja/retrieval-augmented-generation-rag/]] 2023.10
-[[ベクトル検索で欲しい情報が得られないときの問題点と改良方法を考えてみた | DevelopersIO>https://dev.classmethod.jp/articles/problem-and-improve-methods-of-vector-search/]] 2023.7
-[[OpenAIのAPIを使って営業資料をベクトル検索するボットをつくってみた | DevelopersIO>https://dev.classmethod.jp/articles/implement-sales-documents-search-bot/]] 2023.7
-[[ChatGPTで独自データを扱うためのエンべディング｜緒方 壽人 (Takram)>https://note.com/ogatahisato/n/n899dcb459f35]] 2023.5
-[[OpenAIのEmbeddings APIのベクトルを使って検索を行う | DevelopersIO>https://dev.classmethod.jp/articles/search-with-openai-embeddings/]] 2023.5
-[[GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/03/09/094810]] 2023.3
-[[GPTのEmbeddingを使った近いエントリを探す処理がVector APIなどで10倍高速になった - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/04/03/173313]] 2023.4
-[[【書籍出版記念】LangChainから学ぶLLMを使ったアプリケーションの工夫 - Speaker Deck>https://speakerdeck.com/os1ma/shu-ji-chu-ban-ji-nian-langchainkaraxue-bullmwoshi-tutaapurikesiyonnogong-fu]] 2023.10
-[[社内情報検索システムで用いられるRAGの4つの実装方法 - Speaker Deck>https://speakerdeck.com/mkazutaka/she-nei-qing-bao-jian-suo-sisutemudeyong-irareruragno4tunoshi-zhuang-fang-fa]] 2023.10
-[[Amazon KendraとAWS Lambdaを使い、RAGのRetrievalフェーズを試してみた | DevelopersIO>https://dev.classmethod.jp/articles/kendra-lambda-retrieval/]] 2023.10
-[[ChatGPT・AOAIに自社データを組み込む場合(RAG)のアクセス制御のデザインパターン – CloudNative Inc. BLOGs>https://blog.cloudnative.co.jp/20885/]] 2023.10
-[[【ChatGPT】ベクトルデータベースによる企業内データの活用(RAG) - Qiita>https://qiita.com/ksonoda/items/ba6d7b913fc744db3d79]] 2023.9
-[[LangChainでCognitive SearchのベクトルDBと連携させたRAGを構築する - Qiita>https://qiita.com/tmiyata25/items/bfb7f4f5f22ec659c791]] 2023.9
-[[LLMを利用したRAG（Retrieval Augmented Generation）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】>https://storialaw.jp/blog/9885]] 2023.8
-[[実践LangChain！RAGによる特化LLMシステムの作り方 - Qiita>https://qiita.com/t_serizawa/items/a2ced4441da714b3076f]] 2023.6
**Amazon Bedrock によるRAG [#cdad48bb]
**AzureによるRAG [#efec7d98]
-[[【RAG】Azure On Your DataがGAされたので使ってみた #Azure - Qiita>https://qiita.com/t_yoshikawa/items/6e0062d273aaec4aae54]] 2024.3
-[[RAG構築のためのAzure OpenAI Serviceリファレンスアーキテクチャ詳解 | SIOS Tech. Lab>https://tech-lab.sios.jp/archives/38900]] 2024.3
-[[AzureでRAGをガンガン試行錯誤してみて得たナレッジを紹介します！/Azure RAG knowledge share - Speaker Deck>https://speakerdeck.com/jnymyk/azure-rag-knowledge-share]] 2024.2
-[[「社内のアレ分からん、教えてAI」を支援 Microsoftの“自社版ChatGPT作成サービス”、外部データ取り込み機能が正式リリース - ITmedia NEWS>https://www.itmedia.co.jp/news/articles/2402/21/news156.html]] 2024.2
-[[Azure OpenAI サンプル(5. 企業内向けChatと社内文書検索) をデプロイしてみる>https://zenn.dev/microsoft/articles/aoai-5sample]] 2023.10
**AWS によるRAG [#cdad48bb]
-[[AWS Marketplace の Pinecone を Amazon Bedrock のナレッジベースとして利用する | Amazon Web Services ブログ>https://aws.amazon.com/jp/blogs/news/leveraging-pinecone-on-aws-marketplace-as-a-knowledge-base-for-amazon-bedrock/]] 2024.3
-[[Amazon Bedrockで実践してみるRAG-Fusion>https://zenn.dev/spiralai/articles/a189f4cbe6541c]] 2024.3
-[[Amazon Q for Business で おやき RAG を作成する | DevelopersIO>https://dev.classmethod.jp/articles/create-oyaki-rag-in-amazon-q-for-business/]] 2024.3
-[[RAG検索の精度向上!? ナレッジベース for Bedrockがハイブリッド検索に対応 #AWS - Qiita>https://qiita.com/minorun365/items/0772bfa4d3426ef62480]] 2024.3
-[[AWSの生成AIで社内文書検索！ Bedrockのナレッジベースで簡単にRAGアプリを作ってみよう #AWS - Qiita>https://qiita.com/minorun365/items/24dfb0ea3afde6ed0a56]] 2024.3
-[[Amazon Bedrock、Amazon Auroraを組み合わせたRAGで回答精度の向上に取り組んでみた！?概要編 #AWS - Qiita>https://qiita.com/Naoki_Ishihara/items/9f1b852917de19141847]] 2024.2
-[[Bedrock + KendraのRAG構築ハンズオンやってみた #AWS - Qiita>https://qiita.com/yuki_ink/items/c533dc3eb30b9af7355b]] 2024.2
-[[Amazon Bedrockを使った社内QAチャットボットを3か月運用して起きた変化 - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/bedrock_chatbot_assistant]] 2024.1
-[[【コピペでRAG構築】Knowledge Base for Amazon Bedrock(Aurora Serverless v2 for PostgreSQL) - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/easy-rag-setup-knowledge-base-for-amazon-bedrock-aurora-serverless]] 2024.1
-[[StepFunctionsとKendraとBedrockを使ってノーコードでRAGを実現する #AWS - Qiita>https://qiita.com/cyberBOSE/items/8681183c38e970ac6869]] 2024.1
-[[Amazon BedrockのKnowledge baseで簡単にRAGを構築 - Taste of Tech Topics>https://acro-engineer.hatenablog.com/entry/2023/12/20/140000]] 2023.12
-[[生成AI初心者がAmazon BedrockのKnowledge baseを使ってRAGを試してみた – TechHarmony>https://blog.usize-tech.com/amazon-bedrock-rag/]] 2023.12
-[[Amazon Q(プレビュー)を利用し、手軽にRAGアプリを作ってみる - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/rag-application-by-amazon-q]] 2023.12
-[[[やってみた]Amazon BedrockのKnowledge baseを触ってみた #AWSreInvent | DevelopersIO>https://dev.classmethod.jp/articles/try-bedrock-knowledge-base/]] 2023.11
-[[[アップデート] Amazon Bedrockで簡単にRAGが実現できる、Retrieval Augmented Generation (RAG) with Knowledge BaseがとうとうGAになりました！！ #AWSreinvent | DevelopersIO>https://dev.classmethod.jp/articles/update-reinvent2023-bedrock-rag/]] 2023.11
-[[Bedrock で RAG などを行うための 生成系 AI アプリケーション (generative-ai-use-cases-jp) を構築する手順を丁寧に解説 #AWS - Qiita>https://qiita.com/sugimount-a/items/aa7513de1f0947a94bdd]] 2023.11
-[[Amazon OpenSearch ServiceとBedrockを組み合わせてRAGを作る（LangChainいらず） #AWS - Qiita>https://qiita.com/moritalous/items/952025c00df1b9436cbb]] 2023.11
-[[Bedrock、Lambda、Kendra、S3を使用したRAGをSAMで実装してみた | DevelopersIO>https://dev.classmethod.jp/articles/rag-lambda-kendra-s3-sam/]] 2023.11
-[[LangChain AmazonKendraRetriever から必要な情報を返してもらえない人へ #AWS - Qiita>https://qiita.com/s3kzk/items/be046a2ed62cd0663dbb]] 2023.10
-[[Amazon KendraとAWS Lambdaを使い、RAGのRetrievalフェーズを試してみた | DevelopersIO>https://dev.classmethod.jp/articles/kendra-lambda-retrieval/]] 2023.10
-[[AWS 内で大規模言語モデルを利用できる Amazon Bedrock を使って作る RAG アプリケーション - クックパッド開発者ブログ>https://techlife.cookpad.com/entry/bedrock]] 2023.10
-[[【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog>https://tech.nri-net.com/entry/aws_bedrock_rag_app]] 2023.10
-[[【Amazon Bedrock】Titan Embeddings Generation 1を利用して過去のブログ記事から入力に関連する記事を出力してみた - DENET 技術ブログ>https://blog.denet.co.jp/bedrock-titan-embeddings/]] 2023.10
-[[【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコールセンター向けAIチャットボットを構築してみた | DevelopersIO>https://dev.classmethod.jp/articles/amazon-bedrock-claude-connect-kendra-rag/]] 2023.10
-[[【Bedrock / Claude】AWSオンリーでRAGを使った生成AIボットを構築してみた【Kendra】 | DevelopersIO>https://dev.classmethod.jp/articles/implement-rag-with-aws-services/]] 2023.10
-[[【Bedrock / Claude】AWSオンリーでRAGを使った社内情報を回答できる生成AIボットで構築してみた【Kendra】 | DevelopersIO>https://dev.classmethod.jp/articles/implement-rag-with-aws-services/]] 2023.10
**Azure on your data [#zab14e5b]
-[[【RAG】Azure On Your DataがGAされたので使ってみた #Azure - Qiita>https://qiita.com/t_yoshikawa/items/6e0062d273aaec4aae54]] 2024.3
* 一般 [#hf9f1ff9]
-[[LLMチューニング手法「LoRA」のポイントと活用例 #AI - Qiita>https://qiita.com/DeepMata/items/cb4ff18c1e0548bdb844]] 2023.12
-[[ベクトル検索の有用性をキーワード検索と比較する | SIOS Tech. Lab>https://tech-lab.sios.jp/archives/38289]] 2023.12
-[[【Golang】Azure OpenAI で Embedding したベクトルを使って、自前検索エンジンを作ろう>https://zenn.dev/microsoft/articles/20231208_go_aoai_pg_vector]] 2023.12
-[[[中級編]LLMへ至る道~単語を埋め込むってどういうこと？~[8日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-08/]] 2023.12
-[[Amazon RDS for PostgreSQLがpgvectorモジュールに対応しベクトル検索できるようになりました | DevelopersIO>https://dev.classmethod.jp/articles/amazon-rds-postgresql-pgvector-embedding/]] 2023.10
-[[BERT系モデルで文章をEmbeddingする際のTips - Qiita>https://qiita.com/anyai_corp/items/1d66feea6102c28dd077]] 2023.8
-[[PostgreSQL(pgvector) のベクトル検索による全自動PDF検索 : Blob Storage にアップロードしPDFをテキストに変換 - Qiita>https://qiita.com/yoshioterada/items/fddbc738cca9f24dac8b]] 2023.6
-[[Azure OpenAI Embedding モデルを利用し最も関連性の高いドキュメントを見つける方法 - Qiita>https://qiita.com/yoshioterada/items/3e575828368bf3767532]] 2023.6
-[[ChatGPTを使ってOpenAIのEmbeddings APIを実験してみる - Kaizen Platform 開発者ブログ>https://developer.kaizenplatform.com/entry/yu/2023-06]] 2023.6
-[[tiktokenを使ってテキストをトークンに変換してみる - CLOVER🍀>https://kazuhira-r.hatenablog.com/entry/2023/12/04/230304]] 2023.12
-[[ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく - nikkie-ftnextの日記>https://nikkie-ftnext.hatenablog.com/entry/how-chatgpt-tokenize-japanese-text-tackling-with-tiktoken]] 2023.4
-[[Embeddingで埋め込みベクトルとってDBに投入して検索するのをout-context learningと呼ぶのはどうか - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/04/13/212226]] 2023.4
-[[「単語ベクトル」とは何か？ - YouTube>https://www.youtube.com/watch?v=l8YCKz15Hn8]] 2023.4
-[[ChatGPTなどのチャットAIがどんな風に文章を認識しているのかが一目で分かる「Tokenizer」 - GIGAZINE>https://gigazine.net/news/20230407-tokenizer-open-ai/]] 2023.4
-[[OpenAI GPTにおいて、モデルごとにトークン量が変動するのはなぜ？ | IIJ Engineers Blog>https://eng-blog.iij.ad.jp/archives/18815]] 2023.3
-[[OpenAI 言語モデルごとのエンコーディング一覧>https://zenn.dev/microsoft/articles/3438cf410cc0b5]] 2023.3
-[[人間の言葉をコンピュータが理解できるようにするための「ベクトル化」の話 | DevelopersIO>https://dev.classmethod.jp/articles/vectorization-in-natural-language-processing/]] 2022.12
--形態素解析,構文解析,意味解析,文脈解析,カウントベース,分散表現
-[[自然言語処理：単語ベクトルの導出ー埋め込み表、CBOW、Skipgram - YouTube>https://www.youtube.com/watch?v=ylWNajlpiEo]] 2020
-[[ざっくり理解する単語の分散表現(One-hot encode, word2vec, ELMo, BERT) - Qiita>https://qiita.com/norihitoishida/items/85150cfacc1f75f552f3]] 2019
-[[自然言語処理の必須知識！Word2Vec とは？ | キカガクの技術ブログ>https://blog.kikagaku.co.jp/word2vec]] 2022.12
-[[青空文庫の全小説でword2vecしてみる - Qiita>https://qiita.com/sheep96/items/1995a3eacfc0be317a08]] 2022.7
-[[BERT vs Word2Vec 〜単語分散表現による同義語抽出〜 - Qiita>https://qiita.com/chicken_data_analyst/items/15c0046062c6e016f467]] 2022.7
-[[Word2Vecを用いたタンパク質の分散表現 - Qiita>https://qiita.com/kuro3210/items/aa45753d301dfc13811b]] 2022.4
-[[【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita>https://qiita.com/naotaka1128/items/2c4551abfd40e43b0146#2-gensim-%E3%81%A7-doc2vec-%E3%81%AE%E3%83%A2%E3%83%87%E3%83%AB%E6%A7%8B%E7%AF%89]] 2016
-[[【word2vec】会社のクチコミを自然言語処理した結果を可視化してみる - Qiita>https://qiita.com/naotaka1128/items/e617f63907fed035408a]] 2017
*Amazon Bedrock によるエンベディング [#v422b591]
-[[Amazon BedrockでLLMを使ったベクトル検索を試す #AWS - Qiita>https://qiita.com/naomichi-y/items/9884e9b40f2d7cea617c]] 2023.12
-[[「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ>https://tech.connehito.com/entry/2023/12/08/144649]] 2023.12
-[[【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog>https://tech.nri-net.com/entry/aws_bedrock_rag_app]] 2023.10
-[[Titan Embeddings Generation 1を利用して過去のブログ記事タイトルの類似性を散布図に落とし込んでみた - DENET 技術ブログ>https://blog.denet.co.jp/embeddings-scatter/]] 2023.10
-[[ASCII.jp：生成AI基盤のAmazon BedrockでTitan Embeddingsを試してみる>https://ascii.jp/elem/000/004/163/4163301/?rss]] 2023.10
-[[Amazon BedrockでテキストのEmbeddingsを取得してみた | DevelopersIO>https://dev.classmethod.jp/articles/amazon-bedrock-titan-embeddings/]] 2023.10
-[[Amazon BedrockのEmbeddingsを試しました。（良さげです） - Qiita>https://qiita.com/moritalous/items/d68ee613776e2e18b81b]] 2023.9
*OpenAI Embedding API [#p7cbc263]
-[[大規模小説データをOpenAI Embedding APIで特徴抽出してUMAPで可視化してみた>https://zenn.dev/tellernovel_inc/articles/62d70afb097176]] 2023.11
-[[ChatGPT x LangChain で独自ドキュメントのベクターストア検索をチューニングする / 開発者向けブログ・イベント | GMO Developers>https://developers.gmo.jp/38381/]] 2023.9
-[[OpenAI の Embeddings API はイケてるのか、定量的に調べてみる - Qiita>https://qiita.com/akeyhero/items/ce371bfed64399027c23]] 2023.9
-[[OpenAIのEmbeddings APIを使って文の意味上の類似度を計算 | GMOアドパートナーズ TECH BLOG byGMO>https://techblog.gmo-ap.jp/2023/06/22/embeddings_api_calc_sentence_similarity/]] 2023.6
-[[【ChatGPT】Embeddingsでドメイン知識をChatGPTに理解させる - Qiita>https://qiita.com/yuno_miyako/items/589efa5c5dd6df2b16a7]] 2023.6
-[[ChatGPT_APIのEmbedding_カスタマイズ入門 - Speaker Deck>https://speakerdeck.com/ryoheiigushi/chatgpt-apinoembedding-kasutamaisuru-men]] 2023.4
*ベクトルDB／ベクターストア [#c373e648]
-[[Chromaインストールガイド: AIネイティブ埋め込みデータベースの導入方法 | ジコログ>https://self-development.info/chroma%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab%e3%82%ac%e3%82%a4%e3%83%89-ai%e3%83%8d%e3%82%a4%e3%83%86%e3%82%a3%e3%83%96%e5%9f%8b%e3%82%81%e8%be%bc%e3%81%bf%e3%83%87%e3%83%bc%e3%82%bf/]] 2024.3
-[[(日本語訳) Vector databases (Part 2): Understanding their internals>https://zenn.dev/kun432/articles/20230921-vector-databases-jp-part-2]] 2024.1
-[[(日本語訳) Vector databases (Part 1): What makes each one different?>https://zenn.dev/kun432/articles/20230921-vector-databases-jp-part-1]] 2024.1
-[[Vector Databases: A Technical Primer - Vector Databases - A Technical Primer.pdf>https://tge-data-web.nyc3.digitaloceanspaces.com/docs/Vector%20Databases%20-%20A%20Technical%20Primer.pdf]] 2024.1
-[[ベクトルデータベースってどういうものがある？ - CLOVER🍀>https://kazuhira-r.hatenablog.com/entry/2023/12/09/195215]] 2023.12
-[[【LLM】ベクトルデータベースって多くてどれを使ったら良いか分からないというあなたのための記事（6つのツールを比較）>https://zenn.dev/moekidev/articles/9e8b85025d590e]] 2023.10
-[[LangChainでCognitive SearchのベクトルDBと連携させたRAGを構築する - Qiita>https://qiita.com/tmiyata25/items/bfb7f4f5f22ec659c791]] 2023.9
-[[LangChainでCognitive SearchのベクトルDBを構築する - Qiita>https://qiita.com/tmiyata25/items/cf417c51aad2660f2c42]] 2023.8
-[[ベクトルデータベース Pinecone の概念を整理する | DevelopersIO>https://dev.classmethod.jp/articles/pinecone-overview/]] 2023.4
-[[ChromaDBの完全なチュートリアル - Qiita>https://qiita.com/jingwora/items/d39635b2d727725bf4ca]] 2023.10
*ファインチューニング [#cc34304d]
-[[ファインチューニングを行う手順とポイント | Think IT（シンクイット）>https://thinkit.co.jp/article/22800]] 2024.2
-[[Microsoft Azure における大規模言語モデルの学習とファインチューニング - YouTube>https://www.youtube.com/watch?v=k0lqrH8fmwg]] 2023.10
-[[大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development>https://tech.preferred.jp/ja/blog/llm-fine-tuning-for-domain-knowledge/]] 2023.10
-[[職場の先輩をLLMで作ってみようとした話 #Python - Qiita>https://qiita.com/sergicalsix/items/b9057a252dc81520bf20]] 2023.10
-[[【ChatGPT】ファインチューニングをわかりやすく解説 - Qiita>https://qiita.com/ksonoda/items/b9fd3e709aeae79629ff]] 2023.9
-[[LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた>https://zenn.dev/ohtaman/articles/llm_finetune_lora]] 2023.9
-[[LLMのファインチューニング で 何ができて 何ができないのか｜npaka>https://note.com/npaka/n/nec63c01f7ee8]] 2023.8
-[[OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka>https://note.com/npaka/n/ne1990cdbb39a]] 2023.8
-[[ChatGPT の Fine-tuning を試したけど上手くいかなかった話>https://zenn.dev/ml_bear/articles/49ed93d33e69cc#%E3%81%BE%E3%81%A8%E3%82%81]] 2023.8
-[[OpenAI(ChatGPT)のfine-tuning機能を早速試してみた~ひろゆきのスパチャを例に - Qiita>https://qiita.com/MandoNarin/items/6fadb78f357c66e25502]] 2023.8
-[[chatGPT(gpt3.5-turbo)をファインチューニングしてみた - Qiita>https://qiita.com/nano-s/items/5960f43965e97aa50b14]] 2023.8
-[[GPT-3.5 Turboのファインチューニング｜npaka>https://note.com/npaka/n/n4cc82056a186]] 2023.8
-[[OpenAI API の ファインチューニングガイド｜npaka>https://note.com/npaka/n/ne4dfd4480ead]] 2032.8
-[[GPT-3.5-turboをfine-tuningする際の気になるポイントをまとめた。 | DevelopersIO>https://dev.classmethod.jp/articles/gpt35-finetuning-tips-qna/]] 2023.8
-[[【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO>https://dev.classmethod.jp/articles/openai-gpt35turbo-fine-tuning/]] 2023.8
-[[OpenAI APIのファインチューニングの学習データのガイドライン｜npaka｜note>https://note.com/npaka/n/n021a59452dc8]] 2023.4
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
