LLMOps関連

→RAG関連

一般†

• LLMの精度ってどう測るの？評価指標を調べてみた - SmartHR Tech Blog 2025.8

• LLMエージェントオブサーバビリティ基盤についてまとめてみた | 株式会社AI Shift 2025.8

• チームでどれぐらい AI を利用しているか可視化する「tosage」 - CyberAgent SRG #ca_srg 2025.8

• LLMは"利用"フェーズが一番危ない。プロキシとポリシーエンジンによるイン・アウト双方の防衛術 #Security - Qiita 2025.7

• LLM as a Judge: 不確実な技術を克服する方法 #評価 - GameWith Developer Blog 2025.6

• AIエージェントの実力を測る方法：Cline と Devin の優秀さは測れるのか - GMOインターネットグループ グループ研究開発本部 2025.6

• RAGのオフライン評価ファーストステップ - サーバーワークスエンジニアブログ 2025.3

• AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜 - Speaker Deck 2025.3

• LLMOpsツールから考えるAIエージェントの評価 #GenerativeAI - Qiita 2025.1

• RAGASを超える!?Amazon研究チームが提案するRAG評価フレームワーク「RAGChecker」を試してみた #AWS - Qiita 2024.12

• RAGの足りない精度は運用でカバーしよう - ABEJA Tech Blog 2024.12

• 【AI Shift Advent Calendar 2024】「大規模言語モデル?」を読んで、RAG改善の勘所を整理してみた | 株式会社AI Shift 2024.11
  • RAGの性能改善は、「Retriever」と「Generator」の2つのポイントに大別できる。

• AIOpsとLLMOpsってどう違うの？？ ついでにLLMOpsに入門しよう！ - Speaker Deck 2024.11

• RAGOpsはじめの0.1歩：高次元ベクトルの可視化 #AI - Qiita 2024.11

• RAGのハルシネーション対策をする手法「Astute RAG」 2024.10

• RAGの評価と改善箇所特定方法について考えていることのメモ #rag - Qiita 2024.9

• 「導入して終わり」にしないためのRAG運用事例 - サーバーワークスエンジニアブログ 2024.8

• あらゆる分野のRAGの性能を評価する手法RAGEval 2024.8

• RAG入門: 精度改善のための手法28選 #Python - Qiita 2024.8

• ReRankingを適用したRAGの精度向上について 実データを使ってやってみた | DevelopersIO 2024.3

• RAGでの回答精度向上のためのテクニック集（応用編-B） 2024.3

• RAGの性能を改善するための8つの戦略 | Fintan 2024.2

• Retrieval-Augmented Generationシステムの改善方法の紹介 - AITC - ISID | AI トランスフォーメンションセンター コラム 2024.1

LangSmith†

• LLM実験評価ツール

• LangsmithでRAGの精度を評価する #LLM - Qiita 2025.2

• LangSmithによるLLMアプリケーションのトレーシング入門 2024.8

• LangSmithを活用したRAGの評価・改善フローの整備 - Speaker Deck 2024.5

• LangSmith入門―トレース／評価／プロンプト管理などを担うLLMアプリ開発プラットフォーム - Speaker Deck 2024.4
• LangChain社LLMOpsツール「LangSmith」を触ってみた（詳細解説つき） - ABEJA Tech Blog 2024.2

Langfuse†

• LangfuseをAWSで動かしてLLMアプリを見える化しよう - サーバーワークスエンジニアブログ 2025.12

• LLMの品質を可視化！Langfuseで実現する自動評価システムの構築 - サーバーワークスエンジニアブログ 2025.12

• AgentCore RuntimeとLangfuseで高度なAI Observabilityを実現 2025.10

• StrandsAgentsで構築したAI AgentをLangfuseでトレースしてみた | DevelopersIO 2025.10

• LangfuseのTrace書き込み失敗から学ぶLLMOpsを支える技術 - LayerX エンジニアブログ 2025.8

• langfuseを触ってみた 2025.3

• Langfuse v3はv2からどのように変わったのかを噛み締めながらAWSマネージドサービスでLangfuse v3を作りきる | tubone BOYAKI 2024.12
• すごいぞLangfuse！トークン数計算機能と評価機能を検証 #LLM - Qiita 2024.4
• Langchain統合のためのクックブック: Langfuse編 - Sun wood AI labs.2 2024.5
• LangChainから使用するLangSmithとLangfuseの詳細比較

Ragas†

• RAGの精度評価をRagasで自動化してみた 〜 いつまで「目視確認」で消耗してるの？ 2026.1

• Amazon Bedrock Knowledge BasesとRAGASでRAGの評価をやってみた 2025.5

• RAGアプリケーションをRagasで評価する | DevelopersIO 2024.10

• LLMアプリをRagasで評価して、Langfuseで可視化しよう！ - Speaker Deck 2024.10

• 生成AIアプリの出力をRagasで評価して、LangfuseでGUI監視しよう！ #bedrock - Qiita 2024.10

• RAG精度評価の定番ツール「Ragas」にAWSのBedrockで入門しよう！ #AI - Qiita 2024.10

• ローカルLLMにRAGASの評価させてみた 2024.7

• Ragas で LangChainのRAG評価 を試す｜npaka 2024.6
• 戦国武将クイズに答えるRAGを構築して評価を自動化したら爆速でした | IIJ Engineers Blog 2024.1
  • Introduction | Ragas RAG評価ツール
• RAG評価フレームワークのragasを使ってみた - サーバーワークスエンジニアブログ 2023.12

チャンク戦略†

• RAGを構築してもうまくいかない時にまず調べること:それはチャンク戦略だ！ 2025.4

• 適切なチャンクサイズを評価する方法（LlamaIndexのブログをやってみた） #AWS - Qiita 2024.7

• GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog 2023.12

最新の50件