大規模言語モデル

→自然言語処理

→OpenAIのAPI

サブトピック†

• LLM一般
  • Amazon Bedrock

• LLMアプリ開発

• LLMのローカル知識対応
  • RAG関連

• プロンプト・エンジニアリング
• GPT関連
  • Transformer

• LLMライブラリ

• LLMの歴史

Command R+†

• Command R+はどこまで量子化するとアホになってしまうのか？ – soy-software 2024.4
  • 4bitまでは大して劣化しない

• Command R+はトークナイザーもすごかった #LLM - Qiita 2024.4

• 【Command R+】オープンソース界最強LLMがGPT-4レベルの性能を達成 | WEEL 2024.4

• OpenAIのライバル:Cohereが最高にイけている件 #LLM - Qiita 2024.4

• 日本語対応でGPT-4よりも高性能な大規模言語モデル「Command R＋」が登場したので使ってみた、無料でダウンロードしてローカル動作も可能 - GIGAZINE 2024.4

Claude†

→Amazon Bedrock

• VBA で Anthropic Claude 3 を使ってみよう #Excel - Qiita 2024.4

• 【生成AI】Claude 3 OpusがAmazon Bedrockにやってきた！ | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ 2024.4
• Claude 3最強のOpusがついにAWSのBedrockに来た！！ #AWS - Qiita 2024.4

• GPT-4より賢いと言われる「Claude 3」でいろいろ試した - Impress Watch 2024.4

• 【ChatGPT超え？】最新AI「Claude 3」の恐るべき実力…本1冊分のテキストも読み込める！ | 仕事を256倍速くするツールを探せ！ | ダイヤモンド・オンライン 2024.4

• ASCII.jp：ChatGPTのライバル「Claude 3」の使い方　良い点、悪い点まとめ (1/5) 2024.3

• ChatGPTはもう古い!?話題のClaude3を徹底解説 2024.3

• BedrockのClaude 3でストリーミング出力するシンプルなコード #AWS - Qiita 2024.3

• Claudeがブラウジングできないので自作アプリをClaudeで作った話 | ジコログ 2024.3

• Claude 3 Opusを試してみました - karaage. [からあげ] 2024.3

• claude3を使ってみたら、ライティングの仕事が無くなるかもしれない瞬間を目の当たりして、衝撃を受けた件｜池田 亮平 2024.3

• ChatGPTplusを解約してClaude3Proへ乗り換えをする際に検討した事｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請 2024.3

• 【Amazon Bedrock】Claude 3 Haikuが利用可能になりました！ | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ 2024.3

• Claude3にプロジェクト全体をぶち込むためのプロジェクトの構造とファイル内容を自動でまとめるPythonスクリプト 2024.3

• Claude 3 Haiku の概要｜npaka 2024.3

• 世界初？Claude3を使った動画解析 - claude3-video-analyzer 2024.3

• Claude3を使って人間が読むようにパワポ資料を読み込んでみる | DevelopersIO 2024.3
  • RAGかも

• anthropics/anthropic-tools 2024.3

• Amazon Bedrock に Claude 3 が追加されたので試してみた – TechHarmony 2024.3

• BedrockのClaude3にマルチモーダルな問い合わせ可能なWebアプリをイチから作る #Python - Qiita 2024.3

• Anthropic Claude 3 Sonnet 使ってみた | DevelopersIO 2024.3

• GPT-4よりすごいらしいClaude 3が気になったあなたへ #AWS - Qiita 2024.3

• Anthropic Claude 3 の画像処理を試してみた | DevelopersIO 2024.3

• Claude 3を使ってさっそくローカルで画像解析してみた！ #Python - Qiita 2024.3

• Amazon BedrockでClaude 3 Sonnetが利用可能になりました - サーバーワークスエンジニアブログ 2024.3

• Python ( Boto3 ) からBedrockのClaude3を実行する #Python - Qiita 2024.3

• Google Colab で Claude 3 を試す｜npaka 2024.3
• Claude 3 の概要｜npaka 2024.3

• GPT-4を超えた？ Claude 3が登場！ Bedrockにも来ました。 #AWS - Qiita 2024.3

• 君は Anthropic Claude を知っているか? #機械学習 - Qiita 2023.11

• ASCII.jp：ChatGPTとClaudeの違いは? チャットAI比較対決 (1/5) 2023.11

• ついに日本で利用可能になったChatGPTの強力ライバル「Claude」使用レビュー、テキストファイルやPDFファイルの認識も可能でランチの相談からコーディング補助までサクサク応答 - GIGAZINE 2023.10

• OpenAIの競合Anthropic、ChatGPTに匹敵するClaude2をリリース、その特徴や実力とは？（AMP［アンプ］） - Yahoo!ニュース 2023.10

1ビットLLM/BitNet†

• 生成AIでGPUがいらなくなる？　業界を揺るがす「1ビットLLM」とは何か、識者に聞いた（1/3 ページ） - ITmedia AI＋ 2024.4

• 【論文丁寧解説】BitNet b1.58とは一体何者なのか #アルゴリズム - Qiita 2024.3

• BitNetから始める量子化入門 2024.3

• 速報：話題の 1ビットLLMとは何か？｜寺田英雄（?オープンストリームCTO） 2023.3

• 既存日本語LLMをBitNetで置き換えて実行してみた｜はち 2023.3

Gemini†

• 「Gemini」とは？Googleの生成AIサービスの基本解説 2024.4

• Google Colab で Vertex AI の Gemini API を試す｜npaka 2024.3

• 「Gemini」の政治理念は過度にリベラルに偏向？Googleは生成AIのイメージ生成機能を停止、モデルは歴史上の事実とは異なる画像を出力、倫理的なAIを開発する能力が問われている | Emerging Technology Review 2023.3

• Google Colab で Gemma を試す｜npaka 2024.2

• Googleが警告、AI「Gemini」に“機密情報を入力しないで”。会話は従業員も閲覧（PHILE WEB） - Yahoo!ニュース 2024.2

• GoogleがGemini 1.5をリリース、最大100万トークンを処理できて1時間のムービーや70万語のテキストを扱うことが可能 - GIGAZINE 2024.2

• Geminiでマルチモーダル対応の生成AIチャットアプリを爆速で作ってみた - G-gen Tech Blog 2024.1

• 【Python】LangChainとGemini APIの革新的連携 | ジコログ 2023.12

• Gemini Proの動作検証が簡単にできるWebアプリのインストール | ジコログ 2023.12
• PythonでGemini APIを利用する方法 | ジコログ 2023.12

• Gemini API  |  Vertex AI  |  Google Cloud 2023.12

• NodeからGemini APIを使ってみる | DevelopersIO 2023.12

• Gemini Pro のリリースの概要｜npaka 2023.12

• GPT-4を超えた。 Geminiの使い方とその性能を解説｜ChatGPT研究所 2023.12

• 電撃発表、グーグルが｢全力開発｣した生成AI｢Gemini｣の全貌…ChatGPT超えするか | Business Insider Japan 2023.12

• Googleが突如発表した新しいAI、Geminiがすごい - orangeitems’s diary 2023.12

LlaMA2†

• OpenAI Python APIライブラリーからllama-cpp-pythonで立てたOpenAI API互換のサーバーへアクセスしてみる - CLOVER🍀 2023.12
• llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER🍀 2023.11

• llama2のpretrainingを試す 2023.10

• Meta開発のLLMであるLLaMA、LLaMA2、派生モデルAlpacaについて解説！｜スタビジ 2023.10
  • LLaMAの基本アーキテクチャはTransformer

• 【西川和久の不定期コラム】340億パラメータのLLMは手元のPCで動く？Metaの「Code Llama 34B」を試してみた！ - PC Watch 2023.9

• えっ、まだChatGPT使ってんの？ - Qiita 2023.9

• Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc. 2023.8

• ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた（1/3 ページ） - ITmedia NEWS 2023.7

• Llama 2の性能がGPT-3.5並みだというのが本当かテストしてみた｜IT navi 2023.7

• オープンソースで商用利用可能な大規模言語モデル「Llama 2」がReplicateに登場したのでAPI経由で使ってみた - GIGAZINE 2023.7

• 話題のLlama 2という大規模言語モデルをAmazon SageMaker JumpStartで動かしてみた | DevelopersIO 2023.7

Llama.cpp†

• 非力なパソコンでもLLMを動かしたい!? llama.cppの紹介 | CyberAgent Developers Blog 2023.12
• Llama.cpp で Llama 2 を試す｜npaka 2023.7

Alpaca†

• LLaMAの派生モデル

• 日本語Alpacaデータを用いてJapanese-Alapaca-LoRAを作ったので公開します【デモページあり】｜kun1emon｜note 2023.3

• BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita 2023.3

• チャットAI「Alpaca」をローカルにインストールしてオフラインでAIと会話できる「Alpaca.cpp」インストール手順まとめ - GIGAZINE 2023.3
• Alpaca-loraを日本語タスクでファインチューニングする - Qiita 2023.3
• GitHub - antimatter15/alpaca-lora: Code for reproducing the Stanford Alpaca InstructLLaMA result on consumer hardware 2023.3

rinna†

• HuggingFaceのLLMのメモリ使用率を調べる #NLP - Qiita 2023.10

• ローカルで動くマルチモーダルモデル(rinna-4b multimodal)を使って簡単なゲーム実況AIを作ってみた - Qiita 2023.8

• ローカルでも動く！？日本語に特化した強化学習済み対話GPT言語モデルを検証してみる - Qiita 2023.7

• 上司「オンプレでチャットAI作って」 - Qiita 2023.6

• ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita 2023.6

• 自分の過去ツイートでrinna/japanese-gpt-neox-3.6bをfinetuningして「俺tter」を生成する｜松xRのnote 2023.6

• 話題のrinna-3.6bをColab無料枠で動かしたい！(Hugging Face load_in_8bitを使ったサンプルコード) - Qiita 2023.5

• 【Python】手持ちのGPUがVRAM12Gだけど「Rinna-3.6B」とお話がしたい！！！ - Qiita 2023.5

• Google Colab で Rinna-3.6B を試す｜npaka 2023.5

PaLM†

• 超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能

• PaLM 2 APIを使ってtext-bisonモデルに感情分析させてみた 2023.6

• Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review 2022.7

OpenCALM†

• CyberAgent社の日本語LLM OpenCALMの対話モデル用途のfinetune検証 - ACES エンジニアブログ 2023.5
• サイバーエージェントの日本語LLM OpenCALMをDatabricksで動かしてみる - Qiita 2023.5
• CyberAgentの日本語言語モデルを試してみる - きしだのHatena 2023.5

Dolly†

• 大規模言語モデル(LLM)Dollyをパラメーター数を変えて動かしてみた - APC 技術ブログ 2023.5
• LLMのオープンソース化とDatabricks - Speaker Deck 2023.4
• 無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita 2023.4
• Hello Dolly: オープンなモデルでChatGPTの魔法を民主化する - Qiita 2023.3

RWKV†

• 従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ - GIGAZINE 2023.7
  • アテンションの計算においては入力トークン間の全てのペアについて計算する必要があるため、処理に必要な時間が入力トークンの量の2乗に比例してしまうほか、テキストを生成する時には全トークンのアテンションベクトルを利用するのでメモリを大量に必要とするなど、入力トークンの長さに関して制限が存在しています。一方、RNNの場合は計算量が入力トークンの量の1乗に比例するため、かなり長い文章を「読む」ことが可能です

• RNNでTransformer並みの性能を実現するRWKVがやばい 2023.4

• RWKVをローカルPCで動かす（pyenv/Docker） 2023.3

• おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena 2023.3

• Google Colab で RWKV を試す｜npaka｜note 2023.3

• ChatGPT終了のお知らせ!?完全無料&オープン爆速大規模自然言語モデルRWKVが爆誕 - YouTube 2023.3

FlexGen†

• LLM推論にGPUは1つでいい？FlexGenについてまとめてみた - Platinum Data Blog by BrainPad 2023.5

• FlexGenでおうちのパソコンとお話する - きしだのHatena 2023.3
• ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由 | Business Insider Japan 2023.2

• 自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす 2023.2
• 大規模言語モデルをシングルGPUで動かせる!? FlexGenを触ってみた | DevelopersIO 2023.2
• ChatGPT級のAIチャットボットがすぐに使えるFlexGen（あなたもColabでできる） - Qiita 2023.2

その他のモデル†

• いちばんやさしいローカル LLM｜ぬこぬこ 2024.4
  • Ollama,quantkit

• 賢いと噂の日本語LLM「ELYZA」をウェブAPIで使う！ Power Automateなどからも呼び出せる完全ローカル環境の構築【イニシャルB】 - INTERNET Watch 2023.10

• Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka 2023.9

• 100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。 – 東京大学松尾研究室 – Matsuo Lab 2023.8

最新の50件