大規模言語モデル

→自然言語処理

→OpenAIのAPI

サブトピック†

• LLM一般
• GPT関連
• Transformer
• LLMライブラリ

Xwin-LM†

• Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka 2023.9

Llama2†

• えっ、まだChatGPT使ってんの？ - Qiita 2023.9

• Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc. 2023.8

• ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた（1/3 ページ） - ITmedia NEWS 2023.7

• Llama 2の性能がGPT-3.5並みだというのが本当かテストしてみた｜IT navi 2023.7

• オープンソースで商用利用可能な大規模言語モデル「Llama 2」がReplicateに登場したのでAPI経由で使ってみた - GIGAZINE 2023.7

• 話題のLlama 2という大規模言語モデルをAmazon SageMaker JumpStartで動かしてみた | DevelopersIO 2023.7

• Llama.cpp で Llama 2 を試す｜npaka 2023.7

rinna†

• ローカルで動くマルチモーダルモデル(rinna-4b multimodal)を使って簡単なゲーム実況AIを作ってみた - Qiita 2023.8

• ローカルでも動く！？日本語に特化した強化学習済み対話GPT言語モデルを検証してみる - Qiita 2023.7

• 上司「オンプレでチャットAI作って」 - Qiita 2023.6

• ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita 2023.6

• 自分の過去ツイートでrinna/japanese-gpt-neox-3.6bをfinetuningして「俺tter」を生成する｜松xRのnote 2023.6

• 話題のrinna-3.6bをColab無料枠で動かしたい！(Hugging Face load_in_8bitを使ったサンプルコード) - Qiita 2023.5

• 【Python】手持ちのGPUがVRAM12Gだけど「Rinna-3.6B」とお話がしたい！！！ - Qiita 2023.5

• Google Colab で Rinna-3.6B を試す｜npaka 2023.5

PaLM†

• 超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能

• PaLM 2 APIを使ってtext-bisonモデルに感情分析させてみた 2023.6

• Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review 2022.7

OpenCALM†

• CyberAgent社の日本語LLM OpenCALMの対話モデル用途のfinetune検証 - ACES エンジニアブログ 2023.5
• サイバーエージェントの日本語LLM OpenCALMをDatabricksで動かしてみる - Qiita 2023.5
• CyberAgentの日本語言語モデルを試してみる - きしだのHatena 2023.5

Dolly†

• 大規模言語モデル(LLM)Dollyをパラメーター数を変えて動かしてみた - APC 技術ブログ 2023.5
• LLMのオープンソース化とDatabricks - Speaker Deck 2023.4
• 無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita 2023.4
• Hello Dolly: オープンなモデルでChatGPTの魔法を民主化する - Qiita 2023.3

RWKV†

• 従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ - GIGAZINE 2023.7
  • アテンションの計算においては入力トークン間の全てのペアについて計算する必要があるため、処理に必要な時間が入力トークンの量の2乗に比例してしまうほか、テキストを生成する時には全トークンのアテンションベクトルを利用するのでメモリを大量に必要とするなど、入力トークンの長さに関して制限が存在しています。一方、RNNの場合は計算量が入力トークンの量の1乗に比例するため、かなり長い文章を「読む」ことが可能です

• RNNでTransformer並みの性能を実現するRWKVがやばい 2023.4

• RWKVをローカルPCで動かす（pyenv/Docker） 2023.3

• おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena 2023.3

• Google Colab で RWKV を試す｜npaka｜note 2023.3

• ChatGPT終了のお知らせ!?完全無料&オープン爆速大規模自然言語モデルRWKVが爆誕 - YouTube 2023.3

Alpaca†

• 日本語Alpacaデータを用いてJapanese-Alapaca-LoRAを作ったので公開します【デモページあり】｜kun1emon｜note 2023.3

• BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita 2023.3

• チャットAI「Alpaca」をローカルにインストールしてオフラインでAIと会話できる「Alpaca.cpp」インストール手順まとめ - GIGAZINE 2023.3
• Alpaca-loraを日本語タスクでファインチューニングする - Qiita 2023.3
• GitHub - antimatter15/alpaca-lora: Code for reproducing the Stanford Alpaca InstructLLaMA result on consumer hardware 2023.3

FlexGen†

• LLM推論にGPUは1つでいい？FlexGenについてまとめてみた - Platinum Data Blog by BrainPad 2023.5

• FlexGenでおうちのパソコンとお話する - きしだのHatena 2023.3
• ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由 | Business Insider Japan 2023.2

• 自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす 2023.2
• 大規模言語モデルをシングルGPUで動かせる!? FlexGenを触ってみた | DevelopersIO 2023.2
• ChatGPT級のAIチャットボットがすぐに使えるFlexGen（あなたもColabでできる） - Qiita 2023.2

LLM系統樹†

• [2304.13712] Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
  • 

大規模言語モデルと法律†

• 【連載1】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-LLMの使用許諾条件- - Platinum Data Blog by BrainPad 2023.5
  • 【連載2】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-個人情報や営業秘密等の保護- - Platinum Data Blog by BrainPad 2023.5
  • 【連載3】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-著作権の侵害リスク- - Platinum Data Blog by BrainPad 2023.5
  • 【連載4】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-海外の法規制- - Platinum Data Blog by BrainPad 2023.5

最新の50件