大規模言語モデルの履歴(No.57) - 技術情報Wiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ] [ Twitter ]

→自然言語処理

→OpenAIのAPI

サブトピック
LlaMA2
- Alpaca
rinna
PaLM
OpenCALM
Dolly
RWKV
FlexGen
その他のモデル
LLM系統樹
大規模言語モデルと法律

サブトピック†

LlaMA2†

Meta開発のLLMであるLLaMA、LLaMA2、派生モデルAlpacaについて解説！｜スタビジ 2023.10
- LLaMAの基本アーキテクチャはTransformer

【西川和久の不定期コラム】340億パラメータのLLMは手元のPCで動く？Metaの「Code Llama 34B」を試してみた！ - PC Watch 2023.9

えっ、まだChatGPT使ってんの？ - Qiita 2023.9

Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc. 2023.8

ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた（1/3 ページ） - ITmedia NEWS 2023.7

Llama 2の性能がGPT-3.5並みだというのが本当かテストしてみた｜IT navi 2023.7

オープンソースで商用利用可能な大規模言語モデル「Llama 2」がReplicateに登場したのでAPI経由で使ってみた - GIGAZINE 2023.7

話題のLlama 2という大規模言語モデルをAmazon SageMaker JumpStartで動かしてみた | DevelopersIO 2023.7

Llama.cpp で Llama 2 を試す｜npaka 2023.7

Alpaca†

LLaMAの派生モデル

日本語Alpacaデータを用いてJapanese-Alapaca-LoRAを作ったので公開します【デモページあり】｜kun1emon｜note 2023.3

BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita 2023.3

rinna†

ローカルで動くマルチモーダルモデル(rinna-4b multimodal)を使って簡単なゲーム実況AIを作ってみた - Qiita 2023.8

ローカルでも動く！？日本語に特化した強化学習済み対話GPT言語モデルを検証してみる - Qiita 2023.7

上司「オンプレでチャットAI作って」 - Qiita 2023.6

ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita 2023.6

自分の過去ツイートでrinna/japanese-gpt-neox-3.6bをfinetuningして「俺tter」を生成する｜松xRのnote 2023.6

話題のrinna-3.6bをColab無料枠で動かしたい！(Hugging Face load_in_8bitを使ったサンプルコード) - Qiita 2023.5

【Python】手持ちのGPUがVRAM12Gだけど「Rinna-3.6B」とお話がしたい！！！ - Qiita 2023.5

Google Colab で Rinna-3.6B を試す｜npaka 2023.5

PaLM†

超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能

PaLM 2 APIを使ってtext-bisonモデルに感情分析させてみた 2023.6

Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review 2022.7

OpenCALM†

Dolly†

RWKV†

従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ - GIGAZINE 2023.7
- アテンションの計算においては入力トークン間の全てのペアについて計算する必要があるため、処理に必要な時間が入力トークンの量の2乗に比例してしまうほか、テキストを生成する時には全トークンのアテンションベクトルを利用するのでメモリを大量に必要とするなど、入力トークンの長さに関して制限が存在しています。一方、RNNの場合は計算量が入力トークンの量の1乗に比例するため、かなり長い文章を「読む」ことが可能です

RNNでTransformer並みの性能を実現するRWKVがやばい 2023.4

RWKVをローカルPCで動かす（pyenv/Docker） 2023.3

おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena 2023.3

Google Colab で RWKV を試す｜npaka｜note 2023.3

ChatGPT終了のお知らせ!?完全無料&オープン爆速大規模自然言語モデルRWKVが爆誕 - YouTube 2023.3

FlexGen†

LLM推論にGPUは1つでいい？FlexGenについてまとめてみた - Platinum Data Blog by BrainPad 2023.5

その他のモデル†

賢いと噂の日本語LLM「ELYZA」をウェブAPIで使う！ Power Automateなどからも呼び出せる完全ローカル環境の構築【イニシャルB】 - INTERNET Watch 2023.10

OpenAIの競合Anthropic、ChatGPTに匹敵するClaude2をリリース、その特徴や実力とは？（AMP［アンプ］） - Yahoo!ニュース 2023.10

Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka 2023.9

100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。 – 東京大学松尾研究室 – Matsuo Lab 2023.8

LLM系統樹†

[2304.13712] Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

大規模言語モデルと法律†

【連載1】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-LLMの使用許諾条件- - Platinum Data Blog by BrainPad 2023.5