大規模言語モデルの履歴(No.71) - 技術情報Wiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ] [ Twitter ]

→自然言語処理

→OpenAIのAPI

サブトピック
ファインチューニング
Claude
LlaMA2
- Alpaca
rinna
PaLM
OpenCALM
Dolly
RWKV
FlexGen
その他のモデル

サブトピック†

LLM一般

単語の分散表現、ベクトル表現、エンベディング

LLMライブラリ

LLMの歴史

ファインチューニング†

Microsoft Azure における大規模言語モデルの学習とファインチューニング - YouTube 2023.10

大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development 2023.10

職場の先輩をLLMで作ってみようとした話 #Python - Qiita 2023.10

【ChatGPT】ファインチューニングをわかりやすく解説 - Qiita 2023.9

LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた 2023.9

LLMのファインチューニングで何ができて何ができないのか｜npaka 2023.8

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka 2023.8

ChatGPT の Fine-tuning を試したけど上手くいかなかった話 2023.8

OpenAI(ChatGPT)のfine-tuning機能を早速試してみた~ひろゆきのスパチャを例に - Qiita 2023.8

chatGPT(gpt3.5-turbo)をファインチューニングしてみた - Qiita 2023.8

GPT-3.5 Turboのファインチューニング｜npaka 2023.8

OpenAI API のファインチューニングガイド｜npaka 2032.8

GPT-3.5-turboをfine-tuningする際の気になるポイントをまとめた。 | DevelopersIO 2023.8

【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO 2023.8

OpenAI APIのファインチューニングの学習データのガイドライン｜npaka｜note 2023.4

Claude†

君は Anthropic Claude を知っているか? #機械学習 - Qiita 2023.11

ASCII.jp：ChatGPTとClaudeの違いは? チャットAI比較対決 (1/5) 2023.11

ついに日本で利用可能になったChatGPTの強力ライバル「Claude」使用レビュー、テキストファイルやPDFファイルの認識も可能でランチの相談からコーディング補助までサクサク応答 - GIGAZINE 2023.10

OpenAIの競合Anthropic、ChatGPTに匹敵するClaude2をリリース、その特徴や実力とは？（AMP［アンプ］） - Yahoo!ニュース 2023.10

LlaMA2†

llama2のpretrainingを試す 2023.10

Meta開発のLLMであるLLaMA、LLaMA2、派生モデルAlpacaについて解説！｜スタビジ 2023.10
- LLaMAの基本アーキテクチャはTransformer

【西川和久の不定期コラム】340億パラメータのLLMは手元のPCで動く？Metaの「Code Llama 34B」を試してみた！ - PC Watch 2023.9

えっ、まだChatGPT使ってんの？ - Qiita 2023.9

Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc. 2023.8

ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた（1/3 ページ） - ITmedia NEWS 2023.7

Llama 2の性能がGPT-3.5並みだというのが本当かテストしてみた｜IT navi 2023.7

オープンソースで商用利用可能な大規模言語モデル「Llama 2」がReplicateに登場したのでAPI経由で使ってみた - GIGAZINE 2023.7

話題のLlama 2という大規模言語モデルをAmazon SageMaker JumpStartで動かしてみた | DevelopersIO 2023.7

Llama.cpp で Llama 2 を試す｜npaka 2023.7

Alpaca†

LLaMAの派生モデル

日本語Alpacaデータを用いてJapanese-Alapaca-LoRAを作ったので公開します【デモページあり】｜kun1emon｜note 2023.3

BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita 2023.3

rinna†

HuggingFaceのLLMのメモリ使用率を調べる #NLP - Qiita 2023.10

ローカルで動くマルチモーダルモデル(rinna-4b multimodal)を使って簡単なゲーム実況AIを作ってみた - Qiita 2023.8

ローカルでも動く！？日本語に特化した強化学習済み対話GPT言語モデルを検証してみる - Qiita 2023.7

上司「オンプレでチャットAI作って」 - Qiita 2023.6

ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita 2023.6

自分の過去ツイートでrinna/japanese-gpt-neox-3.6bをfinetuningして「俺tter」を生成する｜松xRのnote 2023.6

話題のrinna-3.6bをColab無料枠で動かしたい！(Hugging Face load_in_8bitを使ったサンプルコード) - Qiita 2023.5

【Python】手持ちのGPUがVRAM12Gだけど「Rinna-3.6B」とお話がしたい！！！ - Qiita 2023.5

Google Colab で Rinna-3.6B を試す｜npaka 2023.5

PaLM†

超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能

PaLM 2 APIを使ってtext-bisonモデルに感情分析させてみた 2023.6

Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review 2022.7

OpenCALM†

Dolly†

RWKV†

従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ - GIGAZINE 2023.7
- アテンションの計算においては入力トークン間の全てのペアについて計算する必要があるため、処理に必要な時間が入力トークンの量の2乗に比例してしまうほか、テキストを生成する時には全トークンのアテンションベクトルを利用するのでメモリを大量に必要とするなど、入力トークンの長さに関して制限が存在しています。一方、RNNの場合は計算量が入力トークンの量の1乗に比例するため、かなり長い文章を「読む」ことが可能です

RNNでTransformer並みの性能を実現するRWKVがやばい 2023.4

RWKVをローカルPCで動かす（pyenv/Docker） 2023.3

おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena 2023.3

Google Colab で RWKV を試す｜npaka｜note 2023.3

ChatGPT終了のお知らせ!?完全無料&オープン爆速大規模自然言語モデルRWKVが爆誕 - YouTube 2023.3

FlexGen†

LLM推論にGPUは1つでいい？FlexGenについてまとめてみた - Platinum Data Blog by BrainPad 2023.5

その他のモデル†

賢いと噂の日本語LLM「ELYZA」をウェブAPIで使う！ Power Automateなどからも呼び出せる完全ローカル環境の構築【イニシャルB】 - INTERNET Watch 2023.10

Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka 2023.9

100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。 – 東京大学松尾研究室 – Matsuo Lab 2023.8