大規模言語モデルの履歴(No.60)

従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ - GIGAZINE 2023.7
- アテンションの計算においては入力トークン間の全てのペアについて計算する必要があるため、処理に必要な時間が入力トークンの量の2乗に比例してしまうほか、テキストを生成する時には全トークンのアテンションベクトルを利用するのでメモリを大量に必要とするなど、入力トークンの長さに関して制限が存在しています。一方、RNNの場合は計算量が入力トークンの量の1乗に比例するため、かなり長い文章を「読む」ことが可能です

RNNでTransformer並みの性能を実現するRWKVがやばい 2023.4

RWKVをローカルPCで動かす（pyenv/Docker） 2023.3

おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena 2023.3

Google Colab で RWKV を試す｜npaka｜note 2023.3

ChatGPT終了のお知らせ!?完全無料&オープン爆速大規模自然言語モデルRWKVが爆誕 - YouTube 2023.3

↑

FlexGen†

LLM推論にGPUは1つでいい？FlexGenについてまとめてみた - Platinum Data Blog by BrainPad 2023.5

↑

その他のモデル†

賢いと噂の日本語LLM「ELYZA」をウェブAPIで使う！ Power Automateなどからも呼び出せる完全ローカル環境の構築【イニシャルB】 - INTERNET Watch 2023.10

Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka 2023.9

100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。 – 東京大学松尾研究室 – Matsuo Lab 2023.8

↑

LLMの歴史 †

現状のLLMの流れ / Twitter 2023.3
- 1.マイクロソフトのBing VS GoogleのBard→検索エンジンの戦い
- 2.オープン（メタのLLaMAとかGPT-J、GPT-NEOX、Cerebras-GPT） VS クローズ（ChatGPT, GPT-4, LaMDA, PaLM）
  - →クローズ勢はオープン勢の研究成果を一方的に利用できる。逆にオープン勢はクローズモデルの入出力で蒸留できる。（規約的に微妙）
- 3.ChatGPT VS AIスタートアップ→ChatGPTプラグインが登場して万能AIプラットフォーム化した事でAIスタートアップは壊滅か。これからは単なるプラグインの一つに収まる運命かも
- 4.既存ツール VS ネイティブAIツール→あらゆるツールにLLMが搭載されだした。フォトショ、Blender、UE、Unity、Office、Note、Notion…
  - これまた既存ツールにAI乗せただけみたいなAIスタートアップはバチボコ（たとえばTome）でも、AIネイティブなツールは？例えばRunway
- 5.LLaMAの隆盛。リークされた途端にStable Diffusionの時みたいな盛り上がりを見せる。LLaMA. cpp（CPUで動く）、Alpaca、Alpaca_Lora、Alpacoom、日本語Alpaca、lit_LLaMA、OpenFlamingo、GPT4All
- 6.マルチモーダル化の流れ。GPT-4やOpenFlamingo。テキスト学習データは枯渇しているからマルチモーダルにするしかない。マルチモーダルなら小パラメータでも高性能説？
- 7.ロボットの頭脳にLLMを使う流れ。Googleが色々やってる。RT-1、PaLM-E
- 8.H3やHyenaとかの最新アーキテクチャを使ったクソデカコンテキスト枠のモデルはどこが作るのか？
- 9.RWKVのような思わぬダークホースのオープンソースモデルもやって来る。高速、省メモリ、長コンテキスト。Alpaca食わせてRavenに
- 10.LLMの開発規制！？イーロン達がOpenAIにズルいとか言い出す。ゆくゆくはLLMの研究禁止などの規制に繋がるのか？
- 11.周辺ライブラリ。LangChain、Llama Index、Guardrails
- 12.GPT-4登場の衝撃。自称汎用テクノロジー、自称汎用知能。人間の仕事を相当置き換えられるポテンシャルという論文もある。
  - 心の理論タスクほぼ全クリ。9割の人間を上回る創造性。ワールドモデルを持っている？マンガも読める。最大コンテキスト長32k。未知の創発能力の可能性