大規模言語モデルの履歴(No.8)

ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開 - GIGAZINE 2023.4
- DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub 2023.4

メモリを追加して64GBになったので動かせなかった言語モデルを試した - きしだのHatena 2023.4

LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX 2023.3
- LayerX LLM Labsチームを立ち上げます - LayerX エンジニアブログ 2023.4

マルチレイヤーLLMでAIアシスタントの未来を切り拓く - Qiita 2023.4

LLMが変える、ユーザインターフェースの未来｜Dory｜note 2023.4

大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ 2023.3

現状のLLMの流れ / Twitter 2023.3
- 1.マイクロソフトのBing VS GoogleのBard→検索エンジンの戦い
- 2.オープン（メタのLLaMAとかGPT-J、GPT-NEOX、Cerebras-GPT） VS クローズ（ChatGPT, GPT-4, LaMDA, PaLM）
  - →クローズ勢はオープン勢の研究成果を一方的に利用できる。逆にオープン勢はクローズモデルの入出力で蒸留できる。（規約的に微妙）
- 3.ChatGPT VS AIスタートアップ→ChatGPTプラグインが登場して万能AIプラットフォーム化した事でAIスタートアップは壊滅か。これからは単なるプラグインの一つに収まる運命かも
- 4.既存ツール VS ネイティブAIツール→あらゆるツールにLLMが搭載されだした。フォトショ、Blender、UE、Unity、Office、Note、Notion…
  - これまた既存ツールにAI乗せただけみたいなAIスタートアップはバチボコ（たとえばTome）でも、AIネイティブなツールは？例えばRunway
- 5.LLaMAの隆盛。リークされた途端にStable Diffusionの時みたいな盛り上がりを見せる。LLaMA. cpp（CPUで動く）、Alpaca、Alpaca_Lora、Alpacoom、日本語Alpaca、lit_LLaMA、OpenFlamingo、GPT4All
- 6.マルチモーダル化の流れ。GPT-4やOpenFlamingo。テキスト学習データは枯渇しているからマルチモーダルにするしかない。マルチモーダルなら小パラメータでも高性能説？
- 7.ロボットの頭脳にLLMを使う流れ。Googleが色々やってる。RT-1、PaLM-E
- 8.H3やHyenaとかの最新アーキテクチャを使ったクソデカコンテキスト枠のモデルはどこが作るのか？
- 9.RWKVのような思わぬダークホースのオープンソースモデルもやって来る。高速、省メモリ、長コンテキスト。Alpaca食わせてRavenに
- 10.LLMの開発規制！？イーロン達がOpenAIにズルいとか言い出す。ゆくゆくはLLMの研究禁止などの規制に繋がるのか？
- 11.周辺ライブラリ。LangChain、Llama Index、Guardrails
- 12.GPT-4登場の衝撃。自称汎用テクノロジー、自称汎用知能。人間の仕事を相当置き換えられるポテンシャルという論文もある。
  - 心の理論タスクほぼ全クリ。9割の人間を上回る創造性。ワールドモデルを持っている？マンガも読める。最大コンテキスト長32k。未知の創発能力の可能性