自然言語処理の履歴(No.59)

現状のLLMの流れ / Twitter 2023.3
- 1.マイクロソフトのBing VS GoogleのBard→検索エンジンの戦い
- 2.オープン（メタのLLaMAとかGPT-J、GPT-NEOX、Cerebras-GPT） VS クローズ（ChatGPT, GPT-4, LaMDA, PaLM）
  - →クローズ勢はオープン勢の研究成果を一方的に利用できる。逆にオープン勢はクローズモデルの入出力で蒸留できる。（規約的に微妙）
- 3.ChatGPT VS AIスタートアップ→ChatGPTプラグインが登場して万能AIプラットフォーム化した事でAIスタートアップは壊滅か。これからは単なるプラグインの一つに収まる運命かも
- 4.既存ツール VS ネイティブAIツール→あらゆるツールにLLMが搭載されだした。フォトショ、Blender、UE、Unity、Office、Note、Notion…
  - これまた既存ツールにAI乗せただけみたいなAIスタートアップはバチボコ（たとえばTome）でも、AIネイティブなツールは？例えばRunway
- 5.LLaMAの隆盛。リークされた途端にStable Diffusionの時みたいな盛り上がりを見せる。LLaMA. cpp（CPUで動く）、Alpaca、Alpaca_Lora、Alpacoom、日本語Alpaca、lit_LLaMA、OpenFlamingo、GPT4All
- 6.マルチモーダル化の流れ。GPT-4やOpenFlamingo。テキスト学習データは枯渇しているからマルチモーダルにするしかない。マルチモーダルなら小パラメータでも高性能説？
- 7.ロボットの頭脳にLLMを使う流れ。Googleが色々やってる。RT-1、PaLM-E
- 8.H3やHyenaとかの最新アーキテクチャを使ったクソデカコンテキスト枠のモデルはどこが作るのか？
- 9.RWKVのような思わぬダークホースのオープンソースモデルもやって来る。高速、省メモリ、長コンテキスト。Alpaca食わせてRavenに
- 10.LLMの開発規制！？イーロン達がOpenAIにズルいとか言い出す。ゆくゆくはLLMの研究禁止などの規制に繋がるのか？
- 11.周辺ライブラリ。LangChain、Llama Index、Guardrails
- 12.GPT-4登場の衝撃。自称汎用テクノロジー、自称汎用知能。人間の仕事を相当置き換えられるポテンシャルという論文もある。
  - 心の理論タスクほぼ全クリ。9割の人間を上回る創造性。ワールドモデルを持っている？マンガも読める。最大コンテキスト長32k。未知の創発能力の可能性

画像と文字を扱うマルチモーダルモデルがオープンソースの「OpenFlamingo」として登場、無料で使えるデモも公開中 - GIGAZINE 2023.3

自然言語処理のためのDeep Learning 2023.3

大規模言語モデル活用総まとめ with Azure OpenAI - Speaker Deck 2023.3

大規模言語モデルの驚異と脅威 - Speaker Deck 2023.3

Hello Dolly: オープンなモデルでChatGPTの魔法を民主化する - Qiita 2023.3

AIによる「大規模言語モデル」の最新潮流、日本が世界No.1になるための勝ち筋とは～Shane Gu×スプツニ子！×松尾豊×山田敦×上野山勝也 - YouTube 2023.3

ChatGPTや大規模言語モデルによる変化とソフトウェア開発の雑感｜Matsumoto Yuki｜note 2023.3

プロンプトエンジニアリングを加速する、AI モデルの性能評価フレームワーク「OpenAI Evals」を試してみた | DevelopersIO 2023.3

二つの文章がどこまで似ているか判定したい - Qiita 2023.3

NLPとVision-and-Languageの基礎・最新動向 (1) / DEIM Tutorial Part 1: NLP - Speaker Deck 2023.3
- NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language - Speaker Deck 2023.3

【実験】OpenAI、GPTZero…AIが書いた文章はどれぐらい見抜かれる？7つのAI判別ツールを比べてみた【テッククランチ】 | レバテックラボ（レバテックLAB） 2023.2

大規模言語モデル AI が道具をつかえるようになったという衝撃 2023.2

NLPの専門用語一覧まとめ - すえつぐのNLP&G 2023.2

自然言語処理(NLP)の歴史まとめ｜ニューラルネットワークベースのNLP - すえつぐのNLP&G 2023.2

【論文解説】Google の対話 AI『LaMDA』を理解する | 楽しみながら理解するAI・機械学習入門 2023.2

文章を自動的にナレッジグラフにできるGraphGPTのインストール | ジコログ 2023.2

AI Text Classifier - OpenAI API 2023.1
- AIによる文章を判定するAPI

ChatGPTだけではない。大手テック企業による会話AI開発の最前線 | AI専門ニュースメディア AINOW 2023.1

【Deep Learning研修（発展）】系列データモデリング - YouTube 2022.12

政治家の発言を可視化し、問題解決に取り組んでいるかを調べる [by ChatGPT] - Qiita 2022.12

言語処理100本ノック第2章　解答と解説のまとめ - ブレインズコンサルティング・テックブログ 2022.12

MIT Tech Review: 大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か 2022.11

Hugging Faceのモデル学習で、モデルをカスタマイズする方法 | DevelopersIO 2022.11

Introduction - Hugging Face Course 2022.11

第５回【Python】まだ見ぬアクティビティーを求めてアソビュー！Doc2Vecモデルチューニング - Qiita 2022.11

DeepL APIを公式のDeepL Python Libraryから利用する | ジコログ 2022.11

(PDF) Natural Language Processing with Python 2022.10

Large Language Models and Where to Use Them: Part 1 2022.9

夏目漱石さんの「こころ」の心を感情分析プログラムで解析してみた - Qiita 2022.9

今さら聞けない自然言語処理(NLP) - Qiita 2022.9

近年の本格ミステリを可視化する【テキストマイニング】 - Qiita 2022.9

[Salesforce Research論文]自然言語からコードを生み出す”CodeGen”を試してみた | DevelopersIO 2022.8

【メタサーベイ】基盤モデル / Foundation Models 2022.8
- Transformer,BERT, ViT, CLIP, GLIDE, ...

自然言語処理分野で用いられる敵対的学習手法について - Platinum Data Blog by BrainPad 2022.8

Pythonで文章要約！自然言語処理を使ってExciteの記事を要約してみた - エキサイト TechBlog. 2022.8

Wav2Vec2.0を使った音声認識を試してみました！ - CCCマーケティング TECH Labの Tech Blog 2022.8

GitHub - manticoresoftware/manticoresearch: Easy to use open source fast database for search | Good alternative to Elasticsearch now | Drop-in replacement for E in the ELK soon 2022.8

Are Large Language Models Sentient? | by Naim Kabir | Jun, 2022 | Level Up Coding 2022.6

NER（固有表現抽出）始めませんか？第1回 | NTTデータ先端技術株式会社 2021.12

【保存版】さまざまな自然言語処理の手法を学べるレシピ30選（2022年4月版） - Qiita 2022.4

SageMakerで作るケチケチ文書分類 - Mirai Translate TECH BLOG 2022.4

【タイタニック】AutoTrainで2値分類 - Qiita 2022.4
- AutoTrainとはノーコードでテキスト分類や要約や構造化データの機械学習などがstate-of-the-artできるサービスです。
AutoTrainで文章要約 - Qiita 2022.4

NLP2022に参加しました（前編）｜朝日新聞社メディア研究開発センター｜note 2022.3

「テキストアナリティクスの基礎と実践」をpythonで読む3 テキストの特徴分析 - Qiita 2022.3

言語処理100本ノック 2020 (Rev 2) - NLP100 2020 2020
- 【言語処理100本ノック 2020】Pythonによる解答例まとめ - Qiita 2020.11

【AIのべりすと】とうとうAIが面白い小説を書けるようになってきた！！　～AIによる小説の自動生成の最前線～　 - Qiita 2021.11
- https://ai-novel.com/index.php

↑

RWKV†

RWKVをローカルPCで動かす（pyenv/Docker） 2023.3

おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena 2023.3

Google Colab で RWKV を試す｜npaka｜note 2023.3

ChatGPT終了のお知らせ!?完全無料&オープン爆速大規模自然言語モデルRWKVが爆誕 - YouTube 2023.3

↑

Alpaca†

日本語Alpacaデータを用いてJapanese-Alapaca-LoRAを作ったので公開します【デモページあり】｜kun1emon｜note 2023.3

BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita 2023.3

↑

FlexGen†

↑

形態素解析/構文解析†

WorksApplications/sudachi.rs: Sudachi in Rust 🦀 and new generation of SudachiPy 2023.4

【爆速で理解できる】英語の形態素解析の使い方をCHATGPTに教えてもらう - Qiita 2023.3

Pythonを使った、形態素解析器での読みの取得 - estie inside blog 2022.11

Pythonでかな漢字変換 mozcpy の紹介 - Qiita 2022.8

AWS Lambda で形態素解析〜句を詠めば鐘が鳴るなりスッコココ〜 - estie inside blog 2022.8

日本語形態素解析 - Yahoo!デベロッパーネットワーク

↑

GiNZA†

↑

MeCab†

日本語機械学習開発環境の作成 | PR TIMES 開発者ブログ 2023.1

MeCabを使った575判定 - estie inside blog 2022.11

MeCab互換な形態素解析器Vibratoの高速化技法 - LegalForce Engineering Blog 2022.9

python MeCab で listの文章を一部を取り出し機械学習 - Qiita 2022.8
PythonでMeCabを使う際のメモ - Qiita 2022.7
MeCabで形態素解析すれば品名の表記が異なっても一向にかまわんッッ - CUEBiC TEC BLOG 2022.6
MeCab
- MeCabは京都大学情報学研究科－日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジンです. 言語, 辞書,コーパスに依存しない汎用的な設計を基本方針としています. パラメータの推定に Conditional Random Fields (CRF) を用いており, ChaSenが採用している隠れマルコフモデルに比べ性能が向上しています。また、平均的に ChaSen, Juman, KAKASIより高速に動作します.

↑