自然言語処理の履歴(No.9) - 技術情報Wiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ] [ Twitter ]

→データ処理関連

→ディープラーニング

→AI／機械学習

→画像生成

→画像認識／検出／トラッキング

サブトピック
NLP一般/大規模モデル
GPT
- ChatGPT
形態素解析/構文解析
- GiNZA
- MeCab
ワードクラウド
Transformer
- Attention
- PaLM
BERT
Word2Vec
文字起こし
音声読み上げ

サブトピック†

全文検索

NLP一般/大規模モデル†

【Deep Learning研修（発展）】系列データモデリング - YouTube 2022.12

政治家の発言を可視化し、問題解決に取り組んでいるかを調べる [by ChatGPT] - Qiita 2022.12

言語処理100本ノック第2章　解答と解説のまとめ - ブレインズコンサルティング・テックブログ 2022.12

人間の言葉をコンピュータが理解できるようにするための「ベクトル化」の話 | DevelopersIO 2022.12
- 形態素解析,構文解析,意味解析,文脈解析,カウントベース,分散表現

MIT Tech Review: 大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か 2022.11

Hugging Faceのモデル学習で、モデルをカスタマイズする方法 | DevelopersIO 2022.11

Introduction - Hugging Face Course 2022.11

第５回【Python】まだ見ぬアクティビティーを求めてアソビュー！Doc2Vecモデルチューニング - Qiita 2022.11

DeepL APIを公式のDeepL Python Libraryから利用する | ジコログ 2022.11

(PDF) Natural Language Processing with Python 2022.10

Large Language Models and Where to Use Them: Part 1 2022.9

夏目漱石さんの「こころ」の心を感情分析プログラムで解析してみた - Qiita 2022.9

今さら聞けない自然言語処理(NLP) - Qiita 2022.9

近年の本格ミステリを可視化する【テキストマイニング】 - Qiita 2022.9

[Salesforce Research論文]自然言語からコードを生み出す”CodeGen”を試してみた | DevelopersIO 2022.8

【メタサーベイ】基盤モデル / Foundation Models 2022.8
- Transformer,BERT, ViT, CLIP, GLIDE, ...

自然言語処理分野で用いられる敵対的学習手法について - Platinum Data Blog by BrainPad 2022.8

Pythonで文章要約！自然言語処理を使ってExciteの記事を要約してみた - エキサイト TechBlog. 2022.8

Wav2Vec2.0を使った音声認識を試してみました！ - CCCマーケティング TECH Labの Tech Blog 2022.8

GitHub - manticoresoftware/manticoresearch: Easy to use open source fast database for search | Good alternative to Elasticsearch now | Drop-in replacement for E in the ELK soon 2022.8

Are Large Language Models Sentient? | by Naim Kabir | Jun, 2022 | Level Up Coding 2022.6

NER（固有表現抽出）始めませんか？第1回 | NTTデータ先端技術株式会社 2021.12

【保存版】さまざまな自然言語処理の手法を学べるレシピ30選（2022年4月版） - Qiita 2022.4

SageMakerで作るケチケチ文書分類 - Mirai Translate TECH BLOG 2022.4

【タイタニック】AutoTrainで2値分類 - Qiita 2022.4
- AutoTrainとはノーコードでテキスト分類や要約や構造化データの機械学習などがstate-of-the-artできるサービスです。
AutoTrainで文章要約 - Qiita 2022.4

NLP2022に参加しました（前編）｜朝日新聞社メディア研究開発センター｜note 2022.3

「テキストアナリティクスの基礎と実践」をpythonで読む3 テキストの特徴分析 - Qiita 2022.3

言語処理100本ノック 2020 (Rev 2) - NLP100 2020 2020
- 【言語処理100本ノック 2020】Pythonによる解答例まとめ - Qiita 2020.11

【AIのべりすと】とうとうAIが面白い小説を書けるようになってきた！！　～AIによる小説の自動生成の最前線～　 - Qiita 2021.11
- https://ai-novel.com/index.php

GPT†

OpenAI API で提供されている GPT-3モデルまとめ｜npaka｜note 2023.1

GPT-3の論文を読んでいます！ - CCCMKホールディングス TECH Labの Tech Blog 2022.12
- "GPT-3"は"Transformer"をベースにしたモデルで、その特徴はその中に含まれる巨大なパラメータ数にあります。そのパラメータ数は175Billion, つまり1,750億になるそうです。"GPT"が117Million(1億1,700万)、"GPT-2"が1,542Million(15億4,200万)のパラメータで構成されている

OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説 - GIGAZINE 2022.12

【無料】GPT-3レベルのGoogle製Flan-T5を利用する方法 | ジコログ 2022.11

ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog 2022.7

13億パラメータの日本語特化GPT言語モデルを使ってSlackAIチャットボットを作ってみた1～文章生成機能編～ - Qiita 2022.7

ChatGPT†

ChatGPTとは？始め方やアカウント登録・使い方を解説 - BTCC 2023.1

GitHub - openai/openai-cookbook: Examples and guides for using the OpenAI API 2023.1

GitHub - f/awesome-chatgpt-prompts: This repo includes ChatGPT prompt curation to use ChatGPT better. 2023.1

ChatGPTのヤバさは、論理処理が必要と思ったことが確率処理でできるとわかったこと - きしだのHatena 2023.1

IDEにChatGPTを統合、「この関数のテストコードはどこ？」「XXXを実装するならどう書けばいい？」など、AIでコードと対話できる「qqbot」登場－ Publickey 2023.1

ChatGPTはソフトウェアエンジニアリングを変えるだろう ― しかし、あなたが望んでいるような仕方ではない | AI専門ニュースメディア AINOW 2023.1

Best ChatGPT Resources 101 2023.1

Running ChatGPT Locally using Docker Desktop - DEV Community 👩‍💻👨‍💻 2023.1

ChatGPT使い方総まとめ - Qiita 2022.12

PyChatGPT: Python Client for The Unofficial ChatGPT API 2022.12

高度なチャットボット「ChatGPT」は検索エンジンを置き換える！！Googleは創業以来の危機に直面 | Emerging Technology Review 2022.12

ChatGPTさんに企画候補・企画書の生成・コーディングまでやってもらった (小説風) - Qiita 2022.12

ChatGPT 人間のフィードバックから強化学習した対話AI 2022.12

ChatGPTはどのように学習を行なっているのか 2022.12

ChatGPTを速報解説してみた - 神戸のデータ活用塾！KDL Data Blog 2022.12

ChatGPT使い方総まとめ - Qiita 2022.12

形態素解析/構文解析†

Pythonを使った、形態素解析器での読みの取得 - estie inside blog 2022.11

Pythonでかな漢字変換 mozcpy の紹介 - Qiita 2022.8

AWS Lambda で形態素解析〜句を詠めば鐘が鳴るなりスッコココ〜 - estie inside blog 2022.8

日本語形態素解析 - Yahoo!デベロッパーネットワーク

GiNZA†

MeCab†

MeCabを使った575判定 - estie inside blog 2022.11

MeCab互換な形態素解析器Vibratoの高速化技法 - LegalForce Engineering Blog 2022.9

python MeCab で listの文章を一部を取り出し機械学習 - Qiita 2022.8
PythonでMeCabを使う際のメモ - Qiita 2022.7
MeCabで形態素解析すれば品名の表記が異なっても一向にかまわんッッ - CUEBiC TEC BLOG 2022.6
MeCab
- MeCabは京都大学情報学研究科－日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジンです. 言語, 辞書,コーパスに依存しない汎用的な設計を基本方針としています. パラメータの推定に Conditional Random Fields (CRF) を用いており, ChaSenが採用している隠れマルコフモデルに比べ性能が向上しています。また、平均的に ChaSen, Juman, KAKASIより高速に動作します.

ワードクラウド†

ノーコードで、いろんな見た目の「Word Cloud」を描かせる（Google Colab使用） - Qiita 2022.8

Transformer †

時系列処理が必要なRNNは並列化と相性が悪いのでAttentionに全振りしたのがTransformer
自己注意機能により系列データを一括同時処理可能になった。RNNでは逐次計算が必要、また離れた単語の関係づけできず長文理解が難しかった。
- GPUフレンドリで容易に並列化可能→学習の高速化、劇的な学習時間短縮を実現
- 入力シーケンス全体を考慮可能
- CV(Computer Vision)タスクへの応用もあり→画像認識／検出／トラッキング

「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する (1/3)|CodeZine（コードジン） 2022.12

Vision Transformer入門をもっと楽しむために - Speaker Deck 2022.12

Transformerのモデル、"T5"について調べてみました！ - CCCMKホールディングス TECH Labの Tech Blog 2022.12

Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】 2021.6

図で理解するTransformer - Qiita 2021.5

[2207.09238] Formal Algorithms for Transformers 2022.7

CS25 I Stanford Seminar - Transformers United: DL Models that have revolutionized NLP, CV, RL - YouTube 2022.7

Transformerの最前線〜畳込みニューラルネットワークの先へ〜 - Speaker Deck 2022.7

自然言語処理の必須知識 Transformer を徹底解説！ | DeepSquare 2022.3

深層学習界の大前提Transformerの論文解説！ - Qiita 2019
- アーキテクチャのポイントは以下の3つだよ。
  - エンコーダー-デコーダモデル
  - Attention
  - 全結合層
- NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデルだから理解必須

Attention†

Pay Attention To 生成モデル - Qiita 2022.9

最近のDeep Learning (NLP) 界隈におけるAttention事情 2022.3

作って理解する Transformer / Attention - Qiita 2018

[1706.03762] Attention Is All You Need 2017

PaLM†

超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能

Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review 2022.7

BERT†

Transformerから発展。大量の汎用テキストデータで事前学習→タスクに合わせて追加学習
文章のマスクと復元という自己教師学習によりラベルなし文章を学習に適用可能
双方向モデル、単語の前後から文脈を把握

自然言語処理モデル(BERT)で文の意味上の類似度を計算 | GMOアドパートナーズ TECH BLOG byGMO 2022.12

BERT 自然言語解析手法の変遷について - MONEX ENGINEER BLOG │マネックスエンジニアブログ 2022.8

【やってみた】BERTにブログの特徴を教えてもらってみた - 神戸のデータ活用塾！KDL Data Blog 2022.8

文章からLGTM数を予測して「バズる記事」を判別してみた - Qiita 2022.6
- BERTのファインチューニングにより、Qiita中の記事がLGTM>100かどうか判別する2クラス分類深層学習モデルを作成したよ

BERT入門 2022.6

Word2Vec†

自然言語処理の必須知識！Word2Vec とは？ | キカガクの技術ブログ 2022.12

青空文庫の全小説でword2vecしてみる - Qiita 2022.7

BERT vs Word2Vec ～単語分散表現による同義語抽出～ - Qiita 2022.7

文字起こし†

アマゾンのAWSで音声の文字起こしサービスを無料で試してみた | Ledge.ai 2021.11
- Amazon Transcribe

アマゾンのAWSでテキストを解析してみた
- Amazon Comprehendは、機械学習を使用してテキスト内のインサイトや関係性を検出できる自然言語処理（NLP）サービスです。キーフレーズ抽出、感情分析、実体認識、トピック形成、言語検出 API の利用ができ、アプリケーションへの統合もできます。

音声読み上げ†