→データ処理関連
→ディープラーニング
→AI/機械学習
→画像生成
→画像認識/検出/トラッキング
サブトピック†
NLP一般/大規模モデル†
GPT†
ChatGPT†
形態素解析/構文解析†
GiNZA†
MeCab†
ワードクラウド†
- 時系列処理が必要なRNNは並列化と相性が悪いのでAttentionに全振りしたのがTransformer
- 自己注意機能により系列データを一括同時処理可能になった。RNNでは逐次計算が必要、また離れた単語の関係づけできず長文理解が難しかった。
- GPUフレンドリで容易に並列化可能→学習の高速化、劇的な学習時間短縮を実現
- 入力シーケンス全体を考慮可能
- CV(Computer Vision)タスクへの応用もあり→画像認識/検出/トラッキング
Attention†
PaLM†
BERT†
- Transformerから発展。大量の汎用テキストデータで事前学習→タスクに合わせて追加学習
- 文章のマスクと復元という自己教師学習によりラベルなし文章を学習に適用可能
- 双方向モデル、単語の前後から文脈を把握
Word2Vec†
文字起こし†
- アマゾンのAWSでテキストを解析してみた
- Amazon Comprehendは、機械学習を使用してテキスト内のインサイトや関係性を検出できる自然言語処理(NLP)サービスです。キーフレーズ抽出、感情分析、実体認識、トピック形成、言語検出 API の利用ができ、アプリケーションへの統合もできます。
音声読み上げ†