#author("2023-02-27T21:57:52+09:00","default:irrp","irrp")
#author("2023-03-07T12:20:40+09:00","default:irrp","irrp")
→AI／機械学習

→ディープラーニング

→自然言語処理

→画像認識／検出／トラッキング

#contents


*サブトピック [#j46a83ff]
-GPT関連


* Transformer一般 [#e422cd4b]
-[[Hugging Face Pipelineを使ったお手軽AIプログラミング | IIJ Engineers Blog>https://eng-blog.iij.ad.jp/archives/17980]] 2023.2

-[[画像や文章の生成などを行う「ジェネレーティブAI」はなぜ急に発展したのか？ - GIGAZINE>https://gigazine.net/news/20230202-generative-ai-revolution/]] 2023.2
--プログラミング言語としてのトレーニングから、自然言語処理(NLP)を用いた「コードではなく言語を理解」する学習法に推移していく段階でRNNやLSTMが用いられていましたが、近年まで「言語の処理では単語の順序が重要な違いを生む」点や、「適切なトレーニングデータを取得するのが難しい」という点で、長い文章の処理を行えなかった
--そこで突破口となったのがGoogleの「Transformer」で、RNNよりも言語理解タスクに秀でたニューラルネットワークアーキテクチャとして質の高い翻訳に成功しました。翻訳には言語ごとの語順が重要で、それがTransformerには当然に組み込まれていたため、Transformerが用いた「位置エンコーディング」「マルチヘッドアテンション」という処理法が言語処理のブレイクスルーとして機能した
--言語モデルにおける大きな転換点は、翻訳のために作られた驚くべきモデルを利用する事で、言語処理タスクが抱えていた問題を翻訳の問題に変換する方法を見つけ出したこと
--Transformerはある言語から別の言語に変換する翻訳モデルとして発明されましたが、画像など他のパラメータを言語と同様の方法で表現する方法を理解できれば、そこにあるルールを見つけ出して別の言語にマッピングするTransformerの能力を訓練して、翻訳を行うことができます。こうして「画像から特徴を抽出し、潜在表現と呼ばれる低次元表現に圧縮し、細かいポイントを軸として座標に表す」といったアプローチが可能になりました。

-[[Vision Transformer入門をもっと楽しむために - Speaker Deck>https://speakerdeck.com/sei88888/vision-transformerru-men-womotutole-simutameni]] 2022.12

-[[Transformerのモデル、"T5"について調べてみました！ - CCCMKホールディングス TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2022/12/13/125045]] 2022.12

-[[CS25 I Stanford Seminar - Transformers United: DL Models that have revolutionized NLP, CV, RL - YouTube>https://www.youtube.com/watch?v=P127jhj-8-Y&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM]] 2022.7

-[[深層学習界の大前提Transformerの論文解説！ - Qiita>https://qiita.com/omiita/items/07e69aef6c156d23c538]] 2019
--アーキテクチャのポイントは以下の3つだよ。
---エンコーダー-デコーダモデル
---Attention
---全結合層
--NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデル だから理解必須

-[[【書籍】Vision Transformer入門>https://amzn.to/3jZsugl]]

-[[作って理解する Transformer / Attention - Qiita>https://qiita.com/halhorn/items/c91497522be27bde17ce]] 2018




*理論的な解説 [#g2b6b0dd]
-[[(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門>https://euske.github.io/introdl/transformer/index.html]] 2023.2

-[[【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説 - すえつぐのNLP&G>https://nlpillustration.tech/?p=2171]] 2023.2

-[[ネットワーク分析から直感的に理解するTransformerの仕組みと処理の流れ - あつまれ統計の森>https://www.hello-statisticians.com/ml/deeplearning/transformer1.html]] 2023.2

-[[30分で完全理解するTransformerの世界>https://zenn.dev/zenkigen/articles/2023-01-shimizu]] 2023.2
--※一見入門ぽいタイトルの割に全然わかりやすくない高度な説明なので注意

-[[「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する (1/3)|CodeZine（コードジン）>https://codezine.jp/article/detail/16860]] 2022.12
--&ref(Transformerよくある図.png);

-[[Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜 - Speaker Deck>https://speakerdeck.com/yushiku/20220608_ssii_transformer]] 2022.7

-[[[2207.09238] Formal Algorithms for Transformers>https://arxiv.org/abs/2207.09238]] 2022.7

-[[最近のDeep Learning (NLP) 界隈におけるAttention事情>https://www.slideshare.net/yutakikuchi927/deep-learning-nlp-attention]] 2022.3

-[[自然言語処理の必須知識 Transformer を徹底解説！ | DeepSquare>https://deepsquare.jp/2020/07/transformer/]] 2022.3

-[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】>https://zenn.dev/ttya16/articles/ce89dcab833d32cadb39]] 2021.6
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part2】>https://zenn.dev/ttya16/articles/329ec9e7c79634893271]] 2021.6
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part3】>https://zenn.dev/ttya16/articles/8b9d19d87065c579bccb]] 2021.7
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part4】>https://zenn.dev/ttya16/articles/3c51001f9e6d4b0ecc0b]] 2021.7
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part5】>https://zenn.dev/ttya16/articles/0e3e1bff645f161fb4d7]] 2021.7

-[[図で理解するTransformer - Qiita>https://qiita.com/birdwatcher/items/b3e4428f63f708db37b7]] 2021.5

-[[Pay Attention To 生成モデル - Qiita>https://qiita.com/maechanneler/items/7fa7255e73c02bff490e]] 2022.9

-[[論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ>https://deeplearning.hatenablog.com/entry/transformer]] 2017
--[[[1706.03762] Attention Is All You Need>https://arxiv.org/abs/1706.03762]] 2017

-時系列処理が必要なRNNは並列化と相性が悪いのでAttentionに全振りしたのがTransformer
-自己注意機能により系列データを一括同時処理可能になった。RNNでは逐次計算が必要、また離れた単語の関係づけできず長文理解が難しかった。
--GPUフレンドリで容易に並列化可能→学習の高速化、劇的な学習時間短縮を実現
--入力シーケンス全体を考慮可能
--CV(Computer Vision)タスクへの応用もあり→画像認識／検出／トラッキング


*PaLM [#eff95934]
-超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能

-[[Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review>https://etechnologyreview.com/2022/04/29/google%E3%81%AF%E4%B8%96%E7%95%8C%E6%9C%80%E5%A4%A7%E8%A6%8F%E6%A8%A1%E3%81%AEai%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB%E3%80%8Cpalm%E3%80%8D%E3%82%92%E9%96%8B%E7%99%BA%E3%80%81%E8%A8%80/#:~:text=Google%E3%81%AF%E4%B8%96%E7%95%8C%E5%A4%A7%E8%A6%8F%E6%A8%A1,%E3%83%96%E3%83%AC%E3%83%BC%E3%82%AF%E3%82%B9%E3%83%AB%E3%83%BC%E3%82%92%E9%81%94%E6%88%90%E3%81%97%E3%81%9F%E3%80%82]] 2022.7


* BERT (Bidirectional Encoder Representations from Transformers) [#x3a29000]
-Transformerから発展。大量の汎用テキストデータで事前学習→タスクに合わせて追加学習
-文章のマスクと復元という自己教師学習によりラベルなし文章を学習に適用可能
-双方向モデル、単語の前後から文脈を把握

-[[BERTのFine-Tuningの方法を安定させる方法を試してみました！ - CCCMKホールディングス TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2023/03/07/104156]] 2023.3

-[[BERTで自殺ツイートを検出する試み　〜?EDAとルールベースでの検出〜 - Qiita>https://qiita.com/harunan0913/items/b8d6a7414898e691da40]] 2023.2

-[[自然言語処理モデル(BERT)で文の意味上の類似度を計算 | GMOアドパートナーズ TECH BLOG byGMO>https://techblog.gmo-ap.jp/2022/12/21/bert_calc_sentence_similarity/]] 2022.12

-[[BERT 自然言語解析手法の変遷について - MONEX ENGINEER BLOG │マネックス エンジニアブログ>https://blog.tech-monex.com/entry/2022/08/19/183846]] 2022.8

-[[【やってみた】BERTにブログの特徴を教えてもらってみた - 神戸のデータ活用塾！KDL Data Blog>https://kdl-di.hatenablog.com/entry/2022/08/08/090000]] 2022.8

-[[文章からLGTM数を予測して「バズる記事」を判別してみた - Qiita>https://qiita.com/pyopp8128/items/2cb0edabaf94e9385871]] 2022.6
--BERTのファインチューニングにより、Qiita中の記事がLGTM>100かどうか判別する2クラス分類深層学習モデルを作成したよ

-[[BERT入門>https://www.slideshare.net/matsukenbook/bert-217710964]] 2022.6

-[[BERT Research - Ep. 1 - Key Concepts & Sources - YouTube>https://www.youtube.com/watch?v=FKlPCK1uFrc]] 2019
-[[自然言語処理モデル「BERT」の日本語版事前学習モデルが無償公開 商用利用も可>https://ledge.ai/bert-free-learning-model-in-japanese/]] 2022.4
--[[インフォマティクス、BERT日本語版事前学習モデルを公開｜株式会社インフォマティクスのプレスリリース>https://prtimes.jp/main/html/rd/p/000000068.000034332.html]] 2022.4
--[[GitHub - informatix-inc/bert>https://github.com/informatix-inc/bert]]

-[[BERTとベクトル検索を用いたYahoo!ショッピングの製品名寄せ作業の効率化検証 - Yahoo! JAPAN Tech Blog>https://techblog.yahoo.co.jp/entry/2022040630294096/]] 2022.4
-[[BERTを用いて文章の穴埋め問題を解く - Qiita>https://qiita.com/kai_notebook/items/58048b027ae48cb700cb]] 2022.3
トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS