#author("2023-03-14T22:02:51+09:00","default:irrp","irrp")
#author("2023-03-22T13:52:51+09:00","default:irrp","irrp")
→AI／機械学習

→ディープラーニング

→自然言語処理

→画像認識／検出／トラッキング

#contents


*サブトピック [#j46a83ff]
-GPT関連


* Transformer一般 [#e422cd4b]
-[[Transformerをゼロから実装する | One Tech Blog>https://tech.gmogshd.com/transformer/]] 2023.3

-[[Hugging Face Pipelineを使ったお手軽AIプログラミング | IIJ Engineers Blog>https://eng-blog.iij.ad.jp/archives/17980]] 2023.2

-[[画像や文章の生成などを行う「ジェネレーティブAI」はなぜ急に発展したのか？ - GIGAZINE>https://gigazine.net/news/20230202-generative-ai-revolution/]] 2023.2
--プログラミング言語としてのトレーニングから、自然言語処理(NLP)を用いた「コードではなく言語を理解」する学習法に推移していく段階でRNNやLSTMが用いられていましたが、近年まで「言語の処理では単語の順序が重要な違いを生む」点や、「適切なトレーニングデータを取得するのが難しい」という点で、長い文章の処理を行えなかった
--そこで突破口となったのがGoogleの「Transformer」で、RNNよりも言語理解タスクに秀でたニューラルネットワークアーキテクチャとして質の高い翻訳に成功しました。翻訳には言語ごとの語順が重要で、それがTransformerには当然に組み込まれていたため、Transformerが用いた「位置エンコーディング」「マルチヘッドアテンション」という処理法が言語処理のブレイクスルーとして機能した
--言語モデルにおける大きな転換点は、翻訳のために作られた驚くべきモデルを利用する事で、言語処理タスクが抱えていた問題を翻訳の問題に変換する方法を見つけ出したこと
--Transformerはある言語から別の言語に変換する翻訳モデルとして発明されましたが、画像など他のパラメータを言語と同様の方法で表現する方法を理解できれば、そこにあるルールを見つけ出して別の言語にマッピングするTransformerの能力を訓練して、翻訳を行うことができます。こうして「画像から特徴を抽出し、潜在表現と呼ばれる低次元表現に圧縮し、細かいポイントを軸として座標に表す」といったアプローチが可能になりました。

-[[Vision Transformer入門をもっと楽しむために - Speaker Deck>https://speakerdeck.com/sei88888/vision-transformerru-men-womotutole-simutameni]] 2022.12
--[[【書籍】Vision Transformer入門>https://amzn.to/3jZsugl]]

-[[Transformerのモデル、"T5"について調べてみました！ - CCCMKホールディングス TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2022/12/13/125045]] 2022.12

-[[CS25 I Stanford Seminar - Transformers United: DL Models that have revolutionized NLP, CV, RL - YouTube>https://www.youtube.com/watch?v=P127jhj-8-Y&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM]] 2022.7

-[[作って理解する Transformer / Attention - Qiita>https://qiita.com/halhorn/items/c91497522be27bde17ce]] 2018


**概要 [#v94495bb]
-時系列処理が必要なRNNは並列化と相性が悪いのでAttentionに全振りしたのがTransformer
-自己注意機能により系列データを一括同時処理可能になった。RNNでは逐次計算が必要、また離れた単語の関係づけできず長文理解が難しかった。
--GPUフレンドリで容易に並列化可能→学習の高速化、劇的な学習時間短縮を実現
--入力シーケンス全体を考慮可能
--CV(Computer Vision)タスクへの応用もあり→画像認識／検出／トラッキング


*理論的な解説 [#g2b6b0dd]
-[[A Gentle Introduction to Positional Encoding in Transformer Models, Part 1 - MachineLearningMastery.com>https://machinelearningmastery.com/a-gentle-introduction-to-positional-encoding-in-transformer-models-part-1/]] 2023.3
--前処理で行っている単語位置情報のエンコーディング

-[[(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門>https://euske.github.io/introdl/transformer/index.html]] 2023.2

-[[【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説 - すえつぐのNLP&G>https://nlpillustration.tech/?p=2171]] 2023.2

-[[ネットワーク分析から直感的に理解するTransformerの仕組みと処理の流れ - あつまれ統計の森>https://www.hello-statisticians.com/ml/deeplearning/transformer1.html]] 2023.2

-[[30分で完全理解するTransformerの世界>https://zenn.dev/zenkigen/articles/2023-01-shimizu]] 2023.2
--※一見入門ぽいタイトルのだが本格的な説明であり入門解説ではない。ある程度分かっている人の復習用

-[[「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する (1/3)|CodeZine（コードジン）>https://codezine.jp/article/detail/16860]] 2022.12
--&ref(Transformerよくある図.png);

-[[Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜 - Speaker Deck>https://speakerdeck.com/yushiku/20220608_ssii_transformer]] 2022.7

-[[[2207.09238] Formal Algorithms for Transformers>https://arxiv.org/abs/2207.09238]] 2022.7

-[[最近のDeep Learning (NLP) 界隈におけるAttention事情>https://www.slideshare.net/yutakikuchi927/deep-learning-nlp-attention]] 2022.3

-[[自然言語処理の必須知識 Transformer を徹底解説！ | DeepSquare>https://deepsquare.jp/2020/07/transformer/]] 2022.3

-[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】>https://zenn.dev/ttya16/articles/ce89dcab833d32cadb39]] 2021.6
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part2】>https://zenn.dev/ttya16/articles/329ec9e7c79634893271]] 2021.6
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part3】>https://zenn.dev/ttya16/articles/8b9d19d87065c579bccb]] 2021.7
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part4】>https://zenn.dev/ttya16/articles/3c51001f9e6d4b0ecc0b]] 2021.7
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part5】>https://zenn.dev/ttya16/articles/0e3e1bff645f161fb4d7]] 2021.7

-[[図で理解するTransformer - Qiita>https://qiita.com/birdwatcher/items/b3e4428f63f708db37b7]] 2021.5

-[[深層学習界の大前提Transformerの論文解説！ - Qiita>https://qiita.com/omiita/items/07e69aef6c156d23c538]] 2019
--Transformerは基本的な大枠はエンコーダ-デコーダモデルでself-attention層とPosition-wise全結合層を使用していることが特徴。
--つまり、以下の3つ(+2つ)のことが分かればモデル構造が理解できる
---エンコーダー-デコーダモデル
---Attention
---Position-wise全結合層
---文字の埋め込みとソフトマックス
---位置エンコーディング
--NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデル だから理解必須

-[[作って理解する Transformer / Attention - Qiita>https://qiita.com/halhorn/items/c91497522be27bde17ce]] 2018

-[[The Illustrated Transformer>http://jalammar.github.io/illustrated-transformer/]] 2018

-[[論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ>https://deeplearning.hatenablog.com/entry/transformer]] 2017
--[[[1706.03762] Attention Is All You Need>https://arxiv.org/abs/1706.03762]] 2017


**Attention [#mdbef216]
-[[【深層学習】Transformer - Multi-Head Attentionを理解してやろうじゃないの【ディープラーニングの世界vol.28】#106 #VRアカデミア #DeepLearning - YouTube>https://www.youtube.com/watch?v=50XvMaWhiTY]] 2023.3

-[[【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning - YouTube>https://www.youtube.com/watch?v=bPdyuIebXWM]] 2021

-[[Pay Attention To 生成モデル - Qiita>https://qiita.com/maechanneler/items/7fa7255e73c02bff490e]] 2022.9

-[[Deep Learning入門：Attention（注意） - YouTube>https://www.youtube.com/watch?v=g5DSLeJozdw]] 2020



*PaLM [#eff95934]
-超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能

-[[Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review>https://etechnologyreview.com/2022/04/29/google%E3%81%AF%E4%B8%96%E7%95%8C%E6%9C%80%E5%A4%A7%E8%A6%8F%E6%A8%A1%E3%81%AEai%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB%E3%80%8Cpalm%E3%80%8D%E3%82%92%E9%96%8B%E7%99%BA%E3%80%81%E8%A8%80/#:~:text=Google%E3%81%AF%E4%B8%96%E7%95%8C%E5%A4%A7%E8%A6%8F%E6%A8%A1,%E3%83%96%E3%83%AC%E3%83%BC%E3%82%AF%E3%82%B9%E3%83%AB%E3%83%BC%E3%82%92%E9%81%94%E6%88%90%E3%81%97%E3%81%9F%E3%80%82]] 2022.7


* BERT (Bidirectional Encoder Representations from Transformers) [#x3a29000]
-Transformerから発展。大量の汎用テキストデータで事前学習→タスクに合わせて追加学習(Fine-Tuning)
-文章のマスクと復元という自己教師学習によりラベルなし文章を学習に適用可能
-双方向モデル、単語の前後から文脈を把握

-[[高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました>https://engineering.linecorp.com/ja/blog/line-distilbert-high-performance-fast-lightweight-japanese-language-model]] 2023.3

-[[BERTのFine-Tuningの方法を安定させる方法を試してみました！ - CCCMKホールディングス TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2023/03/07/104156]] 2023.3

-[[BERTで自殺ツイートを検出する試み　〜?EDAとルールベースでの検出〜 - Qiita>https://qiita.com/harunan0913/items/b8d6a7414898e691da40]] 2023.2

-[[自然言語処理モデル(BERT)で文の意味上の類似度を計算 | GMOアドパートナーズ TECH BLOG byGMO>https://techblog.gmo-ap.jp/2022/12/21/bert_calc_sentence_similarity/]] 2022.12

-[[BERT 自然言語解析手法の変遷について - MONEX ENGINEER BLOG │マネックス エンジニアブログ>https://blog.tech-monex.com/entry/2022/08/19/183846]] 2022.8

-[[【やってみた】BERTにブログの特徴を教えてもらってみた - 神戸のデータ活用塾！KDL Data Blog>https://kdl-di.hatenablog.com/entry/2022/08/08/090000]] 2022.8

-[[文章からLGTM数を予測して「バズる記事」を判別してみた - Qiita>https://qiita.com/pyopp8128/items/2cb0edabaf94e9385871]] 2022.6
--BERTのファインチューニングにより、Qiita中の記事がLGTM>100かどうか判別する2クラス分類深層学習モデルを作成したよ

-[[BERT入門>https://www.slideshare.net/matsukenbook/bert-217710964]] 2022.6

-[[BERT Research - Ep. 1 - Key Concepts & Sources - YouTube>https://www.youtube.com/watch?v=FKlPCK1uFrc]] 2019
-[[自然言語処理モデル「BERT」の日本語版事前学習モデルが無償公開 商用利用も可>https://ledge.ai/bert-free-learning-model-in-japanese/]] 2022.4
--[[インフォマティクス、BERT日本語版事前学習モデルを公開｜株式会社インフォマティクスのプレスリリース>https://prtimes.jp/main/html/rd/p/000000068.000034332.html]] 2022.4
--[[GitHub - informatix-inc/bert>https://github.com/informatix-inc/bert]]

-[[BERTとベクトル検索を用いたYahoo!ショッピングの製品名寄せ作業の効率化検証 - Yahoo! JAPAN Tech Blog>https://techblog.yahoo.co.jp/entry/2022040630294096/]] 2022.4
-[[BERTを用いて文章の穴埋め問題を解く - Qiita>https://qiita.com/kai_notebook/items/58048b027ae48cb700cb]] 2022.3

-[[プロ棋士の谷合廣紀四段がBERTを使った将棋ソフトを作られました>http://yaneuraou.yaneu.com/2021/05/15/bert-mcts/]] 2021
--[[GitHub - nyoki-mtl/bert-mcts-youtube>https://github.com/nyoki-mtl/bert-mcts-youtube]]


*LLaMA [#e84ef279]
-[[GPT-3に匹敵するチャットAIモデル「LLaMA」をiPhoneやPixelなどのスマホで動かすことに成功 - GIGAZINE>https://gigazine.net/news/20230314-llama-iphone-pixel/]] 2023.3

-[[チャットAI「LLaMA」を一発でローカルにインストールして「文章の続きを書く機能」を試せる「Dalai」使い方まとめ - GIGAZINE>https://gigazine.net/news/20230314-dalai-llama/]] 2023.3

-[[Metaが大規模言語モデル「LLaMA」を発表、GPT-3に匹敵する性能ながら単体のGPUでも動作可能 - GIGAZINE>https://gigazine.net/news/20230227-llama-large-language-model-meta-ai/]] 2023.3

-[[「たった2行のコードで、自分のコンピューターでGPT-3、Chinchilla、PaLM級のモデル「LLaMa」を実行する方法が公開 / Twitter>https://twitter.com/Yamkaz/status/1635101889766494210]] 2023.3
トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS