Transformer理論的説明

→大規模言語モデル

→Transformer

一般†

• Transformerアーキテクチャの変遷 ~Attention is All You Needからgpt-ossまで~ 2026.1

• afshinea/stanford-cme-295-transformers-large-language-models: VIP cheatsheet for Stanford's CME 295 Transformers and Large Language Models 2025.9

• 【Apple最新論文】LLMは本当に「思考」しているのか？ - YouTube 2025.6

• Transformerと仲良くなりたい #自然言語処理 - Qiita 2024.12

• トランスフォーマーは RNN である - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ 2024.9

• 東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理 - Speaker Deck 2024.8
  • 各モデルの変遷が比較的わかりやすく概説されている

• Transformer Explainer 2024.8

• 生成AI、自然言語処理を学ぶための無料コンテンツと一部書籍 #機械学習 - Qiita 2024.6

• Transformer - Speaker Deck 2022

• Transformersによる自然言語処理の実践 - YouTube 2024.4

• ASCII.jp：「ExcelでChatGPTを再現するシート」が想像以上に素晴らしかった (1/4) 2024.3
• 大規模言語モデルの動作をExcelで完全に再現することでプログラミングをせずにAIの構造を学習できるシートが登場 - GIGAZINE 2024.3

• 大規模言語モデル第二回 Transformer - Speaker Deck 2024.1

• Transformerとは何か？ 「ChatGPT」や「Gemini」を生み出した超重要技術の進化 ｜ビジネス+IT 2024.1

• Python(PyTorch)で自作して理解するTransformer 2022

• [上級編]LLMへ至る道~TransoformerのEncoderって何をエンコードするの？~[17日目] | DevelopersIO 2023.12

• [上級編]LLMへ至る道~Transformerは何をするのか~[15日目] | DevelopersIO 2023.12

• Transformer メタサーベイ | PPT 2021

• AI界を席巻する「Transformer」をゆっくり解説(1日目) 〜Abstract編〜 2021
  • AI界を席巻する「Transformer」をゆっくり解説(3日目) 〜Model Architecture編 1〜

• 大規模言語モデル - Speaker Deck 2023.9

• ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog 2023.7
  • ChatGPT の仕組みを理解する（後編） - ABEJA Tech Blog 2023.7

• 深層学習の革命児！Transformer を今こそ理解しよう | キカガクの技術ブログ 2023.6

• ChatGPTにも使われる機械学習モデル「Transformer」が自然な文章を生成する仕組みとは？ - GIGAZINE 2023.4

• Transformerの構造を理解したい - Qiita 2023.4

• 【5分で解説】AI進化のきっかけになったTransformerとは！？Attention層とは？｜スタビジ 2023.3

• GPTの仕組みと限界についての考察（2.1） - conceptualization 2023.3
  • GPTの解説記事を読んだ上での個人的補足とChatGPTの手軽な利用例について触れてみた | DevelopersIO 2023.3

• 全力解説！Transformer 2023.3

• A Gentle Introduction to Positional Encoding in Transformer Models, Part 1 - MachineLearningMastery.com 2023.3
  • 前処理で行っている単語位置情報のエンコーディング

• (数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門 2023.2

• 【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説 - すえつぐのNLP&G 2023.2

• ネットワーク分析から直感的に理解するTransformerの仕組みと処理の流れ - あつまれ統計の森 2023.2

• 30分で完全理解するTransformerの世界 2023.2
  • ※一見入門ぽいタイトルだが本格的な説明であり入門解説ではない。ある程度分かっている人の復習用

• 「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する (1/3)|CodeZine（コードジン） 2022.12
  • 

• Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜 - Speaker Deck 2022.7

• [2207.09238] Formal Algorithms for Transformers 2022.7

• 最近のDeep Learning (NLP) 界隈におけるAttention事情 2022.3

• 自然言語処理の必須知識 Transformer を徹底解説！ | DeepSquare 2022.3

• Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】 2021.6
  • Hugging Face Courseで学ぶ自然言語処理とTransformer 【part2】 2021.6
  • Hugging Face Courseで学ぶ自然言語処理とTransformer 【part3】 2021.7
  • Hugging Face Courseで学ぶ自然言語処理とTransformer 【part4】 2021.7
  • Hugging Face Courseで学ぶ自然言語処理とTransformer 【part5】 2021.7

• Transformerにおける相対位置エンコーディングを理解する。 #機械学習 - Qiita 2021.10

• 図で理解するTransformer - Qiita 2021.5

• 深層学習界の大前提Transformerの論文解説！ - Qiita 2019
  • Transformerは基本的な大枠はエンコーダ-デコーダモデルでself-attention層とPosition-wise全結合層を使用していることが特徴。
  • つまり、以下の3つ(+2つ)のことが分かればモデル構造が理解できる
    • エンコーダー-デコーダモデル
    • Attention
    • Position-wise全結合層
    • 文字の埋め込みとソフトマックス
    • 位置エンコーディング
  • NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデル だから理解必須

• 作って理解する Transformer / Attention - Qiita 2018

• The Illustrated Transformer 2018

Attention/注意機構†

• Attention再入門 is all you need 2026.1

• LLM のアテンションと外挿 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ 2025.9

• Linear Transformerについて 2025.2

• TransformerのSelf-Attentionをわかりやすく理解できないものだろうか？-Part1 #AI - Qiita 2025.1

• Attentionと類似度は異なるという話 2024.8

• GPT解説2 アテンションの仕組み (Attention, Transformer) | Chapter6, 深層学習 - YouTube 2024.6

• 注目の可視化、変幻自在の心臓｜第6章 ディープ・ラーニング - YouTube 2024.4

• GPU と FlashAttension をちゃんと理解したい 2024

• [上級編]LLMへ至る道~画期的な機構！Attentionさん~[16日目] | DevelopersIO 2023.12

• LLMファインチューニングのためのNLPと深層学習入門 #6 マルチヘッドアテンション｜Sakusakumura 2023.7

• ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」 - GIGAZINE 2023.5
  • http://attentionviz.com/

• ChatGPT先生に教わりながら「Transformerの肝」である「注意機構（Attention機構）」を可視化する | 豆蔵デベロッパーサイト 2023.3

• ざっくり理解する分散表現, Attention, Self Attention, Transformer - Qiita 2020

• 【深層学習】Transformer - Multi-Head Attentionを理解してやろうじゃないの【ディープラーニングの世界vol.28】#106 #VRアカデミア #DeepLearning - YouTube 2023.3

• 【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning - YouTube 2021

• Pay Attention To 生成モデル - Qiita 2022.9

• Deep Learning入門：Attention（注意） - YouTube 2020

• Transformer誕生物語｜Attention is All You Need - YouTube 2024.7
• 【論文】"Attention is all you need"の解説 2019

• 論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ 2017
  • [1706.03762] Attention Is All You Need 2017

Encoder explained†

• https://x.com/rfeers/status/1836344502543618385
• 

Decorder explained†

• Josep Ferrerさん: 「The Transformer's decoder clearly explained 2024.9
• 

3Blue1Brownによる解説†

• LLMはどう知識を記憶しているか | Chapter 7, 深層学習 - YouTube 2024.10
• 注目の可視化、変幻自在の心臓｜第6章 ディープ・ラーニング - YouTube 2024.4
  • （日本語訳）GPT解説2 アテンションの仕組み (Attention, Transformer) | Chapter6, 深層学習 - YouTube 2024.6
• しかし、GPTとは何なのか？ トランスフォーマーのビジュアル入門｜ディープラーニング・第5章 - YouTube 2024.4
  • （日本語訳）GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning - YouTube 2024.5

最新の50件