ディープラーニング理論的な話

→ディープラーニング

一般†

• Hidden Beauty Behind Generative AI - YouTube 2025.4
  • 変分推論（Variational Inference: VI）と、その中心的概念であるエビデンス下限（Evidence Lower Bound: ELBO）について、基礎から解説

• プログラミングしながら学ぶ応用線形代数と深層学習（ディープラーニング） 2025.1
• 数学者が書いた深層学習講義 新井仁之 （早稲田大学） 2025.1

• 畳み込み | 確率の美しい演算 - YouTube 2024.3

• ニューラルネットワークの仕組み | Chapter 1, 深層学習（ディープラーニング） - YouTube 2023.12
• 誤差逆伝播法（バックプロパゲーション） | Chapter 3, ニューラルネットワークの仕組み - YouTube 2023.12
• 誤差逆伝播と微積分 | Chapter 4, ニューラルネットワークの仕組み - YouTube 2023.12

• [2102.10993] ニューラルネットワークの万能近似定理 (Universal Approximation Theorem for Neural Networks) 2024.12

• ニューラルネットワークによる回帰 近似 - YouTube 2022
  • 万能近似定理

• Probabilistic Machine Learning: An Introduction 2020

• 諸行無常。「世の中は最適解を求めて移ろうものである。ニューラルネットワークもまたしかりである。」by 琵琶法師。 #JavaScript - Qiita 2024.10

• JavaScript Neural Network Demos 2024.7
  • ニューラルネットの学習を視覚的なイメージで

• 【徹底解説】VAEをはじめからていねいに | Academaid 2023

• 【解説】人工ニューロンとは #Python - Qiita 2024.6

• 中学生でもわかる深層学習 - Speaker Deck 2024.3

• 3D Convolution 完全征服: Using PyTorch Conv3D 2024.11
• 畳み込みの仕組み | Convolution - YouTube 2024.1

• [初級編]LLMへ至る道~評価指標ってなに？~[5日目] | DevelopersIO 2032.12

• ゼロから作るDeep Learning ❺️ —生成モデル編 2023.11
  • oreilly-japan/deep-learning-from-scratch-5 2023.11

• グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで 2023.7

• 【まえがき公開】新しいアルゴリズムデザイン――近刊『モデルベース深層学習と深層展開』｜森北出版 2023.6

• Understanding Deep Learning 2023.2

• What is backpropagation really doing? | Chapter 3, Deep learning - YouTube 2017

• オープンハウス2019スライド.pdf - Google ドライブ 2022.7

• ディープラーニングで始めに知っておきたい理論の紹介｜SHIFT Group 技術ブログ｜note 2022.7
  • CNNと転移学習

• Awesome - Most Cited Deep Learning Papers | Curated list of awesome lists | Project-Awesome.org 2022.6

• 米素深層学習 | catla (@catla) on Speaker Deck 2022.4

• Softmax関数の説明 2021.11

• 畳み込みニューラルネットワークの処理についてアニメーションで解説する「Animated AI」 - GIGAZINE 2023.10
• 非エンジニアから「CNNって何よ」って聞かれたら、とりあえずこう説明したらいいんでない？という話 2019.9
• 畳み込みニューラルネットワークは何を見ているか 2019.8
• 畳み込みニューラルネットワークの最新研究動向 (〜2017) 2017.12.27

活性化関数†

• 活性化関数がよくわからん、という人 #DeepLearning - Qiita 2025.8
• [初級編]LLMへ至る道~活性化関数ってなにをしているの？~[3日目] | DevelopersIO 2023.12
• ［活性化関数］tanh関数（Hyperbolic tangent function： 双曲線正接関数）とは？：AI・機械学習の用語辞典 - ＠IT 2020

なぜ過学習にならずにうまくいくのか†

• 深層学習が多層の膨大なパラメータを学習できる雰囲気を理解する 2025.7

• 深層学習の原理を明らかにする試み/オープンハウス2019スライド.pdf - Google ドライブ 2023.5
  • 1.多層の謎：なぜ層を増やすと性能があがるのか？
  • 2.大パラメタの謎：なぜ過適合による精度低下がないのか？
  • 3.パラメタ学習の謎：なぜ多層なのにパラメタ学習できるのか

• DNNの学習がSGDでうまくいく理由を star-convex path として調査した論文を解説！ | DeepSquare 2022.5

勾配降下法,SGD†

• 機械学習における勾配降下法ベースのパラメータ最適化手法まとめ #初心者 - Qiita 2025.5
• 深層学習の仕組み, 勾配降下 | Chapter 2, 深層学習（ディープラーニング） - YouTube 2023.9
• 勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる 2018.2

交差エントロピー誤差†

• [初級編]LLMへ至る道~損失関数ってなにをしているの？~[2日目] | DevelopersIO 2023.12

• 交差エントロピー誤差とは - Cognicull 2022.4
• 交差エントロピーの ” 交差 ” と ” エントロピー ” の意味をまとめてみた 2022.1
  • 交差の意味の説明はちょっと違うのでは…
• 【機械学習入門用数学編】交差エントロピーの基本と求め方について | AIZINE（エーアイジン） 2021.10
• 交差エントロピーについて基本的な考え方をまとめてみました | アシアルブログ 2020
  • これが一番納得感のある説明かも
• 交差エントロピーを理解してみる - デジタル・デザイン・ラボラトリーな日々 2018
• 雑記： 交差エントロピーって何 2017.5

最新の50件