ディープラーニングの履歴(No.24) - 技術情報Wiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ] [ Twitter ]

→AI／機械学習

→自然言語処理

→データサイエンス

→数学・物理

一般
理論的な話
- 交差エントロピー誤差
PyTorch
TensorFlow
- Magenta
その他のディープラーニング関連ツール

一般†

The Neural Network Zoo - The Asimov Institute 2023.4

DockerでのディープラーニングGPU学習環境構築方法 - Qiita 2023.3

2022年の深層学習ハイライト - Qiita 2023.2
- Block-NeRF,Multi-Game Decision Transformers,Transformerのスケーリング則,Cold Diffusion
- Robust Speech Recognition via Large-Scale Weak Supervision(Whisper)

GitHub - Valkyrja3607/tuning_playbook_ja: ディープラーニングモデルの性能を体系的に最大化するためのプレイブック 2023.1

Google Researchの神資料を読み解いてみる?【Deep Learning Tuning Playbook】 - Qiita 2023.1

未学習のニューラルネットに隠された「当たりくじ」 - Qiita 2022.12
- 宝くじ仮説,Edge-popup algorithm

Deep Learning Lecture Series 2020 2022.10
- DeepMindによる講義の動画

nnabla ディープラーニングチャンネル - YouTube 2022.10

NVIDIA DLI Teaching Kits (JA-JP) | NVIDIA Developer 2022.9

深層学習 · 深層学習 2022.9
- DS-GA 1008 · 2020年度春学期 · ニューヨーク大学データ・サイエンス・センター
- この講義では、深層学習や表現学習の最新技術について、主に教師あり・教師なし深層学習、埋め込み手法、距離学習、畳み込み・再帰型ニューラルネットワークや、それらを用いたコンピュータビジョン、自然言語処理、音声認識などの応用技術を取り扱います。この講義は「DS-GA 1001 Intro to Data Science」あるいは大学院レベルの機械学習科目をすでに履修していることを前提とします。

Deep Learning入門：Recurrent Neural Networksとは？ - YouTube 2019

Pythonで理解するディープラーニング入門 - Speaker Deck 2022.6

オープンソースで作成する顔認証Web Server / 開発者向けブログ・イベント | GMO Developers 2022.5

Tensorコアで深層学習モデルの学習を高速化してみた - Qiita 2022.3
- TensorコアとはNVIDIA社が開発した深層学習に特化した演算回路です。1回のクロックで複数の演算を同時に実行することで、演算の高速化を実現します。

AIを作るAIを作る - GIGAZINE 2022.1

『ディープラーニング学習する機械』は一人称で語られる壮大な物語にして、「AIの過去・現在・未来」の解説書 - 渋谷駅前で働くデータサイエンティストのブログ 2021.12

ディープラーニングの先端技術、マルチモーダルの日本語モデルを作ってみた【日本語VL-T5】 - Qiita 2021.12

ディープラーニング使って画像生成を行うレシピの紹介 - Qiita 2021.11

Probabilistic Machine Learning: An Introduction 2021.8

D2L.ai: Interactive Deep Learning Book with Multi-Framework Code, Math, and Discussions

DL4US コンテンツ公開ページ 2019.5

ディープラーニングを実装から学ぶ～ (まとめ１）実装は、実は簡単 2018.3

ディープラーニングに入門するためのリソース集と学習法（2018年版） 2018.3.5

深層学習の今のところの限界　何ができて　何ができないか 2018.1.8
- クローズエンドな問題には最強だが、オープンエンドな問題には対応できない。

府大生が趣味ではなくニューラルネットワークの認識精度世界一を奪還してしまった論文を読んだ 2017.10.23

Neural Network Console
- Sony制の機械学習ツール
- ディープラーニング未経験だけどNeuralNetworkConsole入れてみた 2017.8.19

Labellio
- ディープラーニングの技術で簡単に画像認識モデルを作成

ゼロから作る Deep Learning 勉強メモ

ゼロから作るDeep Learning のサンプルソース

2015年に大ブレイクした「Deep Learning」「ニューラルネットワーク」を開発現場視点で解説した無料の電子書籍 2016.1.29

「エンジニアは今すぐディープラーニングを学べ」松尾豊氏が見据える、日本がシリコンバレーを追い越す日 2015.7.8

ディープラーニングとは何なのか？そのイメージをつかんでみる 2015.7.21
- 分類させたいデータについて、どのようなパラメータで学習すれば精度が良くなるのかコンピュータ自身が最適化することを可能にした

ニューラルネットの逆襲 2012.11.3
- ニューラルネットの逆襲から５年後 2017.11

http://www.deeplearningbook.org/ 2017.6.14

理論的な話†

深層学習の原理を明らかにする試み/オープンハウス2019スライド.pdf - Google ドライブ 2023.5
- 1.多層の謎：なぜ層を増やすと性能があがるのか？
- 2.大パラメタの謎：なぜ過適合による精度低下がないのか？
- 3.パラメタ学習の謎：なぜ多層なのにパラメタ学習できるのか

【まえがき公開】新しいアルゴリズムデザイン――近刊『モデルベース深層学習と深層展開』｜森北出版 2023.6

Understanding Deep Learning 2023.2

What is backpropagation really doing? | Chapter 3, Deep learning - YouTube 2017

［活性化関数］tanh関数（Hyperbolic tangent function：双曲線正接関数）とは？：AI・機械学習の用語辞典 - ＠IT 2020

オープンハウス2019スライド.pdf - Google ドライブ 2022.7

ディープラーニングで始めに知っておきたい理論の紹介｜SHIFT Group 技術ブログ｜note 2022.7
- CNNと転移学習

Awesome - Most Cited Deep Learning Papers | Curated list of awesome lists | Project-Awesome.org 2022.6

DNNの学習がSGDでうまくいく理由を star-convex path として調査した論文を解説！ | DeepSquare 2022.5

米素深層学習 | catla (@catla) on Speaker Deck 2022.4

Softmax関数の説明 2021.11

非エンジニアから「CNNって何よ」って聞かれたら、とりあえずこう説明したらいいんでない？という話 2019.9

畳み込みニューラルネットワークは何を見ているか 2019.8

勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる 2018.2

畳み込みニューラルネットワークの最新研究動向 (〜2017) 2017.12.27

【書籍】深層学習の原理に迫る: 数学の挑戦 (岩波科学ライブラリー 303)

交差エントロピー誤差†

交差エントロピー誤差とは - Cognicull 2022.4
交差エントロピーの ” 交差 ” と ” エントロピー ” の意味をまとめてみた 2022.1
- 交差の意味の説明はちょっと違うのでは…
【機械学習入門用数学編】交差エントロピーの基本と求め方について | AIZINE（エーアイジン） 2021.10
交差エントロピーについて基本的な考え方をまとめてみました | アシアルブログ 2020
- これが一番納得感のある説明かも
交差エントロピーを理解してみる - デジタル・デザイン・ラボラトリーな日々 2018
雑記：交差エントロピーって何 2017.5

PyTorch†

【CNN】学習済モデルによるCNN画像分類を試す！ - Qiita 2023.5

最短コースでPyTorchとディープラーニングを征服するためのツボ - Speaker Deck 2023.3

ChatGPTにPyTorchの使い方を手鳥足取り教えてもらう方法 2023.1

labml.ai Annotated PyTorch Paper Implementations 2022.9

クイックPyTorch入門 - Qiita 2021

【PyTorch 入門】PyTorch の次元操作 permute, transpose, reshape, view って何が違うの？ | キカガクの技術ブログ 2022.8

PyTorchでCNNを徹底解説 - Qiita 2022.7

深層学習フレームワーク「PyTorch Lightning」に入門してみました！ - CCCマーケティング TECH Labの Tech Blog 2022.7

PyTorchをいちから使い始めてみる (torch 1.5.0 CPUのみ) - Qiita 2022.7

GitHub - pytorch/tutorials: PyTorch tutorials. 2022.7

PyTorchチュートリアル（日本語翻訳版） 2022.5

TensorFlow†

Windows 11へのTensorFlow 2.6.0（GPU版）のインストール | ジコログ 2022.10

Why TensorFlow for Python is dying a slow death | by Ari Joury, PhD | Sep, 2022 | Level Up Coding 2022.9

[小ネタ]同じMNISTでもデータの型が違う？ | DevelopersIO 2022.8

Keras(TensorFlow)のImageDataGeneratorをカスタマイズする | DevelopersIO 2022.6

StyleGAN2 ADAで作る見たことないF1車体画像 - Qiita 2021.12

Tensorflowを超初心者向けに超わかりやすく解説（完成版コードあり） 2021.8

https://github.com/deepmind/trfl
- TRFL (pronounced "truffle") is a library built on top of TensorFlow that exposes several useful building blocks for implementing Reinforcement Learning agents.

tensorflow 2.0 の紹介（日本語訳） 2018.10

Swift For TensorFlow がオープンソースで公開

http://tensorflow.org/
- Googleの人工知能支援ツールがオープンソース化

入門者向け解説】TensorFlowの基本構文とコンセプト 2017.6.26

TensorFlowのMNISTチュートリアルを画像入力に対応させた 2017.5.2

畳み込み処理入門(TensorFlowで説明) 2017.7.17

TensorFlowを投資につかうまで衝撃のサンプル編 2017.8.30

Magenta†

機械学習・AI で音を作れる「Magenta」の JavaScript 版（Magenta.js）を p5.js Web Editor上で動かしてみる - Qiita 2021.11
https://magenta.tensorflow.org/
- An open source research project exploring the role of machine learning as a tool in the creative process.

その他のディープラーニング関連ツール†

ディープラーニングモデルのオープンフォーマット「ONNX（Open Neural Network Exchange）」を使ってみる | 豆蔵デベロッパーサイト 2023.2

ディープラーニング初心者がOpenVINOを使ってみる（その１：インストール編） | 豆蔵デベロッパーサイト 2023.1

https://chainer.org/
- ディープラーニング入門 Chainer チュートリアル 2019.4

【関連書籍】ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装