ディープラーニングの変更点

追加された行はこの色です。
削除された行はこの色です。
ディープラーニングへ行く。
ディープラーニングの差分を削除
#author("2024-01-31T14:22:26+09:00","default:irrp","irrp")
#author("2024-03-29T17:35:18+09:00","default:irrp","irrp")
→AI／機械学習

→自然言語処理

→データサイエンス

→数学・物理

#contents


*一般 [#aa2445d2]
-[[Python: 多様体学習 (Manifold Learning) を用いた次元縮約 - CUBE SUGAR CONTAINER>https://blog.amedama.jp/entry/2017/12/09/142655]] 2023.10

-[[LLM登場までの深層学習の歴史を振り返ってみた[後編]｜ONE CAREER Tech Blog>https://note.com/dev_onecareer/n/n92f5ec474554]] 2023.10

-[[The Neural Network Zoo - The Asimov Institute>https://www.asimovinstitute.org/neural-network-zoo/]] 2023.4

-[[DockerでのディープラーニングGPU学習環境構築方法 - Qiita>https://qiita.com/karaage0703/items/e79a8ad2f57abc6872aa]] 2023.3

-[[2022年の深層学習ハイライト - Qiita>https://qiita.com/shionhonda/items/7b2ef8855c271abaa02a]] 2023.2
--Block-NeRF,Multi-Game Decision Transformers,Transformerのスケーリング則,Cold Diffusion
--Robust Speech Recognition via Large-Scale Weak Supervision(Whisper)

-[[GitHub - Valkyrja3607/tuning_playbook_ja: ディープラーニングモデルの性能を体系的に最大化するためのプレイブック>https://github.com/Valkyrja3607/tuning_playbook_ja]] 2023.1

-[[Google Researchの神資料を読み解いてみる?【Deep Learning Tuning Playbook】 - Qiita>https://qiita.com/iykuetboo/items/d2975feb46627060b9a1]] 2023.1

-[[未学習のニューラルネットに隠された「当たりくじ」 - Qiita>https://qiita.com/zassou65535/items/17c58f102227691dc286]] 2022.12
--宝くじ仮説,Edge-popup algorithm

-[[Deep Learning Lecture Series 2020>https://www.deepmind.com/learning-resources/deep-learning-lecture-series-2020]] 2022.10
--DeepMindによる講義の動画

-[[nnabla ディープラーニングチャンネル - YouTube>https://www.youtube.com/c/nnabla]] 2022.10
--[[Deep Learning入門 - YouTube>https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3]] 2018
--[[【Deep Learning研修（発展）】データ生成・変換のための機械学習 - YouTube>https://www.youtube.com/playlist?list=PLbtqZvaoOVPB2WCoUt9VCsl7BQHRdhb8m]] 2022.3
--&ref(生成モデル学習手法.png);

-[[NVIDIA DLI Teaching Kits (JA-JP) | NVIDIA Developer>https://developer.nvidia.com/ja-jp/teaching-kits]] 2022.9

-[[深層学習 &#183; 深層学習>https://atcold.github.io/pytorch-Deep-Learning/ja/]] 2022.9
--DS-GA 1008 &#183; 2020年度春学期 &#183; ニューヨーク大学データ・サイエンス・センター
--この講義では、深層学習や表現学習の最新技術について、主に教師あり・教師なし深層学習、埋め込み手法、距離学習、畳み込み・再帰型ニューラルネットワークや、それらを用いたコンピュータビジョン、自然言語処理、音声認識などの応用技術を取り扱います。 この講義は「DS-GA 1001 Intro to Data Science」あるいは大学院レベルの機械学習科目をすでに履修していることを前提とします。

-[[Deep Learning入門：Recurrent Neural Networksとは？ - YouTube>https://www.youtube.com/watch?v=yvqgQZIUAKg&t=13s]] 2019

-[[Pythonで理解するディープラーニング入門 - Speaker Deck>https://speakerdeck.com/makaishi2/pythondeli-jie-surudeipuraninguru-men]] 2022.6

-[[オープンソースで作成する顔認証Web Server / 開発者向けブログ・イベント | GMO Developers>https://developers.gmo.jp/17430/]] 2022.5

-[[Tensorコアで深層学習モデルの学習を高速化してみた - Qiita>https://qiita.com/MotonobuHommi/items/f12a500d6c475ce59790]] 2022.3
--TensorコアとはNVIDIA社が開発した深層学習に特化した演算回路です。1回のクロックで複数の演算を同時に実行することで、演算の高速化を実現します。

-[[AIを作るAIを作る - GIGAZINE>https://gigazine.net/news/20220127-ai-builds-ai/]] 2022.1

-[[『ディープラーニング 学習する機械』は一人称で語られる壮大な物語にして、「AIの過去・現在・未来」の解説書 - 渋谷駅前で働くデータサイエンティストのブログ>https://tjo.hatenablog.com/entry/2021/12/14/100000]] 2021.12

-[[ディープラーニングの先端技術、マルチモーダルの日本語モデルを作ってみた【日本語VL-T5】 - Qiita>https://qiita.com/sonoisa/items/618ebcc3db1558c13038]] 2021.12

-[[ディープラーニング使って画像生成を行うレシピの紹介 - Qiita>https://qiita.com/Axross_SBiv/items/f48b8b7998dd76005984]] 2021.11

-[[Probabilistic Machine Learning: An Introduction>https://probml.github.io/pml-book/book1.html]] 2021.8

-[[D2L.ai: Interactive Deep Learning Book with Multi-Framework Code, Math, and Discussions>https://github.com/d2l-ai/d2l-en]] 

-[[DL4US コンテンツ公開ページ>https://weblab.t.u-tokyo.ac.jp/dl4us/]] 2019.5


-[[ディープラーニングを実装から学ぶ～ (まとめ１）実装は、実は簡単>https://qiita.com/Nezura/items/0a37e1746f2830e31ddc]] 2018.3

-[[ディープラーニングに入門するためのリソース集と学習法（2018年版）>https://qiita.com/keitakurita/items/df3a07135c9cfad810c7]] 2018.3.5

-[[深層学習の今のところの限界　何ができて　何ができないか>https://wirelesswire.jp/2018/01/63000/]] 2018.1.8
--クローズエンドな問題には最強だが、オープンエンドな問題には対応できない。

-[[府大生が趣味ではなくニューラルネットワークの認識精度世界一を奪還してしまった論文を読んだ>https://qiita.com/yu4u/items/a9fc529c85534eca11e5]] 2017.10.23

-[[Neural Network Console>https://dl.sony.com/ja/]] 
--Sony制の機械学習ツール
--[[ディープラーニング未経験だけどNeuralNetworkConsole入れてみた>http://qiita.com/gitdatsu/items/01e5a6eb56369e288d25]] 2017.8.19

-[[Labellio>https://www.labell.io/ja/]]
--ディープラーニングの技術で簡単に画像認識モデルを作成

-[[ゼロから作る Deep Learning 勉強メモ>http://qiita.com/rkosaka/items/35e61d5c9ceab78860bf]]

--[[ゼロから作るDeep Learning のサンプルソース>https://github.com/oreilly-japan/deep-learning-from-scratch]]

-[[2015年に大ブレイクした「Deep Learning」「ニューラルネットワーク」を開発現場視点で解説した無料の電子書籍>http://www.atmarkit.co.jp/ait/articles/1601/28/news022.html]] 2016.1.29

-[[「エンジニアは今すぐディープラーニングを学べ」松尾豊氏が見据える、日本がシリコンバレーを追い越す日>http://engineer.typemag.jp/article/takumi_matsuo]] 2015.7.8

-[[ディープラーニングとは何なのか？そのイメージをつかんでみる>http://credo.asia/2015/07/21/what-is-deep-learning/]] 2015.7.21
--分類させたいデータについて、どのようなパラメータで学習すれば精度が良くなるのかコンピュータ自身が最適化することを可能にした

-[[ニューラルネットの逆襲>http://research.preferred.jp/2012/11/deep-learning/]] 2012.11.3
--[[ニューラルネットの逆襲から５年後>https://research.preferred.jp/2017/11/]] 2017.11


-http://www.deeplearningbook.org/ 2017.6.14



*理論的な話 [#hdc4c21e]
-[[中学生でもわかる深層学習 - Speaker Deck>https://speakerdeck.com/e869120/zhong-xue-sheng-demowakarushen-ceng-xue-xi]] 2024.3

-[[畳み込みの仕組み | Convolution - YouTube>https://www.youtube.com/watch?v=CHx6uHnWErY]] 2024.1

-[[[初級編]LLMへ至る道~評価指標ってなに？~[5日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-05/]] 2032.12
-[[[初級編]LLMへ至る道~活性化関数ってなにをしているの？~[3日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-03/]] 2023.12

-[[ゼロから作るDeep Learning &#10106;&#65039; &#8212;生成モデル編>https://tree-radius-a8e.notion.site/Deep-Learning-1cca026e29834e5196727b97be5c371d]] 2023.11
--[[oreilly-japan/deep-learning-from-scratch-5>https://github.com/oreilly-japan/deep-learning-from-scratch-5]] 2023.11

-[[グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで>https://zenn.dev/kami/articles/83c2daff760f5d]] 2023.7

-[[深層学習の原理を明らかにする試み/オープンハウス2019スライド.pdf - Google ドライブ>https://drive.google.com/file/d/1bNN6VjsgdpJAqxvZ4EKAPpMGq9wfjHqf/view]] 2023.5
--1.多層の謎：なぜ層を増やすと性能があがるのか？
--2.大パラメタの謎：なぜ過適合による精度低下がないのか？
--3.パラメタ学習の謎：なぜ多層なのにパラメタ学習できるのか

-[[【まえがき公開】新しいアルゴリズムデザイン――近刊『モデルベース深層学習と深層展開』｜森北出版>https://note.com/morikita/n/n3654400c97aa]] 2023.6

-[[Understanding Deep Learning>https://udlbook.github.io/udlbook/]] 2023.2

-[[What is backpropagation really doing? | Chapter 3, Deep learning - YouTube>https://www.youtube.com/watch?v=Ilg3gGewQ5U]] 2017

-[[［活性化関数］tanh関数（Hyperbolic tangent function： 双曲線正接関数）とは？：AI・機械学習の用語辞典 - ＠IT>https://atmarkit.itmedia.co.jp/ait/articles/2003/19/news015.html]] 2020

-[[オープンハウス2019スライド.pdf - Google ドライブ>https://drive.google.com/file/d/1bNN6VjsgdpJAqxvZ4EKAPpMGq9wfjHqf/view]] 2022.7

-[[ディープラーニングで始めに知っておきたい理論の紹介｜SHIFT Group 技術ブログ｜note>https://note.com/shift_tech/n/n808ed4f301e2]] 2022.7
--CNNと転移学習

-[[Awesome - Most Cited Deep Learning Papers | Curated list of awesome lists | Project-Awesome.org>https://project-awesome.org/terryum/awesome-deep-learning-papers]] 2022.6

-[[DNNの学習がSGDでうまくいく理由を star-convex path として調査した論文を解説！ | DeepSquare>https://deepsquare.jp/2022/05/star-convex-path/]] 2022.5

-[[米素深層学習 | catla (@catla) on Speaker Deck>https://speakerdeck.com/catla]] 2022.4

-[[Softmax関数の説明>https://twitter.com/daiti_m/status/1454837277255815181]] 2021.11

-[[L1/L2正則化の意味【機械学習】 - YouTube>https://www.youtube.com/watch?v=3vfiMRjgzZ8]] 2022.9
-[[今更聞けないディープラーニングの話【ユニット・層・正則化・ドロップアウト】>http://s0sem0y.hatenablog.com/entry/2017/05/25/081912#%E5%AD%A6%E7%BF%92%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E5%81%BD%E7%89%A9%E3%81%AE%E8%A7%A3]] 2018.1
-[[機械学習で「分からん！」となりがちな正則化の図を分かりやすく解説>https://qiita.com/c60evaporator/items/784f0640004be4eefc51]] 2021.5

-[[畳み込みニューラルネットワークの処理についてアニメーションで解説する「Animated AI」 - GIGAZINE>https://gigazine.net/news/20231025-animated-ai/]] 2023.10
-[[非エンジニアから「CNNって何よ」って聞かれたら、とりあえずこう説明したらいいんでない？という話>https://www.randpy.tokyo/entry/cnn]] 2019.9

-[[畳み込みニューラルネットワークは何を見ているか>https://qiita.com/okn-yu/items/53bbff161c027dc04981]] 2019.8

-[[勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる>https://qiita.com/NaokiHamada/items/889c2e628505dc41e7a9]] 2018.2

-[[畳み込みニューラルネットワークの最新研究動向 (&#12316;2017)>https://qiita.com/yu4u/items/7e93c454c9410c4b5427]] 2017.12.27

-[[【書籍】深層学習の原理に迫る: 数学の挑戦 (岩波科学ライブラリー 303)>https://amzn.to/3GeEW3S]]


** 交差エントロピー誤差 [#l844b7aa]
-[[[初級編]LLMへ至る道~損失関数ってなにをしているの？~[2日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-02/]] 2023.12

-[[交差エントロピー誤差とは - Cognicull>https://cognicull.com/ja/evb1pj5y]] 2022.4
-[[交差エントロピーの ” 交差 ” と ” エントロピー ” の意味をまとめてみた>https://greencolor.net/ai%EF%BC%88%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%EF%BC%89/cross_entropy/]] 2022.1 
--交差の意味の説明はちょっと違うのでは…
-[[【機械学習入門用数学編】交差エントロピーの基本と求め方について | AIZINE（エーアイジン）>https://aizine.ai/cross-entropy1022/]] 2021.10
-[[交差エントロピーについて基本的な考え方をまとめてみました | アシアルブログ>https://blog.asial.co.jp/1666]] 2020
--これが一番納得感のある説明かも
-[[交差エントロピーを理解してみる - デジタル・デザイン・ラボラトリーな日々>https://yaju3d.hatenablog.jp/entry/2018/11/30/225841]] 2018
-[[雑記： 交差エントロピーって何>http://cookie-box.hatenablog.com/entry/2017/05/07/121607]] 2017.5



*PyTorch [#sadeef4a]
-[[【CNN】 学習済モデルによるCNN画像分類を試す！ - Qiita>https://qiita.com/kagami_t/items/60ee9d7f12ca0a593365]] 2023.5

-[[最短コースでPyTorchとディープラーニングを征服するためのツボ - Speaker Deck>https://speakerdeck.com/makaishi2/zui-duan-kosudepytorchto-deipuraninguwo-zheng-fu-surutamefalsetubo]] 2023.3

-[[ChatGPTにPyTorchの使い方を手鳥足取り教えてもらう方法>https://webbigdata.jp/post-17046/]] 2023.1

-[[labml.ai Annotated PyTorch Paper Implementations>https://nn.labml.ai/]] 2022.9

-[[クイックPyTorch入門 - Qiita>https://qiita.com/birdwatcher/items/e8ab9f6bba558759c106]] 2021

-[[【PyTorch 入門】PyTorch の次元操作 permute, transpose, reshape, view って何が違うの？ | キカガクの技術ブログ>https://blog.kikagaku.co.jp/pytorch1]] 2022.8

-[[PyTorchでCNNを徹底解説 - Qiita>https://qiita.com/mathlive/items/8e1f9a8467fff8dfd03c]] 2022.7

-[[深層学習フレームワーク「PyTorch Lightning」に入門してみました！ - CCCマーケティング TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2022/07/19/201433]] 2022.7

-[[PyTorchをいちから使い始めてみる (torch 1.5.0 CPUのみ) - Qiita>https://qiita.com/dl_from_scratch/items/7e533cbc138038d26214]] 2022.7

-[[GitHub - pytorch/tutorials: PyTorch tutorials.>https://github.com/pytorch/tutorials]] 2022.7

-[[PyTorchチュートリアル（日本語翻訳版）>https://yutaroogawa.github.io/pytorch_tutorials_jp/]] 2022.5

-[[真面目なプログラマのためのディープラーニング入門>https://euske.github.io/introdl/]] 2022.4
-[[PyTorchでの学習・推論を高速化するコツ集 - Qiita>https://qiita.com/sugulu_Ogawa_ISID/items/62f5f7adee083d96a587]] 2021.11



*TensorFlow [#l2c4521b]
-[[Windows 11へのTensorFlow 2.6.0（GPU版）のインストール | ジコログ>https://self-development.info/windows-11%e3%81%b8%e3%81%aetensorflow-2-6-0%ef%bc%88gpu%e7%89%88%ef%bc%89%e3%81%ae%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab/]] 2022.10

-[[Why TensorFlow for Python is dying a slow death | by Ari Joury, PhD | Sep, 2022 | Level Up Coding>https://levelup.gitconnected.com/why-tensorflow-for-python-is-dying-a-slow-death-ba4dafcb37e6]] 2022.9

-[[[小ネタ]同じMNISTでもデータの型が違う？ | DevelopersIO>https://dev.classmethod.jp/articles/check_mnist_data_type/]] 2022.8

-[[Kerasで学ぶAutoencoder>https://elix-tech.github.io/ja/2016/07/17/autoencoder.html]] 2023.10
-[[Keras(TensorFlow)のImageDataGeneratorをカスタマイズする | DevelopersIO>https://dev.classmethod.jp/articles/tensorflow-image-generator-custom/]] 2022.6

-[[StyleGAN2 ADAで作る見たことないF1車体画像 - Qiita>https://qiita.com/imais/items/d659818d381c74a90fc1]] 2021.12

-[[Tensorflowを超初心者向けに超わかりやすく解説（完成版コードあり）>https://qiita.com/kitune_g0n/items/e6b7be73021f5c02d3af]] 2021.8

-https://github.com/deepmind/trfl
--TRFL (pronounced "truffle") is a library built on top of TensorFlow that exposes several useful building blocks for implementing Reinforcement Learning agents.

-[[tensorflow 2.0 の紹介（日本語訳）>https://qiita.com/halhorn/items/09a64e98a02022e6ccc2]] 2018.10

-[[Swift For TensorFlow がオープンソースで公開>https://developers-jp.googleblog.com/2018/05/introducing-swift-for-tensorflow-b75722c58df0.html]]

-http://tensorflow.org/
--Googleの人工知能支援ツールがオープンソース化

-[[入門者向け解説】TensorFlowの基本構文とコンセプト>http://qiita.com/FukuharaYohei/items/0825c3518d8596c09396]] 2017.6.26

-[[TensorFlowのMNISTチュートリアルを画像入力に対応させた>http://qiita.com/JUN_NETWORKS/items/6514e017e89b9adbfb8d]] 2017.5.2

-[[畳み込み処理入門(TensorFlowで説明)>http://qiita.com/FukuharaYohei/items/702eb2430ee9dfbe763a]] 2017.7.17


-[[TensorFlowを投資につかうまで 衝撃のサンプル編>http://qiita.com/verizi/items/2685ed83b69a6830848e]] 2017.8.30


**Magenta [#u36020f7]

-[[機械学習・AI で音を作れる「Magenta」の JavaScript 版（Magenta.js）を p5.js Web Editor上で動かしてみる - Qiita>https://qiita.com/youtoy/items/32eedd5c5c9280fe3f0f]] 2021.11
-https://magenta.tensorflow.org/
--An open source research project exploring the role of machine learning as a tool in the creative process.



*その他のディープラーニング関連ツール [#le46040a]
-[[ディープラーニングモデルのオープンフォーマット「ONNX（Open Neural Network Exchange）」を使ってみる | 豆蔵デベロッパーサイト>https://developer.mamezou-tech.com/blogs/2023/02/01/onnx-01/]] 2023.2

-[[ディープラーニング初心者がOpenVINOを使ってみる（その１：インストール編） | 豆蔵デベロッパーサイト>https://developer.mamezou-tech.com/blogs/2023/01/09/openvino-01/]] 2023.1

-https://chainer.org/
--[[ディープラーニング入門 Chainer チュートリアル>https://tutorials.chainer.org/ja/]] 2019.4

-[[【関連書籍】ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 >https://amzn.to/3RZiiRL]]


*資格試験 [#w3054ad7]
-[[ギリギリの闘い：E資格合格までの道 - Qiita>https://qiita.com/vx120436101/items/c26f651a62303d278274]] 2023.9
ディープラーニング の変更点

ディープラーニングの変更点
