#author("2023-02-03T23:21:19+09:00","default:irrp","irrp")
#author("2023-02-04T13:24:29+09:00","default:irrp","irrp")
→AI／機械学習

→ディープラーニング

→自然言語処理

→Stable Diffusion関連
→画像認識／検出／トラッキング

#contents


*ChatGPT [#cdb422ff]
-[[月額2600円で使える有料版「ChatGPT Plus」がついに登場 - GIGAZINE>https://gigazine.net/news/20230202-chatgpt-plus/]] 2023.2

-[[ChatGPT生成の文章を検出する「DetectGPT」をスタンフォード大学が開発 - GIGAZINE>https://gigazine.net/news/20230130-detectgpt/]] 2023.1

-[[「ChatGPTの可能性や使い方がわかるnote記事を10個スレッドにまとめました👇」 / Twitter>https://twitter.com/shodaiiiiii/status/1618073678553681921]] 2023.1

-[[対話AI「ChatGPT」は教育現場で活躍するため禁止するのではなく使い方を教えるべきという指摘 - GIGAZINE>https://gigazine.net/news/20230117-chatgpt-school/]] 2023.1

-[[ChatGPTに共通テストの英語を解かせてみたら77%取れた>https://www.satoooh.org/blog/chatgpt-exam]] 2023.1

-[[VSCodeにChatGPTの拡張機能を入れてコードレビューやバグを発見してもらう - Qiita>https://qiita.com/tak001/items/c3000b3ce9b6e72b2ae5]] 2023.1
--[[VSCodeのChatGPTプラグインを日本語化する - Qiita>https://qiita.com/akiraak/items/b8ad643eafe1a32341ff]] 2023.1


-[[ChatGPTとは？始め方やアカウント登録・使い方を解説 - BTCC>https://www.btcc.com/ja-JP/academy/crypto-basics/what-is-chatgpt]] 2023.1

-[[GitHub - openai/openai-cookbook: Examples and guides for using the OpenAI API>https://github.com/openai/openai-cookbook]] 2023.1

-[[GitHub - f/awesome-chatgpt-prompts: This repo includes ChatGPT prompt curation to use ChatGPT better.>https://github.com/f/awesome-chatgpt-prompts]] 2023.1

-[[ChatGPTのヤバさは、論理処理が必要と思ったことが確率処理でできるとわかったこと - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/01/10/142544]] 2023.1

-[[IDEにChatGPTを統合、「この関数のテストコードはどこ？」「XXXを実装するならどう書けばいい？」など、AIでコードと対話できる「qqbot」登場 − Publickey>https://www.publickey1.jp/blog/23/idechatgptxxxaiqqbot.html]] 2023.1

-[[ChatGPTはソフトウェアエンジニアリングを変えるだろう ― しかし、あなたが望んでいるような仕方ではない | AI専門ニュースメディア AINOW>https://ainow.ai/2023/01/10/271486/]] 2023.1

-[[Best ChatGPT Resources 101>https://enchanting-trader-463.notion.site/Best-ChatGPT-Resources-101-94a7c6dbabcc4febbfb498c555d6ef5f]] 2023.1

-[[ChatGPTでの英文校正というチート：使い方・注意点まとめ - Riklog>https://riklog.com/research/chatgpt/]] 2023.1
-[[【活用事例】ChatGPTを利用したプログラミングの効率化 | ジコログ>https://self-development.info/%e3%80%90%e6%b4%bb%e7%94%a8%e4%ba%8b%e4%be%8b%e3%80%91chatgpt%e3%82%92%e5%88%a9%e7%94%a8%e3%81%97%e3%81%9f%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%9f%e3%83%b3%e3%82%b0%e3%81%ae%e5%8a%b9%e7%8e%87/]] 2023.1

-[[Running ChatGPT Locally using Docker Desktop - DEV Community 👩‍💻👨‍💻>https://dev.to/docker/running-chatgpt-locally-using-docker-desktop-2i31]] 2023.1

-[[ChatGPT使い方総まとめ - Qiita>https://qiita.com/sakasegawa/items/82069c97a1ee011c2d1e]] 2022.12

-[[PyChatGPT: Python Client for The Unofficial ChatGPT API>https://morioh.com/p/337c1ffce36f?f=5c21fb01c16e2556b555ab32&fbclid=IwAR0VVh_-6ylrLBW47Jvz1UryAzivBZAan2ciiIcsN36EkA-8GznqzkBIxvU]] 2022.12

-[[高度なチャットボット「ChatGPT」は検索エンジンを置き換える！！Googleは創業以来の危機に直面 | Emerging Technology Review>https://etechnologyreview.com/2022/12/16/%e9%ab%98%e5%ba%a6%e3%81%aa%e3%83%81%e3%83%a3%e3%83%83%e3%83%88%e3%83%9c%e3%83%83%e3%83%88%e3%80%8cchatgpt%e3%80%8d%e3%81%af%e6%a4%9c%e7%b4%a2%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3%e3%82%92%e7%bd%ae/]] 2022.12

-[[ChatGPTさんに企画候補・企画書の生成・コーディングまでやってもらった (小説風) - Qiita>https://qiita.com/alclimb/items/91d9183aed12fd6db4f8]] 2022.12

-[[ChatGPT 人間のフィードバックから強化学習した対話AI>https://www.slideshare.net/ShotaImai3/chatgpt-254863623]] 2022.12

-[[ChatGPTの学習データと学習方法が知りたい！ 〜Q.埼玉県沖で採れるウニはいくらですか？ A.ウニはいくらではない。〜 - GMOインターネットグループ グループ研究開発本部（次世代システム研究室）>https://recruit.gmo.jp/engineer/jisedai/blog/chatgpt_please_tell_me_uni_ikura/]] 2023.1
-[[話題爆発中のAI「ChatGPT」の仕組みにせまる！ - Qiita>https://qiita.com/omiita/items/c355bc4c26eca2817324]] 2022.12

-[[ChatGPTにおけるチャットログの自動保存【Python】 | ジコログ>https://self-development.info/chatgpt%e3%81%ab%e3%81%8a%e3%81%91%e3%82%8b%e3%83%81%e3%83%a3%e3%83%83%e3%83%88%e3%83%ad%e3%82%b0%e3%81%ae%e8%87%aa%e5%8b%95%e4%bf%9d%e5%ad%98%e3%80%90python%e3%80%91/]] 2022.12
-[[PythonからChatGPTにアクセスできるPyChatGPTのインストール | ジコログ>https://self-development.info/python%e3%81%8b%e3%82%89chatgpt%e3%81%ab%e3%82%a2%e3%82%af%e3%82%bb%e3%82%b9%e3%81%a7%e3%81%8d%e3%82%8bpychatgpt%e3%81%ae%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab/]] 2022.12

-[[ChatGPTはどのように学習を行なっているのか>https://zenn.dev/ttya16/articles/chatgpt20221205]] 2022.12

-[[ChatGPTを速報解説してみた - 神戸のデータ活用塾！KDL Data Blog>https://kdl-di.hatenablog.com/entry/Bulletin-ChatGPT]] 2022.12

-[[ChatGPT使い方総まとめ - Qiita>https://qiita.com/sakasegawa/items/82069c97a1ee011c2d1e]] 2022.12

-[[Quickstart tutorial - OpenAI API>https://beta.openai.com/docs/quickstart]] 2023.1

-API Key を取得するには https://beta.openai.com/account/api-keys へアクセスする。



* GPT一般 [#l9bc9c4d]
-[[GPT Index の使用方法｜npaka｜note>https://note.com/npaka/n/n6a2b39b7da7c]] 2023.1
--「GPT Index」は、LLMと外部データを簡単に接続できるインデックスを作成するためのライブラリです。

-[[言語の壁を打ち破る：GPT with 多言語インデックス - Qiita>https://qiita.com/yakigac/items/d350ec3c94f2c640c3cf]] 2023.2

-[[How Does GPT-3 Work? - DEV Community 👩‍💻👨‍💻>https://dev.to/deepgram/how-does-gpt-3-work-hco]] 2023.1

-[[FAQチャットボット開発に役立つGPT Indexのインストール | ジコログ>https://self-development.info/faq%e3%83%81%e3%83%a3%e3%83%83%e3%83%88%e3%83%9c%e3%83%83%e3%83%88%e9%96%8b%e7%99%ba%e3%81%ab%e5%bd%b9%e7%ab%8b%e3%81%a4gpt-index%e3%81%ae%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab/]] 2023.1

-[[TypeScriptでGPT-3.5を使ってChatGPTクローンを作る1 - GPTで検索エージェント>https://zenn.dev/erukiti/articles/deno-chatgpt-clone-1]] 2023.1

-[[OpenAI API で提供されている GPT-3モデル まとめ｜npaka｜note>https://note.com/npaka/n/nef372ec2e33a]] 2023.1

-[[GPT-3の論文を読んでいます！ - CCCMKホールディングス TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2022/12/28/094423]] 2022.12
--"GPT-3"は"Transformer"をベースにしたモデルで、その特徴はその中に含まれる巨大なパラメータ数にあります。そのパラメータ数は175Billion, つまり1,750億になるそうです。"GPT"が117Million(1億1,700万)、"GPT-2"が1,542Million(15億4,200万)のパラメータで構成されている

-[[OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説 - GIGAZINE>https://gigazine.net/news/20221212-gpt-3-architecture/]] 2022.12

-[[【無料】GPT-3レベルのGoogle製Flan-T5を利用する方法 | ジコログ>https://self-development.info/%e3%80%90%e7%84%a1%e6%96%99%e3%80%91gpt-3%e3%83%ac%e3%83%99%e3%83%ab%e3%81%aegoogle%e8%a3%bdflan-t5%e3%82%92%e5%88%a9%e7%94%a8%e3%81%99%e3%82%8b%e6%96%b9%e6%b3%95/]] 2022.11

-[[ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog>https://tech-blog.abeja.asia/entry/abeja-gpt-project-202207]] 2022.7

-[[13億パラメータの日本語特化GPT言語モデルを使ってSlackAIチャットボットを作ってみた1〜文章生成機能編〜 - Qiita>https://qiita.com/milky04/items/24d7d2abf90e90417d93]] 2022.7

-[[【備忘録】Pythonで自然言語処理の学習を始めるにあたって参考にしたサイト - Qiita>https://qiita.com/ama_aki/items/59aa012db7b5ce81f6e5]] 2022.7
--GPT2, GPT3
-[[GPT-2を使ってポケモン図鑑の説明文生成器を作ってみた - Qiita>https://qiita.com/Napier1550/items/0edf1613ef4f213dc875]] 2022.5


* Transformer一般 [#e422cd4b]
-[[画像や文章の生成などを行う「ジェネレーティブAI」はなぜ急に発展したのか？ - GIGAZINE>https://gigazine.net/news/20230202-generative-ai-revolution/]] 2023.2
--プログラミング言語としてのトレーニングから、自然言語処理(NLP)を用いた「コードではなく言語を理解」する学習法に推移していく段階でRNNやLSTMが用いられていましたが、近年まで「言語の処理では単語の順序が重要な違いを生む」点や、「適切なトレーニングデータを取得するのが難しい」という点で、長い文章の処理を行えなかった
--そこで突破口となったのがGoogleの「Transformer」で、RNNよりも言語理解タスクに秀でたニューラルネットワークアーキテクチャとして質の高い翻訳に成功しました。翻訳には言語ごとの語順が重要で、それがTransformerには当然に組み込まれていたため、Transformerが用いた「位置エンコーディング」「マルチヘッドアテンション」という処理法が言語処理のブレイクスルーとして機能した
--言語モデルにおける大きな転換点は、翻訳のために作られた驚くべきモデルを利用する事で、言語処理タスクが抱えていた問題を翻訳の問題に変換する方法を見つけ出したこと
--Transformerはある言語から別の言語に変換する翻訳モデルとして発明されましたが、画像など他のパラメータを言語と同様の方法で表現する方法を理解できれば、そこにあるルールを見つけ出して別の言語にマッピングするTransformerの能力を訓練して、翻訳を行うことができます。こうして「画像から特徴を抽出し、潜在表現と呼ばれる低次元表現に圧縮し、細かいポイントを軸として座標に表す」といったアプローチが可能になりました。


-時系列処理が必要なRNNは並列化と相性が悪いのでAttentionに全振りしたのがTransformer
-自己注意機能により系列データを一括同時処理可能になった。RNNでは逐次計算が必要、また離れた単語の関係づけできず長文理解が難しかった。
--GPUフレンドリで容易に並列化可能→学習の高速化、劇的な学習時間短縮を実現
--入力シーケンス全体を考慮可能
--CV(Computer Vision)タスクへの応用もあり→画像認識／検出／トラッキング

-[[「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する (1/3)|CodeZine（コードジン）>https://codezine.jp/article/detail/16860]] 2022.12
--&ref(Transformerよくある図.png);

-[[Vision Transformer入門をもっと楽しむために - Speaker Deck>https://speakerdeck.com/sei88888/vision-transformerru-men-womotutole-simutameni]] 2022.12

-[[Transformerのモデル、"T5"について調べてみました！ - CCCMKホールディングス TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2022/12/13/125045]] 2022.12

-[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】>https://zenn.dev/ttya16/articles/ce89dcab833d32cadb39]] 2021.6
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part2】>https://zenn.dev/ttya16/articles/329ec9e7c79634893271]] 2021.6
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part3】>https://zenn.dev/ttya16/articles/8b9d19d87065c579bccb]] 2021.7
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part4】>https://zenn.dev/ttya16/articles/3c51001f9e6d4b0ecc0b]] 2021.7
--[[Hugging Face Courseで学ぶ自然言語処理とTransformer 【part5】>https://zenn.dev/ttya16/articles/0e3e1bff645f161fb4d7]] 2021.7


-[[図で理解するTransformer - Qiita>https://qiita.com/birdwatcher/items/b3e4428f63f708db37b7]] 2021.5

-[[[2207.09238] Formal Algorithms for Transformers>https://arxiv.org/abs/2207.09238]] 2022.7

-[[CS25 I Stanford Seminar - Transformers United: DL Models that have revolutionized NLP, CV, RL - YouTube>https://www.youtube.com/watch?v=P127jhj-8-Y&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM]] 2022.7

-[[Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜 - Speaker Deck>https://speakerdeck.com/yushiku/20220608_ssii_transformer]] 2022.7

-[[自然言語処理の必須知識 Transformer を徹底解説！ | DeepSquare>https://deepsquare.jp/2020/07/transformer/]] 2022.3

-[[深層学習界の大前提Transformerの論文解説！ - Qiita>https://qiita.com/omiita/items/07e69aef6c156d23c538]] 2019
--アーキテクチャのポイントは以下の3つだよ。
---エンコーダー-デコーダモデル
---Attention
---全結合層
--NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデル だから理解必須

**Attention [#i003e997]

-[[Pay Attention To 生成モデル - Qiita>https://qiita.com/maechanneler/items/7fa7255e73c02bff490e]] 2022.9

-[[最近のDeep Learning (NLP) 界隈におけるAttention事情>https://www.slideshare.net/yutakikuchi927/deep-learning-nlp-attention]] 2022.3

-[[作って理解する Transformer / Attention - Qiita>https://qiita.com/halhorn/items/c91497522be27bde17ce]] 2018

-[[[1706.03762] Attention Is All You Need>https://arxiv.org/abs/1706.03762]] 2017


**PaLM [#eff95934]
-超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能

-[[Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review>https://etechnologyreview.com/2022/04/29/google%E3%81%AF%E4%B8%96%E7%95%8C%E6%9C%80%E5%A4%A7%E8%A6%8F%E6%A8%A1%E3%81%AEai%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB%E3%80%8Cpalm%E3%80%8D%E3%82%92%E9%96%8B%E7%99%BA%E3%80%81%E8%A8%80/#:~:text=Google%E3%81%AF%E4%B8%96%E7%95%8C%E5%A4%A7%E8%A6%8F%E6%A8%A1,%E3%83%96%E3%83%AC%E3%83%BC%E3%82%AF%E3%82%B9%E3%83%AB%E3%83%BC%E3%82%92%E9%81%94%E6%88%90%E3%81%97%E3%81%9F%E3%80%82]] 2022.7


* BERT [#c4fb7787]
-Transformerから発展。大量の汎用テキストデータで事前学習→タスクに合わせて追加学習
-文章のマスクと復元という自己教師学習によりラベルなし文章を学習に適用可能
-双方向モデル、単語の前後から文脈を把握

-[[自然言語処理モデル(BERT)で文の意味上の類似度を計算 | GMOアドパートナーズ TECH BLOG byGMO>https://techblog.gmo-ap.jp/2022/12/21/bert_calc_sentence_similarity/]] 2022.12

-[[BERT 自然言語解析手法の変遷について - MONEX ENGINEER BLOG │マネックス エンジニアブログ>https://blog.tech-monex.com/entry/2022/08/19/183846]] 2022.8

-[[【やってみた】BERTにブログの特徴を教えてもらってみた - 神戸のデータ活用塾！KDL Data Blog>https://kdl-di.hatenablog.com/entry/2022/08/08/090000]] 2022.8

-[[文章からLGTM数を予測して「バズる記事」を判別してみた - Qiita>https://qiita.com/pyopp8128/items/2cb0edabaf94e9385871]] 2022.6
--BERTのファインチューニングにより、Qiita中の記事がLGTM>100かどうか判別する2クラス分類深層学習モデルを作成したよ

-[[BERT入門>https://www.slideshare.net/matsukenbook/bert-217710964]] 2022.6

-[[BERT Research - Ep. 1 - Key Concepts & Sources - YouTube>https://www.youtube.com/watch?v=FKlPCK1uFrc]] 2019
-[[自然言語処理モデル「BERT」の日本語版事前学習モデルが無償公開 商用利用も可>https://ledge.ai/bert-free-learning-model-in-japanese/]] 2022.4
--[[インフォマティクス、BERT日本語版事前学習モデルを公開｜株式会社インフォマティクスのプレスリリース>https://prtimes.jp/main/html/rd/p/000000068.000034332.html]] 2022.4
--[[GitHub - informatix-inc/bert>https://github.com/informatix-inc/bert]]

-[[BERTとベクトル検索を用いたYahoo!ショッピングの製品名寄せ作業の効率化検証 - Yahoo! JAPAN Tech Blog>https://techblog.yahoo.co.jp/entry/2022040630294096/]] 2022.4
-[[BERTを用いて文章の穴埋め問題を解く - Qiita>https://qiita.com/kai_notebook/items/58048b027ae48cb700cb]] 2022.3
トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS