![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2024-01-10T22:15:26+09:00","default:irrp","irrp") #author("2024-01-11T09:31:35+09:00","default:irrp","irrp") →自然言語処理 →Transformer →ディープラーニング #contents -GPT=Generative Pretrained Transformer *サブトピック [#i9d619a9] -OpenAIのAPI -LLMライブラリ（LangChain/LlamaIndexなど） -ChatGPT関連 *GPT-4/4V [#sf095d1d] -[[GPT-4Vに色々な書類の読み取りをさせてみる - GMOインターネットグループ グループ研究開発本部>https://recruit.gmo.jp/engineer/jisedai/blog/gpt_4v_example/]] 2024.1 -[[ChatGPTのGPT-4Vを使ってSQL文を画像から作成する - Taste of Tech Topics>https://acro-engineer.hatenablog.com/entry/2023/10/18/124000]] 2023.10 -[[画像入力で楽々！ChatGPT-4V と Python GUI 開発 #Python - Qiita>https://qiita.com/key353/items/a08fbc462ac944fc7c30]] 2023.10 -[[GPT-4Vができることをまとめてみた - ISID テックブログ>https://tech.isid.co.jp/entry/explaination_gpt4v]] 2023.10 -[[【GPT-4V】ChatGPTがマルチモーダル対応！何がすごいかを徹底解説 | WEEL>https://weel.co.jp/media/gpt-4v]] 2023.10 -[[GPT-4などのLLMが「AはB」から「BはA」を導かない『逆転の呪い』における誤解なき解釈と対策 | AIDB>https://aiboom.net/archives/56074]] 2023.10 -[[明らかになったGPT-4の秘密 | AI専門ニュースメディア AINOW>https://ainow.ai/2023/08/08/274257/]] 2023.8 -[[【論文解説】OpenAI GPT-4 を理解する | 楽しみながら理解するAI・機械学習入門>https://data-analytics.fun/2023/04/29/understanding-openai-gpt-4/]] 2023.4 -[[GPT-4テクニカルレポートの 熟読？深読み？ - Speaker Deck>https://speakerdeck.com/livemynd/gpt-4tekunikarurepotono-shou-du-shen-du-mi]] 2023.4 -[[GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita>https://qiita.com/suzuki_sh/items/4193ec903c3bc3859c76]] 2023.4 -[[GPT-4以降，英語が最強のプログラミング言語になりつつある状況をまじめに考えてみる．｜落合陽一｜note>https://note.com/ochyai/n/n594b96588560]] 2023.4 -[[無料GPT-4アプリの公開とクリーンデータセットの作成について｜kun1emon｜note>https://note.com/kun1emon/n/n09098da8f39e]] 2023.4 -[[日本語が通る大規模言語モデルCerebras-GPTを動かす - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/03/31/110604]] 2023.3 -[[GPT-4で今日からできる仕事効率化活用術７選！｜ChatGPT 研究所>https://chatgpt-lab.com/n/n4ff3235d811f]] 2023.3 --何から手を付けていいか聞く --コーディング --メール作成 --タスク管理 --法律 --文章作成 --ブレーンストーミング -[[GPT-4の力を最大限引き出す：プロンプトエンジニアリング基礎編｜ChatGPT 研究所>https://chatgpt-lab.com/n/n67b5c987a74c]] 2023.3 -[[ChatGPTの有料会員(Plus)になってGPT-4を利用する方法 - Qiita>https://qiita.com/tak001/items/6a39da97e2f3e5d4eb08]] 2023.3 -[[GPT-4との新たな開発体験: AIとペアプロを極める>https://zenn.dev/okunokentaro/articles/01gvcmft5t9dc21nb0gc43c64a]] 2023.3 -[[GPT-4用の珠玉のプロンプト6選｜IT navi｜note>https://note.com/it_navi/n/n2abdf83ae8ee]] 2023.3 -[[GPT-4関連で面白かった・気になった事例まとめ - Qiita>https://qiita.com/nyanko5656/items/83432357959704ef2388]] 2023.3 -[[GPT-4の性能をBingと比較してみた｜IT navi｜note>https://note.com/it_navi/n/n4c1560b2cfcf]] 2023.3 -[[GPT-4はどこまで進化したのか？オセロで戦うことができるのか検証してみた | DevelopersIO>https://dev.classmethod.jp/articles/try-to-play-reverci-with-gpt4/]] 2023.3 -[[最速でGPT4の粗探しをしてみた - Qiita>https://qiita.com/T-Ohkuma/items/47a55ae2bbaaeb5436c5]] 2023.3 -[[GPT-4のすごさとその影響範囲について - Qiita>https://qiita.com/sakasegawa/items/4c6b9c3f703e89ec1c4d]] 2023.3 -[[「とりま、GPT-4 APIの価格について。GPT-4はコンテキスト窓が8kのバージョンと32kのバージョンがある。（ChatGPTは4kだったから爆増！）8kバージョンは、コンテキストが1kにつき$0.03で、出力が1kにつき$0.06。これはGPT-3.5-Davinciの1.5〜3倍の価格、ChatGPT… https://t.co/F9tSiOSWgN」 / Twitter>https://twitter.com/umiyuki_ai/status/1635708273042259968]] 2023.3 -[[GPT-4とGPT-3.5に日程調整メールを作ってもらって性能を比較してみた。 | DevelopersIO>https://dev.classmethod.jp/articles/gpt-4-gpt-35-email/]] 2023.3 -[[GPT-4が遂に公開。 GPT-4の使い方とその性能を解説｜ChatGPT 研究所>https://chatgpt-lab.com/n/n7facbf0f8890]] 2023.3 * GPT4ALL [#g3bc9bd3] -「GPT4ALL」は、LLaMAベースで、膨大な対話を含むクリーンなアシスタントデータで学習したチャットAI -[[オフラインで動作する様々なオープンソースLLMのインタフェース『GPT4All』が開発され公開 | AIDB>https://aiboom.net/archives/58916]] 2023.11 -[[Google Colab で GPT4ALL を試す｜npaka｜note>https://note.com/npaka/n/nf12146bf1677]] 2023.4 -[[グラボ非搭載の低スペックPCでも使える軽量チャットAI「GPT4ALL」の使い方まとめ - GIGAZINE>https://gigazine.net/news/20230331-gpt4all-how-to-use/]] 2023.3 -[[無料でノートPCでも実行可能な70億パラメータのチャットボット「GPT4ALL」発表 - GIGAZINE>https://gigazine.net/news/20230330-gpt4all/]] 2023.3 * GPT一般 [#l9bc9c4d] -[[[上級編]LLMへ至る道~GPT-3の話~[22日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-22/]] 2023.12 -[[[上級編]LLMへ至る道~GPT-2の話~[21日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-21/]] 2023.12 -[[225行のコードでGPTの仕組みを理解する>https://zenn.dev/hijikix/articles/be49bc565aaa85]] 2023.8 -[[ざっくりわかるRLHF（人間からのフィードバックを用いた強化学習） - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/31/160719]] 2023.5 -[[RLHF (人間のフィードバックからの強化学習) の図解｜npaka｜note>https://note.com/npaka/n/nb7796ae874c5]] 2023.4 -[[GPTの仕組みをちゃんと勉強したい本 - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/04/25/111706]] 2023.4 -[[CompressGPT: Decrease Token Usage by ~70%>https://musings.yasyf.com/compressgpt-decrease-token-usage-by-70/]] 2023.4 -[[OpenAI、「GPT-5」の開発はまだ--アルトマンCEOが明言 - CNET Japan>https://japan.cnet.com/article/35202673/]] 2023.4 -[[【GPT】アーキテクチャが参考になるアプリケーションまとめ - Qiita>https://qiita.com/sonesuke/items/03c979177adccb7758f2]] 2023.4 -[[GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ>https://toukei-lab.com/gpt]] 2023.4 -[[ChatGPTに匹敵する性能の日本語対応チャットAI「Vicuna-13B」のデータが公開され一般家庭のPC上で動作可能に - GIGAZINE>https://gigazine.net/news/20230404-vicuna-weight/]] 2023.4 -[[【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita>https://qiita.com/tmgauss/items/22c4e5e00282a23e569d]] 2023.3 -[[ChatGPTに自然言語処理モデル「GPT2-Japanese」の使用方法を聞きながら実装したら想像以上に優秀だった件 | 豆蔵デベロッパーサイト>https://developer.mamezou-tech.com/blogs/2023/03/22/using-transformer-02/]] 2023.3 -[[[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編) - Qiita>https://qiita.com/taka_yayoi/items/1bdbb59946ebff78a689]] 2023.3 --[[[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (後編) - Qiita>https://qiita.com/taka_yayoi/items/3ac9cf3565fb3f389178]] 2023.3 -[[GPT-3 信頼性を向上させる技術[翻訳]｜メガゴリラ｜note>https://note.com/mega_gorilla/n/nb84faa741949]] 2023.3 -[[ChatGPTを統合したiOSアプリがリジェクトされるという噂を耳にしたので実際に試してみた | DevelopersIO>https://dev.classmethod.jp/articles/does-reject-iosapp-with-chatgpt/]] 2023.3 -[[「ChatLLaMA」nebullvm/apps/accelerate/chatllama at main · nebuly-ai/nebullvm · GitHub>https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama]] 2023.3 --Metaが公開した巨大言語モデルであるLLaMAベースのモデル --ChatGPTと同じRLHFでより効率的に学習できる -[[GPT-3を使って文脈のある会話を実現する（＋LINE Bot化） - Qiita>https://qiita.com/uezo/items/34a173787c26794e462f]] 2023.2 -[[ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能 - GIGAZINE>https://gigazine.net/news/20230224-colossal-ai-chatgpt/]] 2023.2 -[[GPTでテキストからJavaコードを生成する - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/02/01/100532]] 2023.2 -[[言語の壁を打ち破る：GPT with 多言語インデックス - Qiita>https://qiita.com/yakigac/items/d350ec3c94f2c640c3cf]] 2023.2 -[[How Does GPT-3 Work? - DEV Community 👩‍💻👨‍💻>https://dev.to/deepgram/how-does-gpt-3-work-hco]] 2023.1 -[[TypeScriptでGPT-3.5を使ってChatGPTクローンを作る1 - GPTで検索エージェント>https://zenn.dev/erukiti/articles/deno-chatgpt-clone-1]] 2023.1 -[[OpenAI API で提供されている GPT-3モデル まとめ｜npaka｜note>https://note.com/npaka/n/nef372ec2e33a]] 2023.1 -[[GPT-3の論文を読んでいます！ - CCCMKホールディングス TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2022/12/28/094423]] 2022.12 --"GPT-3"は"Transformer"をベースにしたモデルで、その特徴はその中に含まれる巨大なパラメータ数にあります。そのパラメータ数は175Billion, つまり1,750億になるそうです。"GPT"が117Million(1億1,700万)、"GPT-2"が1,542Million(15億4,200万)のパラメータで構成されている -[[OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説 - GIGAZINE>https://gigazine.net/news/20221212-gpt-3-architecture/]] 2022.12 -[[【無料】GPT-3レベルのGoogle製Flan-T5を利用する方法 | ジコログ>https://self-development.info/%e3%80%90%e7%84%a1%e6%96%99%e3%80%91gpt-3%e3%83%ac%e3%83%99%e3%83%ab%e3%81%aegoogle%e8%a3%bdflan-t5%e3%82%92%e5%88%a9%e7%94%a8%e3%81%99%e3%82%8b%e6%96%b9%e6%b3%95/]] 2022.11 -[[ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog>https://tech-blog.abeja.asia/entry/abeja-gpt-project-202207]] 2022.7 -[[【備忘録】Pythonで自然言語処理の学習を始めるにあたって参考にしたサイト - Qiita>https://qiita.com/ama_aki/items/59aa012db7b5ce81f6e5]] 2022.7 --GPT2, GPT3 -[[GPT-2を使ってポケモン図鑑の説明文生成器を作ってみた - Qiita>https://qiita.com/Napier1550/items/0edf1613ef4f213dc875]] 2022.5 ** そもそもGPTとは何か [#wca760b5] -[[[上級編]LLMへ至る道~GPTの話~[20日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-20/]] 2023.12 -[[ChatGPTのコア技術「GPT」をざっくり理解する - Qiita>https://qiita.com/ksonoda/items/b767cbd283e379303178]] 2023.5 -[[【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト【ディープラーニングの世界vol.31】#109 #VRアカデミア #DeepLearning - YouTube>https://www.youtube.com/watch?v=wDXPXgn5hX4]] 2021 -GPTの何がすごいか --データを増やし、モデルが大きくなるほど精度があがる。 --多様な言語タスクを１つのモデルで解決できる。（それまではタスクごとに最適化したモデルが必要だった） -Pre-Training & Fine Tuning の威力 --それまでのDLはラベル付き教師データを作るのが大変だった --ラベル無しデータでできるサブタスクを大量に行い、まず言語を理解させる。そのモデルを利用して本タスクを学習する。 -Pre-Training(100epoc) --大量のタスク＝次の単語予測をさせる→文法、単語、文脈を学習 -Fine-Tuning(3epoc程度で学習完了） --各種タスクごとに最終層だけ取り換える→教師データを使った通常の学習を行う --省データ、省計算資源を実現 -モデルはTransformerのDecoderの改変 *Bing chat [#wf72aabf] -[[進化したEdgeのAI機能「Bingチャット」に、読んでいない英文PDFの内容を教えてもらう【イニシャルB】 - INTERNET Watch>https://internet.watch.impress.co.jp/docs/column/shimizu/1515590.html]] 2023.7 -[[【new Bing】PDFが要約できるようなので試してみました | DevelopersIO>https://dev.classmethod.jp/articles/new-bing-pdf-summary/]] 2023.5 -[[AI対応「新Bing」が素直すぎて秘密情報バラしまくり | AppBank>https://www.appbank.net/2023/02/13/technology/2397764.php]] 2023.2 -[[チャット機能を搭載した新しいBingが使えるようになったので早速試してみた｜IT navi｜note>https://note.com/it_navi/n/n2e92c9ba9023]] 2023.2
