GPT関連

→自然言語処理

→Transformer

→ディープラーニング

• GPT=Generative Pretrained Transformer

サブトピック†

• OpenAIのAPI
• LLMライブラリ（LangChain/LlamaIndexなど）
• OpenAI関連　←GPT-4oについてはこちらへ

GPT-4†

• GPT-4などのLLMが「AはB」から「BはA」を導かない『逆転の呪い』における誤解なき解釈と対策 | AIDB 2023.10

• 明らかになったGPT-4の秘密 | AI専門ニュースメディア AINOW 2023.8

• 【論文解説】OpenAI GPT-4 を理解する | 楽しみながら理解するAI・機械学習入門 2023.4

• GPT-4テクニカルレポートの 熟読？深読み？ - Speaker Deck 2023.4

• GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita 2023.4

• GPT-4以降，英語が最強のプログラミング言語になりつつある状況をまじめに考えてみる．｜落合陽一｜note 2023.4

• 無料GPT-4アプリの公開とクリーンデータセットの作成について｜kun1emon｜note 2023.4

• 日本語が通る大規模言語モデルCerebras-GPTを動かす - きしだのHatena 2023.3

• GPT-4で今日からできる仕事効率化活用術７選！｜ChatGPT 研究所 2023.3
  • 何から手を付けていいか聞く
  • コーディング
  • メール作成
  • タスク管理
  • 法律
  • 文章作成
  • ブレーンストーミング

• GPT-4の力を最大限引き出す：プロンプトエンジニアリング基礎編｜ChatGPT 研究所 2023.3

• ChatGPTの有料会員(Plus)になってGPT-4を利用する方法 - Qiita 2023.3

• GPT-4との新たな開発体験: AIとペアプロを極める 2023.3

• GPT-4用の珠玉のプロンプト6選｜IT navi｜note 2023.3

• GPT-4関連で面白かった・気になった事例まとめ - Qiita 2023.3

• GPT-4の性能をBingと比較してみた｜IT navi｜note 2023.3

• GPT-4はどこまで進化したのか？オセロで戦うことができるのか検証してみた | DevelopersIO 2023.3

• 最速でGPT4の粗探しをしてみた - Qiita 2023.3

• GPT-4のすごさとその影響範囲について - Qiita 2023.3

• 「とりま、GPT-4 APIの価格について。GPT-4はコンテキスト窓が8kのバージョンと32kのバージョンがある。（ChatGPTは4kだったから爆増！）8kバージョンは、コンテキストが1kにつき$0.03で、出力が1kにつき$0.06。これはGPT-3.5-Davinciの1.5〜3倍の価格、ChatGPT… https://t.co/F9tSiOSWgN」 / Twitter 2023.3

• GPT-4とGPT-3.5に日程調整メールを作ってもらって性能を比較してみた。 | DevelopersIO 2023.3

• GPT-4が遂に公開。 GPT-4の使い方とその性能を解説｜ChatGPT 研究所 2023.3

GPT4ALL†

• 「GPT4ALL」は、LLaMAベースで、膨大な対話を含むクリーンなアシスタントデータで学習したチャットAI

• オフラインで動作する様々なオープンソースLLMのインタフェース『GPT4All』が開発され公開 | AIDB 2023.11

• Google Colab で GPT4ALL を試す｜npaka｜note 2023.4
• グラボ非搭載の低スペックPCでも使える軽量チャットAI「GPT4ALL」の使い方まとめ - GIGAZINE 2023.3
• 無料でノートPCでも実行可能な70億パラメータのチャットボット「GPT4ALL」発表 - GIGAZINE 2023.3

GPT一般†

• [上級編]LLMへ至る道~GPT-3の話~[22日目] | DevelopersIO 2023.12
• [上級編]LLMへ至る道~GPT-2の話~[21日目] | DevelopersIO 2023.12

• 225行のコードでGPTの仕組みを理解する 2023.8

• ざっくりわかるRLHF（人間からのフィードバックを用いた強化学習） - Platinum Data Blog by BrainPad 2023.5
• RLHF (人間のフィードバックからの強化学習) の図解｜npaka｜note 2023.4

• GPTの仕組みをちゃんと勉強したい本 - きしだのHatena 2023.4

• CompressGPT: Decrease Token Usage by ~70% 2023.4

• OpenAI、「GPT-5」の開発はまだ--アルトマンCEOが明言 - CNET Japan 2023.4

• 【GPT】アーキテクチャが参考になるアプリケーションまとめ - Qiita 2023.4

• GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ 2023.4

• ChatGPTに匹敵する性能の日本語対応チャットAI「Vicuna-13B」のデータが公開され一般家庭のPC上で動作可能に - GIGAZINE 2023.4

• 【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita 2023.3

• ChatGPTに自然言語処理モデル「GPT2-Japanese」の使用方法を聞きながら実装したら想像以上に優秀だった件 | 豆蔵デベロッパーサイト 2023.3

• [翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編) - Qiita 2023.3
  • [翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (後編) - Qiita 2023.3

• GPT-3 信頼性を向上させる技術[翻訳]｜メガゴリラ｜note 2023.3

• ChatGPTを統合したiOSアプリがリジェクトされるという噂を耳にしたので実際に試してみた | DevelopersIO 2023.3

• 「ChatLLaMA」nebullvm/apps/accelerate/chatllama at main · nebuly-ai/nebullvm · GitHub 2023.3
  • Metaが公開した巨大言語モデルであるLLaMAベースのモデル
  • ChatGPTと同じRLHFでより効率的に学習できる

• GPT-3を使って文脈のある会話を実現する（＋LINE Bot化） - Qiita 2023.2

• ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能 - GIGAZINE 2023.2

• GPTでテキストからJavaコードを生成する - きしだのHatena 2023.2

• 言語の壁を打ち破る：GPT with 多言語インデックス - Qiita 2023.2

• How Does GPT-3 Work? - DEV Community 👩‍💻👨‍💻 2023.1

• TypeScriptでGPT-3.5を使ってChatGPTクローンを作る1 - GPTで検索エージェント 2023.1

• OpenAI API で提供されている GPT-3モデル まとめ｜npaka｜note 2023.1

• GPT-3の論文を読んでいます！ - CCCMKホールディングス TECH Labの Tech Blog 2022.12
  • "GPT-3"は"Transformer"をベースにしたモデルで、その特徴はその中に含まれる巨大なパラメータ数にあります。そのパラメータ数は175Billion, つまり1,750億になるそうです。"GPT"が117Million(1億1,700万)、"GPT-2"が1,542Million(15億4,200万)のパラメータで構成されている

• OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説 - GIGAZINE 2022.12

• 【無料】GPT-3レベルのGoogle製Flan-T5を利用する方法 | ジコログ 2022.11

• ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog 2022.7

• 【備忘録】Pythonで自然言語処理の学習を始めるにあたって参考にしたサイト - Qiita 2022.7
  • GPT2, GPT3
• GPT-2を使ってポケモン図鑑の説明文生成器を作ってみた - Qiita 2022.5

そもそもGPTとは何か†

• [上級編]LLMへ至る道~GPTの話~[20日目] | DevelopersIO 2023.12

• ChatGPTのコア技術「GPT」をざっくり理解する - Qiita 2023.5

• 【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト【ディープラーニングの世界vol.31】#109 #VRアカデミア #DeepLearning - YouTube 2021

• GPTの何がすごいか
  • データを増やし、モデルが大きくなるほど精度があがる。
  • 多様な言語タスクを１つのモデルで解決できる。（それまではタスクごとに最適化したモデルが必要だった）
• Pre-Training & Fine Tuning の威力
  • それまでのDLはラベル付き教師データを作るのが大変だった
  • ラベル無しデータでできるサブタスクを大量に行い、まず言語を理解させる。そのモデルを利用して本タスクを学習する。
• Pre-Training(100epoc)
  • 大量のタスク＝次の単語予測をさせる→文法、単語、文脈を学習
• Fine-Tuning(3epoc程度で学習完了）
  • 各種タスクごとに最終層だけ取り換える→教師データを使った通常の学習を行う
  • 省データ、省計算資源を実現

• モデルはTransformerのDecoderの改変

Bing chat†

• 進化したEdgeのAI機能「Bingチャット」に、読んでいない英文PDFの内容を教えてもらう【イニシャルB】 - INTERNET Watch 2023.7

• 【new Bing】PDFが要約できるようなので試してみました | DevelopersIO 2023.5

• AI対応「新Bing」が素直すぎて秘密情報バラしまくり | AppBank 2023.2
• チャット機能を搭載した新しいBingが使えるようになったので早速試してみた｜IT navi｜note 2023.2

最新の50件