GPT関連の履歴(No.90) - 技術情報Wiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ] [ Twitter ]

→自然言語処理

→ディープラーニング

サブトピック
GPT-4
GPT4ALL
GPT一般
- そもそもGPTとは何か
Bing chat

GPT=Generative Pretrained Transformer

サブトピック†

GPT-4†

【論文解説】OpenAI GPT-4 を理解する | 楽しみながら理解するAI・機械学習入門 2023.4

GPT-4テクニカルレポートの熟読？深読み？ - Speaker Deck 2023.4

GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita 2023.4

GPT-4以降，英語が最強のプログラミング言語になりつつある状況をまじめに考えてみる．｜落合陽一｜note 2023.4

無料GPT-4アプリの公開とクリーンデータセットの作成について｜kun1emon｜note 2023.4

日本語が通る大規模言語モデルCerebras-GPTを動かす - きしだのHatena 2023.3

GPT-4で今日からできる仕事効率化活用術７選！｜ChatGPT 研究所 2023.3
- 何から手を付けていいか聞く
- コーディング
- メール作成
- タスク管理
- 法律
- 文章作成
- ブレーンストーミング

GPT-4の力を最大限引き出す：プロンプトエンジニアリング基礎編｜ChatGPT 研究所 2023.3

ChatGPTの有料会員(Plus)になってGPT-4を利用する方法 - Qiita 2023.3

GPT-4との新たな開発体験: AIとペアプロを極める 2023.3

GPT-4用の珠玉のプロンプト6選｜IT navi｜note 2023.3

GPT-4関連で面白かった・気になった事例まとめ - Qiita 2023.3

GPT-4の性能をBingと比較してみた｜IT navi｜note 2023.3

GPT-4はどこまで進化したのか？オセロで戦うことができるのか検証してみた | DevelopersIO 2023.3

最速でGPT4の粗探しをしてみた - Qiita 2023.3

GPT-4のすごさとその影響範囲について - Qiita 2023.3

「とりま、GPT-4 APIの価格について。GPT-4はコンテキスト窓が8kのバージョンと32kのバージョンがある。（ChatGPTは4kだったから爆増！）8kバージョンは、コンテキストが1kにつき$0.03で、出力が1kにつき$0.06。これはGPT-3.5-Davinciの1.5～3倍の価格、ChatGPT… https://t.co/F9tSiOSWgN」 / Twitter 2023.3

GPT-4とGPT-3.5に日程調整メールを作ってもらって性能を比較してみた。 | DevelopersIO 2023.3

GPT-4が遂に公開。 GPT-4の使い方とその性能を解説｜ChatGPT 研究所 2023.3

GPT4ALL†

「GPT4ALL」は、LLaMAベースで、膨大な対話を含むクリーンなアシスタントデータで学習したチャットAI

GPT一般†

RLHF (人間のフィードバックからの強化学習) の図解｜npaka｜note 2023.4

GPTの仕組みをちゃんと勉強したい本 - きしだのHatena 2023.4

CompressGPT: Decrease Token Usage by ~70% 2023.4

OpenAI、「GPT-5」の開発はまだ--アルトマンCEOが明言 - CNET Japan 2023.4

【GPT】アーキテクチャが参考になるアプリケーションまとめ - Qiita 2023.4

GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ 2023.4

ChatGPTに匹敵する性能の日本語対応チャットAI「Vicuna-13B」のデータが公開され一般家庭のPC上で動作可能に - GIGAZINE 2023.4

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita 2023.3

ChatGPTに自然言語処理モデル「GPT2-Japanese」の使用方法を聞きながら実装したら想像以上に優秀だった件 | 豆蔵デベロッパーサイト 2023.3

[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編) - Qiita 2023.3
- [翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (後編) - Qiita 2023.3

GPT-3 信頼性を向上させる技術[翻訳]｜メガゴリラ｜note 2023.3

ChatGPTを統合したiOSアプリがリジェクトされるという噂を耳にしたので実際に試してみた | DevelopersIO 2023.3

「ChatLLaMA」nebullvm/apps/accelerate/chatllama at main · nebuly-ai/nebullvm · GitHub 2023.3
- Metaが公開した巨大言語モデルであるLLaMAベースのモデル
- ChatGPTと同じRLHFでより効率的に学習できる

GPT-3を使って文脈のある会話を実現する（＋LINE Bot化） - Qiita 2023.2

CustomGPT.aiで自社サイトのヘルプを学習させてチャットボット化を検討 - Qiita 2023.2

ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能 - GIGAZINE 2023.2

GPTでテキストからJavaコードを生成する - きしだのHatena 2023.2

言語の壁を打ち破る：GPT with 多言語インデックス - Qiita 2023.2

How Does GPT-3 Work? - DEV Community 👩‍💻👨‍💻 2023.1

FAQチャットボット開発に役立つGPT Indexのインストール | ジコログ 2023.1

TypeScriptでGPT-3.5を使ってChatGPTクローンを作る1 - GPTで検索エージェント 2023.1

OpenAI API で提供されている GPT-3モデルまとめ｜npaka｜note 2023.1

GPT-3の論文を読んでいます！ - CCCMKホールディングス TECH Labの Tech Blog 2022.12
- "GPT-3"は"Transformer"をベースにしたモデルで、その特徴はその中に含まれる巨大なパラメータ数にあります。そのパラメータ数は175Billion, つまり1,750億になるそうです。"GPT"が117Million(1億1,700万)、"GPT-2"が1,542Million(15億4,200万)のパラメータで構成されている

OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説 - GIGAZINE 2022.12

【無料】GPT-3レベルのGoogle製Flan-T5を利用する方法 | ジコログ 2022.11

ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog 2022.7

13億パラメータの日本語特化GPT言語モデルを使ってSlackAIチャットボットを作ってみた1～文章生成機能編～ - Qiita 2022.7

そもそもGPTとは何か†

【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト【ディープラーニングの世界vol.31】#109 #VRアカデミア #DeepLearning - YouTube 2021

GPTの何がすごいか
- データを増やし、モデルが大きくなるほど精度があがる。
- 多様な言語タスクを１つのモデルで解決できる。（それまではタスクごとに最適化したモデルが必要だった）
Pre-Training & Fine Tuning の威力
- それまでのDLはラベル付き教師データを作るのが大変だった
- ラベル無しデータでできるサブタスクを大量に行い、まず言語を理解させる。そのモデルを利用して本タスクを学習する。
Pre-Training(100epoc)
- 大量のタスク＝次の単語予測をさせる→文法、単語、文脈を学習
Fine-Tuning(3epoc程度で学習完了）
- 各種タスクごとに最終層だけ取り換える→教師データを使った通常の学習を行う
- 省データ、省計算資源を実現

モデルはTransformerのDecoderの改変

Bing chat†

【new Bing】PDFが要約できるようなので試してみました | DevelopersIO 2023.5