#author("2023-10-28T23:36:14+09:00","default:irrp","irrp") →自然言語処理 →OpenAIのAPI →単語の分散表現、ベクトル表現、エンベディング #contents *サブトピック [#t3278c3a] -LLM一般 -プロンプト・エンジニアリング -GPT関連 --Transformer -LLMライブラリ -LLMの歴史 *ファインチューニング [#cc34304d] -[[Microsoft Azure における大規模言語モデルの学習とファインチューニング - YouTube>https://www.youtube.com/watch?v=k0lqrH8fmwg]] 2023.10 -[[大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development>https://tech.preferred.jp/ja/blog/llm-fine-tuning-for-domain-knowledge/]] 2023.10 -[[職場の先輩をLLMで作ってみようとした話 #Python - Qiita>https://qiita.com/sergicalsix/items/b9057a252dc81520bf20]] 2023.10 -[[【ChatGPT】ファインチューニングをわかりやすく解説 - Qiita>https://qiita.com/ksonoda/items/b9fd3e709aeae79629ff]] 2023.9 -[[LLMのファインチューニングで事実の学習ができないのは本当か?ちょっと実験してみた>https://zenn.dev/ohtaman/articles/llm_finetune_lora]] 2023.9 -[[LLMのファインチューニング で 何ができて 何ができないのか|npaka>https://note.com/npaka/n/nec63c01f7ee8]] 2023.8 -[[OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す|npaka>https://note.com/npaka/n/ne1990cdbb39a]] 2023.8 -[[ChatGPT の Fine-tuning を試したけど上手くいかなかった話>https://zenn.dev/ml_bear/articles/49ed93d33e69cc#%E3%81%BE%E3%81%A8%E3%82%81]] 2023.8 -[[OpenAI(ChatGPT)のfine-tuning機能を早速試してみた~ひろゆきのスパチャを例に - Qiita>https://qiita.com/MandoNarin/items/6fadb78f357c66e25502]] 2023.8 -[[chatGPT(gpt3.5-turbo)をファインチューニングしてみた - Qiita>https://qiita.com/nano-s/items/5960f43965e97aa50b14]] 2023.8 -[[GPT-3.5 Turboのファインチューニング|npaka>https://note.com/npaka/n/n4cc82056a186]] 2023.8 -[[OpenAI API の ファインチューニングガイド|npaka>https://note.com/npaka/n/ne4dfd4480ead]] 2032.8 -[[GPT-3.5-turboをfine-tuningする際の気になるポイントをまとめた。 | DevelopersIO>https://dev.classmethod.jp/articles/gpt35-finetuning-tips-qna/]] 2023.8 -[[【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました!! | DevelopersIO>https://dev.classmethod.jp/articles/openai-gpt35turbo-fine-tuning/]] 2023.8 -[[OpenAI APIのファインチューニングの学習データのガイドライン|npaka|note>https://note.com/npaka/n/n021a59452dc8]] 2023.4 *Claude [#ue4098b1] -[[ついに日本で利用可能になったChatGPTの強力ライバル「Claude」使用レビュー、テキストファイルやPDFファイルの認識も可能でランチの相談からコーディング補助までサクサク応答 - GIGAZINE>https://gigazine.net/news/20231019-claude-chatgpt-rival-chat-ai/]] 2023.10 -[[OpenAIの競合Anthropic、ChatGPTに匹敵するClaude2をリリース、その特徴や実力とは?(AMP[アンプ]) - Yahoo!ニュース>https://news.yahoo.co.jp/articles/fe2c0a6319a1c1bce8b76ab9aeaa87215acfb66e]] 2023.10 *LlaMA2 [#kf4f3171] -[[llama2のpretrainingを試す>https://zenn.dev/if001/articles/6c507e15cd958b]] 2023.10 -[[Meta開発のLLMであるLLaMA、LLaMA2、派生モデルAlpacaについて解説!|スタビジ>https://toukei-lab.com/llama]] 2023.10 --LLaMAの基本アーキテクチャはTransformer -[[【西川和久の不定期コラム】340億パラメータのLLMは手元のPCで動く?Metaの「Code Llama 34B」を試してみた! - PC Watch>https://pc.watch.impress.co.jp/docs/column/nishikawa/1534926.html]] 2023.9 -[[えっ、まだChatGPT使ってんの? - Qiita>https://qiita.com/takao-takass/items/16a7052a4a0e857b7c90]] 2023.9 -[[Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました|ELYZA, Inc.>https://note.com/elyza/n/na405acaca130]] 2023.8 -[[ChatGPT(3.5)に匹敵する「Llama 2」をローカルPCで動かしてみた(1/3 ページ) - ITmedia NEWS>https://www.itmedia.co.jp/news/articles/2307/30/news060.html]] 2023.7 -[[Llama 2の性能がGPT-3.5並みだというのが本当かテストしてみた|IT navi>https://note.com/it_navi/n/n113fa7151a4f]] 2023.7 -[[オープンソースで商用利用可能な大規模言語モデル「Llama 2」がReplicateに登場したのでAPI経由で使ってみた - GIGAZINE>https://gigazine.net/news/20230720-llama-2-api/]] 2023.7 -[[話題のLlama 2という大規模言語モデルをAmazon SageMaker JumpStartで動かしてみた | DevelopersIO>https://dev.classmethod.jp/articles/sagemaker-jumpstart-llama2/]] 2023.7 -[[Llama.cpp で Llama 2 を試す|npaka>https://note.com/npaka/n/n0ad63134fbe2]] 2023.7 **Alpaca [#v7a594c5] -LLaMAの派生モデル -[[日本語Alpacaデータを用いてJapanese-Alapaca-LoRAを作ったので公開します【デモページあり】|kun1emon|note>https://note.com/kun1emon/n/n1533345d5d26]] 2023.3 -[[BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita>https://qiita.com/iss-f/items/9ab11ed38dde2fc1f43b]] 2023.3 -[[チャットAI「Alpaca」をローカルにインストールしてオフラインでAIと会話できる「Alpaca.cpp」インストール手順まとめ - GIGAZINE>https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/]] 2023.3 -[[Alpaca-loraを日本語タスクでファインチューニングする - Qiita>https://qiita.com/toshi_456/items/280efc31950ddb083286]] 2023.3 -[[GitHub - antimatter15/alpaca-lora: Code for reproducing the Stanford Alpaca InstructLLaMA result on consumer hardware>https://github.com/antimatter15/alpaca-lora]] 2023.3 *rinna [#vcc7fc94] -[[HuggingFaceのLLMのメモリ使用率を調べる #NLP - Qiita>https://qiita.com/ieiringoo/items/8ffe9b99cb745c2cde29]] 2023.10 -[[ローカルで動くマルチモーダルモデル(rinna-4b multimodal)を使って簡単なゲーム実況AIを作ってみた - Qiita>https://qiita.com/takaaki_inada/items/62e6f21cb2dbdae43ed4]] 2023.8 -[[ローカルでも動く!?日本語に特化した強化学習済み対話GPT言語モデルを検証してみる - Qiita>https://qiita.com/tsuno0821/items/e18a1bc6b7e1885f375c]] 2023.7 -[[上司「オンプレでチャットAI作って」 - Qiita>https://qiita.com/namn1125/items/bc81f12f7bcfb2494c9c]] 2023.6 -[[ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita>https://qiita.com/takaaki_inada/items/9a9c07e85e46ec0e872e]] 2023.6 -[[自分の過去ツイートでrinna/japanese-gpt-neox-3.6bをfinetuningして「俺tter」を生成する|松xRのnote>https://note.com/eurekachan/n/n899132477dff]] 2023.6 -[[話題のrinna-3.6bをColab無料枠で動かしたい!(Hugging Face load_in_8bitを使ったサンプルコード) - Qiita>https://qiita.com/kota-iw/items/b89a5eb4b7804c93c65d]] 2023.5 -[[【Python】手持ちのGPUがVRAM12Gだけど「Rinna-3.6B」とお話がしたい!!! - Qiita>https://qiita.com/ys_dirard/items/e8904f8ded1d73532f8c]] 2023.5 -[[Google Colab で Rinna-3.6B を試す|npaka>https://note.com/npaka/n/ne4a38239f420]] 2023.5 *PaLM [#eff95934] -超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能 -[[PaLM 2 APIを使ってtext-bisonモデルに感情分析させてみた>https://zenn.dev/cloud_ace/articles/20230609releaevertexai]] 2023.6 -[[Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review>https://etechnologyreview.com/2022/04/29/google%E3%81%AF%E4%B8%96%E7%95%8C%E6%9C%80%E5%A4%A7%E8%A6%8F%E6%A8%A1%E3%81%AEai%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB%E3%80%8Cpalm%E3%80%8D%E3%82%92%E9%96%8B%E7%99%BA%E3%80%81%E8%A8%80/#:~:text=Google%E3%81%AF%E4%B8%96%E7%95%8C%E5%A4%A7%E8%A6%8F%E6%A8%A1,%E3%83%96%E3%83%AC%E3%83%BC%E3%82%AF%E3%82%B9%E3%83%AB%E3%83%BC%E3%82%92%E9%81%94%E6%88%90%E3%81%97%E3%81%9F%E3%80%82]] 2022.7 *OpenCALM [#g26d0ca4] -[[CyberAgent社の日本語LLM OpenCALMの対話モデル用途のfinetune検証 - ACES エンジニアブログ>https://tech.acesinc.co.jp/entry/2023/05/19/181407]] 2023.5 -[[サイバーエージェントの日本語LLM OpenCALMをDatabricksで動かしてみる - Qiita>https://qiita.com/taka_yayoi/items/f28037d969b15c037c9e]] 2023.5 -[[CyberAgentの日本語言語モデルを試してみる - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/05/17/144518]] 2023.5 *Dolly [#p6852928] -[[大規模言語モデル(LLM)Dollyをパラメーター数を変えて動かしてみた - APC 技術ブログ>https://techblog.ap-com.co.jp/entry/2023/05/09/092127]] 2023.5 -[[LLMのオープンソース化とDatabricks - Speaker Deck>https://speakerdeck.com/naoyaabedb/llmnoopunsosuhua-todatabricks]] 2023.4 -[[無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita>https://qiita.com/riversun/items/7c45580f1a098b041528]] 2023.4 -[[Hello Dolly: オープンなモデルでChatGPTの魔法を民主化する - Qiita>https://qiita.com/taka_yayoi/items/e9c895c169da652c6efb]] 2023.3 *RWKV [#efdcce35] -[[従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか? - GIGAZINE>https://gigazine.net/news/20230709-rwkv-language-model/]] 2023.7 --アテンションの計算においては入力トークン間の全てのペアについて計算する必要があるため、処理に必要な時間が入力トークンの量の2乗に比例してしまうほか、テキストを生成する時には全トークンのアテンションベクトルを利用するのでメモリを大量に必要とするなど、入力トークンの長さに関して制限が存在しています。一方、RNNの場合は計算量が入力トークンの量の1乗に比例するため、かなり長い文章を「読む」ことが可能です -[[RNNでTransformer並みの性能を実現するRWKVがやばい>https://zenn.dev/hikettei/articles/5d6c1318998411]] 2023.4 -[[RWKVをローカルPCで動かす(pyenv/Docker)>https://zenn.dev/karaage0703/articles/d58d79d8e77ab8]] 2023.3 -[[おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/03/28/192028]] 2023.3 -[[Google Colab で RWKV を試す|npaka|note>https://note.com/npaka/n/nc0592a884903]] 2023.3 -[[ChatGPT終了のお知らせ!?完全無料&オープン爆速大規模自然言語モデルRWKVが爆誕 - YouTube>https://www.youtube.com/watch?v=hnkiLlTiG6Y]] 2023.3 *FlexGen [#d50e3855] -[[LLM推論にGPUは1つでいい?FlexGenについてまとめてみた - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/29/153000]] 2023.5 -[[FlexGenでおうちのパソコンとお話する - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/03/29/140719]] 2023.3 -[[ChatGPTで騒いでる場合じゃない。 AI研究者が「FlexGen」をゲームチェンジャーと呼ぶ理由 | Business Insider Japan>https://www.businessinsider.jp/post-265982]] 2023.2 -[[自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす>https://zenn.dev/karaage0703/articles/de7045e9792623]] 2023.2 -[[大規模言語モデルをシングルGPUで動かせる!? FlexGenを触ってみた | DevelopersIO>https://dev.classmethod.jp/articles/flexgen-in-colaboratory/]] 2023.2 -[[ChatGPT級のAIチャットボットがすぐに使えるFlexGen(あなたもColabでできる) - Qiita>https://qiita.com/john-rocky/items/28f17229b524c45d2204]] 2023.2 *その他のモデル [#kaf3dfd0] -[[賢いと噂の日本語LLM「ELYZA」をウェブAPIで使う! Power Automateなどからも呼び出せる完全ローカル環境の構築【イニシャルB】 - INTERNET Watch>https://internet.watch.impress.co.jp/docs/column/shimizu/1533974.html]] 2023.10 -[[Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。|npaka>https://note.com/npaka/n/n83a017e6f621?sub_rt=share_sb]] 2023.9 -[[100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。 – 東京大学松尾研究室 – Matsuo Lab>https://weblab.t.u-tokyo.ac.jp/100%E5%84%84%E3%83%91%E3%83%A9%E3%83%A1%E3%83%BC%E3%82%BF%E3%82%B5%E3%82%A4%E3%82%BA%E3%83%BB%E6%97%A5%E8%8B%B12%E3%83%B6%E5%9B%BD%E8%AA%9E%E5%AF%BE%E5%BF%9C%E3%81%AE%E5%A4%A7%E8%A6%8F%E6%A8%A1/]] 2023.8