- 追加された行はこの色です。
- 削除された行はこの色です。
#author("2023-06-05T09:18:17+09:00","default:irrp","irrp")
#author("2024-05-01T10:01:05+09:00","default:irrp","irrp")
→自然言語処理
→OpenAIのAPI
→LangChain/LlamaIndex
#contents
*サブトピック [#t3278c3a]
-LLM一般
--Amazon Bedrock
-LLMアプリ開発
-LLMのローカル知識対応
--RAG関連
-プロンプト・エンジニアリング
-GPT関連
-Transformer
--Transformer
-LLMライブラリ
-LLMの歴史
*LLM一般 [#o94c914a]
-[[ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ - GIGAZINE>https://gigazine.net/news/20230604-large-language-model-paper/]] 2023.6
*Cohere Command R+ [#ybea5678]
-[[Cohere の Command R/R+ において 128k input tokens は短いのか長いのか #bedrock - Qiita>https://qiita.com/kazuneet/items/3958eb42f45e7a8b9072]] 2024.4
-[[GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？ - GIGAZINE>https://gigazine.net/news/20230603-qlora-finetuning-llm/]] 2023.6
-[[Command R+はどこまで量子化するとアホになってしまうのか？ – soy-software>https://soysoftware.sakura.ne.jp/archives/3834]] 2024.4
--4bitまでは大して劣化しない
-[[【一撃でわかる】大規模言語モデル(LLM)とは。自然言語処理の基礎からわかりやすく徹底解説。 - すえつぐのNLP&G>https://nlpillustration.tech/?p=5201]] 2023.5
-[[Command R+はトークナイザーもすごかった #LLM - Qiita>https://qiita.com/sergicalsix/items/5ceb9a3a0d11affb4b9a#%E5%BF%9C%E7%AD%94%E9%80%9F%E5%BA%A6%E3%81%A8%E3%83%88%E3%83%BC%E3%82%AF%E3%83%8A%E3%82%A4%E3%82%B6%E3%83%BC%E3%81%AE%E9%96%A2%E4%BF%82%E5%8F%8A%E3%81%B3command-r%E3%81%AE%E3%83%88%E3%83%BC%E3%82%AF%E3%83%B3%E3%83%8A%E3%82%A4%E3%82%B6%E3%83%BC]] 2024.4
-[[独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた - GIGAZINE>https://gigazine.net/news/20230531-lit-parrot/]] 2023.5
-[[【Command R+】オープンソース界最強LLMがGPT-4レベルの性能を達成 | WEEL>https://weel.co.jp/media/tech/command-r-plus/]] 2024.4
-[[【書籍】大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー) >https://amzn.to/3qgCViz]] 2023.5
-[[OpenAIのライバル:Cohereが最高にイけている件 #LLM - Qiita>https://qiita.com/sergicalsix/items/d5c7a0a420a213309bfc]] 2024.4
-[[東北大学NLPグループの言語モデルをとりあえず動かす - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/05/19/153556]] 2023.5
-[[日本語対応でGPT-4よりも高性能な大規模言語モデル「Command R＋」が登場したので使ってみた、無料でダウンロードしてローカル動作も可能 - GIGAZINE>https://gigazine.net/news/20240408-command-r-plus-cohere-llm/]] 2024.4
-[[オープンなLLMをDockerで動かす>https://zenn.dev/karaage0703/articles/2b753b4dc26471]] 2023.5
-[[LLMとプログラミングを調和させるライブラリ、Marvinを体験してみました。｜はまち>https://note.com/hamachi_jp/n/na1960fc9d6d3]] 2023.5
-[[文系非エンジニアがChatGPT / LLMを数式なしで解説してみる｜Yuichiro.ito@Finatext(フィナテキスト)>https://note.com/110_110_110/n/n22d8c338163b]] 2023.5
*Claude [#ue4098b1]
→Amazon Bedrock
-[[Google Japan Blog: Bard が日本語に対応>https://japan.googleblog.com/2023/05/bard.html]] 2023.5
-[[VBA で Anthropic Claude 3 を使ってみよう #Excel - Qiita>https://qiita.com/bayashi987/items/a8a5f4992e1eb758f4c9]] 2024.4
-[[今日の論文2023/04/29,30：The Geometry of Multilingual Language Model Representations - izmyonの日記>https://izmyon.hatenablog.com/entry/2023/04/30/230245]] 2023.4
-[[【生成AI】Claude 3 OpusがAmazon Bedrockにやってきた！ | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ>https://techblog.nhn-techorus.com/archives/31720]] 2024.4
-[[Claude 3最強のOpusがついにAWSのBedrockに来た！！ #AWS - Qiita>https://qiita.com/minorun365/items/1a6d223e4227e201a509]] 2024.4
-[[大規模言語モデル間の性能比較まとめ｜mah_lab / 西見 公宏｜note>https://note.com/mahlab/n/na71a267a16dc]] 2023.4
-[[GPT-4より賢いと言われる「Claude 3」でいろいろ試した - Impress Watch>https://www.watch.impress.co.jp/docs/topic/1581763.html]] 2024.4
-[[大規模言語モデルを自社でトレーニング＆活用する方法｜mah_lab / 西見 公宏｜note>https://note.com/mahlab/n/n15969add8558]] 2023.4
-[[【ChatGPT超え？】最新AI「Claude 3」の恐るべき実力…本1冊分のテキストも読み込める！ | 仕事を256倍速くするツールを探せ！ | ダイヤモンド・オンライン>https://diamond.jp/articles/-/341643]] 2024.4
-[[大規模言語モデルのための強化学習｜npaka｜note>https://note.com/npaka/n/ne6d2e7e076ea]] 2023.4
-[[ASCII.jp：ChatGPTのライバル「Claude 3」の使い方 良い点、悪い点まとめ (1/5)>https://ascii.jp/elem/000/004/190/4190060/]] 2024.3
-[[How Do We Fix and Update Large Language Models?>https://hai.stanford.edu/news/how-do-we-fix-and-update-large-language-models]] 2023.4
-[[ChatGPTはもう古い!?話題のClaude3を徹底解説>https://newspicks.com/topics/ikigai-meets-ai/posts/54]] 2024.3
-[[大規模言語モデルをだます Hindsight Neglect タスクとは | 楽しみながら理解するAI・機械学習入門>https://data-analytics.fun/2023/04/23/understanding-hindsight-neglect/]] 2023.4
-[[BedrockのClaude 3でストリーミング出力するシンプルなコード #AWS - Qiita>https://qiita.com/minorun365/items/267f9cebe1a781ff5e68]] 2024.3
-[[ChatGPTとBardの対決を超える“事件”。無料の｢StableLM｣登場で｢AIの超民主化｣争いが始まった | Business Insider Japan>https://www.businessinsider.jp/post-269014]] 2023.4
-[[Claudeがブラウジングできないので自作アプリをClaudeで作った話 | ジコログ>https://self-development.info/claude%e3%81%8c%e3%83%96%e3%83%a9%e3%82%a6%e3%82%b8%e3%83%b3%e3%82%b0%e3%81%a7%e3%81%8d%e3%81%aa%e3%81%84%e3%81%ae%e3%81%a7%e8%87%aa%e4%bd%9c%e3%82%a2%e3%83%97%e3%83%aa%e3%82%92claude%e3%81%a7/]] 2024.3
-[[Stable Diffusion開発元、独自の大規模言語モデル「StableLM」をGitHubで公開し、商用利用も可能。チャットAI「StableChat」は数カ月後 | テクノエッジ TechnoEdge>https://www.techno-edge.net/article/2023/04/20/1189.html]] 2023.4
-[[Claude 3 Opusを試してみました - karaage. [からあげ]>https://karaage.hatenadiary.jp/entry/2024/03/18/073000]] 2024.3
-[[Building LLM applications for production>https://huyenchip.com/2023/04/11/llm-engineering.html]] 2023.4
-[[claude3を使ってみたら、ライティングの仕事が無くなるかもしれない瞬間を目の当たりして、衝撃を受けた件｜池田 亮平>https://note.com/profound/n/na3cbeafa7ec9]] 2024.3
-[[ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開 - GIGAZINE>https://gigazine.net/news/20230413-deepspeed-chat-chatgpt/]] 2023.4
--[[DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub>https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/japanese]] 2023.4
-[[ChatGPTplusを解約してClaude3Proへ乗り換えをする際に検討した事｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請>https://note.com/genkaijokyo/n/ne408375440a6?sub_rt=share_h]] 2024.3
-[[【Amazon Bedrock】Claude 3 Haikuが利用可能になりました！ | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ>https://techblog.nhn-techorus.com/archives/30334]] 2024.3
-[[メモリを追加して64GBになったので動かせなかった言語モデルを試した - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/04/05/213842]] 2023.4
-[[Claude3にプロジェクト全体をぶち込むためのプロジェクトの構造とファイル内容を自動でまとめるPythonスクリプト>https://zenn.dev/olemi/articles/7b7992c055c64a]] 2024.3
-[[LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX>https://comemo.nikkei.com/n/nf3132b57539c]] 2023.3
--[[LayerX LLM Labsチームを立ち上げます - LayerX エンジニアブログ>https://tech.layerx.co.jp/entry/2023/04/04/110000]] 2023.4
-[[Claude 3 Haiku の概要｜npaka>https://note.com/npaka/n/n71f1ef5f5e06]] 2024.3
-[[マルチレイヤーLLMでAIアシスタントの未来を切り拓く - Qiita>https://qiita.com/yakigac/items/1a4e3983031f385719e4]] 2023.4
-[[世界初？Claude3を使った動画解析 - claude3-video-analyzer>https://zenn.dev/olemi/articles/a8b492712fd9e7]] 2024.3
-[[LLMが変える、ユーザインターフェースの未来｜Dory｜note>https://note.com/dory111111/n/nf3c707c0bb5b]] 2023.4
-[[Claude3を使って人間が読むようにパワポ資料を読み込んでみる | DevelopersIO>https://dev.classmethod.jp/articles/read-powerpoint-document-with-claude-3/]] 2024.3
--RAGかも
-[[大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ>https://tech.acesinc.co.jp/entry/2023/03/31/121001]] 2023.3
-[[anthropics/anthropic-tools>https://github.com/anthropics/anthropic-tools]] 2024.3
-[[現状のLLMの流れ / Twitter>https://twitter.com/umiyuki_ai/status/1641083326940475393]] 2023.3
--1.マイクロソフトのBing VS GoogleのBard→検索エンジンの戦い
--2.オープン（メタのLLaMAとかGPT-J、GPT-NEOX、Cerebras-GPT） VS クローズ（ChatGPT, GPT-4, LaMDA, PaLM）
---→クローズ勢はオープン勢の研究成果を一方的に利用できる。逆にオープン勢はクローズモデルの入出力で蒸留できる。（規約的に微妙）
--3.ChatGPT VS AIスタートアップ→ChatGPTプラグインが登場して万能AIプラットフォーム化した事でAIスタートアップは壊滅か。これからは単なるプラグインの一つに収まる運命かも
--4.既存ツール VS ネイティブAIツール→あらゆるツールにLLMが搭載されだした。フォトショ、Blender、UE、Unity、Office、Note、Notion…
---これまた既存ツールにAI乗せただけみたいなAIスタートアップはバチボコ（たとえばTome）でも、AIネイティブなツールは？例えばRunway
--5.LLaMAの隆盛。リークされた途端にStable Diffusionの時みたいな盛り上がりを見せる。LLaMA. cpp（CPUで動く）、Alpaca、Alpaca_Lora、Alpacoom、日本語Alpaca、lit_LLaMA、OpenFlamingo、GPT4All
--6.マルチモーダル化の流れ。GPT-4やOpenFlamingo。テキスト学習データは枯渇しているからマルチモーダルにするしかない。マルチモーダルなら小パラメータでも高性能説？
--7.ロボットの頭脳にLLMを使う流れ。Googleが色々やってる。RT-1、PaLM-E
--8.H3やHyenaとかの最新アーキテクチャを使ったクソデカコンテキスト枠のモデルはどこが作るのか？
--9.RWKVのような思わぬダークホースのオープンソースモデルもやって来る。高速、省メモリ、長コンテキスト。Alpaca食わせてRavenに
--10.LLMの開発規制！？イーロン達がOpenAIにズルいとか言い出す。ゆくゆくはLLMの研究禁止などの規制に繋がるのか？
--11.周辺ライブラリ。LangChain、Llama Index、Guardrails
--12.GPT-4登場の衝撃。自称汎用テクノロジー、自称汎用知能。人間の仕事を相当置き換えられるポテンシャルという論文もある。
---心の理論タスクほぼ全クリ。9割の人間を上回る創造性。ワールドモデルを持っている？マンガも読める。最大コンテキスト長32k。未知の創発能力の可能性
-[[Amazon Bedrock に Claude 3 が追加されたので試してみた – TechHarmony>https://blog.usize-tech.com/amazon-bedrock-claude3/]] 2024.3
-[[大規模言語モデルの驚異と脅威 - Speaker Deck>https://speakerdeck.com/chokkan/20230327_riken_llm]] 2023.3
-[[BedrockのClaude3にマルチモーダルな問い合わせ可能なWebアプリをイチから作る #Python - Qiita>https://qiita.com/cyberBOSE/items/89ff1e91f99eb79f83bc]] 2024.3
-[[AIによる「大規模言語モデル」の最新潮流、日本が世界No.1になるための勝ち筋とは〜Shane Gu×スプツニ子！×松尾豊×山田敦×上野山勝也 - YouTube>https://www.youtube.com/watch?v=C-HqDod73xE]] 2023.3
-[[Anthropic Claude 3 Sonnet 使ってみた | DevelopersIO>https://dev.classmethod.jp/articles/anthropic-claude-3-sonnet-used-by/]] 2024.3
-[[ChatGPTや大規模言語モデルによる変化とソフトウェア開発の雑感｜Matsumoto Yuki｜note>https://note.com/y_matsuwitter/n/nb9a49086147a]] 2023.3
-[[GPT-4よりすごいらしいClaude 3が気になったあなたへ #AWS - Qiita>https://qiita.com/moritalous/items/8266f0c4bea6514713f7]] 2024.3
-[[Large Language Models and Where to Use Them: Part 1>https://txt.cohere.ai/llm-use-cases/]] 2022.9
-[[Anthropic Claude 3 の画像処理を試してみた | DevelopersIO>https://dev.classmethod.jp/articles/claude-3-image-processing/]] 2024.3
-[[Are Large Language Models Sentient? | by Naim Kabir | Jun, 2022 | Level Up Coding>https://levelup.gitconnected.com/are-large-language-models-sentient-d11b18ef0a0a]] 2022.6
-[[Claude 3を使ってさっそくローカルで画像解析してみた！ #Python - Qiita>https://qiita.com/hedgehog051/items/26ab1a5b035dd7760faf]] 2024.3
-[[Amazon BedrockでClaude 3 Sonnetが利用可能になりました - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/bedrock-claude3-sonnet]] 2024.3
-[[【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル - Qiita>https://qiita.com/sonoisa/items/a9af64ff641f0bbfed44#2-%E3%83%8B%E3%83%A5%E3%83%BC%E3%82%B9%E8%A8%98%E4%BA%8B%E3%81%AE%E3%82%BF%E3%82%A4%E3%83%88%E3%83%AB%E7%94%9F%E6%88%90%E4%B8%80%E7%A8%AE%E3%81%AE%E6%96%87%E7%AB%A0%E8%A6%81%E7%B4%84]] 2021
-[[フリーで使える日本語の主な大規模言語モデルまとめ>https://zenn.dev/hellorusk/articles/ddee520a5e4318]] 2022.4
-[[Python ( Boto3 ) からBedrockのClaude3を実行する #Python - Qiita>https://qiita.com/cyberBOSE/items/0e41fb7bcee6b7965d09]] 2024.3
-[[Google Colab で Claude 3 を試す｜npaka>https://note.com/npaka/n/nc8a729bec04d]] 2024.3
-[[Claude 3 の概要｜npaka>https://note.com/npaka/n/ncf17c1b16a5e]] 2024.3
-[[GPT-4を超えた？ Claude 3が登場！ Bedrockにも来ました。 #AWS - Qiita>https://qiita.com/minorun365/items/e6f3aa71f5e1bdf21139]] 2024.3
-[[君は Anthropic Claude を知っているか? #機械学習 - Qiita>https://qiita.com/icoxfog417/items/37add57fb1151d948755]] 2023.11
-[[ASCII.jp：ChatGPTとClaudeの違いは? チャットAI比較対決 (1/5)>https://ascii.jp/elem/000/004/164/4164175/]] 2023.11
-[[ついに日本で利用可能になったChatGPTの強力ライバル「Claude」使用レビュー、テキストファイルやPDFファイルの認識も可能でランチの相談からコーディング補助までサクサク応答 - GIGAZINE>https://gigazine.net/news/20231019-claude-chatgpt-rival-chat-ai/]] 2023.10
-[[OpenAIの競合Anthropic、ChatGPTに匹敵するClaude2をリリース、その特徴や実力とは？（AMP［アンプ］） - Yahoo!ニュース>https://news.yahoo.co.jp/articles/fe2c0a6319a1c1bce8b76ab9aeaa87215acfb66e]] 2023.10
*1ビットLLM/BitNet [#a0bd94d0]
-[[生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた（1/3 ページ） - ITmedia AI＋>https://www.itmedia.co.jp/aiplus/articles/2404/16/news064.html]] 2024.4
-[[【論文丁寧解説】BitNet b1.58とは一体何者なのか #アルゴリズム - Qiita>https://qiita.com/tech-Mira/items/67dec9c5a5f025d2727a]] 2024.3
-[[BitNetから始める量子化入門>https://zenn.dev/minux302/articles/6b8b5008218730]] 2024.3
-[[速報：話題の 1ビットLLMとは何か？｜寺田英雄（?オープンストリームCTO）>https://note.com/3d_vizionist/n/n0e7130ef92a2]] 2023.3
-[[既存日本語LLMをBitNetで置き換えて実行してみた｜はち>https://note.com/hatti8/n/ndba2c57d87c5]] 2023.3
*Gemini [#pa886a46]
-[[「Gemini」とは？Googleの生成AIサービスの基本解説>https://www.techfirm.co.jp/blog/gemini]] 2024.4
-[[Google Colab で Vertex AI の Gemini API を試す｜npaka>https://note.com/npaka/n/nca618fd69536]] 2024.3
-[[「Gemini」の政治理念は過度にリベラルに偏向？Googleは生成AIのイメージ生成機能を停止、モデルは歴史上の事実とは異なる画像を出力、倫理的なAIを開発する能力が問われている | Emerging Technology Review>https://etechnologyreview.com/2024/03/01/%e3%80%8cgemini%e3%80%8d%e3%81%ae%e6%94%bf%e6%b2%bb%e7%90%86%e5%bf%b5%e3%81%af%e9%81%8e%e5%ba%a6%e3%81%ab%e3%83%aa%e3%83%99%e3%83%a9%e3%83%ab%e3%81%ab%e5%81%8f%e5%90%91%ef%bc%9fgoogle%e3%81%af/]] 2023.3
-[[Google Colab で Gemma を試す｜npaka>https://note.com/npaka/n/n17170439fe62]] 2024.2
-[[Googleが警告、AI「Gemini」に“機密情報を入力しないで”。会話は従業員も閲覧（PHILE WEB） - Yahoo!ニュース>https://news.yahoo.co.jp/articles/aa49eb088d7c20fc74ee238f0cbbfdddc5b8c1bf]] 2024.2
-[[GoogleがGemini 1.5をリリース、最大100万トークンを処理できて1時間のムービーや70万語のテキストを扱うことが可能 - GIGAZINE>https://gigazine.net/news/20240216-gemini-1.5/]] 2024.2
-[[Geminiでマルチモーダル対応の生成AIチャットアプリを爆速で作ってみた - G-gen Tech Blog>https://blog.g-gen.co.jp/entry/multimodal-chat-app-with-gemini]] 2024.1
-[[【Python】LangChainとGemini APIの革新的連携 | ジコログ>https://self-development.info/%e3%80%90python%e3%80%91langchain%e3%81%a8gemini-api%e3%81%ae%e9%9d%a9%e6%96%b0%e7%9a%84%e9%80%a3%e6%90%ba/]] 2023.12
-[[Gemini Proの動作検証が簡単にできるWebアプリのインストール | ジコログ>https://self-development.info/gemini-pro%e3%81%ae%e5%8b%95%e4%bd%9c%e6%a4%9c%e8%a8%bc%e3%81%8c%e7%b0%a1%e5%8d%98%e3%81%ab%e3%81%a7%e3%81%8d%e3%82%8bweb%e3%82%a2%e3%83%97%e3%83%aa%e3%81%ae%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88/]] 2023.12
-[[PythonでGemini APIを利用する方法 | ジコログ>https://self-development.info/python%e3%81%a7gemini-api%e3%82%92%e5%88%a9%e7%94%a8%e3%81%99%e3%82%8b%e6%96%b9%e6%b3%95/]] 2023.12
-[[Gemini API  |  Vertex AI  |  Google Cloud>https://cloud.google.com/vertex-ai/docs/generative-ai/model-reference/gemini?hl=ja]] 2023.12
-[[NodeからGemini APIを使ってみる | DevelopersIO>https://dev.classmethod.jp/articles/node-gemini-api/]] 2023.12
-[[Gemini Pro のリリースの概要｜npaka>https://note.com/npaka/n/n1f768c215b9b]] 2023.12
-[[GPT-4を超えた。 Geminiの使い方とその性能を解説｜ChatGPT研究所>https://chatgpt-lab.com/n/n9dbf2134263a]] 2023.12
-[[電撃発表、グーグルが｢全力開発｣した生成AI｢Gemini｣の全貌…ChatGPT超えするか | Business Insider Japan>https://www.businessinsider.jp/post-279519]] 2023.12
-[[Googleが突如発表した新しいAI、Geminiがすごい - orangeitems’s diary>https://www.orangeitems.com/entry/2023/12/07/134851]] 2023.12
*LlaMA [#kf4f3171]
-[[OpenAI Python APIライブラリーからllama-cpp-pythonで立てたOpenAI API互換のサーバーへアクセスしてみる - CLOVER🍀>https://kazuhira-r.hatenablog.com/entry/2023/12/02/195203]] 2023.12
-[[llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER🍀>https://kazuhira-r.hatenablog.com/entry/2023/11/26/214347]] 2023.11
-[[llama2のpretrainingを試す>https://zenn.dev/if001/articles/6c507e15cd958b]] 2023.10
-[[Meta開発のLLMであるLLaMA、LLaMA2、派生モデルAlpacaについて解説！｜スタビジ>https://toukei-lab.com/llama]] 2023.10
--LLaMAの基本アーキテクチャはTransformer
-[[【西川和久の不定期コラム】340億パラメータのLLMは手元のPCで動く？Metaの「Code Llama 34B」を試してみた！ - PC Watch>https://pc.watch.impress.co.jp/docs/column/nishikawa/1534926.html]] 2023.9
-[[えっ、まだChatGPT使ってんの？ - Qiita>https://qiita.com/takao-takass/items/16a7052a4a0e857b7c90]] 2023.9
-[[Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.>https://note.com/elyza/n/na405acaca130]] 2023.8
-[[ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた（1/3 ページ） - ITmedia NEWS>https://www.itmedia.co.jp/news/articles/2307/30/news060.html]] 2023.7
-[[Llama 2の性能がGPT-3.5並みだというのが本当かテストしてみた｜IT navi>https://note.com/it_navi/n/n113fa7151a4f]] 2023.7
-[[オープンソースで商用利用可能な大規模言語モデル「Llama 2」がReplicateに登場したのでAPI経由で使ってみた - GIGAZINE>https://gigazine.net/news/20230720-llama-2-api/]] 2023.7
-[[話題のLlama 2という大規模言語モデルをAmazon SageMaker JumpStartで動かしてみた | DevelopersIO>https://dev.classmethod.jp/articles/sagemaker-jumpstart-llama2/]] 2023.7
**Llama.cpp [#l8243822]
-[[非力なパソコンでもLLMを動かしたい!? llama.cppの紹介 | CyberAgent Developers Blog>https://developers.cyberagent.co.jp/blog/archives/45308/]] 2023.12
-[[Llama.cpp で Llama 2 を試す｜npaka>https://note.com/npaka/n/n0ad63134fbe2]] 2023.7
**Alpaca [#v7a594c5]
-LLaMAの派生モデル
-[[日本語Alpacaデータを用いてJapanese-Alapaca-LoRAを作ったので公開します【デモページあり】｜kun1emon｜note>https://note.com/kun1emon/n/n1533345d5d26]] 2023.3
-[[BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita>https://qiita.com/iss-f/items/9ab11ed38dde2fc1f43b]] 2023.3
-[[チャットAI「Alpaca」をローカルにインストールしてオフラインでAIと会話できる「Alpaca.cpp」インストール手順まとめ - GIGAZINE>https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/]] 2023.3
-[[Alpaca-loraを日本語タスクでファインチューニングする - Qiita>https://qiita.com/toshi_456/items/280efc31950ddb083286]] 2023.3
-[[GitHub - antimatter15/alpaca-lora: Code for reproducing the Stanford Alpaca InstructLLaMA result on consumer hardware>https://github.com/antimatter15/alpaca-lora]] 2023.3
*rinna [#vcc7fc94]
-[[HuggingFaceのLLMのメモリ使用率を調べる #NLP - Qiita>https://qiita.com/ieiringoo/items/8ffe9b99cb745c2cde29]] 2023.10
-[[ローカルで動くマルチモーダルモデル(rinna-4b multimodal)を使って簡単なゲーム実況AIを作ってみた - Qiita>https://qiita.com/takaaki_inada/items/62e6f21cb2dbdae43ed4]] 2023.8
-[[ローカルでも動く！？日本語に特化した強化学習済み対話GPT言語モデルを検証してみる - Qiita>https://qiita.com/tsuno0821/items/e18a1bc6b7e1885f375c]] 2023.7
-[[上司「オンプレでチャットAI作って」 - Qiita>https://qiita.com/namn1125/items/bc81f12f7bcfb2494c9c]] 2023.6
-[[ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita>https://qiita.com/takaaki_inada/items/9a9c07e85e46ec0e872e]] 2023.6
-[[自分の過去ツイートでrinna/japanese-gpt-neox-3.6bをfinetuningして「俺tter」を生成する｜松xRのnote>https://note.com/eurekachan/n/n899132477dff]] 2023.6
-[[話題のrinna-3.6bをColab無料枠で動かしたい！(Hugging Face load_in_8bitを使ったサンプルコード) - Qiita>https://qiita.com/kota-iw/items/b89a5eb4b7804c93c65d]] 2023.5
-[[【Python】手持ちのGPUがVRAM12Gだけど「Rinna-3.6B」とお話がしたい！！！ - Qiita>https://qiita.com/ys_dirard/items/e8904f8ded1d73532f8c]] 2023.5
-[[Google Colab で Rinna-3.6B を試す｜npaka>https://note.com/npaka/n/ne4a38239f420]] 2023.5
*PaLM [#eff95934]
-超大規模Transformerモデル、コーディングタスクや多言語タスクでも高い性能
-[[PaLM 2 APIを使ってtext-bisonモデルに感情分析させてみた>https://zenn.dev/cloud_ace/articles/20230609releaevertexai]] 2023.6
-[[Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する | Emerging Technology Review>https://etechnologyreview.com/2022/04/29/google%E3%81%AF%E4%B8%96%E7%95%8C%E6%9C%80%E5%A4%A7%E8%A6%8F%E6%A8%A1%E3%81%AEai%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB%E3%80%8Cpalm%E3%80%8D%E3%82%92%E9%96%8B%E7%99%BA%E3%80%81%E8%A8%80/#:~:text=Google%E3%81%AF%E4%B8%96%E7%95%8C%E5%A4%A7%E8%A6%8F%E6%A8%A1,%E3%83%96%E3%83%AC%E3%83%BC%E3%82%AF%E3%82%B9%E3%83%AB%E3%83%BC%E3%82%92%E9%81%94%E6%88%90%E3%81%97%E3%81%9F%E3%80%82]] 2022.7
*OpenCALM [#g26d0ca4]
-[[CyberAgent社の日本語LLM OpenCALMの対話モデル用途のfinetune検証 - ACES エンジニアブログ>https://tech.acesinc.co.jp/entry/2023/05/19/181407]] 2023.5
-[[サイバーエージェントの日本語LLM OpenCALMをDatabricksで動かしてみる - Qiita>https://qiita.com/taka_yayoi/items/f28037d969b15c037c9e]] 2023.5
-[[CyberAgentの日本語言語モデルを試してみる - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/05/17/144518]] 2023.5
*Dolly [#p6852928]
-[[大規模言語モデル(LLM)Dollyをパラメーター数を変えて動かしてみた - APC 技術ブログ>https://techblog.ap-com.co.jp/entry/2023/05/09/092127]] 2023.5
-[[LLMのオープンソース化とDatabricks - Speaker Deck>https://speakerdeck.com/naoyaabedb/llmnoopunsosuhua-todatabricks]] 2023.4
-[[無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita>https://qiita.com/riversun/items/7c45580f1a098b041528]] 2023.4
-[[Hello Dolly: オープンなモデルでChatGPTの魔法を民主化する - Qiita>https://qiita.com/taka_yayoi/items/e9c895c169da652c6efb]] 2023.3
*RWKV [#efdcce35]
-[[従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ - GIGAZINE>https://gigazine.net/news/20230709-rwkv-language-model/]] 2023.7
--アテンションの計算においては入力トークン間の全てのペアについて計算する必要があるため、処理に必要な時間が入力トークンの量の2乗に比例してしまうほか、テキストを生成する時には全トークンのアテンションベクトルを利用するのでメモリを大量に必要とするなど、入力トークンの長さに関して制限が存在しています。一方、RNNの場合は計算量が入力トークンの量の1乗に比例するため、かなり長い文章を「読む」ことが可能です
-[[RNNでTransformer並みの性能を実現するRWKVがやばい>https://zenn.dev/hikettei/articles/5d6c1318998411]] 2023.4
-[[RWKVをローカルPCで動かす（pyenv/Docker）>https://zenn.dev/karaage0703/articles/d58d79d8e77ab8]] 2023.3
-[[おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/03/28/192028]] 2023.3
-[[Google Colab で RWKV を試す｜npaka｜note>https://note.com/npaka/n/nc0592a884903]] 2023.3
-[[ChatGPT終了のお知らせ!?完全無料&オープン爆速大規模自然言語モデルRWKVが爆誕 - YouTube>https://www.youtube.com/watch?v=hnkiLlTiG6Y]] 2023.3
*Alpaca [#v7a594c5]
-[[日本語Alpacaデータを用いてJapanese-Alapaca-LoRAを作ったので公開します【デモページあり】｜kun1emon｜note>https://note.com/kun1emon/n/n1533345d5d26]] 2023.3
-[[BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita>https://qiita.com/iss-f/items/9ab11ed38dde2fc1f43b]] 2023.3
-[[チャットAI「Alpaca」をローカルにインストールしてオフラインでAIと会話できる「Alpaca.cpp」インストール手順まとめ - GIGAZINE>https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/]] 2023.3
-[[Alpaca-loraを日本語タスクでファインチューニングする - Qiita>https://qiita.com/toshi_456/items/280efc31950ddb083286]] 2023.3
-[[GitHub - antimatter15/alpaca-lora: Code for reproducing the Stanford Alpaca InstructLLaMA result on consumer hardware>https://github.com/antimatter15/alpaca-lora]] 2023.3
*FlexGen [#d50e3855]
-[[LLM推論にGPUは1つでいい？FlexGenについてまとめてみた - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/29/153000]] 2023.5
-[[FlexGenでおうちのパソコンとお話する - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/03/29/140719]] 2023.3
-[[ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由 | Business Insider Japan>https://www.businessinsider.jp/post-265982]] 2023.2
-[[自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす>https://zenn.dev/karaage0703/articles/de7045e9792623]] 2023.2
-[[大規模言語モデルをシングルGPUで動かせる!? FlexGenを触ってみた | DevelopersIO>https://dev.classmethod.jp/articles/flexgen-in-colaboratory/]] 2023.2
-[[ChatGPT級のAIチャットボットがすぐに使えるFlexGen（あなたもColabでできる） - Qiita>https://qiita.com/john-rocky/items/28f17229b524c45d2204]] 2023.2
*LLM系統樹 [#zf238204]
-[[[2304.13712] Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond>https://arxiv.org/abs/2304.13712]]
--&ref(LLM系統.jpg);
*その他のモデル [#kaf3dfd0]
-[[いちばんやさしいローカル LLM｜ぬこぬこ>https://note.com/schroneko/n/n8b1a5bbc740b]] 2024.4
--Ollama,quantkit
*大規模言語モデルと法律 [#i0742ac2]
-[[【連載1】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-LLMの使用許諾条件- - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/16/153000]] 2023.5
--[[【連載2】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-個人情報や営業秘密等の保護- - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/17/161613]] 2023.5
--[[【連載3】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-著作権の侵害リスク- - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/23/153826]] 2023.5
--[[【連載4】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-海外の法規制- - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/24/155316]] 2023.5
-[[賢いと噂の日本語LLM「ELYZA」をウェブAPIで使う！ Power Automateなどからも呼び出せる完全ローカル環境の構築【イニシャルB】 - INTERNET Watch>https://internet.watch.impress.co.jp/docs/column/shimizu/1533974.html]] 2023.10
-[[Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka>https://note.com/npaka/n/n83a017e6f621?sub_rt=share_sb]] 2023.9
-[[100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。 – 東京大学松尾研究室 – Matsuo Lab>https://weblab.t.u-tokyo.ac.jp/100%E5%84%84%E3%83%91%E3%83%A9%E3%83%A1%E3%83%BC%E3%82%BF%E3%82%B5%E3%82%A4%E3%82%BA%E3%83%BB%E6%97%A5%E8%8B%B12%E3%83%B6%E5%9B%BD%E8%AA%9E%E5%AF%BE%E5%BF%9C%E3%81%AE%E5%A4%A7%E8%A6%8F%E6%A8%A1/]] 2023.8
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
