- 追加された行はこの色です。
- 削除された行はこの色です。
#author("2023-10-15T13:58:02+09:00","default:irrp","irrp")
#author("2024-04-07T10:29:01+09:00","default:irrp","irrp")
→データ処理関連
→ディープラーニング
→AI／機械学習
→画像生成
→画像認識／検出／トラッキング
→音声処理関連
#contents
*サブトピック [#y53db77d]
-大規模言語モデル
-プロンプト・エンジニアリング
-LLMアプリ開発
--LLMのローカル知識対応
--OpenAIのAPI
--LLMライブラリ（LangChain/LlamaIndexなど）
-Transformer ←BERTもこちら
--GPT関連
--OpenAIのAPI
--単語の分散表現、ベクトル表現、エンベディング
--ChatGPT関連
--LLMライブラリ（LangChain/LlamaIndexなど）
-Amazon Bedrock
-形態素解析／構文解析
-全文検索
*NLP一般 [#jc20fcfd]
-[[AIで商品名をクレンジングする、Llama2や、Google Cloud Gemini-proとVertex AIを活用した商品名の最適化>https://zenn.dev/minedia/articles/c018dd09801091#%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%83%A2%E3%83%87%E3%83%AB-(llama2)]] 2024.4
-[[[中級編]LLMへ至る道~Seq2Seqってやつがいるらしい~[14日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-14/]] 2023.12
-[[[中級編]LLMへ至る道~要約処理って何しているの？~[13日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-13/]] 2023.12
-[[Python による日本語自然言語処理>https://www.nltk.org/book-jp/ch12.html]] 2023.12
-[[Amazon Comprehend はアンケート分析に使えるのか試してみた | 豆蔵デベロッパーサイト>https://developer.mamezou-tech.com/blogs/2023/08/22/amazon-comprehend/]] 2023.8
--日本語の分析としてはいまいちらしい
-[[ChatGPTやBardなど複数のチャットAIへ同時に質問して結果をずらっと比較できる「ChatALL」を使ってみたよレビュー - GIGAZINE>https://gigazine.net/news/20230515-chatall/]] 2023.5
-[[Baby-AGIなるAI連動型の推論システムを評価してみた | IIJ Engineers Blog>https://eng-blog.iij.ad.jp/archives/19126]] 2023.4
-[[NLP2023 緊急パネル：ChatGPTで自然言語処理は終わるのか？（言語処理学会理事会主催）2023年3月14日 沖縄コンベンションセンター - YouTube>https://www.youtube.com/watch?v=TXgOrYUPs_s]] 2023.4
-[[Is Attention All You Need?Transformer を超える(?)新モデルS4 - GMOインターネットグループ グループ研究開発本部（次世代システム研究室）>https://recruit.gmo.jp/engineer/jisedai/blog/is-attention-all-you-need/]] 2023.3
-[[画像と文字を扱うマルチモーダルモデルがオープンソースの「OpenFlamingo」として登場、無料で使えるデモも公開中 - GIGAZINE>https://gigazine.net/news/20230329-openflamingo/]] 2023.3
-[[自然言語処理のためのDeep Learning>https://www.slideshare.net/yutakikuchi927/deep-learning-26647407]] 2023.3
-[[プロンプトエンジニアリングを加速する、AI モデルの性能評価フレームワーク「OpenAI Evals」を試してみた | DevelopersIO>https://dev.classmethod.jp/articles/openai-evals-trial/]] 2023.3
-[[二つの文章がどこまで似ているか判定したい - Qiita>https://qiita.com/mingchun_zhao/items/866109c3846157d57aed]] 2023.3
-[[NLPとVision-and-Languageの基礎・最新動向 (1) / DEIM Tutorial Part 1: NLP - Speaker Deck>https://speakerdeck.com/kyoun/deim-tutorial-part-1-nlp]] 2023.3
--[[NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language - Speaker Deck>https://speakerdeck.com/kyoun/deim-tutorial-part-2-vision-and-language]] 2023.3
-[[【実験】OpenAI、GPTZero…AIが書いた文章はどれぐらい見抜かれる？7つのAI判別ツールを比べてみた【テッククランチ】 | レバテックラボ（レバテックLAB）>https://levtech.jp/media/article/news/detail_202/]] 2023.2
-[[大規模言語モデル AI が道具をつかえるようになったという衝撃>https://newspicks.com/topics/dx/posts/43]] 2023.2
-[[NLPの専門用語一覧まとめ - すえつぐのNLP&G>https://nlpillustration.tech/?p=2442]] 2023.2
-[[自然言語処理(NLP)の歴史まとめ｜ニューラルネットワークベースのNLP - すえつぐのNLP&G>https://nlpillustration.tech/?p=2408]] 2023.2
-[[【論文解説】Google の対話 AI『LaMDA』を理解する | 楽しみながら理解するAI・機械学習入門>https://data-analytics.fun/2023/02/19/understanding-lamda/]] 2023.2
-[[文章を自動的にナレッジグラフにできるGraphGPTのインストール | ジコログ>https://self-development.info/%e6%96%87%e7%ab%a0%e3%82%92%e8%87%aa%e5%8b%95%e7%9a%84%e3%81%ab%e3%83%8a%e3%83%ac%e3%83%83%e3%82%b8%e3%82%b0%e3%83%a9%e3%83%95%e3%81%ab%e3%81%a7%e3%81%8d%e3%82%8bgraphgpt%e3%81%ae%e3%82%a4%e3%83%b3/]] 2023.2
-[[AI Text Classifier - OpenAI API>https://platform.openai.com/ai-text-classifier]] 2023.1
--AIによる文章を判定するAPI
-[[ChatGPTだけではない。大手テック企業による会話AI開発の最前線 | AI専門ニュースメディア AINOW>https://ainow.ai/2023/01/30/271654/]] 2023.1
-[[【Deep Learning研修（発展）】系列データモデリング - YouTube>https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt]] 2022.12
-[[政治家の発言を可視化し、問題解決に取り組んでいるかを調べる [by ChatGPT] - Qiita>https://qiita.com/yutakobayashi/items/1381de1da52ea7ca56b9]] 2022.12
-[[MIT Tech Review: 大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か>https://www.technologyreview.jp/s/291329/we-could-run-out-of-data-to-train-ai-language-programs/]] 2022.11
-[[Hugging Faceのモデル学習で、モデルをカスタマイズする方法 | DevelopersIO>https://dev.classmethod.jp/articles/huggingface-usage-custom-model/]] 2022.11
-[[Introduction - Hugging Face Course>https://huggingface.co/course/chapter0/1?fw=pt]] 2022.11
-[[第５回 【Python】まだ見ぬアクティビティーを求めてアソビュー ！Doc2Vecモデルチューニング - Qiita>https://qiita.com/Tokoroteen/items/1da9434e90ff407e6422]] 2022.11
-[[DeepL APIを公式のDeepL Python Libraryから利用する | ジコログ>https://self-development.info/deepl-api%e3%82%92%e5%85%ac%e5%bc%8f%e3%81%aedeepl-python-library%e3%81%8b%e3%82%89%e5%88%a9%e7%94%a8%e3%81%99%e3%82%8b/]] 2022.11
-[[(PDF) Natural Language Processing with Python>https://www.researchgate.net/publication/220691633_Natural_Language_Processing_with_Python]] 2022.10
-[[夏目漱石さんの「こころ」の心を感情分析プログラムで解析してみた - Qiita>https://qiita.com/Mizuiro__sakura/items/236ef2b239c8c0e077a9]] 2022.9
-[[今さら聞けない自然言語処理(NLP) - Qiita>https://qiita.com/taka_yayoi/items/92ec880c7d7c6ce271d5]] 2022.9
-[[近年の本格ミステリを可視化する【テキストマイニング】 - Qiita>https://qiita.com/masaka_programming/items/4d871f90c5876a3bcb38]] 2022.9
-[[[Salesforce Research論文]自然言語からコードを生み出す”CodeGen”を試してみた | DevelopersIO>https://dev.classmethod.jp/articles/check-sample-code-for-codegen/]] 2022.8
-[[【メタサーベイ】基盤モデル / Foundation Models>https://www.slideshare.net/cvpaperchallenge/foundation-models]] 2022.8
--Transformer,BERT, ViT, CLIP, GLIDE, ...
-[[自然言語処理分野で用いられる敵対的学習手法について - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2022/08/23/153001]] 2022.8
-[[Pythonで文章要約！自然言語処理を使ってExciteの記事を要約してみた - エキサイト TechBlog.>https://tech.excite.co.jp/entry/2022/08/19/181445]] 2022.8
-[[Wav2Vec2.0を使った音声認識を試してみました！ - CCCマーケティング TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2022/08/09/131953]] 2022.8
-[[GitHub - manticoresoftware/manticoresearch: Easy to use open source fast database for search | Good alternative to Elasticsearch now | Drop-in replacement for E in the ELK soon>https://github.com/manticoresoftware/manticoresearch]] 2022.8
-[[BLOOMはここ10年で最も重要なAIモデルだ | AI専門ニュースメディア AINOW>https://ainow.ai/2022/08/30/267101/]] 2022.8
-[[The Technology Behind BLOOM Training>https://huggingface.co/blog/bloom-megatron-deepspeed]] 2022.7
-[[NER（固有表現抽出）始めませんか？ 第1回 | NTTデータ先端技術株式会社>https://www.intellilink.co.jp/column/ai/2021/120700.aspx]] 2021.12
-[[【保存版】さまざまな自然言語処理の手法を学べるレシピ30選（2022年4月版） - Qiita>https://qiita.com/AxrossRecipe_SB/items/fd1e6e893e3f3fb50d2c]] 2022.4
-[[SageMakerで作るケチケチ文書分類 - Mirai Translate TECH BLOG>https://miraitranslate-tech.hatenablog.jp/entry/2022/04/19/120000]] 2022.4
-[[【タイタニック】AutoTrainで2値分類 - Qiita>https://qiita.com/relu/items/200168efa13a7ed55d12]] 2022.4
--AutoTrainとはノーコードでテキスト分類や要約や構造化データの機械学習などがstate-of-the-artできるサービスです。
-[[AutoTrainで文章要約 - Qiita>https://qiita.com/relu/items/129de82967d99ee4c398]] 2022.4
-[[NLP2022に参加しました（前編）｜朝日新聞社 メディア研究開発センター｜note>https://note.com/asahi_ictrad/n/n2b6721134972]] 2022.3
-[[「テキストアナリティクスの基礎と実践」をpythonで読む3 テキストの特徴分析 - Qiita>https://qiita.com/tanaka_benkyo/items/58f5ace6d7668688117f]] 2022.3
-[[【AIのべりすと】とうとうAIが面白い小説を書けるようになってきた！！ 〜AIによる小説の自動生成の最前線〜 - Qiita>https://qiita.com/mfuji3326/items/f86aca1df4ddc85c4a50]] 2021.11
--https://ai-novel.com/index.php
-[[【関連書籍】深層学習による自然言語処理 >https://amzn.to/3kh0zbN]]
-[[【関連書籍】ゼロから作るDeep Learning ❷ ―自然言語処理編>https://amzn.to/3k1lRKC]]
*言語処理100本ノック [#m3a5ce52]
-[[言語処理100本ノック第2章 解答と解説のまとめ - ブレインズコンサルティング・テックブログ>https://blog.brains-consulting.tech/entry/2022/09/13/173954]] 2022.12
-[[言語処理100本ノック 2020 (Rev 2) - NLP100 2020>https://nlp100.github.io/ja/]] 2020
--[[【言語処理100本ノック 2020】Pythonによる解答例まとめ - Qiita>https://qiita.com/yamaru/items/0cac24710626333bd693]] 2020.11
*形態素解析/構文解析 [#l8b0b3e6]
-[[【自然言語処理シリーズ】形態素解析についてわかりやすく解説！理論編 | キカガクの技術ブログ>https://blog.kikagaku.co.jp/morphological-analysis]] 2023.8
-[[WorksApplications/sudachi.rs: Sudachi in Rust 🦀 and new generation of SudachiPy>https://github.com/WorksApplications/sudachi.rs]] 2023.4
-[[【爆速で理解できる】英語の形態素解析の使い方をCHATGPTに教えてもらう - Qiita>https://qiita.com/makaishi2/items/eb43cfcef2ca0d9761bb]] 2023.3
-[[Pythonを使った、形態素解析器での読みの取得 - estie inside blog>https://inside.estie.co.jp/entry/2022/11/09/110000]] 2022.11
-[[Pythonでかな漢字変換 mozcpy の紹介 - Qiita>https://qiita.com/yukinoi/items/000f6fe4560799378dc0]] 2022.8
-[[AWS Lambda で形態素解析〜句を詠めば鐘が鳴るなりスッコココ〜 - estie inside blog>https://inside.estie.co.jp/entry/20220819]] 2022.8
-[[日本語形態素解析 - Yahoo!デベロッパーネットワーク>https://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html]]
**GiNZA [#rd078b51]
-[[日本語自然言語処理オープンソースライブラリ「GiNZA」で構文解析をやってみた | DevelopersIO>https://dev.classmethod.jp/articles/try-parsing-using-ginza/]] 2022.12
-[[【Python】GiNZA: 日本語自然言語処理オープンソースライブラリ - Qiita>https://qiita.com/BUU-SAN/items/a511981df820e07e015b]] 2022.7
**MeCab [#hce9b9e9]
-[[【自然言語処理シリーズ】形態素解析についてわかりやすく解説！実践編 | キカガクブログ>https://blog.kikagaku.co.jp/practice-morphological-analysis]] 2023.10
--Nagisaも
-[[日本語機械学習開発環境の作成 | PR TIMES 開発者ブログ>https://developers.prtimes.jp/2023/01/26/create_ml_env/]] 2023.1
-[[MeCabを使った575判定 - estie inside blog>https://inside.estie.co.jp/entry/2022/11/10/110000]] 2022.11
-[[MeCab互換な形態素解析器Vibratoの高速化技法 - LegalForce Engineering Blog>https://tech.legalforce.co.jp/entry/2022/09/20/133132]] 2022.9
-[[python MeCab で listの文章を一部を取り出し機械学習 - Qiita>https://qiita.com/TaichiEndoh/items/10b26ccb7ec8609c0d54]] 2022.8
-[[PythonでMeCabを使う際のメモ - Qiita>https://qiita.com/smiler5617/items/0744c256841875824ed2]] 2022.7
--[[PythonでMeCabを使う際のメモ2 - Qiita>https://qiita.com/smiler5617/items/0db32903ef8cd0be7a16]] 2023.7
-[[MeCabで形態素解析すれば品名の表記が異なっても一向にかまわんッッ - CUEBiC TEC BLOG>https://cuebic.hatenablog.com/entry/2022/06/28/090000]] 2022.6
-[[MeCab>http://mecab.sourceforge.net/]]
--MeCabは 京都大学情報学研究科−日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジンです. 言語, 辞書,コーパスに依存しない汎用的な設計を基本方針としています. パラメータの推定に Conditional Random Fields (CRF) を用いており, ChaSenが採用している隠れマルコフモデルに比べ性能が向上しています。また、平均的に ChaSen, Juman, KAKASIより高速に動作します.
* RNN/LSTM [#ge1d0e12]
-[[[中級編]LLMへ至る道~RNNってやつがいるらしい~[9日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-09/]] 2023.12
-[[リカレントニューラルネットワーク（RNN）の基礎 - Qiita>https://qiita.com/_oshiritantei/items/3494590a92c609cf0e50]] 2023.4
-[[Deep Learning入門：数式なしで理解するLSTM (Long short-term memory) - YouTube>https://www.youtube.com/watch?v=unE_hofrYrk&t=1s]] 2022.4
-[[RNNにsin波を学習させて予測してみた - Qiita>https://qiita.com/yuyakato/items/ab38064ca215e8750865]] 2016
*チャットボット [#qf705d93]
-[[大規模言語モデル（LLM）を使ってFAQページに沿って答えてくれるチャットボットをつくろう - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/llm-rag-lex-s3]] 2023.9
-[[LangChain × Streamlitで爆速AIチャットbot開発 【婚活GPT】というアプリを作ってみた！ - Qiita>https://qiita.com/app_js/items/ac2cf4639ede5b7aede3]] 2023.8
-[[チャットボットのテストのためのチャットボットを作って自動で対話してもらう｜mah_lab / 西見 公宏>https://note.com/mahlab/n/n377fef03d5a4]] 2023.5
-[[【Python】ChatGPT＋Google Custom Search APIでBingのチャットボットを再現してみた - Qiita>https://qiita.com/keisuke-okb/items/3c0f82612dfc38535e53]] 2023.4
-[[streamlitでGPT-3.5のチャットボットを作った話 - Google スライド>https://docs.google.com/presentation/d/1YBBm4i9AD_Osnf6EfAmE7kK7FxO1Oj6Mh4a3DgI-zVI/preview?slide=id.p1]] 2023.3
-[[Amazon Connect と ChatGPTのAPIを使い、電話で質問するとChatGPTが何でも答えてくれるコールセンター向けチャットボットシステムを構築してみた | DevelopersIO>https://dev.classmethod.jp/articles/amazon-connect-chatgpt-api-chatbot/]] 2023.3
-[[Azure OpenAIを使ったチャットボットWebアプリをAzureに閉じたネットワーク環境に構築する方法 | DevelopersIO>https://dev.classmethod.jp/articles/azure-openai-chatbot-in-closed-network/]] 2023.7
-[[Azure OpenAI Serviceに触れてみる – ポンコツダ・ヴィンチ チャットボットの制作 | IIJ Engineers Blog>https://eng-blog.iij.ad.jp/archives/18386]] 2023.3
-[[FAQチャットボット開発に役立つGPT Indexのインストール | ジコログ>https://self-development.info/faq%e3%83%81%e3%83%a3%e3%83%83%e3%83%88%e3%83%9c%e3%83%83%e3%83%88%e9%96%8b%e7%99%ba%e3%81%ab%e5%bd%b9%e7%ab%8b%e3%81%a4gpt-index%e3%81%ae%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab/]] 2023.1
-[[13億パラメータの日本語特化GPT言語モデルを使ってSlackAIチャットボットを作ってみた1〜文章生成機能編〜 - Qiita>https://qiita.com/milky04/items/24d7d2abf90e90417d93]] 2022.7
-[[プロンプトエンジニアリングの無料コースを受講したのでチャットボットをサクッと作ってみた - Qiita>https://qiita.com/Vermee81/items/3de1c4cb1d3740a5b487]] 2023.5
-[[Google、Python環境の「Colaboratory」にAIによる開発支援機能を搭載へ。自然言語からのコード生成、チャットボットによる質疑応答など − Publickey>https://www.publickey1.jp/blog/23/googlepythoncolaboratoryai.html]] 2023.5
-[[高度なチャットボット「ChatGPT」は検索エンジンを置き換える！！Googleは創業以来の危機に直面 | Emerging Technology Review>https://etechnologyreview.com/2022/12/16/%e9%ab%98%e5%ba%a6%e3%81%aa%e3%83%81%e3%83%a3%e3%83%83%e3%83%88%e3%83%9c%e3%83%83%e3%83%88%e3%80%8cchatgpt%e3%80%8d%e3%81%af%e6%a4%9c%e7%b4%a2%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3%e3%82%92%e7%bd%ae/]] 2022.12
* ワードクラウド [#w5a83eca]
-[[【Python OSSライブラリ製作】話題の時系列変化を可視化する"アニメ化"ワードクラウドを作成するライブラリをリリースした #Python - Qiita>https://qiita.com/konbraphat51/items/1d72404203e4c63d8cda]] 2024.1
-[[ノーコードで、いろんな見た目の「Word Cloud」を描かせる（Google Colab使用） - Qiita>https://qiita.com/hima2b4/items/8958ee0ff2618b9b4cb9]] 2022.8
-[[Twitter可視化システムを作ってみたら日本に笑顔が溢れていた話 - NTT Communications Engineers' Blog>https://engineers.ntt.com/entry/2022/06/20/111744]] 2022.6
-[[ワードクラウドでよろしく ザ・ベスト – プログラマーやめました>https://www.premium-tsubu-hero.net/wordcloud-yoroshiku-thebest/]] 2022.6
-[[WordCloudを使って父の日プレゼントを探す – プログラマーやめました>https://www.premium-tsubu-hero.net/wordcloud-chichinohi/]] 2022.5
-[[ワードクラウド>https://okumuralab.org/~okumura/python/wordcloud.html]] 2019
* 文字起こし/音声読み上げ [#b606bf16]
→音声処理関連へ
*機械翻訳 [#o37deb76]
-[[YouTubeで言葉のカベが消えそう。アドビの｢多言語化｣技術には夢がある | ギズモード・ジャパン>https://www.gizmodo.jp/2023/10/adobe-max-project-dub-dub-dub.html]] 2023.10
-[[Google Colabで英語の論文を無料で翻訳する方法 - Qiita>https://qiita.com/sakasegawa/items/f50aae7f3acf475411aa]] 2023.2
-[[Amazon Translateに再入門する（2023年01月版） | DevelopersIO>https://dev.classmethod.jp/articles/reintro-managed-ml-translate/]] 2023.1
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
