自然言語処理／全文検索

→データ処理関連

→ディープラーニング

→AI／機械学習

自然言語処理、NLP †

• NER（固有表現抽出）始めませんか？ 第1回 | NTTデータ先端技術株式会社 2021.12

• 【保存版】さまざまな自然言語処理の手法を学べるレシピ30選（2022年4月版） - Qiita 2022.4

• 【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル - Qiita 2021
• フリーで使える日本語の主な大規模言語モデルまとめ 2022.4

• SageMakerで作るケチケチ文書分類 - Mirai Translate TECH BLOG 2022.4

• 【タイタニック】AutoTrainで2値分類 - Qiita 2022.4
  • AutoTrainとはノーコードでテキスト分類や要約や構造化データの機械学習などがstate-of-the-artできるサービスです。
• AutoTrainで文章要約 - Qiita 2022.4

• NLP2022に参加しました（前編）｜朝日新聞社 メディア研究開発センター｜note 2022.3

• 「テキストアナリティクスの基礎と実践」をpythonで読む3 テキストの特徴分析 - Qiita 2022.3

• 最近のDeep Learning (NLP) 界隈におけるAttention事情 2022.3

• 自然言語処理の必須知識 Transformer を徹底解説！ | DeepSquare 2022.3

• 深層学習界の大前提Transformerの論文解説！ - Qiita 2019
  • アーキテクチャのポイントは以下の3つだよ。
    • エンコーダー-デコーダモデル
    • Attention
    • 全結合層
  • NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデル だから理解必須だよ。

• 言語処理100本ノック 2020 (Rev 2) - NLP100 2020 2020
  • 【言語処理100本ノック 2020】Pythonによる解答例まとめ - Qiita 2020.11

• 【AIのべりすと】とうとうAIが面白い小説を書けるようになってきた！！　〜AIによる小説の自動生成の最前線〜　 - Qiita 2021.11
  • https://ai-novel.com/index.php

形態素解析 †

• 日本語形態素解析 - Yahoo!デベロッパーネットワーク

• MeCab
  • MeCabは 京都大学情報学研究科−日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジンです. 言語, 辞書,コーパスに依存しない汎用的な設計を基本方針としています. パラメータの推定に Conditional Random Fields (CRF) を用いており, ChaSenが採用している隠れマルコフモデルに比べ性能が向上しています。また、平均的に ChaSen, Juman, KAKASIより高速に動作します.

ワードクラウド †

• Twitter可視化システムを作ってみたら日本に笑顔が溢れていた話 - NTT Communications Engineers' Blog 2022.6
• ワードクラウドでよろしく ザ・ベスト – プログラマーやめました 2022.6
• WordCloudを使って父の日プレゼントを探す – プログラマーやめました 2022.5
• ワードクラウド 2019

Word2Vec †

• Word2Vecを用いたタンパク質の分散表現 - Qiita 2022.4
• 【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita 2016
• 【word2vec】会社のクチコミを自然言語処理した結果を可視化してみる - Qiita 2017

BERT †

• BERT入門 2022.6

• BERT Research - Ep. 1 - Key Concepts & Sources - YouTube 2019
• 自然言語処理モデル「BERT」の日本語版事前学習モデルが無償公開 商用利用も可 2022.4
  • インフォマティクス、BERT日本語版事前学習モデルを公開｜株式会社インフォマティクスのプレスリリース 2022.4
  • GitHub - informatix-inc/bert

• BERTとベクトル検索を用いたYahoo!ショッピングの製品名寄せ作業の効率化検証 - Yahoo! JAPAN Tech Blog 2022.4
• BERTを用いて文章の穴埋め問題を解く - Qiita 2022.3

GPT †

• GPT-2を使ってポケモン図鑑の説明文生成器を作ってみた - Qiita 2022.5

文字起こし †

• アマゾンのAWSで音声の文字起こしサービスを無料で試してみた | Ledge.ai 2021.11
  • Amazon Transcribe

• アマゾンのAWSでテキストを解析してみた
  • Amazon Comprehendは、機械学習を使用してテキスト内のインサイトや関係性を検出できる自然言語処理（NLP）サービスです。キーフレーズ抽出、感情分析、実体認識、トピック形成、言語検出 API の利用ができ、アプリケーションへの統合もできます。

音声読み上げ †

• VOICEPEAKの音声にほぼドンピシャの字幕ファイルを作成するPythonスクリプト - Qiita 2022.3
• 入力文字読み上げソフト『VOICEPEAK』を試してみた | DevelopersIO 2022.3

全文検索一般 †

• 全文検索サーバを構築した話 その2（docker構築詳細編） - Qiita 2019

Fess †

• 全文検索サーバー Fess を Docker で動かす - Qiita 2016
• Fess 構築 (docker) - Qiita 2020.4

• Fessのファイルクロール

• FessをAmazonLinux2にインストールする手順 2021.3

• オープンソース全文検索サーバー Fess
  • https://fess.codelibs.org/ja/index.html
  • 「Elasticsearch」を利用して、「Webサイト」「ファイルシステム」「データベース」などを対象とした全文検索を行えます。

• 検索サーバFessのオンプレからAWSへの移行 2020.5

• FessをOpenJDKで動かす 2018.6
  • Red Hat のサイトにユーザー登録して、OpenJDKのWindows用のmsiをダウンロードしてインストール、Fessを展開してbatを実行するだけ。

• Fessでパスワード付きpdfに対応する方法

• Fessのログファイルの参照方法 2020.7

• Fess ファイルクロール及び全文検索の実施 2021.3

• Windows OS への Fess + 外部 Elasticsearch 導入手順 2021.1
  • Fess 公式サイトで配布されている ZIP パッケージは Elasticsearch が同梱されている為、ファイル展開後に即 Fess を利用できる。しかし、組込 Elasticsearch での本番運用は推奨されておらず、管理画面に注意喚起が表示されてしまう。

ElasticSearch †

• EC2でElasticsearchを動かす | キャスレーコンサルティング株式会社 2022.6

• Elasticsearchのバージョンアップと検索基盤の改善 - ZOZO TECH BLOG 2022.6

• Elasticsearch 入門。join フィールドについて | DevelopersIO 2022.6

• 【Elasticsearch】Validation Failed: 1: this action would add [10] total shards, but this cluster currently has [1992]/[2000] maximum shards open - Linkers Tech Blog 2022.5
  • 「このアクションは[10]の合計シャードを追加しますが、このクラスターは現在[1992]/[2000]の最大シャードを開いています」。最初に見た時は何のことやら？と思いましたが、つまり、「シャード数の上限が2000に設定されている状態で、現在は1992のシャードがあり、そこに10個のシャードを新しく追加しようとしているけどこれを追加したら2002になって上限超えるからエラーだよ」と言っているようです。ではシャードとは何でしょうか？

• ElasticsearchのMore like this内部実装とパフォーマンス問題の解決 - エムスリーテックブログ 2022.3

• Elasticsearchをバージョンアップしたら検索結果が変わった話 | DevelopersIO 2022.3

• Elasticsearchのソースコードを読む - Elasticsearchの起動 - Qiita 2021.12

• 【Elasticsearch】Analyzerを手動で設定する方法 -Analyzerを理解する- 2019

• ElasticSearchとは？基礎と使い方をわかりやすく解説！データベースとしてのメリットは？ダウンロード手順もご紹介 2021.8
  • Elastic社が提供しているオープンソースの全文検索エンジンです。「マルチテナント」「スキーマレス」「クラウドネイティブ」などの特徴
  • 「HTTP Webインターフェース」と「スキーマフリーJSONドキュメント」を備えており、さまざまなユースケースに対応できる分散型RESTful検索が可能

• 実用に耐えるオープンソースの検索エンジン BEST３ 2021.4
  • Fess
  • Groonga
  • Hyper Estraier