データ処理関連

→文字コード関連

→正規表現

→自然言語処理／全文検索

サブトピック†

• データベース関連
• データサイエンス
• データ移行
• 開発に役立つデータ
• データ形式／データフォーマット
• AWS データ処理系サービス

データ処理†

• データウェアハウスのデータモデリングを整理してみた #Databricks - Qiita 2024.3

• 無料で大量のデータを自動で見やすいグラフなどで可視化し定期的に更新反映されるダッシュボードをオープンソースでセルフホスト可能なアプリ「Metabase」を使ってみた - GIGAZINE 2023.9

• データマネジメントにおけるメタデータ管理についてまとめてみた | DevelopersIO 2023.2

• 私が妄想している最強のデータ基盤2023 2023.1

• データ分析プロジェクトに使用するクラウドサービス完全まとめガイド - Qiita 2022.12

• Python + BigQuery の始め方 - RevComm Tech Blog 2022.12

• 東京都の人口統計データ（CSV）をGoogle Mapsで可視化してみた | DevelopersIO 2022.8
• 東京都の人口統計データをAmazon QuickSightのpoints mapで可視化してみた | DevelopersIO 2022.8

• Fundamentals of Data Visualization 2022.6
  • オライリー本
  • The book is meant as a guide to making visualizations that accurately reflect the data, tell a story, and look professional.

• Apache Beam (Dataflow) 実践入門【Python】 2020.9

• 米国大統領選に見るソーシャルとビッグデータの役割 2013.1.4

• ビッグデータ予測が16人中15人的中――AKB48選抜総選挙 2012.6.7

• 「ビッグデータ」のビッグ（Big）は「ビッグマック」のビッグとは違う。でも、やっぱり、数（量）は力なり・・なのだ。 2012.3.12

• ビッグデータ処理の常識をJavaで身につける

データ可視化／ビジュアライズ†

• データ表示に円グラフを使うのは避けるべきという主張、その理由とは？ - GIGAZINE 2024.1

• 大規模小説データをOpenAI Embedding APIで特徴抽出してUMAPで可視化してみた 2023.11

• Yahoo APIで取得した現在の降水量をstreamlitで地図上に3D棒グラフ表示する - Qiita 2023.1

• Plotly.pyによるデータ可視化のすすめ | フューチャー技術ブログ 2022.11

• はじめに — マンガと学ぶデータビジュアライゼーション 2022.5

• データの可視化シリーズ 第1弾 - はじめに 2019.8

Apache Spark†

• Pandas API on SparkでpandasとSparkの良いところ取り #pandas - Qiita 2023.11

• Apache Sparkとは何か - Qiita 2023.8
• 逆引きPySpark (3.文字列編) - Qiita 2023.1
• Apache Sparkの概要 2020.6
  • Apache Sparkは大規模なデータ処理のための統合分析エンジンである。

Snowflake†

• おい、誰も騒いでないから騒ぐけどExternal Network AccessっていうSnowflakeから外部へアクセスできる機能、データサイロ完全にぶっ壊せるぞ。 - dely Tech Blog 2023.10

• Snowflakeさわってみた。Excelから接続してデータ取得してみた。｜分析屋｜note 2023.2

• SnowflakeのSEQ関数は、慎重に使いましょう。 - REVISIO Tech Blog 2023.2

• Snowflakeに中森明菜データレイク（通称NADL）を構築しました | DevelopersIO 2023.2

• Snowflakeさわってみた。｜分析屋｜note 2022
  • Snowflakeさわってみた。Snowparkのpython試してみた。｜分析屋｜note 2023.1

• Snowflakeドキュメントへようこそ — Snowflake Documentation 2023.1
• 2022年末、改めて「Snowflakeとは？」を簡単に説明する #SnowflakeDB | DevelopersIO 2022.12

データレイク/DWH/ETL†

→AWS データ処理系サービス ＜AWS Glueについてはこちら

→データ移行

• モダンなタスク管理を可能にするSnowflake Python API 2024.3

• 【Databricks】dbdemos(lakehouse-fsi-fraud) 解説マニュアル - Qiita 2023.4

• Google Cloud：BigQueryについてIT未経験者向けに解説します | DevelopersIO 2023.3

ETL/ELT†

• dbtのPython modelを手軽に使い始めるには - ユニファ開発者ブログ 2023.3

• AWSが提唱するゼロETLとは何か？概念と登場の背景の推察 - NRIネットコムBlog 2023.2

• データ変換処理をモダンな手法で開発できる「dbt」を使ってみた | DevelopersIO 2020

• What is ELT (Extract, Load, Transform)? | IBM 2021
  • What is ELT (Extract, Load, Transform)? | IBM>https://www.ibm.com/cloud/learn/elt
• なぜETLではなくELTが流行ってきたのか - Qiita 2022.12

• ETL (Extract, Transform, Load) と ELT (Extract, Load, Transform) は、データの移動と変換に関する異なるアプローチを指します。
  • ETLは、データを抽出し、それを変換し、それからデータベースやデータウェアハウスにロードすることを意味します。これは、データソースからのデータを特定のフォーマットに変換し、分析やレポーティングのために使用できるようにするために使用されます。
  • ELTは、データを抽出し、それをデータベースやデータウェアハウスにロードし、その後変換することを意味します。これは、データベースやデータウェアハウスが変換処理を行うことができる場合に使用されます。
  • ETLよりもELTは、データベースやデータウェアハウスが持つ高度な機能を使用して変換処理を行うため、処理が高速になります。

データレイク†

• 【書籍】AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門

• データ基盤のアーキテクチャ進化を追っていく。｜分析屋｜note 2023.1

• 新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics 2022.11
• Delta Lake とは何か - connecting the dots 2022.9
• データレイクの概念について理解する - connecting the dots 2022.2

Hadoop†

• http://hadoop.apache.org/

• 日々進化するHadoop。これまでのおさらいと最近の動向（前編） 2012.8.27

• Writing An Hadoop MapReduce Program In Python 2012.6.5

• Hadoopの現在 2011.9.18

• いまさら聞けないHadoopとテキストマイニング入門 2011.6.11
  • 実践！ 「MapReduceでテキストマイニング」徹底解説

• 連載：企業で使われるHadoop

• そろそろHadoopについてひとこと言っておくか 2011.1.3
  • HadoopとはGoogleのMapReduce/GFSのオープンソースのクローンです。

MapReduce†

• MapReduceは今後どうなるのか？ 2012.10.8

• MapReduceできる10個のアルゴリズム> 2012.5.28

• Mapreduce2.0 2011.10.20

• key-valueストアの基礎知識 2010.1.5

最新の50件