データ処理関連 の履歴(No.20)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• データ処理関連 へ行く。
  • 1 (2022-12-20 (火) 18:46:19)
  • 2 (2023-01-09 (月) 13:31:24)
  • 3 (2023-01-09 (月) 18:51:02)
  • 4 (2023-01-12 (木) 14:55:44)
  • 5 (2023-01-12 (木) 18:27:50)
  • 6 (2023-01-16 (月) 10:20:44)
  • 7 (2023-01-18 (水) 22:04:26)
  • 8 (2023-01-30 (月) 10:44:10)
  • 9 (2023-02-02 (木) 09:17:00)
  • 10 (2023-02-03 (金) 22:03:57)
  • 11 (2023-02-07 (火) 17:54:32)
  • 12 (2023-02-09 (木) 16:19:39)
  • 13 (2023-02-11 (土) 13:50:41)
  • 14 (2023-02-23 (木) 21:12:33)
  • 15 (2023-02-27 (月) 14:25:49)
  • 16 (2023-03-03 (金) 14:50:38)
  • 17 (2023-03-14 (火) 11:54:26)
  • 18 (2023-03-23 (木) 10:41:21)
  • 19 (2023-04-27 (木) 13:55:46)
  • 20 (2023-08-17 (木) 09:48:20)
  • 21 (2023-09-15 (金) 09:16:23)
  • 22 (2023-09-26 (火) 11:25:33)
  • 23 (2023-10-25 (水) 17:13:19)
  • 24 (2023-11-20 (月) 09:29:11)
  • 25 (2024-01-13 (土) 10:34:21)
  • 26 (2024-03-04 (月) 12:54:18)
  • 27 (2024-03-16 (土) 22:34:12)

---

→文字コード関連

→正規表現

→自然言語処理／全文検索

サブトピック†

• データベース関連
• データサイエンス
• データ移行
• 開発に役立つデータ
• データ形式／データフォーマット
• AWS データ処理系サービス

データ処理†

• データマネジメントにおけるメタデータ管理についてまとめてみた | DevelopersIO 2023.2

• 私が妄想している最強のデータ基盤2023 2023.1

• データ分析プロジェクトに使用するクラウドサービス完全まとめガイド - Qiita 2022.12

• Python + BigQuery の始め方 - RevComm Tech Blog 2022.12

• 東京都の人口統計データ（CSV）をGoogle Mapsで可視化してみた | DevelopersIO 2022.8
• 東京都の人口統計データをAmazon QuickSightのpoints mapで可視化してみた | DevelopersIO 2022.8

• Fundamentals of Data Visualization 2022.6
  • オライリー本
  • The book is meant as a guide to making visualizations that accurately reflect the data, tell a story, and look professional.

• Apache Beam (Dataflow) 実践入門【Python】 2020.9

• 米国大統領選に見るソーシャルとビッグデータの役割 2013.1.4

• ビッグデータ予測が16人中15人的中――AKB48選抜総選挙 2012.6.7

• 「ビッグデータ」のビッグ（Big）は「ビッグマック」のビッグとは違う。でも、やっぱり、数（量）は力なり・・なのだ。 2012.3.12

• ビッグデータ処理の常識をJavaで身につける

Apache Spark†

• Apache Sparkとは何か - Qiita 2023.8
• 逆引きPySpark (3.文字列編) - Qiita 2023.1
• Apache Sparkの概要 2020.6
  • Apache Sparkは大規模なデータ処理のための統合分析エンジンである。

Snowflake†

• Snowflakeさわってみた。Excelから接続してデータ取得してみた。｜分析屋｜note 2023.2

• SnowflakeのSEQ関数は、慎重に使いましょう。 - REVISIO Tech Blog 2023.2

• Snowflakeに中森明菜データレイク（通称NADL）を構築しました | DevelopersIO 2023.2

• Snowflakeさわってみた。｜分析屋｜note 2022
  • Snowflakeさわってみた。Snowparkのpython試してみた。｜分析屋｜note 2023.1

• Snowflakeドキュメントへようこそ — Snowflake Documentation 2023.1
• 2022年末、改めて「Snowflakeとは？」を簡単に説明する #SnowflakeDB | DevelopersIO 2022.12

データレイク/DWH/ETL†

→AWS データ処理系サービス ＜AWS Glueについてはこちら

• 【Databricks】dbdemos(lakehouse-fsi-fraud) 解説マニュアル - Qiita 2023.4

• Google Cloud：BigQueryについてIT未経験者向けに解説します | DevelopersIO 2023.3

ETL/ELT†

• dbtのPython modelを手軽に使い始めるには - ユニファ開発者ブログ 2023.3

• AWSが提唱するゼロETLとは何か？概念と登場の背景の推察 - NRIネットコムBlog 2023.2

• データ変換処理をモダンな手法で開発できる「dbt」を使ってみた | DevelopersIO 2020

• What is ELT (Extract, Load, Transform)? | IBM 2021
  • What is ELT (Extract, Load, Transform)? | IBM>https://www.ibm.com/cloud/learn/elt
• なぜETLではなくELTが流行ってきたのか - Qiita 2022.12

• ETL (Extract, Transform, Load) と ELT (Extract, Load, Transform) は、データの移動と変換に関する異なるアプローチを指します。
  • ETLは、データを抽出し、それを変換し、それからデータベースやデータウェアハウスにロードすることを意味します。これは、データソースからのデータを特定のフォーマットに変換し、分析やレポーティングのために使用できるようにするために使用されます。
  • ELTは、データを抽出し、それをデータベースやデータウェアハウスにロードし、その後変換することを意味します。これは、データベースやデータウェアハウスが変換処理を行うことができる場合に使用されます。
  • ETLよりもELTは、データベースやデータウェアハウスが持つ高度な機能を使用して変換処理を行うため、処理が高速になります。

データレイク†

• 【書籍】AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門

• データ基盤のアーキテクチャ進化を追っていく。｜分析屋｜note 2023.1

• 新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics 2022.11
• Delta Lake とは何か - connecting the dots 2022.9
• データレイクの概念について理解する - connecting the dots 2022.2

Hadoop†

• http://hadoop.apache.org/

• 日々進化するHadoop。これまでのおさらいと最近の動向（前編） 2012.8.27

• Writing An Hadoop MapReduce Program In Python 2012.6.5

• Hadoopの現在 2011.9.18

• いまさら聞けないHadoopとテキストマイニング入門 2011.6.11
  • 実践！ 「MapReduceでテキストマイニング」徹底解説

• 連載：企業で使われるHadoop

• そろそろHadoopについてひとこと言っておくか 2011.1.3
  • HadoopとはGoogleのMapReduce/GFSのオープンソースのクローンです。

MapReduce†

• MapReduceは今後どうなるのか？ 2012.10.8

• MapReduceできる10個のアルゴリズム> 2012.5.28

• Mapreduce2.0 2011.10.20

• key-valueストアの基礎知識 2010.1.5