![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2024-04-12T13:30:29+09:00","default:irrp","irrp") #author("2024-04-22T22:10:22+09:00","default:irrp","irrp") →Amazon Web Service →AWSストレージ関連 →データ処理関連 #contents * 一般 [#s1899498] -[[【AWS】Redshift Spectrum使い方まとめ #Python - Qiita>https://qiita.com/c60evaporator/items/31d89b3b68d96708a379]] 2024.1 -[[サーバーレス ETL 処理の使い分けを教えてください | DevelopersIO>https://dev.classmethod.jp/articles/tsnote-glue-lambda-emr-etl-services-selection/]] 2032.5 -[[これだけは知っておきたい、AWSでデータ分析を実現する方法 記事一覧 | gihyo.jp>https://gihyo.jp/list/group/%E3%81%93%E3%82%8C%E3%81%A0%E3%81%91%E3%81%AF%E7%9F%A5%E3%81%A3%E3%81%A6%E3%81%8A%E3%81%8D%E3%81%9F%E3%81%84-AWS%E3%81%A7%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%82%92%E5%AE%9F%E7%8F%BE%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95#rt:/article/2022/12/aws-data-analytics-0002]] 2023.4 -[[AWSで完結する検索基盤作ってみた - estie inside blog>https://www.estie.jp/blog/entry/2023/03/03/114001]] 2023.3 --OpenSearch, AWS Database Migration Service, Amazon Elastic Container Service -[[Amazon AthenaとAWS Glueの料金体系をまとめてみた - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/2023/03/03/100000]] 2023.3 -[[data-science-on-aws-jp/workshop at main · oreilly-japan/data-science-on-aws-jp · GitHub>https://github.com/oreilly-japan/data-science-on-aws-jp/tree/main/workshop]] 2023.2 *RDS [#z665d668] -[[データベースの最もシンプルなクラウド移行 〜オンプレMySQLからAmazon Auroraへの移行方法とハマった話〜 - DMM inside>https://inside.dmm.com/articles/db-cloud-relocation/#content8]] 2024.1 -[[非 Aurora な RDS から Aurora へ移行する時に考えること全部盛り - ゆるっと Tech Blog>https://ishiiiiii.hatenablog.com/entry/2023/12/23/174739]] 2024.1 -[[Amazon RDS を使い始める際に見るべき 10 の設定 | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ>https://techblog.nhn-techorus.com/archives/22471]] 2023.2 -[[【初心者向け】RDSの自動起動時間を確認する方法 - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/rds-automatic-start-time]] 2023.2 -[[RDS/Aurora バージョンアップのポイント - Speaker Deck>https://speakerdeck.com/hmatsu47/aurora-baziyonatupunopointo]] 2023.1 -[[Amazon RDS Blue/Green Deployments利用時に躓いたエラーやハマりポイントなどをまとめてみた - コネヒト開発者ブログ>https://tech.connehito.com/entry/2023/01/10/181131]] 2023.1 -[[【衝撃】AWSのRDSがデータを失わないBlue/Greenデプロイに対応しました | DevelopersIO>https://dev.classmethod.jp/articles/rds-bg-deploy/]] 2022.11 -[[RDS、停止したままにしたすぎる問題。 - DENET 技術ブログ>https://blog.denet.co.jp/rds_stop_plz/]] 2023.1 -[[RDS インスタンスを 7 日以上停止する方法>https://aws.amazon.com/jp/premiumsupport/knowledge-center/rds-stop-seven-days/]] 2021 -[[RDSのパフォーマンスインサイトについて調べてみる | DevelopersIO>https://dev.classmethod.jp/articles/rds_performance_insights/]] 2022.6 --パフォーマンスインサイトを有効化する事で、RDSのパフォーマンスに関するデータが集計され、AWSコンソール上に可視化されます。 --コンソール上で可視化されたグラフから、DBの負荷の原因となっている項目を見つけ、DBの性能改善に役立てる事が可能です。 -[[Amazon RDSとAuroraの違いをまとめてみた>https://blog.serverworks.co.jp/rds-aurora-difference]] 2021.9 -RDSのIPアドレスについて --Amazon RDSインスタンスは、VPC内に作成される場合にはプライベートIPアドレスを使用することができます。 -- VPC内に作成される場合、RDSインスタンスはVPCのサブネットに配置され、インターネットからはアクセスできないプライベートIPアドレスを使用します。 --一方で、VPCの外に作成される場合、RDSインスタンスはインターネットに直接接続され、パブリックIPアドレスを使用します。 --RDSインスタンスをVPCの外に構築して使う場合はセキュリティ面でのリスクが高いため、推奨されません。 -[[RDSインスタンスタイプ>https://aws.amazon.com/jp/rds/instance-types/]] -[[DBインスタンスクラスの選択>https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/Concepts.DBInstanceClass.html]] -汎用最新世代 --db.m5 -汎用現行世代 --db.m4 -メモリ最適化最新世代 --db.r4 -メモリ最適化現行世代 --db.r3 -バースト可能パフォーマンス現行世代 --db.t2 -[[Amazon SimpleDB Home page>http://www.amazon.com/gp/browse.html?node=342335011]] -[[Amazon SimpleDBの紹介(英文)>http://www.satine.org/archives/2007/12/13/amazon-simpledb/]] * Amazon Athena [#cf5f0bc9] -[[AWS入門ブログリレー2024〜 Amazon Athena 編〜 | DevelopersIO>https://dev.classmethod.jp/articles/introduction-2024-amazon-athena/]] 2024.4 -[[【AWS】用語を整理しながら学ぶAWS Amazon Athena #AWS - Qiita>https://qiita.com/ymd65536/items/44edb06e8361cc734828]] 2023.10 -[[Amazon Athena 初心者向けハンズオン>https://www.slideshare.net/AmazonWebServicesJapan/amazon-athena-81216877]] 2023.4 -[[AWS SDK for Pandas(AWS Data Wrangler)でAthenaにクエリを投げる>https://zenn.dev/eviry/articles/8b38777d35650a]] 2023.3 -[[[小ネタ]Athenaのクエリ結果の保存場所について | DevelopersIO>https://dev.classmethod.jp/articles/athena-query-save/]] 2023.2 -[[Microsoft Azure のコスト分析自動エクスポート機能を使って利用料金明細データを出力し、Amazon Athena で観察してみた | DevelopersIO>https://dev.classmethod.jp/articles/azure-cost-export-amazon-athena/]] 2023.1 -[[Amazon Athenaのワークグループとは - サーバーワークスエンジニアブログ>https://blog.serverworks.co.jp/2023/01/13/190000]] 2023.1 * AWS Glue [#p9f0d630] →データ処理関連 ＜ETL一般についてはこちら -[[AWS Glue を使用した個人情報の検出・マスキング・編集および Amazon OpenSearch Service へのロード | Amazon Web Services ブログ>https://aws.amazon.com/jp/blogs/news/detect-mask-and-redact-pii-data-using-aws-glue-before-loading-into-amazon-opensearch-service/]] 2024.1 -[[リソースの大掃除にはChatGPT - KAKEHASHI Tech Blog>https://kakehashi-dev.hatenablog.com/entry/2023/10/23/110000]] 2023.10 -[[AWS GlueのJobでログの特定の文字だけを置換する – TechHarmony>https://blog.usize-tech.com/char-replace-in-glue-job/]] 2023.3 -[[GitHub - mlc-ai/web-stable-diffusion: Bringing stable diffusion models to web browsers. Everything runs inside the browser with no server support.>https://github.com/mlc-ai/web-stable-diffusion]] 2023.3 -[[AWS Glueを使ってみた！〜環境構築・実行編〜 - 神戸のデータ活用塾！KDL Data Blog>https://kdl-di.hatenablog.com/entry/2023/03/13/090000]] 2023.3 -[[AWS Glue Data Quality(プレビュー) をAWS Glueコンソールから試してみよう！ | DevelopersIO>https://dev.classmethod.jp/articles/aws-glue-data-quality-preview-with-iam-role-from-glue-console/]] 2023.2 -[[AWS GlueでVantageへデータを出し入れしてみる - Qiita>https://qiita.com/ykswi/items/e52f3791009d250a4fe7]] 2023.2 -[[[Glue4.0] シングルノードで動くpandas処理を1行書き換えて並列分散処理にする！ | DevelopersIO>https://dev.classmethod.jp/articles/glue40-spark-supports-pandas/]] 2023.1 -[[【AWS】用語を整理しながら学ぶAWS - part8 AWS Glue - Qiita>https://qiita.com/ymd65536/items/ce4ea95c96dbf7d29431]] 2022.9 --Glue はAWS上でETLを定義して実行できるフルマネージドなデータ分析サービスです -[[AWS ETL サービス適材適所選択のコツ AWS_ETL_services_tips_202107.pdf>https://pages.awscloud.com/rs/112-TZM-766/images/AWS_ETL_services_tips_202107.pdf]] 2022.4 * Amazon Quicksight [#pc5af1bc] -[[QuickSightは良いぞ>https://zenn.dev/neinc_tech/articles/883fd6b81d0dd3]] 2024.4 -[[AWS の Amazon QuickSight を使ってみよう | AWS運用最適化サービス cloud link (クラウドリンク)>https://aws.taf-jp.com/blog/104448]] 2024.4 -[[Amazon QuickSight で S3 に保存した複数の CSV ファイルを可視化するまでをやってみた | DevelopersIO>https://dev.classmethod.jp/articles/visualizing-multi-csv-files-on-s3-via-quicksight-and-athena/]] 2023.11 -[[[パブリックプレビュー] Amazon QuickSight で Generative BI 機能が使えるようになったのでオレゴンリージョンで有効化して使ってみた | DevelopersIO>https://dev.classmethod.jp/articles/generative-bi-dashboard-public-preview/]] 2023.9 -[[Amazon QuickSight を利用して自社製品の利用状況ダッシュボードを作ってみた - MOTEX TECH BLOG>https://tech.motex.co.jp/entry/2023/09/28/083000]] 2023.9 -[[[ハンズオン]Amazon QuickSight – Visualization Basics がとても良かったのでご紹介します | DevelopersIO>https://dev.classmethod.jp/articles/20230621-shun/]] 2023.6 -[[東京都の人口統計データをAmazon QuickSightのpoints mapで可視化してみた | DevelopersIO>https://dev.classmethod.jp/articles/to-visualize-the-demographic-data-of-tokyo-with-amazon-quicksights-points-map/]] 2022.8 * Amazon Neptune [#r9821bd9] -[[AWS 製のグラフ DB 可視化ツールの Graph Explorer を試してみた | DevelopersIO>https://dev.classmethod.jp/articles/tried-graph-explorer-a-graph-db-visualization-tool-from-aws/]] 2023.2
