データ形式／データフォーマット の履歴(No.7)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• データ形式／データフォーマット へ行く。
  • 1 (2022-12-23 (金) 11:09:36)
  • 2 (2023-01-04 (水) 22:29:50)
  • 3 (2023-01-23 (月) 12:38:44)
  • 4 (2023-01-29 (日) 21:59:33)
  • 5 (2023-02-01 (水) 16:21:07)
  • 6 (2023-02-07 (火) 19:24:00)
  • 7 (2023-03-13 (月) 09:55:55)
  • 8 (2023-03-16 (木) 16:26:02)
  • 9 (2023-03-22 (水) 19:08:49)
  • 10 (2023-09-15 (金) 21:51:40)
  • 11 (2024-02-11 (日) 10:58:22)
  • 12 (2024-03-07 (木) 10:29:46)

→データ処理関連

→開発に役立つデータ

→PDF関連

一般†

• 分析用データのフォーマット分類
  • テキストフォーマット（例：CSV、JSON）
  • 行指向フォーマット（例：AVRO）
  • 列指向（カラムナ）フォーマット（例：Parquet、ORC）1

• Apache Avro に入門した | メルカリエンジニアリング 2019
  • Apache Avro

• カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog 2017
  • データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくできる設計がされています

• Pythonでtomlファイルを用いたlogging - Qiita 2023.1
• Python 3.11から追加された標準パッケージtomllibの紹介 | IIJ Engineers Blog 2023.1

• クレジットカードの取引データはシンプル、ただ難解【JavaScript - EMV Tag Decoder】 - Qiita 2022.6

• やさしいEPUB入門 - Tech Do | メディアドゥの技術ブログ　 2023.3
• 電子書籍フォーマットの本命、「EPUB」をいまのうちに理解しておく 2011.3.10

• Embedded OpenTypeフォントのリバースエンジニアリング
• Cabinet File Compression and Extract
• Parsing event log(*.evt) file
• Photoshop .psd

Office用ファイル形式†

• [MS-OVBA]: Office VBA File Format Structure | Microsoft Docs 2022.2

• それでもExcelを読み書きせざるをえない人のために - Qiita 2014
• Microsoft Office Binary (doc, xls, ppt) File Formats
  • http://msdn.microsoft.com/en-us/library/cc313118.aspx
  • [MS-XLS]: Excel Binary File Format (.xls) Structure | Microsoft Docs 2022.4

XML†

• XML関連

• XSLT関連

• Office HTML and XML Reference

YAML†

• あまり知られていないYAMLのタグについて - BOOK☆WALKER inside 2023.2

• How to Work with YAML in Python - Earthly Blog 2022.12

• YAML から jsonnet に乗り換えて快適な生活を送る方法 - FLINTERS Engineer's Blog 2022.8

• Validate Your YAML (with CUE) - Earthly Blog 2022.6

• http://www.yaml.org/
• なんとなく使っていませんか？？YAMLの基本をまとめました！ | WINDIIテック 2018

JSON(JavaScript Object Notation)†

→AJAX関連

• 【Visual Studio Code】JSONを整形する方法 - Qiita 2022.12

• Jsonnet - The Data Templating Language 2022.8

• JSON の指定箇所のパスをコピーできる VS Code 拡張機能「copy-json-path」 | DevelopersIO 2022.5

• jcを使ってUnixコマンド結果をJSON形式に変換する | DevelopersIO 2022.4
  • jc のインストール

    $ pip3 install jc
    $ export PATH=$PATH:/home/smatsu/.local/bin

• Jacksonでインタフェースと実装クラスがわかれているときにデシリアライズする方法 2018.12

     SimpleModule module = new SimpleModule();
     module.addAbstractTypeMapping(Child.class, ChildImpl.class);
     mapper.registerModule(module);

• つい忘れがちなJacksonでJSONを変換する方法まとめ 2019.7

• JSONにコメントを記述する方法の備忘録 2016.8

• JSONの可能性がグンと拡がるぞ！JSONスキーマ 2009.4.15
  • JSONデータに対するスキーマ定義の仕様がかたまりつつあることを、ごく最近になって知りました。
  • http://json-schema.org/
  • JSON本体はRFC 4627になっていますが、JSONスキーマの標準化のステータスは、あまりハッキリとは分かりません（僕には）。http://groups.google.com/group/json-schema?pli=1 を覗き見した感じでは、現状ワーキングドラフトという位置付けらしいです。

• JSON Editor紹介
  • http://jsoneditor.net/

• IMG.2.JSON
  • 画像の情報をJSONで返す

• http://www.json.org/json-ja.html
• もう一度、ちゃんとJSON入門 2008.7.28
• Json入門
• Json Mediatypeに関するRFC

• JSONなんてこわくない
  • JSONってなにもの？

JQコマンド†

• JQ Select Explained: Selecting elements from JSON with Examples - Earthly Blog 2022.6
• gdateが使い慣れないのでjqで日付処理をやってみた | DevelopersIO 2022.4
• jq コマンドを使う日常のご紹介 - Qiita 2014