データ形式／データフォーマットの変更点

追加された行はこの色です。
削除された行はこの色です。
データ形式／データフォーマットへ行く。
データ形式／データフォーマットの差分を削除
#author("2024-03-07T10:29:46+09:00","default:irrp","irrp")
#author("2024-04-04T10:00:05+09:00","default:irrp","irrp")
→データ処理関連

→開発に役立つデータ


#contents


*サブトピック [#x92aefa9]
-PDF関連


* 一般 [#g26d2a62]
-[[macOSの暗号化zipファイルはパスワード無しで解凍できる - NFLabs. エンジニアブログ>https://blog.nflabs.jp/entry/2021/10/06/095121]] 2024.3

-分析用データのフォーマット分類
--テキストフォーマット（例：CSV、JSON）
--行指向フォーマット（例：AVRO）
--列指向（カラムナ）フォーマット（例：Parquet、ORC）1


-[[Apache Avro に入門した | メルカリエンジニアリング>https://engineering.mercari.com/blog/entry/2019-05-20-115839/]] 2019
--[[Apache Avro>https://avro.apache.org/]]

-[[カラムナフォーマットのきほん &#12316;データウェアハウスを支える技術&#12316; - Retty Tech Blog>https://engineer.retty.me/entry/columnar-storage-format]] 2017
--データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくできる設計がされています

-[[Pythonでtomlファイルを用いたlogging - Qiita>https://qiita.com/Snorlax/items/9365788f922eab8a98ae]] 2023.1
-[[Python 3.11から追加された標準パッケージtomllibの紹介 | IIJ Engineers Blog>https://eng-blog.iij.ad.jp/archives/16969]] 2023.1

-[[クレジットカードの取引データはシンプル、ただ難解【JavaScript - EMV Tag Decoder】 - Qiita>https://qiita.com/taukuma/items/cbb2ef406d74464c6426]] 2022.6

-[[やさしいEPUB入門 - Tech Do | メディアドゥの技術ブログ　>https://techdo.mediado.jp/entry/2023/03/13/000000]] 2023.3
-[[電子書籍フォーマットの本命、「EPUB」をいまのうちに理解しておく>http://www.publickey1.jp/blog/11/epub.html]] 2011.3.10

-[[Embedded OpenTypeフォントのリバースエンジニアリング>http://itpro.nikkeibp.co.jp/article/COLUMN/20080903/314028/]]
-[[Cabinet File Compression and Extract:http://www.codeproject.com/cs/files/CABCompressExtract.asp]]
-[[Parsing event log(*.evt) file:http://www.codeproject.com/cs/samples/EventLogParser.asp]]
-[[Photoshop .psd:http://www.codeproject.com/bitmap/MyPSD.asp]]


* Office用ファイル形式 [#ra6a9cd1]
-[[[MS-OVBA]: Office VBA File Format Structure | Microsoft Docs>https://docs.microsoft.com/en-us/openspecs/office_file_formats/ms-ovba/575462ba-bf67-4190-9fac-c275523c75fc]] 2022.2

-[[それでもExcelを読み書きせざるをえない人のために - Qiita>https://qiita.com/enk/items/3ac7e10eb3c21b309ddd]] 2014
-[[Microsoft Office Binary (doc, xls, ppt) File Formats>http://www.microsoft.com/interop/docs/officebinaryformats.mspx]]
--http://msdn.microsoft.com/en-us/library/cc313118.aspx
--[[[MS-XLS]: Excel Binary File Format (.xls) Structure | Microsoft Docs>https://docs.microsoft.com/en-us/openspecs/office_file_formats/ms-xls/cd03cb5f-ca02-4934-a391-bb674cb8aa06]] 2022.4


*XML [#o3b68500]
-[[XML関連]]

-XSLT関連

-[[Office HTML and XML Reference>http://msdn.microsoft.com/en-us/library/Aa155477]]



*YAML [#w456bce3]
-[[「YAMLの本来の使い方」を仕様から読み取ってみる | Wantedly Engineer Blog>https://www.wantedly.com/companies/wantedly/post_articles/540711]] 2023.9

-[[あまり知られていないYAMLのタグについて - BOOK☆WALKER inside>https://developers.bookwalker.jp/entry/2023/02/07/172334]] 2023.2

-[[How to Work with YAML in Python - Earthly Blog>https://earthly.dev/blog/workwith-yaml-in-py/]] 2022.12

-[[YAML から jsonnet に乗り換えて快適な生活を送る方法 - FLINTERS Engineer's Blog>https://labs.septeni.co.jp/entry/2022/08/26/140241]] 2022.8

-[[Validate Your YAML (with CUE) - Earthly Blog>https://earthly.dev/blog/yaml-validate-and-lint-cue-lang/]] 2022.6

-http://www.yaml.org/
-[[なんとなく使っていませんか？？YAMLの基本をまとめました！ | WINDIIテック>https://tech.windii.jp/tool/yaml]] 2018


*JSON(JavaScript Object Notation) [#u6785f9d]
→AJAX関連

-[[JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる>https://zenn.dev/kou_pg_0131/articles/jnv-introduction]] 2024.4

-[[【Python3】JSON形式ファイルの読み書き方法 #Python - Qiita>https://qiita.com/damako_eng/items/b78cfb4b039e717ff566]] 2024.2

-[[JSON Crack - Crack your data into pieces>https://jsoncrack.com/]] 2023.3

-[[【Visual Studio Code】JSONを整形する方法 - Qiita>https://qiita.com/westhouse_k/items/60c6afdb8cf6bc417bd3]] 2022.12

-[[Jsonnet - The Data Templating Language>https://jsonnet.org/]] 2022.8

-[[JSON の指定箇所のパスをコピーできる VS Code 拡張機能「copy-json-path」 | DevelopersIO>https://dev.classmethod.jp/articles/vscode-extension-copy-json-path/]] 2022.5

-[[jcを使ってUnixコマンド結果をJSON形式に変換する | DevelopersIO>https://dev.classmethod.jp/articles/jc-tool/]] 2022.4
--jc のインストール
 $ pip3 install jc
 $ export PATH=$PATH:/home/smatsu/.local/bin

-[[Jacksonでインタフェースと実装クラスがわかれているときにデシリアライズする方法>https://qiita.com/rhinotake/items/258a65155e850d08c015]] 2018.12
    SimpleModule module = new SimpleModule();
    module.addAbstractTypeMapping(Child.class, ChildImpl.class);
    mapper.registerModule(module);

-[[つい忘れがちなJacksonでJSONを変換する方法まとめ>https://kamoqq.info/post/how-to-convert-json-by-jackson/]] 2019.7

-[[JSONにコメントを記述する方法の備忘録>https://www.nxworld.net/tips/use-comment-in-json.html]] 2016.8

-[[JSONの可能性がグンと拡がるぞ！JSONスキーマ>http://d.hatena.ne.jp/m-hiyama/20090413/1239581682]] 2009.4.15
--JSONデータに対するスキーマ定義の仕様がかたまりつつあることを、ごく最近になって知りました。
--http://json-schema.org/
--JSON本体はRFC 4627になっていますが、JSONスキーマの標準化のステータスは、あまりハッキリとは分かりません（僕には）。http://groups.google.com/group/json-schema?pli=1 を覗き見した感じでは、現状ワーキングドラフトという位置付けらしいです。

-[[JSON Editor紹介>http://www.moongift.jp/2008/11/json_editor/]]
--http://jsoneditor.net/

-[[IMG.2.JSON>http://img2json.appspot.com/]]
--画像の情報をJSONで返す

-http://www.json.org/json-ja.html
-[[もう一度、ちゃんとJSON入門>http://d.hatena.ne.jp/m-hiyama/20080728/1217205390]] 2008.7.28
-[[Json入門:http://d.hatena.ne.jp/brazil/20050915/1126709945]]
-[[Json Mediatypeに関するRFC:http://www.rfc-editor.org/rfc/rfc4627.txt]]

-[[JSONなんてこわくない>http://thinkit.co.jp/book/2008/05/07/108]]
--[[JSONってなにもの？>http://thinkit.co.jp/article/70/1]]


** JQコマンド [#i5969180]
-[[JQ Select Explained: Selecting elements from JSON with Examples - Earthly Blog>https://earthly.dev/blog/jq-select/]] 2022.6
-[[gdateが使い慣れないのでjqで日付処理をやってみた | DevelopersIO>https://dev.classmethod.jp/articles/date-output-by-jq/]] 2022.4
-[[jq コマンドを使う日常のご紹介 - Qiita>https://qiita.com/takeshinoda@github/items/2dec7a72930ec1f658af]] 2014
データ形式／データフォーマット の変更点

データ形式／データフォーマットの変更点
