Pandas関連の履歴ソース(No.2)

#author("2023-01-05T14:00:37+09:00","default:irrp","irrp")
→Python関連

#contents


*一般 [#ud0bdac5]
-[[Pandasのメモリ削減方法を整理した - Taste of Tech Topics>https://acro-engineer.hatenablog.com/entry/2022/12/12/124822]] 2022.12

-[[お前らのpandasの使い方は間違っている - Qiita>https://qiita.com/141sksk/items/9883be05a3851c90d1d1]] 2022.12
--DataFrameをforループで使うな
--メモリを浪費するな
--警告を無視するな
--「とりあえずpandasで処理しよう」はやめろ
--pandasでデータを扱う際にはNaN(欠損値)を見逃すな

-[[【Python】文字列から数値への変換｜Pandasデータフレーム | Pyhoo（パイフー）>https://pyhoo.jp/str-int#Python%E3%81%AB%E3%82%88%E3%82%8B%E6%96%87%E5%AD%97%E5%88%97%E3%81%8B%E3%82%89%E6%95%B0%E5%80%A4%E3%81%B8%E3%81%AE%E5%A4%89%E6%8F%9B%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6]] 2022.11

-[[Pandasのよく使われる処理をSnowparkにマッピングしてみた - Qiita>https://qiita.com/takada_tf/items/62f0337d80508631db57]] 2022.11

-[[Pandas_Cheat_Sheet.pdf>https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf]] 2022.11

-[[Pandas DataFrame のセルの値を取得する方法 | Delft スタック>https://www.delftstack.com/ja/howto/python-pandas/how-to-get-a-value-from-a-cell-of-a-dataframe/]] 2020

-[[Pandas卒業？大規模データを様々なパッケージで高速処理してみる/pyconjp2022-hpc - Speaker Deck>https://speakerdeck.com/mhrtech/pyconjp2022-hpc]] 2022.10
--Pandas, dask, vaex, Apache Spark

-[[Pandas DataFrame の列の平均を取得する方法 | Delft スタック>https://www.delftstack.com/ja/howto/python-pandas/how-to-get-average-of-a-column-of-a-pandas-dataframe/]] 2020
 ret:float = df['数量'].mean()

-[[Pandas.DataFrameの表示設定を変更する | 分析ノート>https://analytics-note.xyz/programming/pandas-options-display/]] 2022.3
--表示の横幅は下記のように設定
 pandas.set_option('display.width', 120)

-[[【Python】Pandasのデータフレームを省略せずに表示する方法を紹介！│Python初心者の備忘録>https://py-memo.com/python/pandas-display/]] 
 pd.set_option('display.max_rows', 150)
 pd.set_option('display.max_columns', 5)

-[[pandas-datareader &#8212; pandas-datareader 0.10.0 documentation>https://pandas-datareader.readthedocs.io/en/latest/]] 2021
--Includes data for stocks, FX, economic indicators, Fama-French factors, and many others.

-[[【pandas】前処理でよく使うコード - Qiita>https://qiita.com/takesssssy/items/049f6028ee73a2c96611]] 2022.8


* 日付処理 [#a8cacfb5]
-[[メモ:pythonで月末日を取得する方法 (月初日も追記) - Qiita>https://qiita.com/peketamin/items/c38de79e2a3946ec2358#datetimetimedeltadays1-%E3%82%92%E4%BD%BF%E3%81%86%E6%96%B9%E6%B3%95]]


* DataFrameのソート [#od1a0cc1]
-[[図解！Pandas DataFrameのソート徹底解説(sort_values・index) - AI-interのPython3入門>https://ai-inter1.com/pandas-dataframe_sort/]] 2022.9

-[[pandas.DataFrame, Seriesをソートするsort_values, sort_index | note.nkmk.me>https://note.nkmk.me/python-pandas-sort-values-sort-index/]] 2018


* DataFrame行の抽出,結合 [#y2deaa05]
-[[Pandas: How to Use Groupby and Count with Condition - Statology>https://www.statology.org/pandas-groupby-count-with-condition/]] 2022.6
-[[pandas Tutorial => Select distinct rows across dataframe>https://riptutorial.com/pandas/example/26077/select-distinct-rows-across-dataframe]] 2022.12

-[[pandasのDataFrameから期間を範囲指定して抽出する - Qiita>https://qiita.com/mSpring/items/6ec1ab28dcb261db2c73]] 2019

-[[pandas.DataFrameを結合するmerge, join（列・インデックス基準） | note.nkmk.me>https://note.nkmk.me/python-pandas-merge-join/]] 2022.10

-[[pandasでデータ加工をおこなうには - Qiita>https://qiita.com/hiroaki_yoshida/items/e5e8551222046b5df03d]] 2022.10
--select, left joinなど

-[[[Python]PandasのSeriesの使い方 - Qiita>https://qiita.com/yudsuzuk/items/37062cadb52daa604d9f]] 2016

-[[How to Use "NOT IN" Filter in Pandas (With Examples) - Statology>https://www.statology.org/pandas-not-in/]] 2021

-[[PandasのDataFrameで条件抽出する方法まとめ - DeepAge>https://deepage.net/features/pandas-cond-extraction.html]] 2018

-[[pandasで特定の文字列を含む行を抽出（完全一致、部分一致） | note.nkmk.me>https://note.nkmk.me/python-pandas-str-contains-match/]] 2022.10
 cond: Series = am.data_frame['商品名'].str.contains(wid, na=False)


*ファイル読み込み [#d40d5a72]
-[[pandasで外部ファイルを読み込むときのdtype=strに気を付けろ - Qiita>https://qiita.com/nicco_mirai/items/f54383e8e2ecfbf16ead]]
--nullの扱いがcsv, xlsx, json で異なる

-Pandas で csv 読み込みする例
    with open(csv_file_name, 'r', encoding='utf-8-sig', errors='strict', newline='') as csv_file:
        df = pd.read_csv(filepath_or_buffer=csv_file, encoding="utf-8-sig", sep=",", dtype=str)


*入門記事 [#e49ae64f]
-[[pandas/doc/cheatsheet at main &#183; pandas-dev/pandas &#183; GitHub>https://github.com/pandas-dev/pandas/tree/main/doc/cheatsheet]] 2022.4
-[[pandasチュートリアル on Jupyter Notebook - Qiita>https://qiita.com/DeepTama/items/c2566f41e09470aeb661]] 2022.1
-[[pandasチュートリアル - Qiita>https://qiita.com/DeepTama/items/983dcee3d522f4e9f07a]] 2022.1


*Polars [#i93a35f6]
-[[超高速、、だけじゃない！Pandasに代えてPolarsを使いたい理由 - Qiita>https://qiita.com/_jinta/items/fac13f09e8e8a5769b79]] 2022.12

-[[pandasから移行する人向け polars使用ガイド - Qiita>https://qiita.com/nkay/items/9cfb2776156dc7e054c8]] 2022.10
Pandas関連 の履歴ソース(No.2)

Pandas関連の履歴ソース(No.2)
