Python関連Tips
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
] [
Twitter
]
開始行:
→Python関連
→Pandas関連
→スクレイピング
#contents
*サブトピック [#g4de9318]
-Python文法系Tips
-PythonでExcel制御
-Pythonのロギング
-PythonのExe化
*一般 [#j430a113]
-[[Pythonでバッテリ残量とメモリ残量を出力してみた #Python...
-[[Kaggleコード遺産 #Python - Qiita>https://qiita.com/kag...
-[[使いこなせていますか?Python 組み込み関数全71件 完全解...
-[[そろそろ我々はsortedcontainersを使えるようになった方が...
--SortedSet, SortedList, SortedDict
-[[Pythonで終了時に必ず何か実行したい (続編) #Python - Qi...
-[[Python: ctypesパターン集 - Qiita>https://qiita.com/eve...
--WinAPIの呼出しなど
-[[Python から DLL を利用する>https://zenn.dev/qt6hy/arti...
-[[子プロセスと標準入出力を介してやりとりする件 | やねう...
--USIプロトコル
-[[コマンド一行でpythonのrequirements.txtを生成する - Qii...
--pipreqs
-[[Python 3.11で追加されたtomlibを使ってみる | Developers...
-[[【Python基礎】小数から整数に変更する際の小数点以下の取...
-[[Pythonで、あるTCPポートに接続できるかを確認する - Qiit...
-[[【Python】自由自在にソートしよう! - Qiita>https://qii...
--関数によるソート
-[[ChatGPT-4 と始める爆速 Python GUI 開発 - Qiita>https:/...
-[[Pythonライブラリをパッケージ化する>http://diveintopyth...
-[[ろうとるがPythonを扱う、、(その7:nmapとmultiping) ...
-[[【Python】ネストしたforループは長い方を内側の順が速い ...
-[[[小ネタ] Pythonでライブラリを使わずクリップボードへテ...
-Pythonで超簡単にWebサーバ立てる
--任意のフォルダで下記のコマンドを実行すると、自分のマシ...
python -m http.server 8888
-[[AIエンジニアが気をつけたいPython実装のノウハウ・コツま...
-[[VSCodeでPython書いてる人はとりあえずこれやっとけӏ...
-[[Python: ファイルの更新日時(タイムスタンプ)を取得する...
ts = os.path.getmtime(file_path)
print(ts) # 1657734360.18843
print(type(ts)) # <class 'float'>
# datetime型に変換
d = datetime.datetime.fromtimestamp(ts)
-[[Argparse チュートリアル — Python 3.11.0b5 ドキュ...
--引数のパースは自前で作る必要はない
-[[sys.path.append() を使わないでください - Qiita>https:/...
-[[[Python] inspectを使ってスタックトレースを表示する - Q...
-[[実行中の関数・メソッド名を取得したい - Qiita>https://q...
-[[__pycache__とはいったいなんなのか? - Qiita>https://qii...
-[[Python3で数値文字参照をUNICODE文字に変換する方法>https...
print(html.unescape("吴 ほげほげ"))
-[[文字列の中から、\uではじまる記号が現れたり消えたり…>ht...
--ごくごく単純な話でprintにリストを渡しているので、リスト...
-[[\ufeffって??? - Qiita>https://qiita.com/msk02/items...
--テキストを読み込むときにBOMありutf8だとファイルの先頭に...
-[[【Python】テストしやすいコードに近づけるための初歩 - Q...
-[[7 Bad Habits That Every Python Programmer Should Avoid...
-[[Python の高速化 - MicroAd Developers Blog>https://deve...
-[[ゼロからはじめるPython(92) PythonとGraphvizで簡単 - 手...
-[[【Python】良い書き方と悪い書き方を知って中級者を目指す...
-[[sys.path.append() を使わないでください - Qiita>https:/...
-[[[Tips] Python で URL で指定した JSON を読み込んで日付...
-[[きれいなPythonプログラミング(パイソニックなコードを書...
-[[あなたが知らないかもしれないPythonのTIPS 5つ | BLOG - ...
-[[Pythonのバージョンを確認、表示(sys.versionなど) | no...
-[[Python clickの案外知られていない機能 - Qiita>https://q...
-[[Pythonならわかるシステムプログラミング - Qiita>https:/...
-[[[Python] 特殊メソッドまとめ - Qiita>https://qiita.com/...
-[[Pythonで為替レートを取得しチャートとして可視化するまで...
-[[ast --- 抽象構文木 — Python 3.10.6 ドキュメント>...
-[[dis --- Python バイトコードの逆アセンブラ — Pyth...
-[[たった1行から始めるPythonのAST(抽象構文木)入門>https:/...
-[[Pythonの「痒いところに手が届くなぁ・・・」と思う機能>h...
-[[知っているようで意外と知らなかったPython小ネタ集>https...
-[[機械学習の Python との出会い>http://www.kamishima.net/...
--このチュートリアルでは,いろいろな機械学習の手法を Pyth...
*並列処理、非同期処理 [#kaabfe78]
-[[Pythonの非同期処理の基礎とOpenAI APIへ並列リクエストす...
-[[非同期処理をシンプルなPythonコードで説明する #Python -...
-[[Python Threading Module[並列処理]についての解説|メガ...
-[[Python で並行処理を駆使して実行時間を 40% 短縮する方法...
-[[Pythonの並列処理・並行処理をしっかり調べてみた - Qiita...
*プロセス処理 [#o25fdff5]
-[[シェルスクリプトとの対比で理解するPythonのsubprocess -...
-[[Python3 Subprocess.Popen()とcommunicate()について - Qi...
-[[Pythonから完全に独立したプロセスを起動したい>https://t...
*設定ファイル [#p3f7a182]
-[[Pythonで簡単に設定ファイルを使う。書き換え可能で、配列...
-[[【Python】configファイルの読み込み・書き込みはconfigpa...
-[[Pythonの設定ファイル管理まとめ(settings / ini / json ...
*ディレクトリ/ファイル操作 [#y0918c0d]
-[[pathlibをもっと使おう - The jonki>https://www.jonki.ne...
-[[Pythonでimportの対象ディレクトリのパスを確認・追加(sy...
-[[Pythonで容量の大きいCSVファイルを指定したサイズの複数...
-[[python - Disable SameFileError exception in shutil.cop...
--You can force _samefile function to return False in eve...
import shutil
def my_same_file_diff_checker(*args, **kwargs):
return False
shutil._samefile = my_same_file_diff_checker
shutil.copy("test.ini", "test.ini")
-[[Python最新情報と勉強法(24) Pythonをローカル環境で開発...
-[[Pythonで条件を満たすパスの一覧を再帰的に取得するglobの...
glob(r"order_pdf\**\*.*", recursive=True)
-[[Pythonでフォルダ内のファイルリストを取得する - Qiita>h...
-[[Python | ファイル名またはディレクトリ名を変更する>http...
-[[【python】ファイルの条件を指定して一括移動する方法【コ...
-[[【Python入門】ディレクトリを簡単に作成する|os.mkdir・...
--os.makedirs で深いところまで一回で作れる。すでにあって...
*日付処理 [#ydfe775d]
-[[strftimeメソッドでエラー(UnicodeEncodeError)が表示さ...
--このエラーは、一般的な日本語版のWindowsでは発生しません...
--Pythonはstrftime()メソッドを処理するのに、Windows内のラ...
import locale
locale.setlocale(locale.LC_CTYPE, "Japanese_Japan.932")
まだエラーが表示される場合はこちらも試してください。
locale.setlocale(locale.LC_CTYPE, "English_United States...
-[[Pythonのdatetimeで日付の範囲を比較演算子で指定する - Q...
-[[【Python】文字列⇒日付、日付⇒文字列の変換(str, datetim...
-[[Stop using utcnow and utcfromtimestamp>https://blog.ga...
--datetime.utcnow()と datetime.utcfromtimestamp()は使うべ...
-[[Pythonにおける日本(東京)時刻の取得 ※Google colabでd...
-[[メモ:pythonで月末日を取得する方法 (月初日も追記) - Qii...
import calendar
print calendar.monthrange(2014,12)
-[[Pythonで月初・月末(初日・最終日)、最終X曜日の日付を...
-[[Pythonのdatetimeで日付や時間と文字列を変換(strftime, ...
-[[Pythonで経過時間や日時(日付・時刻)の差分を測定・算出...
dt_now: date = datetime.now() # type: ignore
dt_uri: date = parser.parse(a.expected_sales_date) # t...
td: timedelta = dt_uri - dt_now
if td.days < 30:
...
-[[Python 日付、時刻の処理 - Qiita>https://qiita.com/xza/...
-dateutil を使うには別途インストールが必要
--[[How to use dateutil.relativedelta in Python 3.x? - St...
*文字列処理 [#vf28c157]
-[[【Python】変数名と値を同時に表示する小技 - Qiita>https...
--f"{v=}"
-[[Python] 文字列を数値に変換(ただし空文字(None)はゼロと...
-[[全角文字と半角文字を含んだ文字列を正規化して表記ゆれを...
-[[Pythonで文字列をUnicode正規化(unicodedata.normalize)...
-文字列に前ゼロでパティングする
f"{s:0>7}" または s.zfill(7)
-[[Pythonの文字列の改行方法と便利な操作まとめ | HEADBOOST...
list = ["text1", "text2", "text3"]
string = "\n".join(list)
-[[【Python】 文字列定数について(stringモジュール) | Hb...
-[[Pythonのf文字列(フォーマット済み文字列リテラル)の使...
-[[Pythonのf文字列の使い方 - ガンマソフト株式会社>https:/...
-[[【python3】ファイル名に使用出来ない文字を変換する。 | ...
file_name = re.sub(r'[\\|/|:|?|.|"|<|>|\|]', '-', file_n...
-[[図解!Python 正規表現の徹底解説!(文字列の抽出と置換な...
-[[Pythonの文字列フォーマット(formatメソッドの使い方) -...
*PDFファイル [#gfa7e248]
→PDF関連へ
*CSVファイル [#n4269472]
-[[pythonでのcsvファイルの読み込み - Qiita>https://qiita....
-CSVを辞書のリストに読み込んで特定の項目でソートするサン...
import csv
rows =[];
#BOMありUTF8 なのでエンコーディングは utf-8-sig とした
with open('./Anken.csv', 'r', encoding='utf-8-sig', erro...
f = csv.DictReader(csv_file, delimiter=',', doublequ...
for row in f:
rows.append(row)
#破壊型ソートです
rows.sort(key=lambda x:x['JOBNo.'])
for row in rows:
print(row['JOBNo.'], row['案件名'])
*print()文 [#ib914079]
-[[python で print() したものが出力されない理由>https://t...
-例:print('{}の税込価格は{:,d}円です'.format(fruit, frui...
-[[printf 形式の文字列書式化 | 組み込み型 — Python ...
--format % values (format は文字列) とすると、format 中の...
--format が単一の引数しか要求しない場合、 values はタプル...
--それ以外の場合、 values はフォーマット文字列中で指定さ...
*メール送信 [#ha54ad85]
-[[Pythonで複数の宛先にメールを送信する(Python3) - Qiita>...
-[[Pythonでメール送信 | Python学習講座>https://www.python...
*pip [#z340a947]
-[[Why you should use `python -m pip`>https://snarky.ca/w...
-- this blog post is meant to explain what python -m pip ...
-[[Google Colabでpip installしたものを消えないようにする ...
-[[pip - How do I install Python packages in Google's Col...
--Colab is just like a Jupyter notebook. Therefore, we ca...
*デバッグ [#d4943373]
-[[Pythonにおける効率的なデバック方法入門 - MyEnigma>http...
-VSCode でライブラリの中でブレークしたい場合は、launch.js...
"justMyCode": false,
*SQL/DB操作 [#a9995ea0]
**SQLAlchemy [#zd249317]
-[[SQLAlchemy2.0によるDB操作方法 - Qiita>https://qiita.co...
-[[SQLAlchemyとPandasでデータベースから任意データを取得す...
-[[SQLAlchemy から Pandas にデータを読み込む - Qiita>http...
**pyodbc [#p7393895]
-[[【Python】pyodbc経由でSQL Serverにデータを追加する。 -...
-[[PythonでSQL Serverに接続してSQLを実行する-スケ郎のお話...
-[[Python環境にpyodbcをインストールしてSQLServerに接続す...
-[[PythonからSQL Serverを動かそう!〜接続編〜 - Qiita>htt...
終了行:
→Python関連
→Pandas関連
→スクレイピング
#contents
*サブトピック [#g4de9318]
-Python文法系Tips
-PythonでExcel制御
-Pythonのロギング
-PythonのExe化
*一般 [#j430a113]
-[[Pythonでバッテリ残量とメモリ残量を出力してみた #Python...
-[[Kaggleコード遺産 #Python - Qiita>https://qiita.com/kag...
-[[使いこなせていますか?Python 組み込み関数全71件 完全解...
-[[そろそろ我々はsortedcontainersを使えるようになった方が...
--SortedSet, SortedList, SortedDict
-[[Pythonで終了時に必ず何か実行したい (続編) #Python - Qi...
-[[Python: ctypesパターン集 - Qiita>https://qiita.com/eve...
--WinAPIの呼出しなど
-[[Python から DLL を利用する>https://zenn.dev/qt6hy/arti...
-[[子プロセスと標準入出力を介してやりとりする件 | やねう...
--USIプロトコル
-[[コマンド一行でpythonのrequirements.txtを生成する - Qii...
--pipreqs
-[[Python 3.11で追加されたtomlibを使ってみる | Developers...
-[[【Python基礎】小数から整数に変更する際の小数点以下の取...
-[[Pythonで、あるTCPポートに接続できるかを確認する - Qiit...
-[[【Python】自由自在にソートしよう! - Qiita>https://qii...
--関数によるソート
-[[ChatGPT-4 と始める爆速 Python GUI 開発 - Qiita>https:/...
-[[Pythonライブラリをパッケージ化する>http://diveintopyth...
-[[ろうとるがPythonを扱う、、(その7:nmapとmultiping) ...
-[[【Python】ネストしたforループは長い方を内側の順が速い ...
-[[[小ネタ] Pythonでライブラリを使わずクリップボードへテ...
-Pythonで超簡単にWebサーバ立てる
--任意のフォルダで下記のコマンドを実行すると、自分のマシ...
python -m http.server 8888
-[[AIエンジニアが気をつけたいPython実装のノウハウ・コツま...
-[[VSCodeでPython書いてる人はとりあえずこれやっとけӏ...
-[[Python: ファイルの更新日時(タイムスタンプ)を取得する...
ts = os.path.getmtime(file_path)
print(ts) # 1657734360.18843
print(type(ts)) # <class 'float'>
# datetime型に変換
d = datetime.datetime.fromtimestamp(ts)
-[[Argparse チュートリアル — Python 3.11.0b5 ドキュ...
--引数のパースは自前で作る必要はない
-[[sys.path.append() を使わないでください - Qiita>https:/...
-[[[Python] inspectを使ってスタックトレースを表示する - Q...
-[[実行中の関数・メソッド名を取得したい - Qiita>https://q...
-[[__pycache__とはいったいなんなのか? - Qiita>https://qii...
-[[Python3で数値文字参照をUNICODE文字に変換する方法>https...
print(html.unescape("吴 ほげほげ"))
-[[文字列の中から、\uではじまる記号が現れたり消えたり…>ht...
--ごくごく単純な話でprintにリストを渡しているので、リスト...
-[[\ufeffって??? - Qiita>https://qiita.com/msk02/items...
--テキストを読み込むときにBOMありutf8だとファイルの先頭に...
-[[【Python】テストしやすいコードに近づけるための初歩 - Q...
-[[7 Bad Habits That Every Python Programmer Should Avoid...
-[[Python の高速化 - MicroAd Developers Blog>https://deve...
-[[ゼロからはじめるPython(92) PythonとGraphvizで簡単 - 手...
-[[【Python】良い書き方と悪い書き方を知って中級者を目指す...
-[[sys.path.append() を使わないでください - Qiita>https:/...
-[[[Tips] Python で URL で指定した JSON を読み込んで日付...
-[[きれいなPythonプログラミング(パイソニックなコードを書...
-[[あなたが知らないかもしれないPythonのTIPS 5つ | BLOG - ...
-[[Pythonのバージョンを確認、表示(sys.versionなど) | no...
-[[Python clickの案外知られていない機能 - Qiita>https://q...
-[[Pythonならわかるシステムプログラミング - Qiita>https:/...
-[[[Python] 特殊メソッドまとめ - Qiita>https://qiita.com/...
-[[Pythonで為替レートを取得しチャートとして可視化するまで...
-[[ast --- 抽象構文木 — Python 3.10.6 ドキュメント>...
-[[dis --- Python バイトコードの逆アセンブラ — Pyth...
-[[たった1行から始めるPythonのAST(抽象構文木)入門>https:/...
-[[Pythonの「痒いところに手が届くなぁ・・・」と思う機能>h...
-[[知っているようで意外と知らなかったPython小ネタ集>https...
-[[機械学習の Python との出会い>http://www.kamishima.net/...
--このチュートリアルでは,いろいろな機械学習の手法を Pyth...
*並列処理、非同期処理 [#kaabfe78]
-[[Pythonの非同期処理の基礎とOpenAI APIへ並列リクエストす...
-[[非同期処理をシンプルなPythonコードで説明する #Python -...
-[[Python Threading Module[並列処理]についての解説|メガ...
-[[Python で並行処理を駆使して実行時間を 40% 短縮する方法...
-[[Pythonの並列処理・並行処理をしっかり調べてみた - Qiita...
*プロセス処理 [#o25fdff5]
-[[シェルスクリプトとの対比で理解するPythonのsubprocess -...
-[[Python3 Subprocess.Popen()とcommunicate()について - Qi...
-[[Pythonから完全に独立したプロセスを起動したい>https://t...
*設定ファイル [#p3f7a182]
-[[Pythonで簡単に設定ファイルを使う。書き換え可能で、配列...
-[[【Python】configファイルの読み込み・書き込みはconfigpa...
-[[Pythonの設定ファイル管理まとめ(settings / ini / json ...
*ディレクトリ/ファイル操作 [#y0918c0d]
-[[pathlibをもっと使おう - The jonki>https://www.jonki.ne...
-[[Pythonでimportの対象ディレクトリのパスを確認・追加(sy...
-[[Pythonで容量の大きいCSVファイルを指定したサイズの複数...
-[[python - Disable SameFileError exception in shutil.cop...
--You can force _samefile function to return False in eve...
import shutil
def my_same_file_diff_checker(*args, **kwargs):
return False
shutil._samefile = my_same_file_diff_checker
shutil.copy("test.ini", "test.ini")
-[[Python最新情報と勉強法(24) Pythonをローカル環境で開発...
-[[Pythonで条件を満たすパスの一覧を再帰的に取得するglobの...
glob(r"order_pdf\**\*.*", recursive=True)
-[[Pythonでフォルダ内のファイルリストを取得する - Qiita>h...
-[[Python | ファイル名またはディレクトリ名を変更する>http...
-[[【python】ファイルの条件を指定して一括移動する方法【コ...
-[[【Python入門】ディレクトリを簡単に作成する|os.mkdir・...
--os.makedirs で深いところまで一回で作れる。すでにあって...
*日付処理 [#ydfe775d]
-[[strftimeメソッドでエラー(UnicodeEncodeError)が表示さ...
--このエラーは、一般的な日本語版のWindowsでは発生しません...
--Pythonはstrftime()メソッドを処理するのに、Windows内のラ...
import locale
locale.setlocale(locale.LC_CTYPE, "Japanese_Japan.932")
まだエラーが表示される場合はこちらも試してください。
locale.setlocale(locale.LC_CTYPE, "English_United States...
-[[Pythonのdatetimeで日付の範囲を比較演算子で指定する - Q...
-[[【Python】文字列⇒日付、日付⇒文字列の変換(str, datetim...
-[[Stop using utcnow and utcfromtimestamp>https://blog.ga...
--datetime.utcnow()と datetime.utcfromtimestamp()は使うべ...
-[[Pythonにおける日本(東京)時刻の取得 ※Google colabでd...
-[[メモ:pythonで月末日を取得する方法 (月初日も追記) - Qii...
import calendar
print calendar.monthrange(2014,12)
-[[Pythonで月初・月末(初日・最終日)、最終X曜日の日付を...
-[[Pythonのdatetimeで日付や時間と文字列を変換(strftime, ...
-[[Pythonで経過時間や日時(日付・時刻)の差分を測定・算出...
dt_now: date = datetime.now() # type: ignore
dt_uri: date = parser.parse(a.expected_sales_date) # t...
td: timedelta = dt_uri - dt_now
if td.days < 30:
...
-[[Python 日付、時刻の処理 - Qiita>https://qiita.com/xza/...
-dateutil を使うには別途インストールが必要
--[[How to use dateutil.relativedelta in Python 3.x? - St...
*文字列処理 [#vf28c157]
-[[【Python】変数名と値を同時に表示する小技 - Qiita>https...
--f"{v=}"
-[[Python] 文字列を数値に変換(ただし空文字(None)はゼロと...
-[[全角文字と半角文字を含んだ文字列を正規化して表記ゆれを...
-[[Pythonで文字列をUnicode正規化(unicodedata.normalize)...
-文字列に前ゼロでパティングする
f"{s:0>7}" または s.zfill(7)
-[[Pythonの文字列の改行方法と便利な操作まとめ | HEADBOOST...
list = ["text1", "text2", "text3"]
string = "\n".join(list)
-[[【Python】 文字列定数について(stringモジュール) | Hb...
-[[Pythonのf文字列(フォーマット済み文字列リテラル)の使...
-[[Pythonのf文字列の使い方 - ガンマソフト株式会社>https:/...
-[[【python3】ファイル名に使用出来ない文字を変換する。 | ...
file_name = re.sub(r'[\\|/|:|?|.|"|<|>|\|]', '-', file_n...
-[[図解!Python 正規表現の徹底解説!(文字列の抽出と置換な...
-[[Pythonの文字列フォーマット(formatメソッドの使い方) -...
*PDFファイル [#gfa7e248]
→PDF関連へ
*CSVファイル [#n4269472]
-[[pythonでのcsvファイルの読み込み - Qiita>https://qiita....
-CSVを辞書のリストに読み込んで特定の項目でソートするサン...
import csv
rows =[];
#BOMありUTF8 なのでエンコーディングは utf-8-sig とした
with open('./Anken.csv', 'r', encoding='utf-8-sig', erro...
f = csv.DictReader(csv_file, delimiter=',', doublequ...
for row in f:
rows.append(row)
#破壊型ソートです
rows.sort(key=lambda x:x['JOBNo.'])
for row in rows:
print(row['JOBNo.'], row['案件名'])
*print()文 [#ib914079]
-[[python で print() したものが出力されない理由>https://t...
-例:print('{}の税込価格は{:,d}円です'.format(fruit, frui...
-[[printf 形式の文字列書式化 | 組み込み型 — Python ...
--format % values (format は文字列) とすると、format 中の...
--format が単一の引数しか要求しない場合、 values はタプル...
--それ以外の場合、 values はフォーマット文字列中で指定さ...
*メール送信 [#ha54ad85]
-[[Pythonで複数の宛先にメールを送信する(Python3) - Qiita>...
-[[Pythonでメール送信 | Python学習講座>https://www.python...
*pip [#z340a947]
-[[Why you should use `python -m pip`>https://snarky.ca/w...
-- this blog post is meant to explain what python -m pip ...
-[[Google Colabでpip installしたものを消えないようにする ...
-[[pip - How do I install Python packages in Google's Col...
--Colab is just like a Jupyter notebook. Therefore, we ca...
*デバッグ [#d4943373]
-[[Pythonにおける効率的なデバック方法入門 - MyEnigma>http...
-VSCode でライブラリの中でブレークしたい場合は、launch.js...
"justMyCode": false,
*SQL/DB操作 [#a9995ea0]
**SQLAlchemy [#zd249317]
-[[SQLAlchemy2.0によるDB操作方法 - Qiita>https://qiita.co...
-[[SQLAlchemyとPandasでデータベースから任意データを取得す...
-[[SQLAlchemy から Pandas にデータを読み込む - Qiita>http...
**pyodbc [#p7393895]
-[[【Python】pyodbc経由でSQL Serverにデータを追加する。 -...
-[[PythonでSQL Serverに接続してSQLを実行する-スケ郎のお話...
-[[Python環境にpyodbcをインストールしてSQLServerに接続す...
-[[PythonからSQL Serverを動かそう!〜接続編〜 - Qiita>htt...
ページ名: