Python関連Tips
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
] [
Twitter
]
開始行:
→Python関連
→Pandas関連
→スクレイピング
#contents
*サブトピック [#g4de9318]
-Python関連Tips一般
-Python文法系Tips
-PythonでExcel制御
-Pythonのロギング
-PythonのExe化
*並列処理、非同期処理 [#kaabfe78]
-[[Pythonの非同期処理の基礎とOpenAI APIへ並列リクエストす...
-[[非同期処理をシンプルなPythonコードで説明する #Python -...
-[[Python Threading Module[並列処理]についての解説|メガ...
-[[Python で並行処理を駆使して実行時間を 40% 短縮する方法...
-[[Pythonの並列処理・並行処理をしっかり調べてみた - Qiita...
*プロセス処理 [#o25fdff5]
-[[シェルスクリプトとの対比で理解するPythonのsubprocess -...
-[[Python3 Subprocess.Popen()とcommunicate()について - Qi...
-[[Pythonから完全に独立したプロセスを起動したい>https://t...
*設定ファイル [#p3f7a182]
-[[Pythonで簡単に設定ファイルを使う。書き換え可能で、配列...
-[[【Python】configファイルの読み込み・書き込みはconfigpa...
-[[Pythonの設定ファイル管理まとめ(settings / ini / json ...
*ディレクトリ/ファイル操作 [#y0918c0d]
-[[pathlibをもっと使おう - The jonki>https://www.jonki.ne...
-[[Pythonでimportの対象ディレクトリのパスを確認・追加(sy...
-[[Pythonで容量の大きいCSVファイルを指定したサイズの複数...
-[[python - Disable SameFileError exception in shutil.cop...
--You can force _samefile function to return False in eve...
import shutil
def my_same_file_diff_checker(*args, **kwargs):
return False
shutil._samefile = my_same_file_diff_checker
shutil.copy("test.ini", "test.ini")
-[[Python最新情報と勉強法(24) Pythonをローカル環境で開発...
-[[Pythonで条件を満たすパスの一覧を再帰的に取得するglobの...
glob(r"order_pdf\**\*.*", recursive=True)
-[[Pythonでフォルダ内のファイルリストを取得する - Qiita>h...
-[[Python | ファイル名またはディレクトリ名を変更する>http...
-[[【python】ファイルの条件を指定して一括移動する方法【コ...
-[[【Python入門】ディレクトリを簡単に作成する|os.mkdir・...
--os.makedirs で深いところまで一回で作れる。すでにあって...
*日付処理 [#ydfe775d]
-[[Pythonで日時の文字列にタイムゾーンをつけるときの注意点...
-[[strftimeメソッドでエラー(UnicodeEncodeError)が表示さ...
--このエラーは、一般的な日本語版のWindowsでは発生しません...
--Pythonはstrftime()メソッドを処理するのに、Windows内のラ...
import locale
locale.setlocale(locale.LC_CTYPE, "Japanese_Japan.932")
まだエラーが表示される場合はこちらも試してください。
locale.setlocale(locale.LC_CTYPE, "English_United States...
-[[Pythonのdatetimeで日付の範囲を比較演算子で指定する - Q...
-[[【Python】文字列⇒日付、日付⇒文字列の変換(str, datetim...
-[[Stop using utcnow and utcfromtimestamp>https://blog.ga...
--datetime.utcnow()と datetime.utcfromtimestamp()は使うべ...
-[[Pythonにおける日本(東京)時刻の取得 ※Google colabでd...
-[[メモ:pythonで月末日を取得する方法 (月初日も追記) - Qii...
import calendar
print calendar.monthrange(2014,12)
-[[Pythonで月初・月末(初日・最終日)、最終X曜日の日付を...
-[[Pythonのdatetimeで日付や時間と文字列を変換(strftime, ...
-[[Pythonで経過時間や日時(日付・時刻)の差分を測定・算出...
dt_now: date = datetime.now() # type: ignore
dt_uri: date = parser.parse(a.expected_sales_date) # t...
td: timedelta = dt_uri - dt_now
if td.days < 30:
...
-[[Python 日付、時刻の処理 - Qiita>https://qiita.com/xza/...
-dateutil を使うには別途インストールが必要
--[[How to use dateutil.relativedelta in Python 3.x? - St...
*文字列処理 [#vf28c157]
-[[【Python】変数名と値を同時に表示する小技 - Qiita>https...
--f"{v=}"
-[[Python] 文字列を数値に変換(ただし空文字(None)はゼロと...
-[[全角文字と半角文字を含んだ文字列を正規化して表記ゆれを...
-[[Pythonで文字列をUnicode正規化(unicodedata.normalize)...
-文字列に前ゼロでパティングする
f"{s:0>7}" または s.zfill(7)
-[[Pythonの文字列の改行方法と便利な操作まとめ | HEADBOOST...
list = ["text1", "text2", "text3"]
string = "\n".join(list)
-[[【Python】 文字列定数について(stringモジュール) | Hb...
-[[Pythonのf文字列(フォーマット済み文字列リテラル)の使...
-[[Pythonのf文字列の使い方 - ガンマソフト株式会社>https:/...
-[[【python3】ファイル名に使用出来ない文字を変換する。 | ...
file_name = re.sub(r'[\\|/|:|?|.|"|<|>|\|]', '-', file_n...
-[[図解!Python 正規表現の徹底解説!(文字列の抽出と置換な...
-[[Pythonの文字列フォーマット(formatメソッドの使い方) -...
*PDFファイル [#gfa7e248]
→PDF関連へ
*CSVファイル [#n4269472]
-[[pythonでのcsvファイルの読み込み - Qiita>https://qiita....
-CSVを辞書のリストに読み込んで特定の項目でソートするサン...
import csv
rows =[];
#BOMありUTF8 なのでエンコーディングは utf-8-sig とした
with open('./Anken.csv', 'r', encoding='utf-8-sig', erro...
f = csv.DictReader(csv_file, delimiter=',', doublequ...
for row in f:
rows.append(row)
#破壊型ソートです
rows.sort(key=lambda x:x['JOBNo.'])
for row in rows:
print(row['JOBNo.'], row['案件名'])
*print()文 [#ib914079]
-[[python で print() したものが出力されない理由>https://t...
-例:print('{}の税込価格は{:,d}円です'.format(fruit, frui...
-[[printf 形式の文字列書式化 | 組み込み型 — Python ...
--format % values (format は文字列) とすると、format 中の...
--format が単一の引数しか要求しない場合、 values はタプル...
--それ以外の場合、 values はフォーマット文字列中で指定さ...
*メール送信 [#ha54ad85]
-[[Pythonで複数の宛先にメールを送信する(Python3) - Qiita>...
-[[Pythonでメール送信 | Python学習講座>https://www.python...
*pip [#z340a947]
-[[Why you should use `python -m pip`>https://snarky.ca/w...
-- this blog post is meant to explain what python -m pip ...
-[[Google Colabでpip installしたものを消えないようにする ...
-[[pip - How do I install Python packages in Google's Col...
--Colab is just like a Jupyter notebook. Therefore, we ca...
*デバッグ [#d4943373]
-[[Pythonにおける効率的なデバック方法入門 - MyEnigma>http...
-VSCode でライブラリの中でブレークしたい場合は、launch.js...
"justMyCode": false,
*SQL/DB操作 [#a9995ea0]
**SQLAlchemy [#zd249317]
-[[SQLAlchemy2.0によるDB操作方法 - Qiita>https://qiita.co...
-[[SQLAlchemyとPandasでデータベースから任意データを取得す...
-[[SQLAlchemy から Pandas にデータを読み込む - Qiita>http...
**pyodbc [#p7393895]
-[[【Python】pyodbc経由でSQL Serverにデータを追加する。 -...
-[[PythonでSQL Serverに接続してSQLを実行する-スケ郎のお話...
-[[Python環境にpyodbcをインストールしてSQLServerに接続す...
-[[PythonからSQL Serverを動かそう!〜接続編〜 - Qiita>htt...
*AST [#t7205687]
-[[ast --- 抽象構文木 — Python 3.10.6 ドキュメント>...
-[[dis --- Python バイトコードの逆アセンブラ — Pyth...
-[[たった1行から始めるPythonのAST(抽象構文木)入門>https:/...
終了行:
→Python関連
→Pandas関連
→スクレイピング
#contents
*サブトピック [#g4de9318]
-Python関連Tips一般
-Python文法系Tips
-PythonでExcel制御
-Pythonのロギング
-PythonのExe化
*並列処理、非同期処理 [#kaabfe78]
-[[Pythonの非同期処理の基礎とOpenAI APIへ並列リクエストす...
-[[非同期処理をシンプルなPythonコードで説明する #Python -...
-[[Python Threading Module[並列処理]についての解説|メガ...
-[[Python で並行処理を駆使して実行時間を 40% 短縮する方法...
-[[Pythonの並列処理・並行処理をしっかり調べてみた - Qiita...
*プロセス処理 [#o25fdff5]
-[[シェルスクリプトとの対比で理解するPythonのsubprocess -...
-[[Python3 Subprocess.Popen()とcommunicate()について - Qi...
-[[Pythonから完全に独立したプロセスを起動したい>https://t...
*設定ファイル [#p3f7a182]
-[[Pythonで簡単に設定ファイルを使う。書き換え可能で、配列...
-[[【Python】configファイルの読み込み・書き込みはconfigpa...
-[[Pythonの設定ファイル管理まとめ(settings / ini / json ...
*ディレクトリ/ファイル操作 [#y0918c0d]
-[[pathlibをもっと使おう - The jonki>https://www.jonki.ne...
-[[Pythonでimportの対象ディレクトリのパスを確認・追加(sy...
-[[Pythonで容量の大きいCSVファイルを指定したサイズの複数...
-[[python - Disable SameFileError exception in shutil.cop...
--You can force _samefile function to return False in eve...
import shutil
def my_same_file_diff_checker(*args, **kwargs):
return False
shutil._samefile = my_same_file_diff_checker
shutil.copy("test.ini", "test.ini")
-[[Python最新情報と勉強法(24) Pythonをローカル環境で開発...
-[[Pythonで条件を満たすパスの一覧を再帰的に取得するglobの...
glob(r"order_pdf\**\*.*", recursive=True)
-[[Pythonでフォルダ内のファイルリストを取得する - Qiita>h...
-[[Python | ファイル名またはディレクトリ名を変更する>http...
-[[【python】ファイルの条件を指定して一括移動する方法【コ...
-[[【Python入門】ディレクトリを簡単に作成する|os.mkdir・...
--os.makedirs で深いところまで一回で作れる。すでにあって...
*日付処理 [#ydfe775d]
-[[Pythonで日時の文字列にタイムゾーンをつけるときの注意点...
-[[strftimeメソッドでエラー(UnicodeEncodeError)が表示さ...
--このエラーは、一般的な日本語版のWindowsでは発生しません...
--Pythonはstrftime()メソッドを処理するのに、Windows内のラ...
import locale
locale.setlocale(locale.LC_CTYPE, "Japanese_Japan.932")
まだエラーが表示される場合はこちらも試してください。
locale.setlocale(locale.LC_CTYPE, "English_United States...
-[[Pythonのdatetimeで日付の範囲を比較演算子で指定する - Q...
-[[【Python】文字列⇒日付、日付⇒文字列の変換(str, datetim...
-[[Stop using utcnow and utcfromtimestamp>https://blog.ga...
--datetime.utcnow()と datetime.utcfromtimestamp()は使うべ...
-[[Pythonにおける日本(東京)時刻の取得 ※Google colabでd...
-[[メモ:pythonで月末日を取得する方法 (月初日も追記) - Qii...
import calendar
print calendar.monthrange(2014,12)
-[[Pythonで月初・月末(初日・最終日)、最終X曜日の日付を...
-[[Pythonのdatetimeで日付や時間と文字列を変換(strftime, ...
-[[Pythonで経過時間や日時(日付・時刻)の差分を測定・算出...
dt_now: date = datetime.now() # type: ignore
dt_uri: date = parser.parse(a.expected_sales_date) # t...
td: timedelta = dt_uri - dt_now
if td.days < 30:
...
-[[Python 日付、時刻の処理 - Qiita>https://qiita.com/xza/...
-dateutil を使うには別途インストールが必要
--[[How to use dateutil.relativedelta in Python 3.x? - St...
*文字列処理 [#vf28c157]
-[[【Python】変数名と値を同時に表示する小技 - Qiita>https...
--f"{v=}"
-[[Python] 文字列を数値に変換(ただし空文字(None)はゼロと...
-[[全角文字と半角文字を含んだ文字列を正規化して表記ゆれを...
-[[Pythonで文字列をUnicode正規化(unicodedata.normalize)...
-文字列に前ゼロでパティングする
f"{s:0>7}" または s.zfill(7)
-[[Pythonの文字列の改行方法と便利な操作まとめ | HEADBOOST...
list = ["text1", "text2", "text3"]
string = "\n".join(list)
-[[【Python】 文字列定数について(stringモジュール) | Hb...
-[[Pythonのf文字列(フォーマット済み文字列リテラル)の使...
-[[Pythonのf文字列の使い方 - ガンマソフト株式会社>https:/...
-[[【python3】ファイル名に使用出来ない文字を変換する。 | ...
file_name = re.sub(r'[\\|/|:|?|.|"|<|>|\|]', '-', file_n...
-[[図解!Python 正規表現の徹底解説!(文字列の抽出と置換な...
-[[Pythonの文字列フォーマット(formatメソッドの使い方) -...
*PDFファイル [#gfa7e248]
→PDF関連へ
*CSVファイル [#n4269472]
-[[pythonでのcsvファイルの読み込み - Qiita>https://qiita....
-CSVを辞書のリストに読み込んで特定の項目でソートするサン...
import csv
rows =[];
#BOMありUTF8 なのでエンコーディングは utf-8-sig とした
with open('./Anken.csv', 'r', encoding='utf-8-sig', erro...
f = csv.DictReader(csv_file, delimiter=',', doublequ...
for row in f:
rows.append(row)
#破壊型ソートです
rows.sort(key=lambda x:x['JOBNo.'])
for row in rows:
print(row['JOBNo.'], row['案件名'])
*print()文 [#ib914079]
-[[python で print() したものが出力されない理由>https://t...
-例:print('{}の税込価格は{:,d}円です'.format(fruit, frui...
-[[printf 形式の文字列書式化 | 組み込み型 — Python ...
--format % values (format は文字列) とすると、format 中の...
--format が単一の引数しか要求しない場合、 values はタプル...
--それ以外の場合、 values はフォーマット文字列中で指定さ...
*メール送信 [#ha54ad85]
-[[Pythonで複数の宛先にメールを送信する(Python3) - Qiita>...
-[[Pythonでメール送信 | Python学習講座>https://www.python...
*pip [#z340a947]
-[[Why you should use `python -m pip`>https://snarky.ca/w...
-- this blog post is meant to explain what python -m pip ...
-[[Google Colabでpip installしたものを消えないようにする ...
-[[pip - How do I install Python packages in Google's Col...
--Colab is just like a Jupyter notebook. Therefore, we ca...
*デバッグ [#d4943373]
-[[Pythonにおける効率的なデバック方法入門 - MyEnigma>http...
-VSCode でライブラリの中でブレークしたい場合は、launch.js...
"justMyCode": false,
*SQL/DB操作 [#a9995ea0]
**SQLAlchemy [#zd249317]
-[[SQLAlchemy2.0によるDB操作方法 - Qiita>https://qiita.co...
-[[SQLAlchemyとPandasでデータベースから任意データを取得す...
-[[SQLAlchemy から Pandas にデータを読み込む - Qiita>http...
**pyodbc [#p7393895]
-[[【Python】pyodbc経由でSQL Serverにデータを追加する。 -...
-[[PythonでSQL Serverに接続してSQLを実行する-スケ郎のお話...
-[[Python環境にpyodbcをインストールしてSQLServerに接続す...
-[[PythonからSQL Serverを動かそう!〜接続編〜 - Qiita>htt...
*AST [#t7205687]
-[[ast --- 抽象構文木 — Python 3.10.6 ドキュメント>...
-[[dis --- Python バイトコードの逆アセンブラ — Pyth...
-[[たった1行から始めるPythonのAST(抽象構文木)入門>https:/...
ページ名: