スクレイピング

→自動化

→Python関連

一般†

• ウェブスクレイピングの効率化: マルチスレッドとイテレータで実現する最適なデータ収集 #Python - Qiita 2024.9

• Reader API 2024.5

• 【Python】Webサイトのスクリーンショットを自動化｜分析屋 2023.8

• 【個人開発】AWSでサーバーレスなWebスクレイピングアプリを作ってみた - Qiita 2023.3
  • Beautiful Soup

• 【規約】Amazonのスクレイピングは本当に禁止？規約を確認してみた - しらすのStudy blog 2023.3
  • ログインしていなければ規約の強制力はない

• Web記事の本文をJavaで抽出する - きしだのHatena 2023.2

• Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita 2018

• 現場のスクレイピング - Qiita 2022.11

• 機械学習用の画像を集めるのにicrawlerが便利だった - Qiita 2018

• Web Scraping With Python (An Ultimate Guide) | Scrapingdog 2022.9

• Pythonを使ってamazonの口コミの闇を暴いてみた - YouTube 2020.8

• Web Scraping and the Art of War: 5 Tools That Will Help Your Bot Win | by Web Data Central | Jul, 2022 | Level Up Coding 2022.7

• Web Scraping Google News with Python - DEV Community 2022.7

• メモ：webbrowser.open() がコマンドラインからなら動くがVSCodeでは動かないとき、こうしたら動いた

  #! python3
  import webbrowser
  firefoxPath = "C:/Program Files/Mozilla Firefox/firefox.exe %s"
  webbrowser.get(firefoxPath).open(someURL)

• スクレイピングのメモ - Qiita 2022.4
  • RequestsとBeautifulSoup4

• Pythonでスクレイピングした株価をDBに格納する 2021.1

• 年末年始の新幹線をPythonで予約する 2018.12

• スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく 〜Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた〜 2017.11

• 日本株式のデータをスクレイピングなしで取得・リストにしたい 2017.8.4

Scrapy†

• Scrapy
  • スクレイピング用フレームワーク

• Scrapy入門
• Scrapy Tutorial

Selenium†

→テストツール

• 【Python】Seleniumで読み込み待ちができない場合の対処方法 #Python3 - Qiita 2024.8

• 【Python】Seleniumによるコンソールログの取得 | ジコログ 2023.10

• Seleniumが本当にバレバレなのか試してみた - Qiita 2023.8

• 初期時に以下のようなエラーが出るのを抑制したい

  DevTools listening on ws://127.0.0.1:62525/devtools/browser/4d3b2f25-f55c-49e1-b02e-c9e4e83408ff
  [18588:15692:0718/091702.691:ERROR:edge_auth_errors.cc(486)] EDGE_IDENTITY: Get Default OS Account failed: Error: Primary Error: kImplicitSignInFailure, Secondary Error: kAccountProviderFetchError, 
  Platform error: 0, Error string:

  • このようにすると良いらしい。参考:Selenium Edge Python errors auto close Edge browser after test execution - Stack Overflow

    from selenium.webdriver.edge.options import Options
    opt: Options = Options()  # selenium 4
    opt.experimental_options["excludeSwitches"] = ["enable-logging"]

• Python Selenium でコンソールを非表示にする | クソざこCoding 2021

  from subprocess import CREATE_NO_WINDOW
    svc: Service = Service(driver_path)
    svc.creationflags = CREATE_NO_WINDOW  # コンソールを一瞬表示しないようにする設定

• Seleniumでアラートポップアップのボタンを押す方法

  browser.switch_to.alert.accept() //OKの場合
  browser.switch_to.alert.dismiss() //NGの場合

• Pythonでselenium 要素の存在を判定する方法 - Qiita 2023.6
  • ポイントはdriver.find_element_by_idの代わり、driver.find_elements_by_idを使います。一見同じように見えますが、前者の場合は要素が存在しない時に異常が発生します。後者なら、要素が存在しなくでも異常が発生しない

• 【Python】Selenium(chromeDriver)実行時のコンソールを非表示にする | カメ助のブログ 2021

• 【Selenium】ドロップダウン/selectタグ選択,取得方法まとめ - ゆうきのせかい 2023.6

• SeleniumとPlaywrightで起動済みのブラウザを操作する - Qiita 2023.6

• 機能と EdgeOptions - Microsoft Edge Development | Microsoft Learn 2023.6

• Seleniumを使って起動済みのMicrosoft Edgeを制御するPowerShellスクリプト 関連Tweet：https://twitter.com/kinuasa/status/1427151324328562689 2023.6

• Selenium4にアップグレードする方法 | Selenium 2023

• Selenium4のEdgedriverでデフォルトのダウンロードフォルダを変更する - Qiita 2022

• PythonのSeleniumのElementClickInterceptedExceptionエラーを無理矢理回避する | my opinion is my own 2021
  • driver.set_window_size(1500,1500)

• seleniumにてButtonがクリックできない時の対処法 - Qiita 2017
  • 画面外にある部品はクリックできないらしい。
  • driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 下までスクロールしてやる

• PythonとSeleniumを使ったプチ自動化で業務効率UPしてみた - RAKUS Developers Blog | ラクス エンジニアブログ 2022.12

• Seleniumレシピまとめ【スクレイピング】【Selenium4】 - Qiita 2022.12

• python - Passthrough is not supported, GL is disabled - Stack Overflow 2021

• Seleniumでiframeに出入りしてみた - Qiita 2022.11

• Selenium - ページの読み込みが完了するまで待つ(python) 2022.11

• SeleniumとEdgeDriverでデフォルトのダウンロードフォルダを変更する（msedge-selenium-tools） - Qiita 2022.11

• SeleniumでスクレイピングをするためのTips - Qiita 2022.10

• Python: Selenium: Dockerで、Chromeブラウザ最新版が動く仮想環境を立てて、24時間自動WEBサーフィンさせる環境の基礎を作る - Qiita 2022.4

• Seleniumを試用 (Firefoxをコードで操作試行) 結果:成功 - Qiita 2022.4

• 既に開いているEdgeを、WebDriverで操作する（C#） - Qiita 2022.3
• PythonのSeleniumを使って、起動済みのブラウザを操作する。 - Qiita 2021

• BeautifulSoupとSeleniumのあわせ技でスクレイピングする | きいちログ 2022
• SeleniumとBeautifulSoupの違いを簡単にまとめてみた 2022

• Python + Selenium + Chrome でファイル保存まわり - Qiita 2018
• 【Python3】Seleniumを使用してウィンドウとタブの操作を行う方法 | せなブログ 2021
  • 全画面表示にするなど

• [Python]Seleniumで操作するウィンドウを切り替える２つの方法を紹介 | たぬハック 2019
  • driver.switch_to.window(driver.window_handles[-1])

• Seleniumで指定フォルダにダウンロード + ファイルを指定のフォルダに移動する [Pythonチートシート] 2021
• Python + Selenium + Chrome でファイル保存まわり - Qiita 2018

• SeleniumでEdgeを使うお話 - Qiita 2019
  • Microsoft Edge WebDriver - Microsoft Edge Developer 2022.6
  • 以下のようなエラーが出てEdgeが起動しない場合は、最新のWebDriverを使うようにすると直ることがある。

    EDGE_IDENTITY: Get Default OS Account failed: Error: Primary Error: kImplicitSignInFailure, Secondary Error: kAccountProviderFetchError,

• Seleniumを使用しPythonでWebページのタイトルを取得する | Men of Letters（メン・オブ・レターズ） – 論理的思考/業務改善/プログラミング 2020.12
  • USB: usb_device_handle_win.cc:1020 Failed to read descriptor from node connection: システムに接続されたデバイスが機能していません。 (0x1F) というエラーについて
  • コンピュータの一部の機能を停止して省電力モードで待機（サスペンド）されているUSBデバイスのプロパティをChromeが読み取ろうとすることによって引き起こされるのが原因（https://stackoverflow.com/questions/65080685/usb-usb-device-handle-win-cc1020-failed-to-read-descriptor-from-node-connectio）。
  • これは無視して良い

• PythonでSeleniumを使ってChromeを操作するための基礎(自動化) | アールエフェクト 2021.8
  • https://chromedriver.chromium.org/downloads

• Selenium 4で「DeprecationWarning」が出る場合の対策 | ジコログ 2021

• 簡単！ JavaScriptで自動UIテスト

• iPhone／Android含むブラウザ自動テストの最終兵器Selenium WebDriverとは 2012.10.5

• Selenium
  • Webアプリ用テストツール

• Webブラウザを使ったテストツールSeleniumとは

• WebアプリテストツールSeleniumの紹介

VBA版†

• 【Excel】SeleniumVBAがアドイン化されました - Qiita 2022.9
• VBAのスクレイピングを簡単楽にしてくれるSelenium｜VBA技術解説 2020

最新の50件