スクレイピングの履歴(No.5) - 技術情報Wiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ] [ Twitter ]

→Python関連

一般
Scrapy
Selenium
- VBA版

一般†

Web記事の本文をJavaで抽出する - きしだのHatena 2023.2

Python Webスクレイピングテクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita 2018

現場のスクレイピング - Qiita 2022.11

機械学習用の画像を集めるのにicrawlerが便利だった - Qiita 2018

Web Scraping With Python (An Ultimate Guide) | Scrapingdog 2022.9

Pythonを使ってamazonの口コミの闇を暴いてみた - YouTube 2020.8

Web Scraping and the Art of War: 5 Tools That Will Help Your Bot Win | by Web Data Central | Jul, 2022 | Level Up Coding 2022.7

Web Scraping Google News with Python - DEV Community 2022.7

メモ：webbrowser.open() がコマンドラインからなら動くがVSCodeでは動かないとき、こうしたら動いた

#! python3
import webbrowser
firefoxPath = "C:/Program Files/Mozilla Firefox/firefox.exe %s"
webbrowser.get(firefoxPath).open(someURL)

スクレイピングのメモ - Qiita 2022.4
- RequestsとBeautifulSoup4

Pythonでスクレイピングした株価をDBに格納する 2021.1

年末年始の新幹線をPythonで予約する 2018.12

スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 2017.11

日本株式のデータをスクレイピングなしで取得・リストにしたい 2017.8.4

Scrapy†

Scrapy
- スクレイピング用フレームワーク

Selenium†

→テストツール

PythonのSeleniumのElementClickInterceptedExceptionエラーを無理矢理回避する | my opinion is my own 2021
- driver.set_window_size(1500,1500)

seleniumにてButtonがクリックできない時の対処法 - Qiita 2017
- 画面外にある部品はクリックできないらしい。
- driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 下までスクロールしてやる

PythonとSeleniumを使ったプチ自動化で業務効率UPしてみた - RAKUS Developers Blog | ラクスエンジニアブログ 2022.12

Seleniumレシピまとめ【スクレイピング】【Selenium4】 - Qiita 2022.12

python - Passthrough is not supported, GL is disabled - Stack Overflow 2021

Seleniumでiframeに出入りしてみた - Qiita 2022.11

Selenium - ページの読み込みが完了するまで待つ(python) 2022.11

SeleniumとEdgeDriverでデフォルトのダウンロードフォルダを変更する（msedge-selenium-tools） - Qiita 2022.11

SeleniumでスクレイピングをするためのTips - Qiita 2022.10

Python: Selenium: Dockerで、Chromeブラウザ最新版が動く仮想環境を立てて、24時間自動WEBサーフィンさせる環境の基礎を作る - Qiita 2022.4

Seleniumを試用 (Firefoxをコードで操作試行) 結果:成功 - Qiita 2022.4

Python + Selenium + Chrome でファイル保存まわり - Qiita 2018
【Python3】Seleniumを使用してウィンドウとタブの操作を行う方法 | せなブログ 2021
- 全画面表示にするなど

[Python]Seleniumで操作するウィンドウを切り替える２つの方法を紹介 | たぬハック 2019
- driver.switch_to.window(driver.window_handles[-1])

SeleniumでEdgeを使うお話 - Qiita 2019
- Microsoft Edge WebDriver - Microsoft Edge Developer 2022.6
- 以下のようなエラーが出てEdgeが起動しない場合は、最新のWebDriverを使うようにすると直ることがある。
```
EDGE_IDENTITY: Get Default OS Account failed: Error: Primary Error: kImplicitSignInFailure, Secondary Error: kAccountProviderFetchError,
```

Seleniumを使用しPythonでWebページのタイトルを取得する | Men of Letters（メン・オブ・レターズ） – 論理的思考/業務改善/プログラミング 2020.12
- USB: usb_device_handle_win.cc:1020 Failed to read descriptor from node connection: システムに接続されたデバイスが機能していません。 (0x1F) というエラーについて
- コンピュータの一部の機能を停止して省電力モードで待機（サスペンド）されているUSBデバイスのプロパティをChromeが読み取ろうとすることによって引き起こされるのが原因（https://stackoverflow.com/questions/65080685/usb-usb-device-handle-win-cc1020-failed-to-read-descriptor-from-node-connectio）。
- これは無視して良い

PythonでSeleniumを使ってChromeを操作するための基礎(自動化) | アールエフェクト 2021.8
- https://chromedriver.chromium.org/downloads

Selenium 4で「DeprecationWarning」が出る場合の対策 | ジコログ 2021

簡単！ JavaScriptで自動UIテスト

iPhone／Android含むブラウザ自動テストの最終兵器Selenium WebDriverとは 2012.10.5

Selenium
- Webアプリ用テストツール

Webブラウザを使ったテストツールSeleniumとは

WebアプリテストツールSeleniumの紹介

VBA版†