スクレイピングの変更点

追加された行はこの色です。
削除された行はこの色です。
スクレイピングへ行く。
スクレイピングの差分を削除
#author("2023-06-04T19:16:43+09:00","default:irrp","irrp")
#author("2023-06-04T19:19:10+09:00","default:irrp","irrp")
→[[自動化]]

→Python関連

#contents


*一般 [#ec5391c5]
-[[【個人開発】AWSでサーバーレスなWebスクレイピングアプリを作ってみた - Qiita>https://qiita.com/ozzy3/items/b2ef8f5329484de5095f]] 2023.3
--Beautiful Soup

-[[【規約】Amazonのスクレイピングは本当に禁止？規約を確認してみた - しらすのStudy blog>https://teshi-learn.com/2020-08/amazon-scraping-regulation/]] 2023.3
--ログインしていなければ規約の強制力はない

-[[Web記事の本文をJavaで抽出する - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/02/21/041440]] 2023.2

-[[Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita>https://qiita.com/Azunyan1111/items/b161b998790b1db2ff7a]] 2018

-[[現場のスクレイピング - Qiita>https://qiita.com/kawagoe6884/items/889f8f2cf816439c026b]] 2022.11

-[[機械学習用の画像を集めるのにicrawlerが便利だった - Qiita>https://qiita.com/tkt989/items/84c6581dfa1d9a42dc2d]] 2018

-[[Web Scraping With Python (An Ultimate Guide) | Scrapingdog>https://www.scrapingdog.com/blog/web-scraping-with-python/]] 2022.9

-[[Pythonを使ってamazonの口コミの闇を暴いてみた - YouTube>https://www.youtube.com/watch?v=R7rApds4syQ]] 2020.8

-[[Web Scraping and the Art of War: 5 Tools That Will Help Your Bot Win | by Web Data Central | Jul, 2022 | Level Up Coding>https://levelup.gitconnected.com/web-scraping-and-the-art-of-war-5-tools-that-will-help-your-bot-win-c2a3840d8b71]] 2022.7

-[[Web Scraping Google News with Python - DEV Community>https://dev.to/serpapi/web-scraping-google-news-with-python-19el]] 2022.7

-メモ：webbrowser.open() がコマンドラインからなら動くがVSCodeでは動かないとき、こうしたら動いた
 #! python3
 import webbrowser
 firefoxPath = "C:/Program Files/Mozilla Firefox/firefox.exe %s"
 webbrowser.get(firefoxPath).open(someURL)

-[[スクレイピングのメモ - Qiita>https://qiita.com/kujirahand/items/433eca4976bb57799ad1]] 2022.4
--RequestsとBeautifulSoup4

-[[Pythonでスクレイピングした株価をDBに格納する>https://qiita.com/ku_a_i/items/ab395c1cf4493517a1dd]] 2021.1

-[[年末年始の新幹線をPythonで予約する>https://rfushimi.hatenablog.jp/entry/2018/12/26/234108]] 2018.12

-[[スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ >https://review-of-my-life.blogspot.jp/2017/10/python-web-scraping-data-collection-analysis.html]] 2017.11

-[[日本株式のデータをスクレイピングなしで取得・リストにしたい>http://qiita.com/Kuma_T/items/911b5201c9313717ab50]] 2017.8.4


*Scrapy [#r092e1ae]
-[[Scrapy>https://scrapy.org/]]
--スクレイピング用フレームワーク

-[[Scrapy入門>http://qiita.com/checkpoint/items/038b59b29df8e1e384a2]]
-[[Scrapy Tutorial>https://docs.scrapy.org/en/latest/intro/tutorial.html]]


*Selenium [#q51564ee]
→テストツール
-[[Selenium4のEdgedriverでデフォルトのダウンロードフォルダを変更する - Qiita>https://qiita.com/pm00/items/1eaf7d76ad68a4dcdf4d]] 2023.6
-[[Selenium4にアップグレードする方法 | Selenium>https://www.selenium.dev/ja/documentation/webdriver/getting_started/upgrade_to_selenium_4/]] 2023

-[[Selenium4のEdgedriverでデフォルトのダウンロードフォルダを変更する - Qiita>https://qiita.com/pm00/items/1eaf7d76ad68a4dcdf4d]] 2022

-[[PythonのSeleniumのElementClickInterceptedExceptionエラーを無理矢理回避する | my opinion is my own>https://zatoima.github.io/python-selenium-error-elementclickinterceptedexception.html]] 2021
--driver.set_window_size(1500,1500)

-[[seleniumにてButtonがクリックできない時の対処法 - Qiita>https://qiita.com/DNA1980/items/528ff6269986b262acdc]] 2017
--画面外にある部品はクリックできないらしい。
--driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 下までスクロールしてやる

-[[PythonとSeleniumを使ったプチ自動化で業務効率UPしてみた - RAKUS Developers Blog | ラクス エンジニアブログ>https://tech-blog.rakus.co.jp/entry/20221222/selenium]] 2022.12

-[[Seleniumレシピまとめ【スクレイピング】【Selenium4】 - Qiita>https://qiita.com/RisaM/items/da3650243005dcc25680]] 2022.12

-[[python - Passthrough is not supported, GL is disabled - Stack Overflow>https://stackoverflow.com/questions/67501093/passthrough-is-not-supported-gl-is-disabled]] 2021

-[[Seleniumでiframeに出入りしてみた - Qiita>https://qiita.com/Tokyo/items/7e61ac57ffd79b5a1085]] 2022.11

-[[Selenium - ページの読み込みが完了するまで待つ(python)>https://codechacha.com/ja/selenium-explicit-implicit-wait/]] 2022.11

-[[SeleniumとEdgeDriverでデフォルトのダウンロードフォルダを変更する（msedge-selenium-tools） - Qiita>https://qiita.com/pm00/items/4ad6edebe5cf2fe94833]] 2022.11

-[[SeleniumでスクレイピングをするためのTips - Qiita>https://qiita.com/Brutus/items/18e5a536dfce1f1b43bd]] 2022.10

-[[Python: Selenium: Dockerで、Chromeブラウザ最新版が動く仮想環境を立てて、24時間自動WEBサーフィンさせる環境の基礎を作る - Qiita>https://qiita.com/yagrush/items/18a39362a52d0d9e663b]] 2022.4

-[[Seleniumを試用 (Firefoxをコードで操作試行) 結果:成功 - Qiita>https://qiita.com/dl_from_scratch/items/b90579bcb35f460e4976]] 2022.4

-[[既に開いているEdgeを、WebDriverで操作する（C#） - Qiita>https://qiita.com/santarou6/items/a24bbbc07c57877eae8a]] 2022.3
-[[PythonのSeleniumを使って、起動済みのブラウザを操作する。 - Qiita>https://qiita.com/mimuro_syunya/items/2464cd2404b67ea5da56]] 2021

-[[BeautifulSoupとSeleniumのあわせ技でスクレイピングする | きいちログ>https://wptech.kiichiro.work/2xch5zq3e9/]] 2022
-[[SeleniumとBeautifulSoupの違いを簡単にまとめてみた>https://zenn.dev/moimoi_prog/articles/30f9e29569d31b]] 2022

-[[Python + Selenium + Chrome でファイル保存まわり - Qiita>https://qiita.com/memakura/items/f80d2e2c59514cfc14c9]] 2018
-[[【Python3】Seleniumを使用してウィンドウとタブの操作を行う方法 | せなブログ>https://senablog.com/python-selenium-window-tab/]] 2021
--全画面表示にするなど

-[[[Python]Seleniumで操作するウィンドウを切り替える２つの方法を紹介 | たぬハック>https://tanuhack.com/selenium-change-window/]] 2019
--driver.switch_to.window(driver.window_handles[-1])

-[[Seleniumで指定フォルダにダウンロード + ファイルを指定のフォルダに移動する [Pythonチートシート]>https://life100create.com/selenium_download_move_file/]] 2021
-[[Python + Selenium + Chrome でファイル保存まわり - Qiita>https://qiita.com/memakura/items/f80d2e2c59514cfc14c9]] 2018

-[[SeleniumでEdgeを使うお話 - Qiita>https://qiita.com/uguisuheiankyo/items/e331ab59b881613908f3]] 2019
--[[Microsoft Edge WebDriver - Microsoft Edge Developer>https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/]] 2022.6
--以下のようなエラーが出てEdgeが起動しない場合は、最新のWebDriverを使うようにすると直ることがある。
 EDGE_IDENTITY: Get Default OS Account failed: Error: Primary Error: kImplicitSignInFailure, Secondary Error: kAccountProviderFetchError,

-[[Seleniumを使用しPythonでWebページのタイトルを取得する | Men of Letters（メン・オブ・レターズ） &#8211; 論理的思考/業務改善/プログラミング>https://laboratory.kazuuu.net/get-web-page-titles-in-python-using-selenium/]] 2020.12
--USB: usb_device_handle_win.cc:1020 Failed to read descriptor from node connection: システムに接続されたデバイスが機能していません。 (0x1F) というエラーについて
--コンピュータの一部の機能を停止して省電力モードで待機（サスペンド）されているUSBデバイスのプロパティをChromeが読み取ろうとすることによって引き起こされるのが原因（https://stackoverflow.com/questions/65080685/usb-usb-device-handle-win-cc1020-failed-to-read-descriptor-from-node-connectio）。
--これは無視して良い

-[[PythonでSeleniumを使ってChromeを操作するための基礎(自動化) | アールエフェクト>https://reffect.co.jp/python/selenium]] 2021.8
--https://chromedriver.chromium.org/downloads

-[[Selenium 4で「DeprecationWarning」が出る場合の対策 | ジコログ>https://self-development.info/selenium-4%E3%81%A7%E3%80%8Cdeprecationwarning%E3%80%8D%E3%81%8C%E5%87%BA%E3%82%8B%E5%A0%B4%E5%90%88%E3%81%AE%E5%AF%BE%E7%AD%96/]] 2021

-[[簡単！ JavaScriptで自動UIテスト>http://qiita.com/ysks/items/5c703334ef6f9a878c60]]

-[[iPhone／Android含むブラウザ自動テストの最終兵器Selenium WebDriverとは>http://www.atmarkit.co.jp/fjava/special/webdriver01/01.html]] 2012.10.5

-[[Selenium>http://www.thinkit.co.jp/free/article/0705/2/1/]]
--Webアプリ用テストツール

-[[Webブラウザを使ったテストツールSeleniumとは>http://thinkit.co.jp/free/article/0705/2/1/]] 

-[[WebアプリテストツールSeleniumの紹介>http://journal.mycom.co.jp/articles/2006/09/29/selenium/]]


** VBA版 [#g3005794]
-[[【Excel】SeleniumVBAがアドイン化されました - Qiita>https://qiita.com/yaju/items/acc58b2a98a5cfdcd4f0]] 2022.9
-[[VBAのスクレイピングを簡単楽にしてくれるSelenium｜VBA技術解説>https://excel-ubara.com/excelvba4/EXCEL_VBA_401.html]] 2020
スクレイピング の変更点

スクレイピングの変更点
