seleniumをインストール
pip3 install selenium
phantomjsをダウンロード
http://phantomjs.org/
WindowsのPATHを通しておく
Selenium IDEをFirefoxにインストールしてアクセス方法を記録
python2にエクスポート
エクスポートしたファイルの中から
def test_(self):
から不要なものを削除しコピー、ここからここまでに貼付け
from selenium import webdriver from bs4 import BeautifulSoup import re driver = webdriver.PhantomJS() #ここから driver.get("http://www.qq.pref.ehime.jp/qq38/qqport/kenmintop/") driver.find_element_by_css_selector("div.group2 > input.each-menu-citizen__button-hover").click() driver.find_element_by_id("id_blockCd000004").click() driver.find_element_by_name("forward_next").click() #ここまで #スクリーンショット #driver.save_screenshot("ss.png") html = driver.page_source driver.quit() soup = BeautifulSoup(html, 'html.parser') table = soup.find_all('table', class_='comTblGyoumuCommon') for i in table[6:]: #日付 data = re.sub(r'\s', '', i.td.get_text()) for j in i.find_all('td', width="90%"): text = re.sub(r'\s', '', j.a.get_text()) print(data, text)
ユーザーエージェント変更
from selenium import webdriver from selenium.common.exceptions import NoSuchElementException USER_AGENT = "Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko" # driver = webdriver.PhantomJS() driver = webdriver.PhantomJS(desired_capabilities={'phantomjs.page.settings.userAgent':USER_AGENT}) # ブラウザ操作 driver.get("http://www.useragentstring.com/") # スクリーンショット driver.save_screenshot("ss.png") driver.quit()