読者です 読者をやめる 読者になる 読者になる

Beautifulsoupのパーサーを'html.parser'から'html5lib'へ変更

Python スクレイピング

この間からスクレイピングができなかったりおかしいなと思ってたら'html.parser'のタグ補完が原因でした。

import urllib.request
from bs4 import BeautifulSoup

url = "http://www.police.pref.ehime.jp/sokuho/sokuho.htm"
html = urllib.request.urlopen(url).read()
soup = BeautifulSoup(html, 'html.parser', from_encoding='cp932')

print(soup.prettify())

後半は/ddと/dtだらけでスクレイピングできません。

Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation

パーサーを'html5lib'に変更

import urllib.request
from bs4 import BeautifulSoup

url = "http://www.police.pref.ehime.jp/sokuho/sokuho.htm"
html = urllib.request.urlopen(url).read()
soup = BeautifulSoup(html, 'html5lib', from_encoding='cp932')

print(soup.prettify())

Chromeの右クリック
検証

目的のタグを右クリック
Copy-Copy selector

body > table:nth-child(7) > tbody > tr:nth-child(4) > td:nth-child(5) > table > tbody > tr:nth-child(6) > td

nth-childを
nth-of-typeに変更するとBeautifulsoupで取得できます。

td = soup.select('body > table:nth-of-type(7) > tbody > tr:nth-of-type(4) > td:nth-of-type(5) > table > tbody > tr:nth-of-type(6) > td')

www.htmq.com


要素名.クラス名
要素名[属性名= "属性値"]




で真ん中のddを取得したいとき

tbody > tr > td > dl > dd:nth-child(3n + 2)
tbody > tr > td > dl > dt+dd


tbody > tr > td > dl > dt+dd