2020-07-01から1ヶ月間の記事一覧

愛媛県警の事件事故速報をRSS化

import datetime import re import jaconv import requests from bs4 import BeautifulSoup from feedgen.feed import FeedGenerator url = "https://www.police.pref.ehime.jp/sokuho/sokuho.htm" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0…

node スクレイピング

qiita.com qiita.com

時系列予測で使えるpythonライブラリ一覧

zakopilo.hatenablog.jp

PDFをテキスト化したものの処理に便利な正規表現

livreparaviver.hateblo.jp

ExcelでNDL書誌データを取得する

iss.ndl.go.jp

パズル

www.watto.nagoya for i in range(1000): s = f"{i:03}" if int(s[0]) * int(s[1:]) == int(s[:-1]) * int(s[-1]): if "0" not in s: # ゾロ目 # if not all(s[0] == j for j in s): print(s)

マイナンバーカード交付状況のPDFをスクレイピング・CSV変換

imabari.hateblo.jp camelotが動かないので github.com pip install pdfminer.six==20200517 import datetime import pathlib import re import time from urllib.parse import urljoin import pandas as pd import requests from bs4 import BeautifulSoup …

BOD供養寺

qiita.com qiita.com github.com

緊急速報「エリアメール」のRSSを作成

rireki.area-hinan.au.com !pip install feedgen import datetime import re import requests from bs4 import BeautifulSoup from feedgen.feed import FeedGenerator def get_mail(link): r = requests.get(link) r.raise_for_status() soup = BeautifulSo…

防災情報をリツイート

import tweepy # 先ほど取得した各種キーを代入する CK = "" CS = "" AT = "" AS = "" # Twitterオブジェクトの生成 auth = tweepy.OAuthHandler(CK, CS) auth.set_access_token(AT, AS) api = tweepy.API(auth) for status in api.user_timeline("imabari_b…

スクレイピング

実践/現場のPythonスクレイピング流儀 - Qiita