import datetime import re from urllib.parse import urljoin import pandas as pd import requests from bs4 import BeautifulSoup url = "https://www.pref.aichi.jp/toukei/" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko" } def get_link(url, text): r = requests.get(url, headers=headers) r.raise_for_status() soup = BeautifulSoup(r.content, "html.parser") tag = soup.find("a", text=text) return tag JST = datetime.timezone(datetime.timedelta(hours=+9), "JST") dt_now = datetime.datetime.now(JST) link = get_link(url, "あいちの人口").get("href") tag = get_link(link, re.compile("現在人口")) csv_url = urljoin(link, tag.get("href")) m = re.match("(\d{4})年(\d{1,2})月(\d{1,2})日", tag.get_text()) if m: year, month, day = map(int, m.groups()) dt_now = datetime.datetime(year, month, day) dt_now df = pd.read_csv(csv_url, index_col="県市町村").dropna(how="all") df_city = ( df[df["性別"] == "男女"] .loc[:, ["コード", "総数"]] .rename(columns={"コード": "市町村コード", "総数": "人口"}) ) df_city["市町村名"] = df_city.index.str.rstrip("県市町村") city_data = df_city.to_dict(orient="index") data = {"lastUpdateAt": dt_now.isoformat(), "data": city_data} import json with open("city_data.json", "w", encoding="utf-8") as fw: json.dump(data, fw, ensure_ascii=False, indent=4)
{ "lastUpdateAt": "2020-11-01T00:00:00", "data": { "愛知県": { "市町村コード": 23000, "人口": 7538701, "市町村名": "愛知" }, "名古屋市": { "市町村コード": 23100, "人口": 2327689, "市町村名": "名古屋" }, "豊橋市": { "市町村コード": 23201, "人口": 371856, "市町村名": "豊橋" }, "岡崎市": { "市町村コード": 23202, "人口": 385371, "市町村名": "岡崎" }, "一宮市": { "市町村コード": 23203, "人口": 378768, "市町村名": "一宮" }, "瀬戸市": { "市町村コード": 23204, "人口": 127265, "市町村名": "瀬戸" }, "半田市": { "市町村コード": 23205, "人口": 117742, "市町村名": "半田" }, "春日井市": { "市町村コード": 23206, "人口": 306538, "市町村名": "春日井" }, "豊川市": { "市町村コード": 23207, "人口": 183958, "市町村名": "豊川" }, "津島市": { "市町村コード": 23208, "人口": 61030, "市町村名": "津島" }, "碧南市": { "市町村コード": 23209, "人口": 72601, "市町村名": "碧南" }, "刈谷市": { "市町村コード": 23210, "人口": 153481, "市町村名": "刈谷" }, "豊田市": { "市町村コード": 23211, "人口": 422878, "市町村名": "豊田" }, "安城市": { "市町村コード": 23212, "人口": 188705, "市町村名": "安城" }, "西尾市": { "市町村コード": 23213, "人口": 169017, "市町村名": "西尾" }, "蒲郡市": { "市町村コード": 23214, "人口": 79419, "市町村名": "蒲郡" }, "犬山市": { "市町村コード": 23215, "人口": 72926, "市町村名": "犬山" }, "常滑市": { "市町村コード": 23216, "人口": 57689, "市町村名": "常滑" }, "江南市": { "市町村コード": 23217, "人口": 97541, "市町村名": "江南" }, "小牧市": { "市町村コード": 23219, "人口": 148128, "市町村名": "小牧" }, "稲沢市": { "市町村コード": 23220, "人口": 134893, "市町村名": "稲沢" }, "新城市": { "市町村コード": 23221, "人口": 43778, "市町村名": "新城" }, "東海市": { "市町村コード": 23222, "人口": 113284, "市町村名": "東海" }, "大府市": { "市町村コード": 23223, "人口": 92418, "市町村名": "大府" }, "知多市": { "市町村コード": 23224, "人口": 84059, "市町村名": "知多" }, "知立市": { "市町村コード": 23225, "人口": 71868, "市町村名": "知立" }, "尾張旭市": { "市町村コード": 23226, "人口": 82176, "市町村名": "尾張旭" }, "高浜市": { "市町村コード": 23227, "人口": 48765, "市町村名": "高浜" }, "岩倉市": { "市町村コード": 23228, "人口": 47941, "市町村名": "岩倉" }, "豊明市": { "市町村コード": 23229, "人口": 69381, "市町村名": "豊明" }, "日進市": { "市町村コード": 23230, "人口": 92713, "市町村名": "日進" }, "田原市": { "市町村コード": 23231, "人口": 59148, "市町村名": "田原" }, "愛西市": { "市町村コード": 23232, "人口": 61000, "市町村名": "愛西" }, "清須市": { "市町村コード": 23233, "人口": 69771, "市町村名": "清須" }, "北名古屋市": { "市町村コード": 23234, "人口": 86101, "市町村名": "北名古屋" }, "弥富市": { "市町村コード": 23235, "人口": 43083, "市町村名": "弥富" }, "みよし市": { "市町村コード": 23236, "人口": 62919, "市町村名": "みよし" }, "あま市": { "市町村コード": 23237, "人口": 87616, "市町村名": "あま" }, "長久手市": { "市町村コード": 23238, "人口": 62414, "市町村名": "長久手" }, "東郷町": { "市町村コード": 23302, "人口": 44093, "市町村名": "東郷" }, "豊山町": { "市町村コード": 23342, "人口": 15708, "市町村名": "豊山" }, "大口町": { "市町村コード": 23361, "人口": 24248, "市町村名": "大口" }, "扶桑町": { "市町村コード": 23362, "人口": 34260, "市町村名": "扶桑" }, "大治町": { "市町村コード": 23424, "人口": 32550, "市町村名": "大治" }, "蟹江町": { "市町村コード": 23425, "人口": 36827, "市町村名": "蟹江" }, "飛島村": { "市町村コード": 23427, "人口": 4604, "市町村名": "飛島" }, "阿久比町": { "市町村コード": 23441, "人口": 28182, "市町村名": "阿久比" }, "東浦町": { "市町村コード": 23442, "人口": 49156, "市町村名": "東浦" }, "南知多町": { "市町村コード": 23445, "人口": 16788, "市町村名": "南知多" }, "美浜町": { "市町村コード": 23446, "人口": 22490, "市町村名": "美浜" }, "武豊町": { "市町村コード": 23447, "人口": 43115, "市町村名": "武豊" }, "幸田町": { "市町村コード": 23501, "人口": 42409, "市町村名": "幸田" }, "設楽町": { "市町村コード": 23561, "人口": 4408, "市町村名": "設楽" }, "東栄町": { "市町村コード": 23562, "人口": 2937, "市町村名": "東栄" }, "豊根村": { "市町村コード": 23563, "人口": 996, "市町村名": "豊根" } } }
