新型コロナウイルスまとめサイトdata.jsonの作り方(テキストマイニング)

imabari.hateblo.jp サンプル 兵庫県(xlsx)https://github.com/imabari/hyougo/blob/master/hyougo_json.ipynb 愛知県(webページ・xlsx・PDF)https://github.com/imabari/aichi/blob/master/main.py 愛知県(OCR)github.com ベストプラクティス 富山県 …

新型コロナウイルスまとめサイトdata.jsonの作り方(前準備)

テーブル 下記ソース種類からテキストを抽出し、Pandasを使ってこのテーブルを作成する 年月日 検査数 陽性数 陰性数 入院 退院 死亡 軽症 中等症 重症 相談件数 2020-04-01 2020-04-02 2020-04-03 2020-04-04 2020-04-05 ソースの種類 Pythonの場合、下記ラ…

栃木県における新型コロナウイルス感染症の発生状況一覧をスクレイピング

www.pref.tochigi.lg.jp github.com apt install python3-tk ghostscript pip install camelot-py[cv] pip install jaconv import requests from bs4 import BeautifulSoup import re import jaconv import datetime from urllib.parse import urljoin impor…

陽性患者情報のフォームを作成

サンプルは富山県のオープンデータで作成しました opendata.pref.toyama.jp 出典:[コロナウィルス関連データ(陽性患者属性のみ)(CSV)]富山県ホームページ(当該ページのURL http://opendata.pref.toyama.jp/dataset/covid19/resource/f3cd8c90-bf77-4072-…

新型コロナウイルス感染症対策に関するオープンデータ項目定義書

cio.go.jp www.code4japan.org 新型コロナウイルス感染症対策に関するオープンデータ項目定義書 そのまま使うには非常に使いにくい ファイルごと各項目がわかれている 普段使わない項目まで記載 ファイル数が多い アクセスするサイトが重いとダウンロードに…

石川県の患者情報スクレイピング

github.com www.pref.ishikawa.lg.jp import datetime import re import jaconv import pandas as pd import requests from bs4 import BeautifulSoup # 和暦から西暦のdateに変換 def wareki2date(s): m = re.match(r"(昭和|平成|令和)(\d{1,2})年(\d{1,2})…

兵庫県の患者情報のPDFをCSV変換

!wget "https://web.pref.hyogo.lg.jp/kk03/documents/corona-kanjajokyo0403.pdf" -O kanja.pdf !apt install python3-tk ghostscript !pip install camelot-py[cv] import camelot import pandas as pd tables = camelot.read_pdf("kanja.pdf", pages="all…

Github

backlog.com qiita.com

富山県

github.com import datetime import json import pandas as pd COUNTS_FILE = "toyama_counts.csv" PATIENTS_FILE = "toyama_patients.csv" def dumps_json(file_name, json_data): with open(file_name, "w") as fw: json.dump(json_data, fw, ensure_ascii…

愛知県のクラスタをスクレイピング・JSON化

import datetime import json import re import pandas as pd import requests from bs4 import BeautifulSoup def dumps_json(file_name, json_data): with open(file_name, "w") as fw: json.dump(json_data, fw, ensure_ascii=False, indent=2) url = "ht…

愛知県の新型コロナ情報をスクレイピングしてdata.jsonを作成

github.com import datetime import json import re from urllib.parse import urljoin import pandas as pd import requests from bs4 import BeautifulSoup import camelot url = "https://www.pref.aichi.jp/site/covid19-aichi/kansensya-kensa.html" he…

東京都 新型コロナ対策サイト」地域展開に向けて情報共有

hackmd.io

兵庫県の新型コロナウイルス感染症 対策サイト

github.com

愛知県の感染状況のPDFデータをCSVに変換

github.com PDFのURLのスクレイピングは省略してダウンロード PDFファイルをダウンロード wget https://www.pref.aichi.jp/uploaded/attachment/328890.pdf -O data.pdf !apt install python3-tk ghostscript !pip install camelot-py[cv] import datetime i…

jsonschema

app.quicktype.io import requests INSPECTIONS_SUMMARY_SCHEMA = { "$schema": "http://json-schema.org/draft-07/schema", "type": "object", "required": [ "data", "last_update" ], "properties": { "last_update": { "pattern": "^[0-9]{4}\/[0-9]{2}\…

兵庫県のデータ

新型コロナウィルスに感染した患者の状況 https://web.pref.hyogo.lg.jp/kk03/corona_kanjyajyokyo.html age.json(年代別合計) age_summary.json(日別年代合計)list clusters.json(日別クラスタ合計) clusters_summary.json(クラスタ別合計) patient…

兵庫県の圏域別受入可能病床数を取得(pdfminer)

pip install jaconv pip install pdfminer.six import re from typing import Dict, List, Union from urllib.parse import urljoin import jaconv import requests from bs4 import BeautifulSoup from pdfminer.converter import PDFPageAggregator from p…

兵庫県の圏域別受入可能病床数を取得

※JAVAのインストールが必要 !pip install tabula-py import re from urllib.parse import urljoin import pandas as pd import requests from bs4 import BeautifulSoup from tabula import read_pdf url = "https://web.pref.hyogo.lg.jp/kk03/200129.html"…

兵庫県非公式 新型コロナウイルスまとめサイトのデータ確認

stop-covid19-hyogo.org colab.research.google.com

兵庫県の新型コロナウイルス感染症の県内検査状況からGASで簡易APIを作成

qiita.com script.google.com ライブラリからParserを追加 https://script.google.com/macros/s/AKfycby-SbnAWcB_P8h4y1cy4dx8hHHkCTYbONFnXiixYhuXnjhPFwbr/exec function myFunction() { // スクレイピング const html = UrlFetchApp.fetch('https://web.p…

imabari.hateblo.jp 北海道 tech.moyashidaisuke.com tech.moyashidaisuke.com qiita.com qiita.com qiita.com qiita.com 兵庫 github.com qiita.com github.com qiita.com github.com

熊本県の新型コロナウイルス感染症対策に係る状況のPDFをスクレイピング

camelot・pdfminer.sixはテキスト抽出できない tabulaはできた pdftotextかpdfboxでテキスト抽出してから正規表現の方がよさそう www.pref.kumamoto.jp stop-covid19-kumamoto.netlify.com !wget "https://www.pref.kumamoto.jp/common/UploadFileOutput.ash…

兵庫県の新型コロナウイルスに感染した患者の状況のExcelファイルをデータラングリング

# -*- coding: utf-8 -*- import datetime import json import re from urllib.parse import urljoin import pandas as pd import requests from bs4 import BeautifulSoup url = "https://web.pref.hyogo.lg.jp/kk03/corona_kanjyajyokyo.html" headers = {…

兵庫県の新型コロナウイルス感染症の県内検査状況をスクレイピング

github.com pdfのスクレイピングのプログラムすごいな めちゃくちゃ勉強になった グラフ表示用のJavascriptのデータからスクレイピング import datetime import json import re import pandas as pd import requests from bs4 import BeautifulSoup def dump…

三重県の新型コロナウイルス感染症検査実施件数をスクレイピング2

北海道オープンデータポータル www.harp.lg.jp と同じ書式のCSVを作成 CSVからdata.jsonへ変換 qiita.com github.com スクレイピング import requests from bs4 import BeautifulSoup import jaconv import datetime import csv def daterange(_start, _end)…

三重県の新型コロナウイルス感染症検査実施件数をスクレイピング

こちらの方がよさそう imabari.hateblo.jp qiita.com !pip install jaconv import requests from bs4 import BeautifulSoup import jaconv import datetime def daterange(_start, _end): for n in range((_end - _start).days): yield _start + datetime.ti…

愛媛県の新型コロナウイルス感染症に関する情報から検査結果をスクレイピング

www.pref.ehime.jp import pandas as pd import re import datetime # 和暦から西暦のdateに変換 def wareki2date(s): m = re.match("(昭和|平成|令和)(\d{1,2})年(\d{1,2})月(\d{1,2})日", s) year = int(m.group(2)) month = int(m.group(3)) day = int(m.…

地元の新型コロナウイルス対策サイトを作ろう

fukuno.jig.jp github.com 北海道 github.com qiita.com qiita.com 愛知 github.com 三重 github.com qiita.com 大阪 github.com 兵庫 github.com github.com 愛媛県 ehime-covid19.com github.com

大阪府における新型コロナウイルス感染症患者の発生状況のExcelファイルからデータラングリング

import requests from bs4 import BeautifulSoup import re headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko", } def get_link(): url = "http://www.pref.osaka.lg.jp/iryo/osakakansensho/corona.html…

Microsoft Teams 日本語マニュアル、クイックガイド、ビデオ

blogs.windows.com