2020-04-01から1ヶ月間の記事一覧

新型コロナウイルスまとめサイトdata.json(集計方法)

サンプル富山県 github.com 欠損日付を0で補間 # IndexはDatetimeIndex df.asfreq("D", fill_value=0) pandas.pydata.org import pandas as pd import matplotlib.pyplot as plt import japanize_matplotlib # 設定 COUNTS_FILE = "toyama_counts.csv" PATIE…

富山県のコロナ情報をオープンデータに変換

Chrome・Firefox・最新のEdgeで実行 こちらにアクセス github.com 1.ボタンをクリック 2.メニューの「ランタイム」-「すべてのセルを実行」の順にクリック 3.このまま実行をクリック 4.ダウンロード画面が表示されるのでダウンロード

栃木県

github.com covid19-tochigi.herokuapp.com

宮崎県

github.com 症状がわからないので入院中を軽症・中等症に分類しています PDFの3ページ目にタイトルがあるかわからないのでタイトルがある場合で結合 apt install python3-tk ghostscript pip install camelot-py[cv] pip install pycurl pip install retry …

富山県の新型コロナウイルス感染症の県内の患者等発生状況をスクレイピング・データラングリング

www.pref.toyama.jp !pip install jaconv !pip install pandas import datetime import json import pathlib import jaconv import pandas as pd df = pd.read_html( "http://www.pref.toyama.jp/cms_sec/1205/kj00021798.html", index_col=0, na_values="〃…

新型コロナウイルスデータ変換まとめ

都道府県別一覧 github.com 都道府県別一覧data.json変換一覧 docs.google.com 新型コロナウイルス患者数オープンデータ(公式サイト、オープンデータサイト、対応状況) - Google スプレッドシート docs.google.com docs.google.com Python imabari.hateblo…

山梨県

www.pref.yamanashi.jp このデータをデータラングリングする気にならない とりあえず日付と小計だけ変換 import datetime import re import jaconv import pandas as pd dt_now = datetime.datetime.now() def my_parser(s): dt_str = jaconv.z2h(s.strip(),…

埼玉県の感染確認状況や関連情報よりdata.jsonを作成

github.com apt install python3-tk ghostscript pip install requests pip install beautifulsoup4 pip install camelot-py[cv] pip install pandas import datetime import json import re from urllib.parse import urljoin import pandas as pd import r…

新型コロナウイルスまとめサイトdata.jsonの作り方(テキストマイニング)

imabari.hateblo.jp サンプル github.com Webページ(リンク先抽出) import requests from bs4 import BeautifulSoup import re import datetime from urllib.parse import urljoin # データのあるページのURL url = "http://example.jp" headers = { "User…

新型コロナウイルスまとめサイトdata.jsonの作り方(前準備)

テーブル 下記ソース種類からテキストを抽出し、Pandasを使ってこのテーブルを作成する 年月日 検査数 陽性数 陰性数 入院 退院 死亡 相談件数 2020-04-01 2020-04-02 2020-04-03 2020-04-04 2020-04-05 ソースの種類 Pythonの場合、下記ライブラリを使いテ…

栃木県における新型コロナウイルス感染症の発生状況一覧をスクレイピング

www.pref.tochigi.lg.jp github.com apt install python3-tk ghostscript pip install camelot-py[cv] pip install jaconv import requests from bs4 import BeautifulSoup import re import jaconv import datetime from urllib.parse import urljoin impor…

陽性患者情報のフォームを作成

サンプルは富山県のオープンデータで作成しました opendata.pref.toyama.jp 出典:[コロナウィルス関連データ(陽性患者属性のみ)(CSV)]富山県ホームページ(当該ページのURL http://opendata.pref.toyama.jp/dataset/covid19/resource/f3cd8c90-bf77-4072-…

新型コロナウイルス感染症対策に関するオープンデータ項目定義書

cio.go.jp www.code4japan.org 新型コロナウイルス感染症対策に関するオープンデータ項目定義書 そのまま使うには非常に使いにくい ファイルごと各項目がわかれている 普段使わない項目まで記載 ファイル数が多い アクセスするサイトが重いとダウンロードに…

石川県の患者情報スクレイピング

github.com www.pref.ishikawa.lg.jp import datetime import re import jaconv import pandas as pd import requests from bs4 import BeautifulSoup # 和暦から西暦のdateに変換 def wareki2date(s): m = re.match(r"(昭和|平成|令和)(\d{1,2})年(\d{1,2})…

兵庫県の患者情報のPDFをCSV変換

!wget "https://web.pref.hyogo.lg.jp/kk03/documents/corona-kanjajokyo0403.pdf" -O kanja.pdf !apt install python3-tk ghostscript !pip install camelot-py[cv] import camelot import pandas as pd tables = camelot.read_pdf("kanja.pdf", pages="all…

Github

backlog.com qiita.com

富山県

github.com import datetime import json import pandas as pd COUNTS_FILE = "toyama_counts.csv" PATIENTS_FILE = "toyama_patients.csv" def dumps_json(file_name, json_data): with open(file_name, "w") as fw: json.dump(json_data, fw, ensure_ascii…