2022-01-01から1年間の記事一覧

ワンライナーで愛媛県のコロナ検査結果のPDFをダウンロード

qiita.com curl -sS https://www.pref.ehime.jp/h25500/kansen/covid19.html | sed 's/ //g' | xmllint --html --xpath '//div/ul/li/a[starts-with(@href, "/h25500/kansen/documents/press04") and contains(@href, ".pdf")]/@href' - | xargs -n 1 |…

blog.cybozu.io mixi-developers.mixi.co.jp blog.recruit.co.jp developers.cyberagent.co.jp techlife.cookpad.com tech.pepabo.com www.wantedly.com qiita.com techblog.sega.jp www.ai-shift.co.jp qiita.com devpixiv.hatenablog.com

Firefoxだとはてなブログにコメント書けない

コメントを書くのボタンが消えててコメントできない

ワンライナーで玉川ダムの貯水率をCSVに変換

echo '{"date":"2022/07/19 10:00"}' | jq '.date' | tr -d '"' | date -f- "+%Y%m%d/%H%M" | sed 's;^;ttps://example.com/;;' | sed 's;$;/data.json;'#シェル芸— 上田隆一 (@ryuichiueda) 2022年7月19日 echo '{"date":"2022/07/19 10:00"}' | jq -r .dat…

マンガと学ぶデータビジュアライゼーション

kakeami.github.io

交通事故統計情報のオープンデータ 前処理まで完了

www.npa.go.jp github.com 各種コード表 !wget "https://www.npa.go.jp/publications/statistics/koutsuu/opendata/2020/codebook_2020.pdf" -O data.pdf import camelot import pandas as pd tables = camelot.read_pdf( "data.pdf", pages="all", split_te…

ExcelでWebからJSONファイルを取得、テーブルに展開

「変換」「テーブルへの変換」 列名の右のボタンを押して 列名を選択

データマイニング入門

ocwx.ocw.u-tokyo.ac.jp

csv2json

var jsonData = []; //変換機能 function csv2json(csvArray) { var jsonArray = []; // 1行目から「項目名」の配列を生成する var items = csvArray[0].split(','); items[items.length - 1] = items[items.length - 1].trim();//「項目名」の配列の最後に…

スプレッドシートでリバースジオコード

GIS

developers.google.com function reverseGeoCoding(lat, lng) { let geocoder = Maps.newGeocoder() geocoder.setLanguage('ja'); let response = geocoder.reverseGeocode(lat, lng); let place = response.results[0].formatted_address.split(/\s+/).slic…

34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由

GIS

www3.nhk.or.jp

folium

int-info.com

geopandas

GIS

arakaki.tokyo

NDLOCR

レイアウト座標情報に対するランク学習を使って、NDLOCRに読み順付与機能(読み順ソート機能)を追加してみました。https://t.co/3h7OXaHCjS— Toru Aoike (@blue0620) 2022年5月2日 current.ndl.go.jp lab.ndl.go.jp lab.ndl.go.jp qiita.com

救急病院202206

import pathlib from urllib.parse import urljoin import pandas as pd import requests from bs4 import BeautifulSoup base_url = "http://www.qq.pref.ehime.jp/qq38/WP0805/RP080501BL" payload = { "_blockCd": "", "forward_next": "", "torinBlockDe…

警察庁オープンデータ

www.npa.go.jp kamonohashiperry.com github.com www.geospatial.jp nobutobook.blogspot.com www.gis-py.com

PDF

github.com

Python 最適化

speakerdeck.com speakerdeck.com www.me.titech.ac.jp speakerdeck.com 最適化超入門 from Takami Sato www.slideshare.net scmopt.github.io

PDFテキスト変換全部入り

PDF

github.com pdfbox = tabula pdfminer = camelot なのでテキスト変換できてない場合はCSVも失敗

OCR関係

レイアウト座標情報に対するランク学習を使って、NDLOCRに読み順付与機能(読み順ソート機能)を追加してみました。https://t.co/3h7OXaHCjS— Toru Aoike (@blue0620) 2022年5月2日 github.com zenn.dev

出勤カレンダー

import pandas as pd year = "2022" def make_cal(df0, fn): df1 = df0.pivot( index=["remainder"], columns=["month", "quotient"], values=["day", "value"] ) df1.columns = df1.columns.reorder_levels(order=[1, 2, 0]) df1.sort_index(axis=1, inplac…

NDL OCR

lab.ndl.go.jp NDL OCRを Google Colaboratoryで動くようにしてみました。無料で誰でも試せるはず、、、https://t.co/PQFVA1Zriz— Toru Aoike (@blue0620) 2022年4月27日

auローミング表示

from folium_vector import VectorGridProtobuf import folium map = folium.Map(tiles=None, location=[33.84167, 132.76611], zoom_start=14) # Googleマップ標準 folium.raster_layers.TileLayer( "https://{s}.google.com/vt/lyrs=m&x={x}&y={y}&z={z}",…

folium ベクター

!pip install git+https://github.com/iwpnd/folium-vector.git import folium from folium_vector import VectorGridProtobuf url = "https://area.uqcom.jp/api2/rakuten/{z}/{x}/{y}.mvt" m = folium.Map() options = { "vectorTileLayerStyles": { "raku…

foliumに検索追加

import folium import geopandas as gpd import pandas as pd from folium.plugins import Search url = "https://docs.google.com/spreadsheets/d/e/2PACX-1vRE1NoYtNw1FmjRQ8wcdPkcE0Ryeoc2mfFkCQPHjzwL5CpwNKkLXnBl_F7c0LZjrtbLtRLH55ZVi6gQ/pub?gid=0&si…

iPhoneのショートカットから電測用マップを更新

処理 ショートカット 現在地から 都道府県名 市区町村名 住所 緯度 経度 を取得してwebhookでスプレッドシートにデータを送信 スプレッドシート webhookから送られてきたデータを最終行に追加 Githubにプログラム実行のwebhookを送信 Github webhookを受信す…

Python早見表

chokkan.github.io

類似度

ensekitt.hatenablog.com zenn.dev !pip install pdfplumber """再起動""" !apt update !wget "https://www.city.kumamoto.jp/common/UploadFileDsp.aspx?c_id=5&id=4645&sub_id=18&flid=239935" -O data.pdf !apt install libmagickwand-dev ghostscript # …

bufferings.hatenablog.com www.lifehacker.jp

熊本市ごみカレンダーのPDFからCSV作成2

github.com !pip install pdfplumber !apt install libmagickwand-dev ghostscript !wget "https://www.city.kumamoto.jp/common/UploadFileDsp.aspx?c_id=5&id=4638&sub_id=20&flid=239879" -O data.pdf import io import re import pandas as pd import pd…