2020-01-01から1年間の記事一覧

HUAWEI Watch FIT

HUAWEI Watch FIT Graphite Black/スマートウォッチ/長時間バッテリー【日本正規代理店品】 文字盤サイズ1.64インチ発売日: 2020/10/02メディア: エレクトロニクス 最近ストレスなことばっかりなので買ってみた

tableをcsvに変換、csvを標準出力

pip install requests pip install beaufifulsoup4 import requests from bs4 import BeautifulSoup import sys import csv # argv test """ del sys.argv[1:] sys.argv.append("https://www.pref.saga.lg.jp/kiji00373220/") sys.argv.append("3") print(sy…

acro-engineer.hatenablog.com

既存のau IDに「UQ mobile契約をau IDに登録」をしようとすると「CCAE1018」のエラーがでる

既存のau IDに「UQ mobile契約をau IDに登録」をしようとすると「CCAE1018」のエラーがでる チャットで質問したらこちらからしてくださいと言われたので UQ mobile契約をau IDに登録する faq.uqwimax.jp またエラーこれだけで昨日一日損した 既存のau IDに「…

京都府の発生状況のPDFをスクレイピング

!apt install ghostscript !pip install camelot-py[cv] import re from urllib.parse import urljoin import datetime import camelot import pandas as pd import requests from bs4 import BeautifulSoup # 月日をdatetimeに変換 def days2date(s): y = d…

ライブ配信

rocketnews24.com services.google.com https://forjapan.withgoogle.com/static/pdf/YouTube_Live.pdf

埼玉県のコロナを標準出力に出力

import sys import camelot import pandas as pd tables = camelot.read_pdf( "http://www.pref.saitama.lg.jp/a0001/news/page/2020/documents/021125-0902.pdf", pages="all", strip_text=" \n", ) dfs = [table.df.T.iloc[2:] for table in tables] df = …

千葉県の新型コロナウイルス感染症患者等の県内発生状況についてのPDFをデータラングリング

pdfplumberでfilterでフッターのページ数をのけた ページによって列の誤認識?空白文字が入るので列を削除 import datetime import pathlib import re from urllib.parse import urljoin import pandas as pd import pdfplumber import requests from bs4 im…

愛媛県のコロナ感染者の概要の表を作成

import datetime import pathlib import re from urllib.parse import urljoin import pandas as pd import pdfplumber import requests from bs4 import BeautifulSoup def fetch_file(url, dir="."): r = requests.get(url) r.raise_for_status() p = path…

コロナ感染経路を可視化

github.com oxon.hatenablog.com

ベルマークの今治市内のPTA番号

ネットショッピング前にちょい寄りするだけ。 各ショップのポイントとは別に、支援ができます。 www.webbellmark.jp PTA番号 学校名 1 3800008 今治幼稚園 2 3808678 今治精華幼稚園 3 3800007 立花幼稚園 4 3804584 はしはまこがく認定こども園 5 3804339 …

今治市の保育所等の入所可能状況をマップ化

今治市 保育幼稚園課の保育所等の今治市受け入れ可能状況一覧のPDFの表をスクレイピング後地図に表示 今治市オープンデータ一覧に保育園、認定こども園の住所と位置情報があるが全部ではなかったのでスプレッドシート作成 スプレッドシート 今治市内保育園(…

playwright-pythonでogp作成

兵庫県 https://github.com/stop-covid19-hyogo/covid19/blob/development/ui-test/ogp_screenshot.py import pathlib from urllib.parse import urljoin from playwright import sync_playwright PATHS = { "/cards/details-of-confirmed-cases": (959, 500…

Ubuntu20.04にplaywrightをインストール

https://github.com/microsoft/playwright-python https://github.com/microsoft/playwright/blob/master/docs/docker/Dockerfile.focal sudo apt update sudo apt install -y libwoff1 libopus0 libwebp6 libwebpdemux2 libenchant1c2a libgudev-1.0-0 libs…

Go To Eat キャンペーン一覧

スプレッドシートにまとめました https://docs.google.com/spreadsheets/d/1P9S4BdL142VyVUSUJwj967m1wNGAb4pOnRycHAg9vZQ/edit?usp=sharing

青森県シェルスクリプトでスクレイピング テスト

curl -s 'https://opendata.pref.aomori.lg.jp/dataset/1531.html' | xmllint --html --xpath '//div[@class="resources"]/div[@class="resource"]/div[@class="info"]/div[contains(@class, "name") and contains(@class, "format-csv") and contains(text(…

熊本県のコロナCSVのURL

import csv import re from bs4 import BeautifulSoup import requests url = "https://www.pref.kumamoto.jp/kiji_22038.html" r = requests.get(url) r.raise_for_status() soup = BeautifulSoup(r.content, "html.parser") tags = soup.find("h3", text=r…

Pandasで連番値をカウント

https://qiita.com/Masutani/items/3cea640da7d1f5f58af1 https://ja.stackoverflow.com/questions/69962/pandas%E3%81%A7-%E9%A3%9B%E3%81%B3%E9%A3%9B%E3%81%B3%E3%81%AE%E5%88%97%E7%95%AA%E5%8F%B7%E3%82%92%E9%80%A3%E7%95%AA%E3%81%AB%E3%81%97%E3%81%…

1~9の4つの組合せの四則計算

0を除いた組合せ import itertools seq = range(1, 10) # 組合せ data = list(itertools.combinations(seq, 4)) print(len(data)) # 126 import itertools def test_eval(s): try: r = eval(s) except ZeroDivisionError: r = None if r == 10: print(s) ret…

愛媛県内の状況のPDFから検査陽性者の状況をスクレイピング3

shellで作ってみた wget https://www-eu.apache.org/dist/pdfbox/2.0.21/pdfbox-app-2.0.21.jar -O pdfbox-app.jar wget https://www.pref.ehime.jp/h25500/kansen/documents/kennai_link.pdf -O kennnai_link.pdf java -jar pdfbox-app.jar ExtractText -so…

0~9の4つの組合せ

https://t.co/Fx4ExylUeG210通りを見てみたい人がいるかもしれないので列挙だけはしてみた。 pic.twitter.com/sPvGEFspni— 上原 哲太郎/Tetsu. Uehara (@tetsutalow) 2020年9月17日 import itertools seq = range(10) result = ["".join(map(str, i)) for i …

愛媛県内の状況のPDFから検査陽性者の状況をスクレイピング2

PDFをテキスト化して抽出する方が簡単だったorz imabari.hateblo.jp import pathlib import re import pdfbox import requests url = "https://www.pref.ehime.jp/h25500/kansen/documents/kennai_link.pdf" r = requests.get(url) r.raise_for_status() p =…

最近買った本

現場で使える!pandasデータ前処理入門 機械学習・データサイエンスで役立つ前処理手法 [ 株式会社ロンバート ]価格: 4180 円楽天で詳細を見る 【POD】GitHub Actions 実践入門 (技術の泉シリーズ(NextPublishing)) [ 宮田 淳平 ]価格: 2200 円楽天で詳…

tabula-java compile

https://github.com/tabulapdf/tabula-java sudo apt install maven git clone https://github.com/tabulapdf/tabula-java cd tabula-java mvn clean compile assembly:single

git

techracho.bpsinc.jp

長野県のコロナウイルス感染症の状況をPDFからスクレイピング

!apt install python3-tk ghostscript !pip install camelot-py[cv] !pip install jaconv import datetime import pathlib import re from urllib.parse import urljoin import camelot import jaconv import requests from bs4 import BeautifulSoup def fe…

愛媛県内の状況のPDFから検査陽性者の状況をスクレイピング

!apt install python3-tk ghostscript !pip install camelot-py[cv] !pip install jaconv import datetime import re import pathlib import camelot import jaconv import requests def fetch_file(url, dir="."): r = requests.get(url) r.raise_for_statu…

PythonからPostでGASからスプレッドシートにデータ追加

スプレッドシート ウェブアプリケーションとして導入 実行:自分 アクセスできるユーザー:全員 function doPost(e) { var ss = SpreadsheetApp.getActiveSpreadsheet(); var sheet = ss.getSheetByName('シート1'); var PostData = JSON.parse(e.postData.c…

愛知県の検査陽性者の状況のjpegからOCRでスクレイピング(表抽出・縦線除去)

!add-apt-repository ppa:alex-p/tesseract-ocr -y !apt update !apt install tesseract-ocr !apt install libtesseract-dev !tesseract -v !apt install tesseract-ocr-jpn tesseract-ocr-jpn-vert !apt install tesseract-ocr-script-jpan tesseract-ocr-s…

speakerdeck.com