pipx pdm

pypa.github.io zenn.dev zenn.dev qiita.com sudo apt install pipx pipx ensurepath pipx install pdm pdm config --global install.cache True mkdir jupyter cd jupyter pdm init pdm add jupyterlab jupyterlab-language-pack-ja-JP pdm add pandas ope…

文字起し

internet.watch.impress.co.jp dev.classmethod.jp github.com

シェイクスピアのTEI_XMLコーパス

digitalnagasaki.hatenablog.com github.com

漱石書簡から人物登場頻度と地名登場頻度

curl -O 'https://www.dhii.jp/dh/tei/soseki_letter_19000908.xml' curl -O 'https://www.dhii.jp/dh/tei/soseki_letter_19001008.xml' curl -O 'https://www.dhii.jp/dh/tei/soseki_letter_19001022.xml' import pathlib from lxml import etree ns = {"te…

現代日本語訳仏典の人名と地名の登場回数

www.dhii.jp !curl -O "https://21dzk.l.u-tokyo.ac.jp/SAT2018/JT0353b.xml" !curl -O "https://21dzk.l.u-tokyo.ac.jp/SAT2018/JT2046b.xml" !curl -O "https://21dzk.l.u-tokyo.ac.jp/SAT2018/JT2047b.xml" !curl -O "https://21dzk.l.u-tokyo.ac.jp/SAT2…

TEI/XMLファイルから抜き出した地理情報を地図上にマッピング(lxmlで抽出)

digitalnagasaki.hatenablog.com curl -O "https://www.dhii.jp/dh/tei/soseki_letter_19000908.xml" curl -O "https://www.dhii.jp/dh/tei/soseki_letter_19001008.xml" curl -O "https://www.dhii.jp/dh/tei/soseki_letter_19001022.xml" import pathlib i…

IIJ Machinist

machinist.iij.jp

前処理

www.eureka-moments-blog.com

Galaxy プリインストール アンインストール

github.com technastic.com www.fonearena.com adb shell pm list packages | cut -d: -f2 | grep xxxxx > list.txt # au galaxy adb shell pm uninstall -k --user 0 com.kddi.android.au_wifi_connect2 adb shell pm uninstall -k --user 0 jp.netstar.fam…

日付変換ワンライナー

wget https://www.tepco.co.jp/forecast/html/images/juyo-s1-j.csv?$(TZ=JST-9 date +%s%N | cut -b 1-13) -O juyo-s1-j.csv

某サイトの買取金額のスクレイピング対策の金額をスクレイピング

買取金額表示用の数字画像を取得 OCRで画像から数字に変換 切り抜き位置から数字番号取得 数字に変換 CSSからのパースはじめてした pypi.org teratail.com teratail.com pip install easyocr pip install cssutils import pathlib from urllib.parse import …

ワンライナーでテーブルをCSVに変換

4列目以降をCSVにする雑なワンライナーです、、、 pic.twitter.com/xJoilFDsae— ぱぴろんちゃん (@papiron) 2022年8月8日 papiro.hatenablog.jp curl -s "https://www.bleague.jp/stats/?tab=1&year=2021" \ | nkf -Wwd \ | xmllint --html --xpath '//table…

各医療機関内の病床の確保状況をシェルで変換

Pythonで作られたようですね。データ解析はないですが、ダウンロードして日付順に連結するまでをシェルスクリプトで雑に書いてみました、、ファイル名が日付順になっていないのは、URLリストを作ってその順にデータ連結することで対応してます。 pic.twitter…

ワンライナーでMLSから楽天モバイルのみのCSV作成

www.web-dev-qa-db-ja.com curl -s https://location.services.mozilla.com/downloads \ | xmllint --html --xpath 'string(/html/body/div/section/ul/li[1]/a/@href)' - \ | xargs -n 1 curl -s \ | gzip -d \ | awk 'BEGIN{FS=","} $1 == "LTE" && $2 == …

ワンライナーでMLSから楽天モバイルのみのCSV作成

メモ:ワンライナーで投げたほうがMLS元データ処理するときでかい一時ファイル作らなくて便利wget https://t.co/7m4Wm3TA3F$(date +%Y-%m-%d)T000000.csv.gz -O - | gzip -d | grep 'LTE,440,11,' > mls_44011.csv— JS2HGW@楽天開局マップ(岐阜県) (@JS2H…

楽天モバイル基地局アプリ

注意事項 ※新規登録または内容変更したら履歴に登録お願いします メイン画面 マップ画面 ダッシュボード画面 リスト画面 登録手順 基地局入力画面1 基地局入力画面2 基地局追加または現在地から基地局入力画面へ 基地局情報を入力 位置情報は地図より調整…

The Missing Semester of Your CS Education

missing-semester-jp.github.io

ワンライナーで愛媛県のコロナ検査結果のPDFをダウンロード

qiita.com curl -sS https://www.pref.ehime.jp/h25500/kansen/covid19.html | sed 's/ //g' | xmllint --html --xpath '//div/ul/li/a[starts-with(@href, "/h25500/kansen/documents/press04") and contains(@href, ".pdf")]/@href' - | xargs -n 1 |…

blog.cybozu.io mixi-developers.mixi.co.jp blog.recruit.co.jp developers.cyberagent.co.jp techlife.cookpad.com tech.pepabo.com www.wantedly.com qiita.com techblog.sega.jp www.ai-shift.co.jp qiita.com devpixiv.hatenablog.com

Firefoxだとはてなブログにコメント書けない

コメントを書くのボタンが消えててコメントできない

ワンライナーで玉川ダムの貯水率をCSVに変換

echo '{"date":"2022/07/19 10:00"}' | jq '.date' | tr -d '"' | date -f- "+%Y%m%d/%H%M" | sed 's;^;ttps://example.com/;;' | sed 's;$;/data.json;'#シェル芸— 上田隆一 (@ryuichiueda) 2022年7月19日 echo '{"date":"2022/07/19 10:00"}' | jq -r .dat…

マンガと学ぶデータビジュアライゼーション

kakeami.github.io

交通事故統計情報のオープンデータ 前処理まで完了

www.npa.go.jp github.com 各種コード表 !wget "https://www.npa.go.jp/publications/statistics/koutsuu/opendata/2020/codebook_2020.pdf" -O data.pdf import camelot import pandas as pd tables = camelot.read_pdf( "data.pdf", pages="all", split_te…

ExcelでWebからJSONファイルを取得、テーブルに展開

「変換」「テーブルへの変換」 列名の右のボタンを押して 列名を選択

データマイニング入門

ocwx.ocw.u-tokyo.ac.jp

csv2json

var jsonData = []; //変換機能 function csv2json(csvArray) { var jsonArray = []; // 1行目から「項目名」の配列を生成する var items = csvArray[0].split(','); items[items.length - 1] = items[items.length - 1].trim();//「項目名」の配列の最後に…

スプレッドシートでリバースジオコード

GIS

developers.google.com function reverseGeoCoding(lat, lng) { let geocoder = Maps.newGeocoder() geocoder.setLanguage('ja'); let response = geocoder.reverseGeocode(lat, lng); let place = response.results[0].formatted_address.split(/\s+/).slic…

34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由

GIS

www3.nhk.or.jp

folium

int-info.com

geopandas

GIS

arakaki.tokyo