ワンライナー
区切らず出力したい場合はそれでいいと思います。awkのprint文でカンマ区切りした所は、awkの特殊変数OFSで区切って出力します。OFSのデフォルトはスペースなので、OFSを変更すると区切り文字が変更出来ますね。— ぱぴろんちゃん (@papiron) 2022年12月13日 …
curl -c cookie01.txt -s -L -X GET "https://www.qq.pref.ehime.jp/qq38/WP0805/RP080501BL" | hxnormalize -x > qq.html CSRF=$(cat qq.html | hxselect 'input[name="_csrf"]::attr(value)' | cut -d= -f2 | tr -d '"') URL=$(cat qq.html | hxselect 'fo…
なるほど、ツイートするためのデータとしては最新行だけで良いんですね。一応awkで日付を保管してCSVにするやり方の例です。 pic.twitter.com/KFApx0R4yL— ぱぴろんちゃん (@papiron) 2022年12月9日 apt install libxml2-utils apt install html-xml-utils a…
wget "https://www.mlit.go.jp/totikensangyo/const/content/001520358.pdf" n=`pdfinfo 001520358.pdf | awk '/Pages/{print $2}'` i=0; c=500; while [ $i -lt $n ]; do b=$i; i=$(($i+$c)); if [ $i -ge $n ]; then i=$n; fi; pdftohtml -f $(($b+1)) -l …
wget https://www.tepco.co.jp/forecast/html/images/juyo-s1-j.csv?$(TZ=JST-9 date +%s%N | cut -b 1-13) -O juyo-s1-j.csv
4列目以降をCSVにする雑なワンライナーです、、、 pic.twitter.com/xJoilFDsae— ぱぴろんちゃん (@papiron) 2022年8月8日 papiro.hatenablog.jp curl -s "https://www.bleague.jp/stats/?tab=1&year=2021" \ | nkf -Wwd \ | xmllint --html --xpath '//table…
Pythonで作られたようですね。データ解析はないですが、ダウンロードして日付順に連結するまでをシェルスクリプトで雑に書いてみました、、ファイル名が日付順になっていないのは、URLリストを作ってその順にデータ連結することで対応してます。 pic.twitter…
www.web-dev-qa-db-ja.com curl -s https://location.services.mozilla.com/downloads \ | xmllint --html --xpath 'string(/html/body/div/section/ul/li[1]/a/@href)' - \ | xargs -n 1 curl -s \ | gzip -d \ | awk 'BEGIN{FS=","} $1 == "LTE" && $2 == …
メモ：ワンライナーで投げたほうがMLS元データ処理するときでかい一時ファイル作らなくて便利wget https://t.co/7m4Wm3TA3F$(date +%Y-%m-%d)T000000.csv.gz -O - | gzip -d | grep 'LTE,440,11,' > mls_44011.csv— JS2HGW＠楽天開局マップ（岐阜県） (@JS2H…
qiita.com curl -sS https://www.pref.ehime.jp/h25500/kansen/covid19.html | sed 's/ //g' | xmllint --html --xpath '//div/ul/li/a[starts-with(@href, "/h25500/kansen/documents/press04") and contains(@href, ".pdf")]/@href' - | xargs -n 1 |…
echo '{"date":"2022/07/19 10:00"}' | jq '.date' | tr -d '"' | date -f- "+%Y%m%d/%H%M" | sed 's;^;ttps://example.com/;;' | sed 's;$;/data.json;'#シェル芸— 上田隆一 (@ryuichiueda) 2022年7月19日 echo '{"date":"2022/07/19 10:00"}' | jq -r .dat…
