2019-11-01から1ヶ月間の記事一覧

Produce 101 Japan練習生のランキングチャート作成

qiita.com スクレイピング import requests from bs4 import BeautifulSoup import time url = "https://produce101.jp/rank/" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko" } 週リストを作成 r = r…

今治市の過去の天気をスクレイピング

import pandas as pd import requests from bs4 import BeautifulSoup # 年月 date = "201909" url = "https://weather.goo.ne.jp/past/887/{date}00/" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"…

気象庁の過去の地震をスクレイピング・グラフ・地図表示

震度データベース検索 www.data.jma.go.jp import datetime import re import pandas as pd import requests import matplotlib as mpl import matplotlib.pyplot as plt import seaborn as sns import folium def dms_to_deg(dms): data = re.split("[°.′]"…

後で読む

競馬予測プログラム(Python) github.com qiita.com qiita.com www.jonki.net lms.gacco.org

俺キャッシュレスまとめ

au WALLET プリペイドカード（メイン） au料金の支払を楽天カード au WALLETのチャージは通信料金合算支払い QuicPayで払えるところはApple Pay、au PAY、カードで支払+ポイントカード じぶん銀行 下記のカードがいい場合はそちらを利用 チャージ（100円で1…

PowerShellでExcelの全シートをシート保護、シート保護解除

バッチファイル # シート保護解除 powershell -NoProfile -ExecutionPolicy Unrestricted .\excel-unlock.ps1 %1 # シート保護 powershell -NoProfile -ExecutionPolicy Unrestricted .\excel-lock.ps1 %1 if ( $args -eq $null ) { Write-Error '引数があり…

相席ラウンジのデータをスクレイピングしスプレッドシートで表示する

qiita.com # 場所 =importxml("https://oriental-lounge.com/","//div[@class='shop_name']") # 男 =importxml("https://oriental-lounge.com/","//ul/li[@class='man']/span") # 女 =importxml("https://oriental-lounge.com/","//ul/li[@class='woman']/sp…

読む

Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！作者: 森巧尚出版社/メーカー: 翔泳社発売日: 2019/10/04メディア: 単行本（ソフトカバー）この商品を含むブログを見る Python実践データ分析100本ノック作者: 下山輝昌,松田雄馬,三木…

食べログスクレイピングのJSON-LDを取得

ページ内にJSON-LDがあるので簡単に店舗情報が取得できます。 developers.google.com 店舗名 住所 郵便番号 緯度経度 口コミ数 評価点 import time import json import requests from bs4 import BeautifulSoup from tqdm import tqdm_notebook headers = { …

愛媛県警の不審者情報をテキストマイニング

テキストマイニング

github.com import datetime from collections import Counter, defaultdict import numpy as np import pandas as pd import japanize_matplotlib import matplotlib.pyplot as plt from janome.tokenizer import Tokenizer from wordcloud import WordClou…

愛媛県警公開交通取締りのPDFからスクレイピング

PDF

www.police.pref.ehime.jp 公開交通取締りのPDFからスクレイピング !pip install tabula-py import re import requests import datetime from bs4 import BeautifulSoup from urllib.parse import urljoin import pandas as pd from tabula import read_pdf …

多摩川の水位をスプレイピング

qiita.com データのある年抽出 import requests from bs4 import BeautifulSoup headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko" } r = requests.get( "http://www1.river.go.jp/cgi-bin/SrchWaterData…