2022-01-01から1ヶ月間の記事一覧

感染者可視化

oxon.hatenablog.com github.com github.com

toyama

import requests from bs4 import BeautifulSoup from urllib.parse import urljoin import pathlib import re headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko" } def fetch_soup(url, parser="html.pa…

花粉2

function myFunction() { const html = UrlFetchApp.fetch('https://xxxxx/xxxxx/kafun.html').getContentText(); let date = Parser.data(html).from('<p style="text-align: center;"><span style="font-size: large;">').to('</span><span style="font-size: large;">新居浜地区</span></p>').build().replace('</span>

花粉

import datetime import re import japanize_matplotlib import matplotlib.pyplot as plt import pandas as pd JST = datetime.timezone(datetime.timedelta(hours=+9)) dt_now = datetime.datetime.now(JST).replace(tzinfo=None) url = f"http://xxxxxxxx…

selenium ベース

from selenium import webdriver from selenium.common.exceptions import NoSuchElementException from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By options = webdriver.ChromeOptions() options.add_…

XPATH

qiita.com

「なかのEYE」をスクレイピング

perze.jp nakanocitizens.hatenablog.jp import json import re import pandas as pd import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko" } url = "https://perze.jp/nakano/" r = reques…

楽天モバイルの基地局フォームから定型フォーマット出力&写真テロップ

# !apt install -y fonts-ipafont # !fc-cache -fv font_path = "/usr/share/fonts/opentype/ipafont-gothic/ipagp.ttf" from PIL import Image, ImageFont, ImageDraw import cv2 import numpy as np import datetime import io import imghdr import pathl…

エリアメール履歴

service.smt.docomo.ne.jp rireki.area-hinan.au.com

Twitterから楽天モバイル基地局情報を抽出&データクレンジング

import re import time import urllib.parse import pandas as pd import requests import tweepy bearer_token = "" ehime_names = { "38201": "松山市", "38202": "今治市", "38203": "宇和島市", "38204": "八幡浜市", "38205": "新居浜市", "38206": "西…

愛媛県新型コロナウイルス陽性確認者数の速報【公式】のTwitterから陽性者数を抽出&altairでグラフ表示

twitter.com Tweepy V2 import tweepy bearer_token = "" client = tweepy.Client(bearer_token) user = client.get_user(username="ehime_covid19").data user.id # ツイート抽出 tweets = [ tweet.data for tweet in tweepy.Paginator( client.get_users_t…

altair

altair-viz.github.io

Tweepy V2 直近のツイート抽出

qiita.com import pandas as pd import tweepy bearer_token = "" client = tweepy.Client(bearer_token) # サーチ件数(日別、時別、分別指定) # granularity=minute, hour, day res = client.get_recent_tweets_count("雪だるま -is:retweet", granularit…

楽天モバイル基地局のハッシュタグをリツイート

import datetime import tweepy consumer_key = "" consumer_secret = "" access_token = "" access_token_secret = "" bearer_token = "" def rakuten_tweet(tweets): for tweet in tweets.data: s = tweet.data.get("created_at") if s: created = datetim…

tweepy v2 hashtag retweet

import tweepy consumer_key = "" consumer_secret = "" access_token = "" access_token_secret = "" bearer_token = "" client = tweepy.Client( bearer_token, consumer_key, consumer_secret, access_token, access_token_secret ) def find_hashtag_ret…

楽天モバイルエリアマップ作成

import folium import pandas as pd from folium import plugins from folium.features import DivIcon url = "https://docs.google.com/spreadsheets/d/e/2PACX-1vRE1NoYtNw1FmjRQ8wcdPkcE0Ryeoc2mfFkCQPHjzwL5CpwNKkLXnBl_F7c0LZjrtbLtRLH55ZVi6gQ/pub?gid…

楽天電測用マップ作成

データ 列指定後のデータ 番号 場所 場所補足 状況 eNB-LCID 緯度 経度 1 今治市立花町二丁目 open 737335-1,2,3 34.0523 132.999 2 今治市中寺① 今治中寺郵便局付近 open 737331-1,2,3 34.0375 132.991 3 今治市桜井四丁目 志島ヶ原・綱敷天満神社付近 open…

GASでjsonをスプレッドシートに展開

auto-worker.com function myFunction() { const url = "https://mls.js2hgw.com/update.php?base_enb=737280&output=json"; let response = UrlFetchApp.fetch(url).getContentText(); let json = JSON.parse(response); // headers const headers = Object…