2018-07-01から1ヶ月間の記事一覧

鹿野川ダムと野村ダムと肱川をスクレイピング

2021/04/18現在利用できません インストール pip install requests pip install python-twitter pip install apscheduuler pip install beautifulsoup4 プログラムを実行すると8,18,28,38,48,58分に表示 コメントアウトしているTwitterのキーを入力すると投…

cron

crontab -e sudo /etc/init.d/cron restart

玉川ダムと蒼社川の水位

2021/04/18現在利用できません import datetime import requests import twitter from bs4 import BeautifulSoup # 文字を小数点に変換、変換できない場合は0.0 def moji_float(x): try: result = float(x) except: result = 0.0 return result # 空文字の場…

Raspberry Pi 2018-07 初期設定

qiita.com 時刻同期はntpではなく、systemd-timesyncdで同期 sshは初期設定でOFF /bootにsshという空ファイル作成するとsshがONで起動する #firmwareのアップデートたまにする sudo rpi-update sudo raspi-config 8 Update # 7 Advanced Options - Expand Fi…

愛媛県河川・水防情報よりダム情報をスクレイピング

進捗状況を表示するように変更 import csv import datetime import time import requests from bs4 import BeautifulSoup from tqdm import tqdm def date_span(start_date, end_date, hour_interval): res = [] n = start_date while n < end_date: n += da…

feed43で10進文字を変換したい

feed43で10進文字を変換する方法ないかな beautifulsoupだと変換できるんだけど import requests from bs4 import BeautifulSoup from urllib.parse import urljoin url = 'http://ehime.force.com/PUB_VF_Detail_Docs' headers = { 'User-Agent': 'Mozilla/…

asyncioでスクレイピングを高速化

import asyncio import aiohttp import requests from bs4 import BeautifulSoup async def scraping(url): async with aiohttp.ClientSession() as session: async with session.get(url) as response: html = await response.text() soup = BeautifulSoup(…

ThreadPoolExecutorでスクレイピングを高速化

from concurrent.futures import ThreadPoolExecutor import requests from bs4 import BeautifulSoup def scraping(url): r = requests.get(url) if r.status_code == requests.codes.ok: soup = BeautifulSoup(r.content, 'html5lib') result = [] return …