Ubuntu18.04にtextlintをインストール

node.jsの最新バージョンをインストール Installing Node.js via package manager | Node.js curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash - sudo apt install -y nodejs yarn textlintをインストール https://dotinstall.com/lessons/bas…

JFLの試合結果分析

github.com

今治市内の病院(位置情報付)

病院名 診療科目 住所 TEL 緯度 経度 iクリニック内科・呼吸器内科 内呼放ア 今治市郷新屋敷町3-1-39 0898-22-1929 34.0417791 133.0020673 相原内科クリニック 内呼小リ 今治市本町2丁目1-27 0898-25-1311 34.0690784 133.0020984 あおい小児科 小 今治市…

Hugo+Github

kohki.hatenablog.jp

pandas基本

http://www.atmarkit.co.jp/ait/articles/1802/13/news012.html import pandas as pd import numpy as np dow = pd.read_csv("xxxx.csv", index_col=0) # データの冒頭の部分だけを表示 dow.head() type(dow) # 簡単な統計情報を見る「describe」メソッド do…

今治の校区別人口を地図に表示

今治市オープンデータ一覧 | 情報政策課 オープンデータ | 今治市 平成30年度の今治市の住民基本台帳人口統計 http://www.city.imabari.ehime.jp/opendata/toukei_jinkou/201805.xls 小・中学校 http://www.city.imabari.ehime.jp/opendata/data/school.csv …

JFLの試合結果から得点ランキング作成

#%% import csv from urllib.parse import urljoin import time import requests from bs4 import BeautifulSoup def cleaning(info, team, data): result = [] for trs in data: temp = [i.get_text(strip=True) for i in trs.select('th, td')] # 時間の分…

teratail 保管

teratail.com teratail.com teratail.com

FC今治のゴール集計・先取点

!pip install lxml !apt install fonts-ipafont-gothic !rm /content/.cache/matplotlib/fontList.json """再起動""" import time import csv import requests from bs4 import BeautifulSoup # 試合数 n = 10 + 1 with open('fcimabari_goal.tsv', 'w') as …

PythonでスクレイピングしてテーブルをCSVに保存

Beautifulsoupの場合 import csv from bs4 import BeautifulSoup import requests url = 'http://www.example.com/' r = requests.get(url) if r.status_code == requests.codes.ok: soup = BeautifulSoup(r.content, 'html.parser') result = [[[td.get_tex…

JFLの試合結果からランキングを作成

import numpy as np import pandas as pd url = 'http://www.jfl.or.jp/jfl-pc/view/s.php?a=1270&f=2018A001_spc.html' dfs = pd.read_html(url, skiprows=1, na_values='-') len(dfs) df = pd.concat( dfs, keys=[i for i in range(1, len(dfs) + 1)], nam…

Ubuntu Python3環境設定

qiita.com Python in Visual Studio Code – April 2018 Release – Python at Microsoft sudo apt install python3-pip python3-dev python3-tk python -m pip install --upgrade pip mkdir my_project cd my_project pip3 install pipenv source ~/.profile …

Windows10 Spring Creators UpdateにPrimoRamdiskをブルースクリーン

とりあえずインストールなしで動かしている

Inspiron 7567にWindows10 Spring Creators Updateをクリーンインストール

そのままでM.2 SSDを認識するのでリカバリイメージのドライバーは不要になりました。 imabari.hateblo.jp

Pandasでミニロトで遊ぶ

!pip install lxml import pandas as pd import io import requests # User-agentを設定しないとダウンロードできない url = 'http://www.japannetbank.co.jp/lottery/co/minilotojnb.csv' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64;…

ミニロトの結果を取得

TSV保存 from selenium import webdriver from selenium.webdriver.firefox.options import Options from bs4 import BeautifulSoup import csv options = Options() options.set_headless() driver = webdriver.Firefox(options=options) driver.get( 'http…

pandas

qiita.com news.mynavi.jp amalog.hateblo.jp pandas: powerful Python data analysis toolkit — pandas 0.23.0 documentation www.atmarkit.co.jp www.atmarkit.co.jp www.atmarkit.co.jp # 型確認 df.dtypes # 欠損値のカウント df.isnull().sum() # 欠損…

石手川ダムのリアルタイムダム諸量一覧表でpandas練習

!pip install lxml import pandas as pd import requests from urllib.parse import urljoin from bs4 import BeautifulSoup # 石手川ダムのリアルタイムダム諸量一覧表 url = 'http://www1.river.go.jp/cgi-bin/DspDamData.exe?ID=1368080150020&KIND=3&PAG…

FC今治の順位をスクレイピング

import datetime import requests from bs4 import BeautifulSoup url = 'http://www.jfl.or.jp/jfl-pc/view/s.php?a=1277' r = requests.get(url) if r.status_code == requests.codes.ok: soup = BeautifulSoup(r.content, 'html.parser') update_str = so…

Colaboratoryでスクレイピング

news.mynavi.jp https://colab.research.google.com/ import pandas as pd import requests from bs4 import BeautifulSoup url = 'http://www.river.go.jp/kawabou/ipDamGaikyo.do?init=init&areaCd=88&prefCd=3801&townCd=&gamenId=01-0903&fldCtlParty=no…

愛媛県動物愛護センターから迷い犬猫情報を取得しTwitterに投稿

import tempfile from urllib.parse import urljoin import requests import twitter from bs4 import BeautifulSoup # 迷い犬猫情報にアクセスし、HTMLを取得する url = 'http://www.pref.ehime.jp/h25123/4415/mayoi.html' r = requests.get(url) # エラー…

au光のルーターをBL1000HWに交換

internet.watch.impress.co.jp www.aterm.jp 今使っているatermよりアンテナの数も多いBL1000HWに3000円で交換できるようなので交換申込した。 設定 11axモードをOFF バンドステアリングをOFF 今のところWi-Fi安定している。 良いところ アンテナが2.4GHz:送…

Y!mobileに機種変更

自分のじゃないけど ガラケーからスマホにしたいというので‪Yahoo! BBを解約してdocomoからY!mobileに機種変更 UQ mobileにしたかったけど市内にサポートの店舗がないので却下、Y!mobileは市内にあるのでとりあえずOK エディオンでHUAWEI P10liteがプランM加…

herokuでtwitter botを定時実行

pipenv install python-twitter pipenv install html5lib pipenv install beautifulsoup4 pipenv install apscheduler pipenv install requests pipenv install selenium pipenv run pip freeze > requirements.txt echo "python-3.6.4" > runtime.txt echo …

Pythonでselenium headless(Firefox・Chrome)

Firefox github.com from selenium import webdriver from selenium.webdriver.firefox.options import Options from bs4 import BeautifulSoup options = Options() options.set_headless() driver = webdriver.Firefox(options=options) driver.get('http:…

herokuでheaderless chromeでConnectionResetError 104

3日に1回ぐらいエラーで失敗しているので Traceback (most recent call last): File "today-hospital.py", line 17, in <module> driver = webdriver.Chrome(chrome_options=options) desired_capabilities=desired_capabilities) File "/app/.heroku/python/lib/pyt</module>…

自作ルーター

qiita.com XCY Intel Celeron J1900ベアボーン(2Ghz クアッドコア 4スレッド) ギガビットLAN*4 ファンレス 小型 省スペース (4G RAM 32G SSD)出版社/メーカー: XCYメディア: エレクトロニクスこの商品を含むブログを見る internet.watch.impress.co.jp www…

インフルエンザによる学級閉鎖等の状況

import requests from bs4 import BeautifulSoup url = 'http://www.city.imabari.ehime.jp/gakukyou/info_influenza/' r = requests.get(url) # エラーがないか確認する if r.status_code == requests.codes.ok: soup = BeautifulSoup(r.content, 'html.par…

【解決】カスペルスキー12月のWindows Updateするとエラーメッセージ

以下は10:00以降にカスペルスキーをアップデートした場合は大丈夫そうです 電話で問い合わせしたがどうも殺到しているようで受付のみ 後日メールにて返答あり カスペルスキーとWindowsDefenderも無効になるので とりあえずカスペルスキーをアンインストール…

pythonスクレイピング関連記事

adventar.org qiita.com vaaaaaanquish.hatenablog.com orangain.hatenablog.com qiita.com qiita.com blog.mursts.jp www.yoheim.net qiita.com dev.classmethod.jp dev.classmethod.jp www.mediaplex.co.jp kiito.hatenablog.com kiito.hatenablog.com