FC今治のゴール集計・先取点

!pip install lxml
!apt install fonts-ipafont-gothic

!rm /content/.cache/matplotlib/fontList.json

"""再起動"""

import time
import csv
import requests
from bs4 import BeautifulSoup

# 試合数
n = 10 + 1

with open('fcimabari_goal.tsv', 'w') as fw:

    writer = csv.writer(fw, dialect='excel-tab', lineterminator='\n')
    
    # ヘッダー
    writer.writerow(['節', 'ホーム', 'アウェイ', '時間', 'チーム名', 'スコア', '背番号', '名前'])
    
    for i in range(1, n):

        url = 'http://www.fcimabari.com/team/game/result/JFL180{0:02d}.html'.format(i)
        
        headers = {
            'User-Agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'
        }

        r = requests.get(url, headers=headers)

        if r.status_code == requests.codes.ok:

            soup = BeautifulSoup(r.content, 'lxml')

            home = soup.select_one('table.tableTypeResult > tr:nth-of-type(2) > td:nth-of-type(1)').get_text(strip=True)
            away = soup.select_one('table.tableTypeResult > tr:nth-of-type(2) > td:nth-of-type(3)').get_text(strip=True)

            tables = soup.select_one('table.tableType03')

            for trs in tables.select('tr'):

                temp = []

                for tds in trs.select('td'):

                    temp.append(tds.get_text(strip=True))

                if len(temp) > 0:
                    # 時間の分を削除
                    temp[0] = temp[0].strip('分')
                    

                    writer.writerow([i, home, away] + temp)
                    # print(temp)

        time.sleep(3)

import pandas as pd

df = pd.read_table('fcimabari_goal.tsv', dtype = {'節' : 'int', 'ホーム' : 'object', 'アウェイ' : 'object', '時間' : 'int', 'チーム名' : 'object', 'スコア' : 'object', '背番号' : 'object', '名前' : 'object'})

df

from google.colab import files

df.to_csv('goal_list.csv')
files.download('goal_list.csv')

# 時間・チーム名を抽出
df1 = df.iloc[:, 3:5]

# カウント用にカウントを追加しデーターを1
df1['カウント'] = 1

'''
# FC今治以外を欠測値に書き換え
df1['チーム名'] = df1['チーム名'].where(df1['チーム名'] == 'FC今治')

# 欠測値を敵チームに書き換え
df1.fillna('敵チーム', inplace=True)
df1
'''
# FC今治以外を敵チームに書き換え
df1.loc[df1['チーム名'] != 'FC今治', 'チーム名'] = '敵チーム'

df1.head()

# 時間別ゴール集計
pv = df1.pivot_table(values = 'カウント', index = '時間', columns='チーム名', aggfunc = sum, fill_value = 0)
pv.head()

# 時間1~99の0のデーターフレームを作成
pv2 = pd.DataFrame(data=[[i, 0, 0] for i in range(1,100)], columns=['時間', '敵チーム', 'FC今治'])
pv2.set_index('時間', inplace=True)
pv2

# 0とゴール集計を結合
pv3 = pv2.append(pv)

# 時間後にまとめる
grouped = pv3.groupby(level=0) 

# 最後のデータのみ(ゴール集計)
pv_goal = grouped.last() 
pv_goal

#時間別ゴールグラフ
import matplotlib.pyplot as plt
plt.rcParams['font.family'] = 'IPAPGothic'

pv_goal[::-1].plot.barh(figsize=(5, 20), xticks=[0, 1, 2, 3, 4])

# ゴールタイムランキング
df.sort_values(by=['時間'], ascending=True).reset_index(drop=True).head(10)

from google.colab import files

pv_goal.to_csv('goal.csv')
files.download('goal.csv')

# 先取点
goal_time = df.loc[:, ['節','時間','チーム名']]
goal_time

# 先取点一覧
# goal_time.groupby('節')['時間'].min()

first_goal = goal_time.groupby('節').apply(lambda x: x[x['時間'] == x['時間'].min()])
first_goal

# FC今治の先取点の回数と試合数
print(first_goal['チーム名'].value_counts()['FC今治'], '/', df['節'].max())

# FC今治
df_time = df[df['チーム名']=='FC今治']['時間']

# 相手チーム
# df_time = df[df['チーム名']!='FC今治']['時間']

df_time

# 前半
df_time[df_time <= 48].count()

# 後半
df_time[df_time > 48].count()

# 全体
df_time.count()

df_time.describe()

df_count = df_time.value_counts().sort_index()
df_count

PythonでスクレイピングしてテーブルをCSVに保存

Beautifulsoupの場合

import csv

from bs4 import BeautifulSoup
import requests

url = 'http://www.example.com/'

r = requests.get(url)

if r.status_code == requests.codes.ok:

    soup = BeautifulSoup(r.content, 'html.parser')

    result = [[[td.get_text(strip=True) for td in trs.select('th, td')]
               for trs in table.select('tr')]
              for table in soup.select('table')]

    # 取得テーブル数確認
    print(len(result))

    # 取得テーブルデータ確認
    print(result)

    with open('result.csv', 'w') as fw:
        writer = csv.writer(fw, dialect='excel', lineterminator='\n')

        # 0番目のテーブルを保存(リストの番号を変更する)
        writer.writerows(result[0])

Pandasの場合

import pandas as pd

url = 'http://www.example.com/'
dfs = pd.read_html(url, header=0, index_col=0)

# 取得テーブル数確認
print(len(dfs))

# 取得テーブルデータ確認
print(dfs)

# 結合
# df = pd.concat(dfs)

# 0番目のテーブルを保存(リストの番号を変更する)
dfs[0].to_csv('result.csv')

JFLの試合結果からランキングを作成

!pip install lxml

import pandas as pd

# JFLの試合結果を取得
url = 'http://www.jfl.or.jp/jfl-pc/view/s.php?a=1270&f=2018A001_spc.html'
dfs = pd.read_html(url, skiprows=1, na_values='-')

len(dfs)

# 試合結果を結合
df = pd.concat(dfs, keys=[i for i in range(1, len(dfs)+1)], names=['節', '番号'])
df.columns=['日にち', '時間', 'ホーム', 'スコア', 'アウェイ', 'スタジアム', '備考']
df=df.drop('備考', axis=1)
df.head()

df.isnull().any(axis=1)

# 欠損値確認
df[df.isnull().any(axis=1)]

# スコアがないものを除去
df1 = df.dropna(subset=['スコア'])
df1

# スコアを分割、スコアを削除、結合
df2 = pd.concat([df1, df1['スコア'].str.split('-', expand=True)], axis=1).drop('スコア', axis=1)

# 名前をホーム得点、アウェイ得点に変更
df2.rename(columns={0: 'ホーム得点', 1: 'アウェイ得点'}, inplace=True)

# ホーム得点、アウェイ得点を文字から整数に変更
import numpy as np
df2['ホーム得点'] = df2['ホーム得点'].astype(np.int64)
df2['アウェイ得点'] = df2['アウェイ得点'].astype(np.int64)
df2.dtypes

#データ確認
df2

# ホームの結果のみ
df_home = df2.loc[:, ['ホーム', 'ホーム得点', 'アウェイ得点']].reindex()
df_home.columns=['チーム名', '得点', '失点']
df_home['戦'] = 'ホーム'
df_home.head()

# アウェイの結果のみ
df_away = df2.loc[:, ['アウェイ', 'アウェイ得点', 'ホーム得点']]
df_away.columns=['チーム名', '得点', '失点']
df_away['戦'] = 'アウェイ'
df_away

# ホームとアウェイを結合
df_total = pd.concat([df_home, df_away])

# 得失点を計算
df_total['得失点'] =  df_total['得点'] - df_total['失点'] 
df_total.head()

# 勝敗を追加
def win_or_loss(x):
    if x['得点'] > x['失点']:
        return '勝利'
    elif x['得点'] < x['失点']:
        return '敗戦'
    else:
        return '引分'

df_total['勝敗'] = df_total.apply(lambda x:win_or_loss(x), axis=1)

df_total.head()

# 勝点を追加
def win_point(x):
    if x['得点'] > x['失点']:
        return 3
    elif x['得点'] < x['失点']:
        return 0
    else:
        return 1

df_total['勝点'] = df_total.apply(lambda x:win_point(x), axis=1)
df_total.head()

# 得点・失点・得失点・勝点 集計
pv_score = df_total.pivot_table(values = ['得点', '失点', '得失点', '勝点'], index = 'チーム名', aggfunc = sum)
pv_score

# 集計用にカウント追加
df_total['カウント'] = 1

# 得点・失点・得失点・勝点 集計
pv_wl = df_total.pivot_table(values = 'カウント', index = 'チーム名', columns=['戦', '勝敗'], aggfunc = sum, fill_value = 0)
pv_wl

# マルチインデックスのため強引に変換してます
# 他にいい方法があれば教えてください

# 列名変更
pv_wl.columns = ['勝利A', '引分A', '敗戦A', '勝利H', '引分H', '敗戦H']

# 合計追加
pv_wl['勝利'] = pv_wl['勝利H'] + pv_wl['勝利A']
pv_wl['引分'] = pv_wl['引分H'] + pv_wl['引分A']
pv_wl['敗戦'] = pv_wl['敗戦H'] + pv_wl['敗戦A']

# 試合数追加
pv_wl['試合数'] = pv_wl['勝利'] + pv_wl['引分'] + pv_wl['敗戦']

# 確認
pv_wl

# 得点計と試合計を結合
df3 = pd.concat([pv_score, pv_wl], axis=1)

# 順位並び替え
df_rank.sort_values(['勝点', '得失点', '得点'], ascending=[False, False, False], inplace=True)

# 順位
df_rank.reset_index(inplace=True)

# 0からなので+1する
df_rank.index = df_rank.index + 1

df_rank

Python環境設定

https://qiita.com/sl2/items/1e503952b9506a0539eaqiita.com

Python in Visual Studio Code – April 2018 Release – Python at Microsoft

python -m pip install --upgrade pip

mkdir my_project
cd my_project

pip install pipenv

pipenv --three

pipenv install beautifulsoup4
pipenv install requests
pipenv install html5lib
pipenv install lxml
pipenv install selenium


pipenv install --dev pylint
pipenv install --dev flake8
pipenv install --dev pycodestyle
pipenv install --dev pydocstyle


pipenv install --dev autopep8
pipenv install --dev yapf

Windows10 Spring Creators UpdateにPrimoRamdiskをブルースクリーン

とりあえずインストールなしで動かしている

Inspiron 7567にWindows10 Spring Creators Updateをクリーンインストール

そのままでM.2 SSDを認識するのでリカバリイメージのドライバーは不要になりました。

imabari.hateblo.jp

Pandasでミニロトで遊ぶ

!pip install lxml

import pandas as pd
import io
import requests

# User-agentを設定しないとダウンロードできない
url = 'http://www.japannetbank.co.jp/lottery/co/minilotojnb.csv'

headers = {
    'User-Agent':
    'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'
}

r = requests.get(url, headers=headers).content

df = pd.read_csv(io.StringIO(r.decode('cp932')), index_col=0)

# ソート
df.sort_index(inplace=True)

df.head()

df.dtypes

# 抽せん数字+ボーナス数字のみにする
dfl = df.iloc[:, 2:8]
dfl.head()

# DataframeからSeriesに変換
sel = dfl.melt()
sel.head()

# 度数分布
ptl = pd.pivot_table(sel, index='value', aggfunc='count')
ptl

ptl.columns = ['frequency']
ptl.sort_values('frequency', ascending=False).plot.bar()

# 抽せん数字の数字部分を削除
ser = sel.replace('抽せん数字\d$', '抽せん数字', regex=True)
ser

# 度数分布
ptr = ser.pivot_table(values='value', index='value', columns='variable', aggfunc=lambda x : len(x), fill_value = 0)
ptr['合計'] = ptr['抽せん数字'] + ptr['ボーナス数字']
ptr

ptr.sort_values('合計', ascending=False).plot.bar(y=['抽せん数字', 'ボーナス数字'], stacked=True)
  • 抽せん数字とボーナス数字の度数分布の積上棒グラフが作りたい f:id:imabari_ehime:20180424094701g:plain

f:id:imabari_ehime:20180505132938p:plain