リンク

qiita.com qiita.com qiita.com

seleniumとpyppeteerでブラウザ操作

Selenium from selenium import webdriver driver = webdriver.Firefox() url = 'https://www.yahoo.co.jp/' driver.get("https://tool-taro.com/wget/") elem = driver.find_element_by_name("value") elem.clear() elem.send_keys(url) elem = driver.find…

Beautifulsoupでrowspan・colspanにデータ挿入

from bs4 import BeautifulSoup import pprint html = ''' <table border="1"> <tr> <th>ホット/コールド</th> <th>種類</th> <th>サイズ</th> <th>価格(円)</th> </tr> <tr> <th rowspan="2">ホット</th> <td>コーヒー</td> <td>S,M</td> <td>150,200</td> </tr> <tr> <td>紅茶</td> <td>Sサイズのみ</td> <td>170</td> </tr> <…</table>

Chrome book C223Nが起動不能、交換

imabari.hateblo.jp Chrome book早速届いて起動したのですが電源ボタンを2・3回押してやっと起動 そのあとアップデートがかかり再起動 次はメールアドレスを入れるところで入力不能で再起動 メールアドレスはとおり、ログインできたのでアカウントを変えよ…

Scrapyでサイトマップからスクレイピング

スパイダー — Scrapy 1.2.2 ドキュメント # -*- coding: utf-8 -*- from scrapy.spiders import SitemapSpider class MySpider(SitemapSpider): name = 'wired_sitemap' # XMLサイトマップのURLのリスト。 # robots.txtのURLを指定すると、Sitemapディレクテ…

本文抽出

kanji.hatenablog.jp github.com import time import requests from bs4 import BeautifulSoup from extractcontent3 import ExtractContent headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko' } def scr…

raspberry pi 活用

qiita.com オムロン環境センサーからBLE経由でデーターをクラウドに送る – Ambient siroitori.hatenablog.com

requests-html

Requests-HTML: HTML Parsing for Humans (writing Python 3)! — requests-HTML v0.3.4 documentation from requests_html import HTMLSession session = HTMLSession() r = session.get('https://www.jleague.jp/sp/club/sapporo/day/#player') # URL抽出 …

Chromebook C223

www.asus.com 米AmazonでRed注文した $227.73 *JPY 26,672 jetstream.bz office-kabu.jp

dockerインストール・splashインストール 2018

docker docs.docker.com sudo apt-get update sudo apt-get install apt-transport-https ca-certificates curl software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - sudo apt-key fingerprint 0EBFC…

スクレイピングテスト

qiita.com qiita.com qiita.com qiita.com qiita.com kanji.hatenablog.jp

Selenium API(逆引き)

www.seleniumqref.com

Raspberry Pi 3 B+

Raspberry Piのご購入なら、ラズベリーパイ正規総代理店 - RSコンポーネンツ | 半導体・電子部品の通販 RSオンライン 安くなっていたので購入

Windows7環境なのにdocker入れて開発することになった話

qiita.com qiita.com

GAS

qiita.com

windowsにpythonをインストール

python -m pip install --upgrade pip python -m pip install --upgrade setuptools python -m pip install --upgrade wheel

GASサンプル

github.com

Googleフォームの呼び出す権限がありません

Authorization Scopes | Apps Script | Google Developers Class MailApp | Apps Script | Google Developers qiita.com qiita.com qiita.com MailApp.sendEmail を呼び出す権限がありません。 必要な権限: https://www.googleapis.com/auth/script.send_mail…

GoogleフォームからPDF作成しメール送信

フォームから送信するとPDFを作成しフォルダに保存、指定したメールアドレスと入力した本人のアドレスにPDFが送信されます どうせならみかんボランティアが作らずに宇和島社協が作ればいいのに スプレッドシート共有しておけば役所の確認も楽だと思う。 スプ…

Googleフォームの送信後のメール送信

コード function sendPostForm(event) { var responses = event.response.getItemResponses(); var name_value; var mail_value; for (var n in responses) { var item = responses[n]; var name = item.getItem().getTitle(); var value = item.getResponse…

Google Fusion Tables

マップアイコン Google Fusion Tables

Windows10のHyper-Vでubuntu18.04の拡張セッションモードで接続

www.youtube.com ずっとエラーできなかったのですがこの動画を見て自動ログインにしているとだめなようです。 自動ログインを解除すると使えるようになりました。 あとはHyper-Vの設定の拡張セッションモードを許可するにチェックを確認

Googleフォーム

ascii.jp Googleフォームの作り方・使い方を1から丁寧に解説!イベントの申し込みフォームを作りたいならコレ! | 邦楽村blog!【和楽器愛好家コミュニティブログ】

Google Apps ScriptでRSSを表示

Google Apps Script Webアプリ開発 超入門作者: 掌田津耶乃出版社/メーカー: 秀和システム発売日: 2018/09/26メディア: 単行本この商品を含むブログを見る 5-4 Googleサイトで表示を統合しよう! をベースにATOMとRSS1.0を表示・リンク追加

matplotlibの書き方

qiita.com qiita.com teratail.com matplotlibのAPIを使う1 plt.figure(figsize=(12, 4)) plt.plot(df['DATE TIME'], df['D0']) plt.ylabel('P') plt.xlabel('Time') matplotlibのAPIを使う2 fig = plt.figure(figsize=(12, 4)) ax1 = fig.add_subplot(111…

Colaboratoryでグラフの日本語表示

インストール !apt install fonts-ipafont-gothic !rm /root/.cache/matplotlib/fontList.json 使用時 import pandas as pd import matplotlib.pyplot as plt plt.rcParams['font.family'] = 'IPAPGothic' # seaborn利用時 import seaborn as sns sns.set(fo…

md-page.jsでmarkdownのhtmlファイルをHTMLに変換

github.com <script src="https://cdn.rawgit.com/oscarmorrison/md-page/5833d6d1/md-page.js"></script><noscript> # Header Welcome to my simplest site - A - awesome - list</noscript>

ubuntuでPlantUML

ubuntu sudo apt install plantuml vscode拡張 PlantUML @startuml title シーケンス図 アリス -> ボブ: リクエスト ボブ --> アリス: レスポンス @enduml webでいいような気がしてきた www.plantuml.com

Pythonスクレイピング比較

Pythonで始めるウェブスクレイピング実践入門 speakerdeck.com tag css xpath text javascript beautifulsoup 〇 〇 × 〇 △ scrapy × 〇 〇 × △ pyppeteer × 〇 〇 × 〇 requests-html 〇 〇 〇 〇 〇 beautifulsoup https://www.crummy.com/software/Beauti…

pyppeteerでスクレイピング

Pyppeteer’s documentation — Pyppeteer 0.0.24 documentation import asyncio from pyppeteer import launch async def main(): browser = await launch() page = await browser.newPage() await page.goto('http://www.nikkei.com/markets/kabu/') element…