Uipathでスクレイピング(日経平均株価を取得する)

  1. 「レコーディング」-「ウェブ」を選択
  2. IEを開き、https://www.nikkei.com/markets/kabu/を開く
  3. ブラウザーを開く」-「ウェーブページを開き、レコーディングを開始」
  4. IEのページをクリックするとURLが表示されるのでOK
  5. 「コピー」-「テキストをコピー」を選択
  6. 日経平均株価をクリック
  7. ブラウザーを開く」-「ブラウザーを閉じる」を選択
  8. 「保存&終了」をクリック
  9. 日経平均株価セレクタを編集
  10. 完成

f:id:imabari_ehime:20190226114759j:plain

続きを読む

ディズニー ピクサーキャラクターズ マジカル・ミー・パッド & 専用ソフト マジカルキーボードセット

別々に買えば安かったなぁ~

www.segatoys.co.jp

ColaboratoryでSelenium

stackoverflow.com

!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver', options=options)
driver.implicitly_wait(10)
driver.get('http://www.yahoo.co.jp')

html = driver.page_source.encode('utf-8')

# ブラウザ操作
driver.save_screenshot("ss.png")

driver.quit()

soup = BeautifulSoup(html, "html.parser")
print(soup.prettify())
# ウィンドウハンドルを取得する(list型配列)
handle_array = driver.window_handles

# 一番最後に表示されたブラウザにドライバーを切り替える
driver.switch_to.window(handle_array[-1])
or
driver.switch_to.window(driver.window_handles[-1])

暗号化された接続が確立されたドメインに対する信頼性を保証できません

カスペルスキーをインストールしたパソコンでchromeでアクセスすると

暗号化された接続が確立されたドメインに対する信頼性を保証できません。

対策

  1. カスペルスキーのメイン画面を起動し、画面下部にある便利ツールを開き、下記の順に開きます。[マイネットワーク]→[ネットワークモニター]
  2. ポート8009のIPアドレスをメモに控え、左上の←(戻るボタン)を押しメイン画面に戻ります。
  3. 画面左下の [歯車のマーク(設定)] をクリックし [プロテクション] を選択します。
  4. 画面右の一覧から、下記の順に選択します。[アプリケーションコントロール]→[アプリケーションの管理]
  5. 表示された画面内の右上にある検索バーで「Chrome」と入力し、検索します。
  6. Google Chromeを右クリックし「詳細とルール」を選び「除外リスト」を選択します。
  7. 画面中部にある [すべてのトラフィックをスキャンしない]をクリックし、プルダウンから[暗号化されたトラフィックをスキャンしない]を選択します。
  8. 指定IPアドレスのみにチェックを入れ、メモに控えたIPアドレスを入力します。
  9. [指定ポートのみ] にチェックを入れて、「8809」と入力します。
  10. 画面右下にある [保存] をクリックして、右上の [×] で画面を終了します。

対策2

  1. 画面左下の [歯車のマーク(設定)] をクリックし [詳細]をクリックし [ネットワーク] を選択します。

f:id:imabari_ehime:20190215214633p:plain

  1. 暗号化された接続のスキャンの暗号化された接続をスキャンしないを選択します。

f:id:imabari_ehime:20190215214645p:plain

uipathでインフルエンザ情報をスクレイピング

uipathスクレイピング

種類 評価 備考
データ取得 セレクタを調整すればだいたいのものは取れる
テーブル セル結合やマルチヘッダは苦手
自動化 ブラウザをそのままタッチしていくだけで簡単、別ウインドウでも簡単
データ加工 複数を一括で変更する方法がわからない

f:id:imabari_ehime:20190205172838j:plain
uipathスクレイピング