Webスクレイピング

Qiita APIとPythonを用いてQiitaのデータを取得してみる

Qiita APIとPythonを用いてQiitaのデータを取得してみる Qiita APIを使用すると、Qiitaサイトにあるデータを取得できます。PythonでQiita APIをたたき、データを取得してみます。 Qiita APIとPythonを用いてQiitaのデータを取得してみる APIを調べる Qiita A…

SeleniumでWebスクレイピング(6) サイトを解析するうえで便利なTips

SeleniumでWebスクレイピング(6) サイトを解析するうえで便利なTips SeleniumでWebスクレイピング(6) サイトを解析するうえで便利なTips XPath ChromeでXPathをコピーする XPathで要素を取得 URLで複数クエリを投げるサイトからのデータ取得 XPath ChromeのF…

SeleniumでWebスクレイピング(5) 画像の取得

SeleniumでWebスクレイピング(5) 画像の取得 Pillowというライブラリを使って画像を取得してきます。 SeleniumでWebスクレイピング(5) 画像の取得 ローカル画像の読み込み Web上の1枚の画像を保存 Web上の複数枚の画像を保存 ご参考 ローカル画像の読み込み …

SeleniumでWebスクレイピング(4) さまざまな要素のデータを取得

SeleniumでWebスクレイピング(4) さまざまな要素のデータを取得 次は、様々な要素が含まれる、より一般的なサイトからデータを取得していきます。 SeleniumでWebスクレイピング(4) さまざまな要素のデータを取得 サイトの構造の把握と抽出 一項目の取り出し …

SeleniumでWebスクレイピング(3) データの取得とCSV出力

SeleniumでWebスクレイピング(3) データの取得とCSV出力 今度は、画面に表示されているデータをSeleniumで取得し、CSVに吐き出していきます。 SeleniumでWebスクレイピング(3) データの取得とCSV出力 値の抽出(1要素) id指定 class指定 tag指定 値の抽出(複…

SeleniumでWebスクレイピング(2) ログイン

SeleniumでWebスクレイピング(2) ログイン 前ページで環境構築は終わったので、ログインページでログインするコードを書いていきます。 SeleniumでWebスクレイピング(2) ログイン 入力フォームに値を入力する ログインボタンを押す ここまでのコード 入力フ…

SeleniumでWebスクレイピング(1) 環境構築

SeleniumでWebスクレイピング(1) 環境構築 はじめに スクリプトで作業を自動化したり情報収集したりする際、ウェブ上の情報を取得したいときがあります。 ただ、ウェブは基本的には人間に読みやすいように作られているため、プログラムで扱うのは少し大変で…