Webスクレイピング

検索エンジン ＞ クローラ

Webスクレイピング（scraping）とは？

　状態:- 　閲覧数:2,108 　投稿日:2017-03-02 　更新日:2017-04-26 　
Webページへアクセスして、そのHTMLから必要なデータを抽出する処理
・WebページのHTMLを解析(parse)してデータを抽出
・取得したHTMLから任意の情報を抽出する技術・行為
・Webページ(1ページ全体)に対して処理を行う
・スパイダー(spider)とも呼ばれる

作業の流れ
・1. 対象Webサイトをクローリング
・2. 「クローリングしたHTML」からタイトルや記事本文をスクレイピング

スクレイピングをする７つの方法


A.正規表現を使う方法
B.XPathを使う方法
Python1.Beautiful Soupを使う方法
PHP1.Goutteを使う方法
PHP2.PHP Simple HTML DOM Parserを使う方法
PHP3.phpQueryを使う方法
JS1.cheerioを使う方法

A.正規表現を使う方法

　閲覧数:413　投稿日:2017-03-02　更新日:2017-03-02　

A.正規表現を使う方法


Pythonで正規表現を使う時はreモジュールを使用
・要素を指定して、値を抽出

コード例


▼HTML
<html>

  <head>

    <meta charset='utf-8' />

  </head>

  <body>

    <h1>クローリングとスクレイピング</h1>

    <div id="articleInfo">

      <p>

        <span class="timestamp">2017-3-2 21:15:35</span>

        <span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>

      </p>

    </div>

    <div id="articleText">

      ウェブサイトのクローリングとスクレイピングについて  



    </div>

  </body>

</html>


▼Python
#coding: utf-8

import re



#変数htmlには上記のHTMLがstrで代入されているとします。

#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。



title = re.compile('\<h1\>(.+?)\<\/h1\>', re.MULTILINE|re.DOTALL).findall(html)[0]

timestamp = re.compile('\<div id="articleInfo"\>.+?\<span class="timestamp"\>(.+?)\<\/span\>', re.MULTILINE|re.DOTALL).findall(html)[0]

author_link, author = re.compile('\<div id="articleInfo"\>.+?\<span class="author"\>\<a href="(.+?)"\>(.+?)\<\/a\>\<\/span\>', re.MULTILINE|re.DOTALL).findall(html)[0]

body = re.compile('\<div id="articleText"\>(.+?)\<\/div\>', re.MULTILINE|re.DOTALL).findall(html)[0]


B.XPathを使う方法

　閲覧数:419　投稿日:2017-03-02　更新日:2017-03-02　

XPath


XML形式の文書の要素を指定する言語

Chromeブラウザを使用して「任意のHTML要素のXPath」を確認する手順
・1.要素の検証
・2.Elementsタブの任意の要素を右クリック
・3.Copy XPath でXPathを取得

PythonでXPathを使う時はlxmlモジュールを使用
・ 要素を指定して、値を抽出

コード例


▼HTML
<html>

  <head>

    <meta charset='utf-8' />

  </head>

  <body>

    <h1>クローリングとスクレイピング</h1>

    <div id="articleInfo">

      <p>

        <span class="timestamp">2017-3-2 21:15:35</span>

        <span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>

      </p>

    </div>

    <div id="articleText">

      ウェブサイトのクローリングとスクレイピングについて  



    </div>

  </body>

</html>


▼Python
#coding: utf-8

import urllib2

import lxml.html



#変数htmlには上記のHTMLがstrで代入されているとします。

dom = lxml.html.fromstring(html)



#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。

title = dom.xpath('//h1')[0].text

timestamp = dom.xpath('//*[@id="articleInfo"]//*[@class="timestamp"]')[0].text

author = dom.xpath   ('//*[@id="articleInfo"]//*[@class="author"]/a')[0].text

author_link = dom.xpath   ('//*[@id="articleInfo"]//*[@class="author"]/a')[0].attrib['href']

body = dom.xpath('//*[@id="articleText"]')[0].text


Python1.Beautiful Soupを使う方法

　閲覧数:404　投稿日:2017-03-02　更新日:2017-03-02　

Beautiful Soup


Pythonモジュール
・HTMLを構文解析して要素の指定を手助けしてくれる
・要素を指定して、値を抽出

コード例


▼HTML
<html>

  <head>

    <meta charset='utf-8' />

  </head>

  <body>

    <h1>クローリングとスクレイピング</h1>

    <div id="articleInfo">

      <p>

        <span class="timestamp">2017-3-2 21:15:35</span>

        <span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>

      </p>

    </div>

    <div id="articleText">

      ウェブサイトのクローリングとスクレイピングについて  



    </div>

  </body>

</html>


▼Python
#coding: utf-8

from bs4 import BeautifulSoup

from datetime import datetime



#変数htmlには上記のHTMLがstrで代入されているとします。

soup = BeautifulSoup(html)



#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。

title = soup.h1.find(text=True)

timestamp = soup.find(id='articleInfo').find(class_='timestamp').find(text=True)

author = soup.find(id='articleInfo').find(class_='author').find('a').find(text=True)

author_link = soup.find(id='articleInfo').find(class_='author').find('a').get('href')

body = soup.find(id='articleText').find(text=True)


PHP1.Goutteを使う方法

　閲覧数:389　投稿日:2017-03-02　更新日:2017-03-03　

Goutte


PHPライブラリ


・PHPのWebスクレイピング・ライブラリ「Goutte」と「phpQuery」を比較してみた
・PHPでHTMLをパースして解析する簡単な方法


・Goutteでスクレイピングする際、「サイト単位」指定や「何階層まで」の指定はできる？


PHP2.PHP Simple HTML DOM Parserを使う方法

　閲覧数:419　投稿日:2017-03-02　更新日:2017-03-02　

PHP Simple HTML DOM Parser


PHPライブラリ

PHP3.phpQueryを使う方法

　閲覧数:379　投稿日:2017-03-03　更新日:2017-03-03　

PHP3.phpQueryを使う方法




・phpQueryでWEBスクレイピングしてみた


JS1.cheerioを使う方法

　閲覧数:403　投稿日:2017-03-03　更新日:2017-03-03　

JS1.cheerioを使う方法


・Node.js用のスクレイピングモジュール「cheerio-httpcli」の紹介
・Node.jsのスクレイピングモジュール「cheerio-httpcli」が第3形態に進化したようです
・くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情

クローリング

コメント投稿(ログインが必要)



類似度ページランキング
順位 ページタイトル抜粋 ％
1 Webスクレイピング 100
2 システムインテグレーター 45
3 スイッチングハブ 44
4 転置インデックス 44
5 WebM 43
6 マッピング 40
7 Webアプリケーション 38
8 クローリング 38
9 Facebookピクセル 36
10 インクリメント 35
11 WebLogic 33
12 ランダムアクセス 33
13 クラス 31
14 ネットワークアドレス 30
15 O/Rマッピング 30
16 (計算機科学における)クラスタリング 29
17 スタック 29
18 デファクトスタンダード 29
19 クラス図 29
20 バッファリング【buffering】 29
2024/11/23 12:27 更新
週間人気ページランキング ／ 11-16 → 11-22
順位 ページタイトル抜粋 アクセス数
1 純虚数 3
2 パッケージ | パッケージ管理(開発) 2
2 分散 ／ 「ピアソンの積率相関係数」算出までの計算例 2
2 スカラー | プログラミング 2
2 オーバーヘッド | プログラミング 2
2 画像 カテゴリー 2
2 アプリケーションサーバ(サーバ) カテゴリー 2
2 ルーター | ネットワーク 2
2 YouTube | API 2
2 Nginx | Webサーバ(サーバ) 2
2 偏微分 | 数学 2
2 sed 2
2 2階 偏微分 2
2 ASCII制御文字一覧表詳細 2
2 Senna | 全文検索エンジン(検索エンジン) 2
3 ! [rejected] master -> master (fetch first) ／ 私が解決した方法 ／ 解説 1
3 「三角関数」は全部で6種類 ／「三角関数の定義」は全部で5種類 1
3 ログイン 1
3 サブルーチン | プログラミング 1
3 16ビット 1
2024/11/23 1:01 更新