Webスクレイピング

検索エンジン ＞ クローラ

Webスクレイピング（scraping）とは？

　状態:- 　閲覧数:1,983 　投稿日:2017-03-02 　更新日:2017-04-26 　
Webページへアクセスして、そのHTMLから必要なデータを抽出する処理
・WebページのHTMLを解析(parse)してデータを抽出
・取得したHTMLから任意の情報を抽出する技術・行為
・Webページ(1ページ全体)に対して処理を行う
・スパイダー(spider)とも呼ばれる

作業の流れ
・1. 対象Webサイトをクローリング
・2. 「クローリングしたHTML」からタイトルや記事本文をスクレイピング

スクレイピングをする７つの方法


A.正規表現を使う方法
B.XPathを使う方法
Python1.Beautiful Soupを使う方法
PHP1.Goutteを使う方法
PHP2.PHP Simple HTML DOM Parserを使う方法
PHP3.phpQueryを使う方法
JS1.cheerioを使う方法

A.正規表現を使う方法

　閲覧数:367　投稿日:2017-03-02　更新日:2017-03-02　

A.正規表現を使う方法


Pythonで正規表現を使う時はreモジュールを使用
・要素を指定して、値を抽出

コード例


▼HTML
<html>

  <head>

    <meta charset='utf-8' />

  </head>

  <body>

    <h1>クローリングとスクレイピング</h1>

    <div id="articleInfo">

      <p>

        <span class="timestamp">2017-3-2 21:15:35</span>

        <span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>

      </p>

    </div>

    <div id="articleText">

      ウェブサイトのクローリングとスクレイピングについて  



    </div>

  </body>

</html>


▼Python
#coding: utf-8

import re



#変数htmlには上記のHTMLがstrで代入されているとします。

#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。



title = re.compile('\<h1\>(.+?)\<\/h1\>', re.MULTILINE|re.DOTALL).findall(html)[0]

timestamp = re.compile('\<div id="articleInfo"\>.+?\<span class="timestamp"\>(.+?)\<\/span\>', re.MULTILINE|re.DOTALL).findall(html)[0]

author_link, author = re.compile('\<div id="articleInfo"\>.+?\<span class="author"\>\<a href="(.+?)"\>(.+?)\<\/a\>\<\/span\>', re.MULTILINE|re.DOTALL).findall(html)[0]

body = re.compile('\<div id="articleText"\>(.+?)\<\/div\>', re.MULTILINE|re.DOTALL).findall(html)[0]


B.XPathを使う方法

　閲覧数:367　投稿日:2017-03-02　更新日:2017-03-02　

XPath


XML形式の文書の要素を指定する言語

Chromeブラウザを使用して「任意のHTML要素のXPath」を確認する手順
・1.要素の検証
・2.Elementsタブの任意の要素を右クリック
・3.Copy XPath でXPathを取得

PythonでXPathを使う時はlxmlモジュールを使用
・ 要素を指定して、値を抽出

コード例


▼HTML
<html>

  <head>

    <meta charset='utf-8' />

  </head>

  <body>

    <h1>クローリングとスクレイピング</h1>

    <div id="articleInfo">

      <p>

        <span class="timestamp">2017-3-2 21:15:35</span>

        <span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>

      </p>

    </div>

    <div id="articleText">

      ウェブサイトのクローリングとスクレイピングについて  



    </div>

  </body>

</html>


▼Python
#coding: utf-8

import urllib2

import lxml.html



#変数htmlには上記のHTMLがstrで代入されているとします。

dom = lxml.html.fromstring(html)



#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。

title = dom.xpath('//h1')[0].text

timestamp = dom.xpath('//*[@id="articleInfo"]//*[@class="timestamp"]')[0].text

author = dom.xpath   ('//*[@id="articleInfo"]//*[@class="author"]/a')[0].text

author_link = dom.xpath   ('//*[@id="articleInfo"]//*[@class="author"]/a')[0].attrib['href']

body = dom.xpath('//*[@id="articleText"]')[0].text


Python1.Beautiful Soupを使う方法

　閲覧数:360　投稿日:2017-03-02　更新日:2017-03-02　

Beautiful Soup


Pythonモジュール
・HTMLを構文解析して要素の指定を手助けしてくれる
・要素を指定して、値を抽出

コード例


▼HTML
<html>

  <head>

    <meta charset='utf-8' />

  </head>

  <body>

    <h1>クローリングとスクレイピング</h1>

    <div id="articleInfo">

      <p>

        <span class="timestamp">2017-3-2 21:15:35</span>

        <span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>

      </p>

    </div>

    <div id="articleText">

      ウェブサイトのクローリングとスクレイピングについて  



    </div>

  </body>

</html>


▼Python
#coding: utf-8

from bs4 import BeautifulSoup

from datetime import datetime



#変数htmlには上記のHTMLがstrで代入されているとします。

soup = BeautifulSoup(html)



#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。

title = soup.h1.find(text=True)

timestamp = soup.find(id='articleInfo').find(class_='timestamp').find(text=True)

author = soup.find(id='articleInfo').find(class_='author').find('a').find(text=True)

author_link = soup.find(id='articleInfo').find(class_='author').find('a').get('href')

body = soup.find(id='articleText').find(text=True)


PHP1.Goutteを使う方法

　閲覧数:344　投稿日:2017-03-02　更新日:2017-03-03　

Goutte


PHPライブラリ


・PHPのWebスクレイピング・ライブラリ「Goutte」と「phpQuery」を比較してみた
・PHPでHTMLをパースして解析する簡単な方法


・Goutteでスクレイピングする際、「サイト単位」指定や「何階層まで」の指定はできる？


PHP2.PHP Simple HTML DOM Parserを使う方法

　閲覧数:372　投稿日:2017-03-02　更新日:2017-03-02　

PHP Simple HTML DOM Parser


PHPライブラリ

PHP3.phpQueryを使う方法

　閲覧数:336　投稿日:2017-03-03　更新日:2017-03-03　

PHP3.phpQueryを使う方法




・phpQueryでWEBスクレイピングしてみた


JS1.cheerioを使う方法

　閲覧数:354　投稿日:2017-03-03　更新日:2017-03-03　

JS1.cheerioを使う方法


・Node.js用のスクレイピングモジュール「cheerio-httpcli」の紹介
・Node.jsのスクレイピングモジュール「cheerio-httpcli」が第3形態に進化したようです
・くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情

クローリング

コメント投稿(ログインが必要)



類似度ページランキング
順位 ページタイトル抜粋 ％
1 Webスクレイピング 100
2 システムインテグレーター 45
3 スイッチングハブ 44
4 転置インデックス 44
5 WebM 43
6 マッピング 40
7 Webアプリケーション 38
8 クローリング 38
9 Facebookピクセル 36
10 インクリメント 35
11 WebLogic 33
12 ランダムアクセス 33
13 クラス 31
14 ネットワークアドレス 30
15 O/Rマッピング 30
16 (計算機科学における)クラスタリング 29
17 スタック 29
18 デファクトスタンダード 29
19 クラス図 29
20 バッファリング【buffering】 29
2024/4/24 9:41 更新
週間人気ページランキング ／ 4-17 → 4-23
順位 ページタイトル抜粋 アクセス数
1 実数 | 数学 10
2 複素数 | 数学 4
3 OAuth 1.0 と OAuth 2.0 の違い ／ 比較一覧表 3
3 ベクトル | 数学 3
3 コーディング | プログラミング 3
4 フィルター | 開発 2
4 MACアドレス | ネットワーク 2
4 OpenID | 認証プロトコル(API) 2
5 メーラー | メール(ネットワーク) 1
5 ルーター | ネットワーク 1
5 アンチパターン | プログラミング 1
5 tRNSチャンク ／ PNG画像の問題 ／ PNG8とは？ 1
5 オーバーヘッド | プログラミング 1
5 curl | HTTPクライアント(ネットワーク) 1
5 三角関数 | 数学 1
5 プログラミング用語 1
5 ユースケース | 開発 1
5 デファクトスタンダード | その他 1
5 フレーズ検索 | 全文検索エンジン(検索エンジン) 1
5 パッケージ | パッケージ管理(開発) 1
2024/4/24 1:01 更新