Webスクレイピング（scraping）とは？
状態:-
閲覧数:1,230
投稿日:2017-03-02
更新日:2017-04-26
Webページへアクセスして、そのHTMLから必要なデータを抽出する処理
・WebページのHTMLを解析(parse)してデータを抽出
・取得したHTMLから任意の情報を抽出する技術・行為
・Webページ(1ページ全体)に対して処理を行う
・スパイダー(spider)とも呼ばれる
作業の流れ
・1. 対象Webサイトをクローリング
・2. 「クローリングしたHTML」からタイトルや記事本文をスクレイピング
A.正規表現を使う方法
B.XPathを使う方法
Python1.Beautiful Soupを使う方法
PHP1.Goutteを使う方法
PHP2.PHP Simple HTML DOM Parserを使う方法
PHP3.phpQueryを使う方法
JS1.cheerioを使う方法
・WebページのHTMLを解析(parse)してデータを抽出
・取得したHTMLから任意の情報を抽出する技術・行為
・Webページ(1ページ全体)に対して処理を行う
・スパイダー(spider)とも呼ばれる
作業の流れ
・1. 対象Webサイトをクローリング
・2. 「クローリングしたHTML」からタイトルや記事本文をスクレイピング
スクレイピングをする７つの方法
A.正規表現を使う方法
B.XPathを使う方法
Python1.Beautiful Soupを使う方法
PHP1.Goutteを使う方法
PHP2.PHP Simple HTML DOM Parserを使う方法
PHP3.phpQueryを使う方法
JS1.cheerioを使う方法
A.正規表現を使う方法
A.正規表現を使う方法
Pythonで正規表現を使う時はreモジュールを使用
・要素を指定して、値を抽出
コード例
▼HTML
<html>
<head>
<meta charset='utf-8' />
</head>
<body>
<h1>クローリングとスクレイピング</h1>
<div id="articleInfo">
<p>
<span class="timestamp">2017-3-2 21:15:35</span>
<span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>
</p>
</div>
<div id="articleText">
ウェブサイトのクローリングとスクレイピングについて
</div>
</body>
</html>
▼Python
#coding: utf-8
import re
#変数htmlには上記のHTMLがstrで代入されているとします。
#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。
title = re.compile('\<h1\>(.+?)\<\/h1\>', re.MULTILINE|re.DOTALL).findall(html)[0]
timestamp = re.compile('\<div id="articleInfo"\>.+?\<span class="timestamp"\>(.+?)\<\/span\>', re.MULTILINE|re.DOTALL).findall(html)[0]
author_link, author = re.compile('\<div id="articleInfo"\>.+?\<span class="author"\>\<a href="(.+?)"\>(.+?)\<\/a\>\<\/span\>', re.MULTILINE|re.DOTALL).findall(html)[0]
body = re.compile('\<div id="articleText"\>(.+?)\<\/div\>', re.MULTILINE|re.DOTALL).findall(html)[0]
B.XPathを使う方法
XPath
XML形式の文書の要素を指定する言語
Chromeブラウザを使用して「任意のHTML要素のXPath」を確認する手順
・1.要素の検証
・2.Elementsタブの任意の要素を右クリック
・3.Copy XPath でXPathを取得
PythonでXPathを使う時はlxmlモジュールを使用
・ 要素を指定して、値を抽出
コード例
▼HTML
<html>
<head>
<meta charset='utf-8' />
</head>
<body>
<h1>クローリングとスクレイピング</h1>
<div id="articleInfo">
<p>
<span class="timestamp">2017-3-2 21:15:35</span>
<span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>
</p>
</div>
<div id="articleText">
ウェブサイトのクローリングとスクレイピングについて
</div>
</body>
</html>
▼Python
#coding: utf-8
import urllib2
import lxml.html
#変数htmlには上記のHTMLがstrで代入されているとします。
dom = lxml.html.fromstring(html)
#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。
title = dom.xpath('//h1')[0].text
timestamp = dom.xpath('//*[@id="articleInfo"]//*[@class="timestamp"]')[0].text
author = dom.xpath ('//*[@id="articleInfo"]//*[@class="author"]/a')[0].text
author_link = dom.xpath ('//*[@id="articleInfo"]//*[@class="author"]/a')[0].attrib['href']
body = dom.xpath('//*[@id="articleText"]')[0].text
Python1.Beautiful Soupを使う方法
Beautiful Soup
Pythonモジュール
・HTMLを構文解析して要素の指定を手助けしてくれる
・要素を指定して、値を抽出
コード例
▼HTML
<html>
<head>
<meta charset='utf-8' />
</head>
<body>
<h1>クローリングとスクレイピング</h1>
<div id="articleInfo">
<p>
<span class="timestamp">2017-3-2 21:15:35</span>
<span class="author"><a href="http://programming-term.w4c.work/">プログラミング用語</a></span>
</p>
</div>
<div id="articleText">
ウェブサイトのクローリングとスクレイピングについて
</div>
</body>
</html>
▼Python
#coding: utf-8
from bs4 import BeautifulSoup
from datetime import datetime
#変数htmlには上記のHTMLがstrで代入されているとします。
soup = BeautifulSoup(html)
#変数title, timestamp, author, author_link, bodyにそれぞれタイトル、投稿日時、著者、著者のリンク、記事本文が代入されます。
title = soup.h1.find(text=True)
timestamp = soup.find(id='articleInfo').find(class_='timestamp').find(text=True)
author = soup.find(id='articleInfo').find(class_='author').find('a').find(text=True)
author_link = soup.find(id='articleInfo').find(class_='author').find('a').get('href')
body = soup.find(id='articleText').find(text=True)
PHP1.Goutteを使う方法
Goutte
PHPライブラリ
・PHPのWebスクレイピング・ライブラリ「Goutte」と「phpQuery」を比較してみた
・PHPでHTMLをパースして解析する簡単な方法
・Goutteでスクレイピングする際、「サイト単位」指定や「何階層まで」の指定はできる？
PHP2.PHP Simple HTML DOM Parserを使う方法
PHP3.phpQueryを使う方法
JS1.cheerioを使う方法
JS1.cheerioを使う方法
・Node.js用のスクレイピングモジュール「cheerio-httpcli」の紹介
・Node.jsのスクレイピングモジュール「cheerio-httpcli」が第3形態に進化したようです
・くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情
Twitter検索結果。「Webスクレイピング」に関する最新ツイート
かめむしぱくさんの可能性が高い @Kamemushi_Pakuアプデの確認とかwebスクレイピング使う以外でどうしろってんだ 2023/01/31 23:04
WEBスキル学習おっさん @tasuku_gagalife
いっくん@現役ECプレイヤー＆AdSenseブロガー @BuppanStart
ガガガユガ @che_mason19暇すぎるから、transfermarktをスクレイピングして色々するwebアプリでも作ろうかな、、、(暇すぎる) 2023/01/31 17:29
もがみ ＠ 情報のプロ @Saikou29362677
【自動化した】うひーまん @uhiiman
だいちゃん｜Web制作 @Web_n_d
SHIRO YOSHIDA @YOSHIDASHIROU
シラサギ(31) @shirasagi_s誰でもインターネット経由でアクセスできるWebサイトをスクレイピングして得た情報を整形して表示するアプリって公開していいものなの 2023/01/31 01:21
吉田直樹＠チラ裏 @copyright_ynaoPuppeteer入門 スクレイピング+Web操作自動処理プログラミング
仕事で使うかもなので勉強😌
ちょっと古いけど鶴田謙二先生の表紙でチョイス
#今日買った入門書 https://t.co/2lZvGwHK1Q 2023/01/30 12:48
ScrambleX勉強会 @bench_web
あひる｜自由な働き方を目指すHSP会社員 @age_age_apple【Python 学習】
Udemy でウマたんさん（@statistics1012）のWebマーケ講座受講完了
スクレイピングで情報収集した後は解析ですが、SEO対策としてはどのようなフローとなるのか気になります😊
#データサイエンティスト https://t.co/m0irnfcdX9 2023/01/30 06:21
JoJo @area_stu
Spitha91 @spitha914
もがみ ＠ 情報のプロ @Saikou29362677情報収集に困っていませんか？
Webサイトからの情報取得と整理は任せて下さい。
#スクレイピング #情報 2023/01/29 21:30
あくりず(VRC) @arcprismDOTi_VRWEBスクレイピングでHTMLやる羽目になったしついでにHTML5プロフェッショナル認定試験だっけ？
レベル1と2も取っちゃお 2023/01/29 21:13
そむでん @SomeDen_JOTXWebスクレイピングのスキルほしいな 2023/01/29 21:04
おすみ │ XR特化マッチングプラットフォーム @sumina_inxr
タナボタ@ITエンジニア✖️副業 @tanabota_itengタナボタ@ITエンジニア✖️副業 @tanabota_iteng
でぶさぼ @cactas44010午前中はwebスクレイピングのコードをぽりぽり書いてた。あとはDBにくべるとこだけど、これは後だな。 2023/01/29 11:53
ScrambleX勉強会 @bench_webもがみ ＠ 情報のプロ @Saikou29362677
有若 @seigaikijin495
Minority0.25@R4行政書士試験合格 @polipoli4205