Xserver+Wordpressでスクレイピング!
スクレイピングはツールやプログラミングで、Webサイトから特定の情報を収集する技術です。
スクレイピングを利用して各Webサイトから自動的に情報収集を行い、自動化サイトを構築することなどもできますが、多くの方が個人ブログで利用している「Xserver+Wordpress」でスクレイピングを実現することが可能なことはご存じでしょうか?
本記事では「Xserver+Wordpress」で、プログラム(php、python)を利用してスクレイピングする方法について全て解説していきます。
本記事の内容は、正直なところ頑張ってググれば、全て調べられる内容です。私自身もスクレイピングって何?ってところから、全てググってスクレイピングサイトを構築しています。ただ、私自身は仕事でプログラミングを利用しているという下地がありながらも、スクレイピングを実現するにはかなり苦労して時間もかかりました。本記事では、記事通りに実施していけば、Wordpressの必要な設定からスクレイピングの記事投稿までスムーズに実施できるように解説していきます。
ただし、だれもかれもがスクレイピングを実施するようになるのも微妙であること、私がこれまで時間をかけて実現してきた方法の大部分を紹介するので、本記事は有料記事とさせていただきますので、そちらご了承ください。
少し高額な価格設定とさせていただきますが、プログラムの簡単なサンプルも提供するので自身で一から調べるのと比べると費用対効果はかなりいいと思います。また、本記事においてはスクレイピングのプログラミングの内容等はそこまで触れません(スクレイピング対象サイトによって使用するコマンド等は変わってくることと、単純なスクレイピングの仕方は調べればいくらでも出てくるため)が、本記事をご購入いただいた方には、不明な部分はツイッターでお問合せいただければ私の知識の範囲でサポートしますので、時短でスクレイピングしたいという方は購入を検討いただければと思います。
実績サイトの紹介、注意事項など
実際に私が「Xserver+Wordpress」でスクレイピングして作成しているサイト、ページを紹介します。(基本はすべて「ぽい得サーチ」というサイト内のものです)
- ぽい得サーチ:ポイントサイトの案件をリアルタイム検索、定期的情報収集
- 買取屋の買取価格検索!:買取価格のリアルタイム検索、定期的情報収集
「Xserver+Wordpress」で上記のようなサイトを作成し、半分放置で運営しています。
なお、上記の他にもGotoEat時には各予約サイトごとにGotoEat対象店舗の情報をスクレイピングで取得して利用者が検索しやすいようにするなどもしていましたが、GotoEatが終了してからは公開していません。(こちらのページではアフィリリエイトサイトの賞もいただいていました^^;)
上記サイトが成功していると言うわけではありませんが、毎月少しのお小遣いは運んできてくれます。アイデア次第でほぼ自動化の便利なサイトを作成することができ、もしかすると大きな収益を得ることができるかもしれません。
スクレイピングに興味があるがハードルが高いと思っていた方とか、こういう情報を自動で収集できたら便利!というアイデアがある方は、スクレイピングにチャレンジしてみてはいかがでしょうか?
私は、Wordpress、php、pythonは初経験でGoogleで調べながらスクレイピングを実施しましたが、本職がIT関連でありプログラミングやhtmlについて多少の理解はあります。
まったくプログラミングを実施したことがないという方も実施可能と思っていますが、最初は少し苦労すると思いますので、ご注意ください。
本記事で解説している内容
本記事は大きく以下内容で構成します。すでにブログを運営していてそちらをそのまま利用する場合はXserverの登録、WordPressログインとテーマ選定はスキップしていただければと思います。
基本的にはスクレイピング環境の構築/実施方法、データベースへの情報蓄積方法、定期的なデータ取得方法について説明していきます。これらの内容を実施できるようになるとある程度自動化でのサイト運営も可能となります。(例えばぽい得サーチではスクレイピング部分は月に1回メンテナンスするかどうか程度です。)
- 01.Xserverの登録
- 02.WordPressログインとテーマ選定
- 03.スクレイピング準備
- 04.記事作成(phpでスクレイピング!)
- 05.記事作成(pythonでスクレイピング!)
- 06.データベースに情報を蓄積する方法
・xserverデータベース準備
・データベース登録 - 07.定期的なデータ取得の方法
なお、以下が注意事項となりますので、記事を購入する場合は、そちらはご理解の上購入をお願いします。特定のサイトに対して、技術的にスクレイピングできる/できない等、気になる部分があればツイッター(JP)にてDMでご質問いただければ回答させていただきます。
また、有料記事を購入していただいた方には、有料記事内に記載しているキーワードを連絡いただければ、私の知識的にわかる範囲でサポートします。
- Xserver、WordPressの利用が前提
- プログラミングは自分で行う必要がある(phpとpythonを利用、またhtmlの知識も利用)
- スクレイピングできないサイトもある(技術的に難しいサイトもある)
- スクレイピングが禁止されているサイトもある
- ツール(サーバにファイルをアップロードする等)はWindowsのツールで紹介
- WordPressの基本的な利用方法は割愛(スクレイピングに絞って紹介)
- スクレイピングのコマンドなど細かい技術割愛(簡単な説明とサンプルプログラムは提供)
- pythonでは今は推奨されないPhantomJSというヘッドレスブラウザを利用したケースで紹介
今回、有料記事の初めての公開のため先着10名までお試し価格で5,800円とします。こちら、購入者が10名以上となった場合は9,800円に値上げしたいと思いますので、もしスクレイピングで便利サイトを作ってみたいという方はお早めに購入をご検討ください。(10名の購入ありましたが、しばらくは価格据え置きとしたいと思います。)
また、こちらは2021/8時点の情報となりますので、その旨、ご了承お願いいたします。※2022/5現在、pythonの環境構築でエラートなるため、phpのスクレイピング実施でいいよという方のみ購入していただければと思います。