Basic Website Scraping dengan PHP dan cURL

Posted on Updated on

Di dalam post ini gue mo kasih contoh bagaimana cara paling sederhana untuk men-scrape sebuah website.

save ke dalam file SimpleGrep.class.php

<?php/*
* SimpleGrep.class.php
* by mrlemonade <https://moshimon.wordpress.com/>
*
*/
class SimpleGrep {
  function __construct($url, $ref = '') {
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
  curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 20);
  curl_setopt($ch, CURLOPT_TIMEOUT, 30);
  if(!empty($ref))
    curl_setopt($ch, CURLOPT_REFERER, $ref);
    $this->res = curl_exec($ch);
    curl_close($ch);
  }
  function hasil() {
    if(!empty($this->res))
    return $this->res;
  }
}
?>

contoh cara pake classnya, save ke file grep.php

<?php
include 'SimpleGrep.class.php';
$url = 'http://www.detik.com/';
$ref = 'http://www.google.com/';
$sg = new SimpleGrep($url, $ref);
echo $sg->hasil();

lalu tinggal jalanin di console ssh aja: php grep.php atau
di jalanin di web browser.

echo $sg->hasil();
akan menampilkan hasil website yang kita scrape tadi di dalam
$url yang sudah kita spesifikasikan 🙂
$ref yang di set tadi adalah http referer,
jadi si admin detik nanti liatnya kita masuk web dia dari google.com.

Advertisements

6 thoughts on “Basic Website Scraping dengan PHP dan cURL

    herahadi said:
    December 25, 2010 at 9:56 am

    keren-keren.. berarti bisa buat jualan trafik organic dong sob?
    kan ketahuanya trafik dari ref/google
    bener gak 😛

      moshimon responded:
      December 25, 2010 at 12:14 pm

      hahahaha.. iya kalo misalnya kira2 bisa meng generate url referrer yang _mirip_ dari google, kyknya sih bisa2 aja.. wkwkwkwkkw.. 😀

    Google Wonder Wheel Extractor « Moshimon said:
    December 25, 2010 at 7:02 pm

    […] hari yang lalu kita udah belajar, bagaimana sih cara melakukan basic scraping terhadap sebuah website, nah kali ini gue mau kasih contoh tentang advanced scraping yang spesifik untuk melakukan suatu […]

    […] iya, waktu dulu gue pernah bikin tutorial tentang Basic Website Scraping dengan PHP dan cURL, nah kali ini gue mau release wrappernya untuk melakukan hal tersebut, namanya LemonScrap dan bisa […]

    […] iya, waktu dulu gue pernah bikin tutorial tentang Basic Website Scraping dengan PHP dan cURL, nah kali ini gue mau release wrappernya untuk melakukan hal tersebut, namanya LemonScrap dan […]

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s