Yeni Cevap 
 
Konuyu Değerlendir
  • 0 Oy - 0 Ortalama
  • 1
  • 2
  • 3
  • 4
  • 5
web crawler/spider php
Yazar Mesaj
duzgun Çevrimdışı
Hizmetinizde
*******

Mesajlar: 2,322
Katılım: Jul 2008
Rep Puanı: 17
Mesaj: #1
web crawler/spider php
site index'leme üzerine kullanılan basit spider fonksiyon.
PHP Kod:
<?php
function fetch_and_parse_page($url)
{
    
$html file_get_contents($url);

    
/* get page's title */
    
preg_match("/<title>(.+)<\/title>/siU"$html$matches);
    
$title $matches[1];

    
/* get page's keywords */
    
$re="<meta\s+name=['\"]??keywords['\"]??\s+content=['\"]??(.+)['\"]??\s*\/?>";
    
preg_match("/$re/siU"$html$matches);
    
$keywords $matches[1];

    
/* get page's description */
    
$re="<meta\s+name=['\"]??description['\"]??\s+content=['\"]??(.+)['\"]??\s*\/?>";
    
preg_match("/$re/siU"$html$matches);
    
$desc $matches[1];

    
/* parse links */
    
$re="<a\s[^>]*href\s*=\s*(['\"]??)([^'\">]*?)\\1[^>]*>(.*)<\/a>";
    
preg_match_all("/$re/siU"$html$matches);
    
$links $matches[2];

    
$info = array(
        
"url"         => $url,
        
"title"       => $title,
        
"keywords"    => $keywords,
        
"description" => $desc,
        
"md5"         => md5($html),
        
"links"       => array_unique($links)
    );

    return(
$info);
}
?>

Kaynak: http://nashruddin.com/page-indexing-get-...pages.html
17-07-2009 20:39
Bu kullanıcının gönderdiği tüm mesajları bul Bu mesajı alıntı yap
AgResiFe Çevrimdışı
Member
***

Mesajlar: 91
Katılım: Jul 2008
Rep Puanı: 1
Mesaj: #2
RE: web crawler/spider php
Az daha çarmısın?

Think [color=#006400]GREEN[/color] before printing this page
24-06-2010 00:05
Bu kullanıcının gönderdiği tüm mesajları bul Bu mesajı alıntı yap
Yeni Cevap 


Foruma Git:


Bu konuyu görüntüleyen kullanıcı(lar): 1 Ziyaretçi