php 抓取网站图片的简单程序

PHP下载CSS文件中的图片

Java代码  

1. <?  
2. function getImagesFromCssFile() {  
3. //note 设置PHP超时时间  
4.     set_time_limit(0);  
5.   
6. //note 取得样式文件内容  
7.     $styleFileContent = file_get_contents('images/style.css');  
8.   
9. //note 匹配出需要下载的URL地址  
10.     preg_match_all("/url\(.+?\)/", $styleFileContent, $imagesURLArray);  
11.   
12. //note 循环需要下载的地址，逐个下载  
13.     $imagesURLArray = array_unique($imagesURLArray[0]);  
14.     foreach ($imagesURLArray as $imagesURL) {  
15.         $imagesURL = str_ireplace(array("url(", ")", "'",'"'), '', $imagesURL);  //url(" ") url('')  
16.         if (preg_match('/^http.*/', $imagesURL)) {   //跳过网络图片  
17.             continue;  
18.         }  
19.         file_put_contents(basename($imagesURL), file_get_contents($imagesURL));  
20.     }  
21. }  

Java代码  

1. <?php  
2. /*完成网页内容捕获功能*/  
3. function get_img_url($site_name) {  
4.     $site_fd = fopen($site_name, "r");  
5.     $site_content = "";  
6.     while (!feof($site_fd)) {  
7.         $site_content .= fread($site_fd, 1024);  
8.     }  
9.     /*利用正则表达式得到图片链接*/  
10.     $reg_tag = '/<img.*?\"([^\"]*(jpg|bmp|jpeg|gif)).*?>/';  
11.     $ret = preg_match_all($reg_tag, $site_content, $match_result);  
12.     fclose($site_fd);  
13.     return $match_result[1];  
14. }  
15.   
16. /* 对图片链接进行修正 */  
17. function revise_site($site_list, $base_site) {  
18.     foreach ($site_list as $site_item) {  
19.         if (preg_match('/^http/', $site_item)) {  
20.             $return_list[] = $site_item;  
21.         } else {  
22.             $return_list[] = $base_site . "/" . $site_item;  
23.         }  
24.     }  
25.     return $return_list;  
26. }  
27.   
28. /*得到图片名字，并将其保存在指定位置*/  
29. function get_pic_file($pic_url_array, $pos) {  
30.     $reg_tag = '/.*\/(.*?)$/';  
31.     $count = 0;  
32.     foreach ($pic_url_array as $pic_item) {  
33.         $ret = preg_match_all($reg_tag, $pic_item, $t_pic_name);  
34.         $pic_name = $pos . $t_pic_name[1][0];  
35.         $pic_url = $pic_item;  
36.         print("Downloading " . $pic_url . "\n");  
37.         $img_read_fd = fopen($pic_url, "r");  
38.         $img_write_fd = fopen($pic_name, "w");  
39.         $img_content = "";  
40.         while (!feof($img_read_fd)) {  
41.             $img_content .= fread($img_read_fd, 1024);  
42.   
43.         }  
44.         fwrite($img_write_fd, $img_content);  
45.         fclose($img_read_fd);  
46.         fclose($img_write_fd);  
47.         print("[OK]\n");  
48.     }  
49.     return 0;  
50. }  
51.   
52. function main() {  
53.     /* 待抓取图片的网页地址 */  
54.     $site_name = "http://image.cn.yahoo.com";  
55.     $img_url = get_img_url($site_name);  
56.     $img_url_revised = revise_site($img_url, $site_name);  
57.     $img_url_unique = array_unique($img_url_revised); //unique array  
58.     get_pic_file($img_url_unique, "./");  
59. }  
60.   
61. main();  
62. ?>  

此程序略有不足，如果图片在网站服务器上不同目次下但文件名是相同的，此时图片有可能是不一样的，但在最后生存时，后面得到的图片会将前边已生存的图片覆 盖掉，如在http://example.com/网站上有图片链接http://example.com/pic/test1.jpg和http: //example.com/pic/new/test1.jpg那么在下载时这两张图片只有一张生存，另外一张就被覆盖掉，修正的方法是在每派生的存前 先检索当前目次下是否已有此文件名，有的话对将派生的存的图片从头命名即可。

Java代码  

1. <?php  
2. //取得页面所有的图片地址  
3.   
4. function getimages($str){  
5.   
6.     $match_str = "/((http://)+([^ rn()^$!`"'|[]{}<>]*)((.gif)|(.jpg)|(.bmp)|(.png)|(.GIF)|(.JPG)|(.PNG)|(.BMP)))/";  
7.   
8.     preg_match_all ($match_str,$str,$out,PREG_PATTERN_ORDER);  
9.   
10.     return $out;  
11.   
12. }?>