Tumblr 上的很多图片都很不错 特别是一些精选的图片. 可以通过 Tumblr API 来进行爪取. 也可以直接网页抓. PHP有一个库叫 PHPQuery, 也就是把 JQuery 的方式引起到PHP里, 让PHP也支持通过 CSS 选择器的方式对页面元素进行搜索.
phpquery
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | require('phpQuery.php'); require('app.php'); $ip = get_ip_address(); function grab($url, $lvl = 5) { global $ip; if ($lvl < = 0) { return; } $doc = phpQuery::newDocumentFile($url); foreach(pq('div.TumbPostPane') as $p) { $img = pq($p)->find('img.PhotoPostMainPhoto')->attr('src'); $desc = htmlspecialchars(trim(pq($p)->find('div.MetaPanel')->html())); $url = pq($p)->find('a')->attr('href'); $err = ''; if (UploadPic($img, $desc, $err, $ip)) { // 发现并下载保存图片 echo "OK = $err \n"; } else { echo str_replace("<br />", "\n", "Error = $err \n"); } grab($url, $lvl - 1); // 递归抓取 } } grab("https://uploadbeta.com", 1); |
require('phpQuery.php');
require('app.php');
$ip = get_ip_address();
function grab($url, $lvl = 5) {
global $ip;
if ($lvl < = 0) {
return;
}
$doc = phpQuery::newDocumentFile($url);
foreach(pq('div.TumbPostPane') as $p) {
$img = pq($p)->find('img.PhotoPostMainPhoto')->attr('src');
$desc = htmlspecialchars(trim(pq($p)->find('div.MetaPanel')->html()));
$url = pq($p)->find('a')->attr('href');
$err = '';
if (UploadPic($img, $desc, $err, $ip)) { // 发现并下载保存图片
echo "OK = $err \n";
} else {
echo str_replace("<br />", "\n", "Error = $err \n");
}
grab($url, $lvl - 1); // 递归抓取
}
}
grab("https://uploadbeta.com", 1); 以上代码只需要稍做修改就可以用了. 几分钟 就下载了 3000多张图片. 图片都下载到自己的VPS服务器上 并且有相应的图片介绍. 具体效果请看: uploadbeta.com
当然抓取的频率不要太大 要不然很有可能被封 IP 地址 了 最好抓取有个时间间隔 比如几十毫秒.
抓取 图片
另: 图片网站支持各类 API 方便大家使用: https://uploadbeta.com/picture-gallery/faq.php#api
英文: https://helloacm.com/case-study-use-phpquery-to-crawl-3000-images-from-tumblr/
强烈推荐
- 英国代购-畅购英伦
- TopCashBack 返现 (英国购物必备, 积少成多, 我2年来一共得了3000多英镑)
- Quidco 返现 (也是很不错的英国返现网站, 返现率高)
- 注册就送10美元, 免费使用2个月的 DigitalOcean 云主机(性价比超高, 每月只需5美元)
- 注册就送10美元, 免费使用4个月的 Vultr 云主机(性价比超高, 每月只需2.5美元)
- 注册就送10美元, 免费使用2个月的 阿里 云主机(性价比超高, 每月只需4.5美元)
- 注册就送20美元, 免费使用4个月的 Linode 云主机(性价比超高, 每月只需5美元) (折扣码: PodCastInit2022)
- PlusNet 英国光纤(超快, 超划算! 用户名 doctorlai)
- 刷了美国运通信用卡一年得到的积分 换了 485英镑
- 注册就送50英镑 – 英国最便宜最划算的电气提供商
- 能把比特币莱特币变现的银行卡! 不需要手续费就可以把虚拟货币法币兑换
微信公众号: 小赖子的英国生活和资讯 JustYYUK