圣盾防御
  • 主页
  • 功能介绍
  • 价格套餐
  • 联系我们
马上试用

蜘蛛爬虫

演示并测试访客是否为网络爬虫、搜索引擎蜘蛛和第三方请求库,并对其进行规则判断。

视频演示 规则数据

蜘蛛和爬虫是一样的,只不过搜索引擎的爬虫一般称为蜘蛛。

Apple爬虫白名单直接放行,允许搜索引擎蜘蛛,并且验证谷歌、百度蜘蛛、bing蜘蛛的IP的真伪(防止恶意用户伪造UA来冒充蜘蛛),未验证的搜索蜘蛛、验证失败、其他爬虫和第三方请求库将被拦截。由于IP信息的可变性,所提供的演示数据可能随时会发生变化,请大家知悉。

谷歌蜘蛛 Bing蜘蛛 Apple蜘蛛 百度蜘蛛 请求库
  • UAMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • IP66.249.79.255 、 2001:4860:4801:60::
  • UAMozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
  • IP207.46.199.0 、 20.43.120.16
  • UAMozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
  • IP17.58.101.179 、 17.58.100.100
  • UAMozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
  • IP220.181.108.0 、 116.179.32.0
  • 范例1okhttp/2.01
  • 范例2Go-http-client/2.0
  • 范例3python-requests/2.28.2
圣盾防御

服务

  • 价格方案
  • 销售政策
  • 安全护航

功能

  • 功能介绍
  • 视频教程
  • 开发对接

关于

  • 联系我们
  • 账号注册
  • 账号登录

© 2008-2025 Fangyu Studio All Rights Reserved.