欢迎光临山城SEO,我们是一家专注中小型企业网站建设、营销型网站建设、响应式网站建设SEO优化公司!

咨询热线:17338344097
微信号
新闻中心News
「山城SEO」

如何正确识别百度蜘蛛?只需做这两点

作者:admin | 点击: | 来源:admin
2201
2020
很多seo从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的ip,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓...

很多seo从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的ip,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的ip段,想把ip加入白名单,但无法识别百度ip。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需做着两点,就能正确识别百度蜘蛛

一、查看ua,如果ua都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的ua是:

移动ua:mozilla/5.0 (linux;u;android 4.2.2;zh-cn;) applewebkit/534.46 (khtml,likegecko) version/5.1 mobile safari/10600.6.3 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html)

pc ua:mozilla/5.0 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html)

新增渲染ua:

移动ua:mozilla/5.0 (iphone; cpu iphone os 9_1 likemac os x) applewebkit/601.1.46 (khtml, like gecko) version/9.0 mobile/13b143 safari/601.1 (compatible; baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

pc ua:mozilla/5.0 (compatible; baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

二、反查ip

站长可以通过dns反查ip的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

(1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自baiduspider的抓取。baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

(2)、在windows平台或者ibm os/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(ip地 址)就能解析ip, 来判断是否来自baiduspider的抓取,baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

(3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(ip地 址)就能解析ip, 来判断是否来自baiduspider的抓取,baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

当前位置:seo教程»seo优化技术»

本文地址:https://www.xminseo.com/14639.html

我要咨询做网站
成功案例
建站流程
  • 网站需
    求分析
  • 网站策
    划方案
  • 页面风
    格设计
  • 程序设
    计研发
  • 资料录
    入优化
  • 确认交
    付使用
  • 后续跟
    踪服务
  • 17338344097
    17338344097
Hi,Are you ready?
准备好开始了吗?
那就与我们取得联系吧

咨询送礼现在提交,将获得某某网络策划专家免费为您制作
价值5880元《全网营销方案+优化视频教程》一份!
下单送礼感恩七周年,新老用户下单即送创业型空间+域名等大礼
24小时免费咨询热线17338344097
合作意向表
您需要的服务
您最关注的地方
预算

直接咨询