核心提示:robots.txt和nofollow都可以禁止搜索引擎抓取页面,如果你同时使用了robots.txt文件和robots meta标签,如果robots.txt和meta标
robots.txt和nofollow都可以禁止搜索引擎抓取页面,如果你同时使用了robots.txt文件和robots meta标签,如果robots.txt和meta标签有冲突,googlebot将使用限制更严的。具体来说:
如果你在robots.txt里禁止了某一页,Googlebot永远也不会去索引那一页,也不会读取那一页的任何标识。南京大金空调维修
如果你在robot.txt中允许,但是在页面中使用 meta 标签对其进行限制,那么Googlebots会访问那一页,读取里面的标签,但不会对其进行索引。
免责声明:以上所展示的信息由网友自行发布,内容的真实性、准确性和合法性由发布者负责。 天路之窗网对此不承担任何保证责任, 天路之窗网仅提供信息存储空间服务。任何单位或个人如对以上内容有权利主张(包括但不限于侵犯著作权、商业信誉等),请与我们联系并出示相关证据,我们将按国家相关法规即时移除。
免责声明:本站所有信息均来自互联网搜集,产品相关信息的真实性准确性均由发布单位及个人负责,请大家仔细辨认!并不代表本站观点,
天路之窗网对此不承担任何相关法律责任!如有信息侵犯了您的权益,请告知,本站将立刻删除。
友情提示:买产品需谨慎
网站处理与建议:wfmyw@qq.com