robots.txt和nofollow都可以禁止搜索引擎抓取页面，如果你同时使用了robots.txt文件和robots meta标签，如果robots.txt和meta标签有冲突，googlebot将使用限制更严的。具体来说：
如果你在robots.txt里禁止了某一页，Googlebot永远也不会去索引那一页，也不会读取那一页的任何标识。南京大金空调维修
如果你在robot.txt中允许，但是在页面中使用 meta 标签对其进行限制，那么Googlebots会访问那一页，读取里面的标签，但不会对其进行索引。
我来分享：同时使用robots.txt和nofollow meta标签有冲突吗？
2017-08-16 00:18 点击:26