robots.txt中disallow和nofollow的区别
最近和一朋友讨论robots.txt中disallow和nofollow的区别,他非常喜欢用nofollow,想某个页面不被收录的时候就用这个属性。 这样能做到不浪费权重,nofollow的作用是让蜘蛛抓取而不传递权重。而robots.txt这个东西是个协议,其中disallow是禁止这个网站中的某个页面不被抓取。这是disallow和nofollow的第一个区别。 另外,由于nofollow是某一个链接的属性,他只能做这个链接的主,如果需要禁止传递权重的页面,有多个导入链接,只要有一个链接没带NOFOLLOW,那 […]