今天百度站长工具更新了robots提示功能,站长在robots.txt制作后,通过站长平台可以直观的了解到那些是搜索引擎可抓取、那些是被屏蔽的,避免因疏忽而屏蔽蜘蛛,导致收录减少。
因为我之前一直用Google的robots工具制作,比起Google网管工具的来更直观,不会制作robots的站长朋友可以使用此工具,如下图所示:
小知识:robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录,哪些页面不可以被收录,如果您不想让搜索引擎收录您网站的某些内容,请用robots.txt文件指定搜索引擎在您网站上的抓取范围。robots.txt制作好后放到网站「根目录」就可以拉!
本文地址://lusongsong.com/blog/post/545.html