1. 首页 > 标签 > Robots

Robots

• 052020-03
  Robots.txt的作用与语法 Robots.txt 是你穿告诉搜索机器人哪些页面你会喜欢他们不能够访问您的网站的文本 （而不是 html) 文件。 Robots.txt 是不是强制性的搜索引擎，但是搜索引擎一般遵守他们都问什么不该做。 务必要澄清 robots.txt 不从防止搜索引擎抓取您的网站 （即它是不一的防火墙或密码保护的一种） 的一种方法，您放置一个 robots.txt 文件的事实是有点像把一条注释"请不要输入"一个解锁的门 —