adminMo
11 年前 (2014-01-20)
#设置Tag是个好习惯 [y] http://www.phpapps.jp[/y]...
0 2433
#设置Tag是个好习惯 Robots 协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots 协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网...
0 2388