Loading...
鉴于国外开发者已经反馈头条爬虫不遵守 robots.txt 协议 , 因此我们在屏蔽该爬虫时不能只添加robots.txt封禁。最佳做法包括在服务器上直接识别头条爬虫名称然后进行封禁，同时也可以在服务器上封禁头条爬虫的服务器等。有条件的网站建议同时部署所有封禁策略防止部分策略不起作用或有漏网之鱼等等，具体几种封禁策略如下所述： 一、在robots.txt协议中封禁头条爬虫(不一定有用) U...