Barkrowler是什么蜘蛛？如何屏蔽?

今天查看网站日志的时候，发现大量的Barkrowler抓取记录，我们个人博客不需要这些蜘蛛抓取，基本上只需要百度蜘蛛抓取，所以必须要屏蔽掉。

一般日志中会出现大量下面的内容：

62.210.188.216 - - [28/Feb/2021:21:21:55 +0800] "GET /tags-1973.html HTTP/1.1" 404 852 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"

希望它遵守Robot协议，所以我们先从Robot.txt着手，通过Robot.txt来屏蔽：

User-agent: Barkrowler
Disallow: /