华为自研搜索引擎：PetalBot 这个蜘蛛就是花瓣蜘蛛

Just My Socks 发布于 2020-06-22
分类：VPS技术
阅读(312)

查看日志发现很多带这个字段的 UA compatible; PetalBot;+https://aspiegel.com/petalbot，然后打开那个URL发现，是华为的logo，然后回想起看到有说华为在搞搜索引擎的新闻，那看来这个玩意已经确实存在，不然我小网站也不能来这么多，跟今日头条爬虫一样，现在是它饥饿的时候疯狂爬数据，不知道这个只是针对海外被谷歌封锁的措施还是将来也会在国内再杀出一个搜索引擎。拭目以待吧。