搜索蜘蛛的humans.txt文件

经常看到各种网络蜘蛛会访问网站的“humans.txt”文件,此文件仅仅是为了使人们认识网站作者,可以写上开发人员,设计师,网站管理员,内容经理等等信息,也不是必要文件,可以在网站根目录放入这个文件也可以不放。参考:https://humanstxt.org 。

另外一个文件“robots.txt”则是搜索引擎访问权限配置,也是可以有可无,对于些大型新闻门户或社交网站,一般会配置下拒绝访问的目录或文件。参考:https://moz.com/learn/seo/robotstxt。

还一个文件“ads.txt”是由IAB技术实验室开发的一项举措,旨在打击某些类型的广告欺诈,主要是域名欺骗和非法库存套利,并为高度不透明的行业提供透明度。参考:https://iabtechlab.com/press-releases/iab-tech-lab-ads-txt-values-to-help-buyers-determine-owner-manager-of-inventory/ 。


三种文件都不是硬性必须配置的文件,很多网络蜘蛛都会访问这三个文件,相比“robots.txt”是使用频率最高的,其它两者一般用的不多。