欢迎光临
我们一直在努力

Nginx

如何屏蔽垃圾蜘蛛爬取-坤峰博客

如何屏蔽垃圾蜘蛛爬取

王, 坤峰阅读(1)评论(0)赞(0)

网站一般欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量,但有时候,大量垃圾蜘蛛甚至爬虫访问很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢? 一般来说,屏蔽蜘蛛的爬取有三种方法: Robots 禁封 UA 禁封 IP 禁...

如何通过Gzip提高网站的加载速度-坤峰博客

如何通过Gzip提高网站的加载速度

王, 坤峰阅读(3)评论(0)赞(0)

Nginx开启Gzip压缩功能, 可以使网站的css、js 、xml、html文件在传输时进行压缩,提高访问速度, 进而优化Nginx性能!  Web网站上的图片,视频等其它多媒体文件以及大文件,因为压缩效果不好,所以对于图片没有必要支压缩...

如何通过nslookup判断蜘蛛的真假-坤峰博客

如何通过nslookup判断蜘蛛的真假

王, 坤峰阅读(2)评论(0)赞(0)

在对nginx日志进行分析的时候,会发现很多蜘蛛的访问记录IP,如何判断IP是真的搜索引擎蜘蛛呢? 答案是:过nslookup反解IP来实现辨别真假蜘蛛 nslookup 命令 nslookup 111.206.221.46 效果如图