Nginx

2020-04-29王, 坤峰阅读(12435)评论(0)赞(0)

网站一般欢迎蜘蛛访问，因为蜘蛛意味着搜索排名和流量，但有时候，大量垃圾蜘蛛甚至爬虫访问很影响性能，特别是服务器配置不高的情况下，那么我们该怎样屏蔽掉垃圾蜘蛛呢？ 一般来说，屏蔽蜘蛛的爬取有三种方法： Robots 禁封 UA 禁封 IP 禁...

2020-04-29王, 坤峰阅读(12150)评论(0)赞(0)

Nginx开启Gzip压缩功能， 可以使网站的css、js 、xml、html文件在传输时进行压缩，提高访问速度, 进而优化Nginx性能!  Web网站上的图片，视频等其它多媒体文件以及大文件，因为压缩效果不好，所以对于图片没有必要支压缩...

2020-04-29王, 坤峰阅读(12430)评论(0)赞(0)

在对nginx日志进行分析的时候，会发现很多蜘蛛的访问记录IP，如何判断IP是真的搜索引擎蜘蛛呢？ 答案是：过nslookup反解IP来实现辨别真假蜘蛛 nslookup 命令 nslookup 111.206.221.46 效果如图