欢迎光临
我们一直在努力

2020年04月的文章

如何屏蔽垃圾蜘蛛爬取-坤峰博客
Nginx

如何屏蔽垃圾蜘蛛爬取

王, 坤峰阅读(4)评论(0)赞(0)

网站一般欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量,但有时候,大量垃圾蜘蛛甚至爬虫访问很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢? 一般来说,屏蔽蜘蛛的爬取有三种方法: Robots 禁封 UA 禁封 IP 禁...

如何通过Gzip提高网站的加载速度-坤峰博客
Nginx

如何通过Gzip提高网站的加载速度

王, 坤峰阅读(5)评论(0)赞(0)

Nginx开启Gzip压缩功能, 可以使网站的css、js 、xml、html文件在传输时进行压缩,提高访问速度, 进而优化Nginx性能!  Web网站上的图片,视频等其它多媒体文件以及大文件,因为压缩效果不好,所以对于图片没有必要支压缩...

如何通过nslookup判断蜘蛛的真假-坤峰博客
Nginx

如何通过nslookup判断蜘蛛的真假

王, 坤峰阅读(4)评论(0)赞(0)

在对nginx日志进行分析的时候,会发现很多蜘蛛的访问记录IP,如何判断IP是真的搜索引擎蜘蛛呢? 答案是:过nslookup反解IP来实现辨别真假蜘蛛 nslookup 命令 nslookup 111.206.221.46 效果如图

CentOS7.6.x安装Logstash7.6.1的详细步骤-坤峰博客
ELK

CentOS7.6.x安装Logstash7.6.1的详细步骤

王, 坤峰阅读(38)评论(0)赞(0)

1、安装前准备,安装Logstash7.6.1需要使用和Elasticsearch相同的版本,我使用的版本是7.6.1,所需版本也基本相同,详细的安装步骤步骤可以查看 Elasticsearch7.6.1a安装步骤 2、安装脚本命令 #下载...

CentOS7.6.x安装Kibana7.6.1的详细步骤-坤峰博客
ELK

CentOS7.6.x安装Kibana7.6.1的详细步骤

王, 坤峰阅读(10)评论(0)赞(0)

1、安装前准备,安装需要使用和Elasticsearch相同的版本,我使用的版本是7.6.1,所需版本也基本相同,详细的安装步骤步骤可以查看 Elasticsearch7.6.1a安装步骤 2、安装脚本命令 #下载 kibana 文件 cu...

Elasticsearch

Elasticsearch相关特性

admin阅读(11)评论(0)赞(0)

一、ES分布式的特性 1.对复杂分布式机制的透明隐藏特性: 分片机制 集群发现机制 shard负载均衡 shard副本 请求路由 集群扩容 shard重分配 2.增减或减少节点时的数据rebalance 保持负载均衡 3.master节点 ...

Elasticsearch

Elasticsearch数据建模

admin阅读(20)评论(0)赞(0)

1.将所有有关联关系的数据,放在一个doc json类型数据中。冗余数据,将可能会进行搜索的条件和要搜索的数据,放在一个doc中。一般来说,对于es这种NoSQL类型的数据存储来讲,都是冗余模式 { “deptId”...

Elasticsearch

Elasticsearch深入聚合数据分析

admin阅读(11)评论(0)赞(0)

一、聚合操作内部原理 1.正排索引(doc value)的聚合内部原理 ①index-time生成 PUT/POST的时候,就会生成doc value数据,也就是正排索引 ②核心原理与倒排索引类似 正排索引,也会写入磁盘文件中,然后os c...

Elasticsearch

Elasticsearch聚合数据分析

admin阅读(5)评论(0)赞(0)

1.两个核心概念 bucket:一个数据分组,类似数据库分组group by metric:对一个数据分组执行的统计,常见的数据分析的metric操作有count,avg,max,min,sum 2.有分词的字段需要field的fieldd...