坤峰博客-专注于ELK、爬虫、数据分析开发坤峰博客

欢迎光临
我们一直在努力

【今日观点】 Elasticsearch相关特性

一、ES分布式的特性 1.对复杂分布式机制的透明隐藏特性: 分片机制 集群发现机制 shard负载均衡 shard副本 请求路由 集群扩容 shard重分配 2.增减或减少节点时的数据rebalance 保持负载均衡 3.master节点 ...

PHP

PHP 8新特性之Attributes(注解)

王, 坤峰阅读(3)评论(0)赞(0)

PHP8的Alpha版本,过几天就要发布了,其中包含了不少的新特性,当然我自己认为最重要的还是JIT,这个我从2013年开始参与,中间挫折无数,失败无数后,终于要发布的东东。 不过,今天呢,我不打算谈JIT,等PHP8发布了以后,我再单独写...

如何屏蔽垃圾蜘蛛爬取-坤峰博客
Nginx

如何屏蔽垃圾蜘蛛爬取

王, 坤峰阅读(111)评论(0)赞(0)

网站一般欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量,但有时候,大量垃圾蜘蛛甚至爬虫访问很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢? 一般来说,屏蔽蜘蛛的爬取有三种方法: Robots 禁封 UA 禁封 IP 禁...

如何通过Gzip提高网站的加载速度-坤峰博客
Nginx

如何通过Gzip提高网站的加载速度

王, 坤峰阅读(135)评论(0)赞(0)

Nginx开启Gzip压缩功能, 可以使网站的css、js 、xml、html文件在传输时进行压缩,提高访问速度, 进而优化Nginx性能!  Web网站上的图片,视频等其它多媒体文件以及大文件,因为压缩效果不好,所以对于图片没有必要支压缩...

如何通过nslookup判断蜘蛛的真假-坤峰博客
Nginx

如何通过nslookup判断蜘蛛的真假

王, 坤峰阅读(146)评论(0)赞(0)

在对nginx日志进行分析的时候,会发现很多蜘蛛的访问记录IP,如何判断IP是真的搜索引擎蜘蛛呢? 答案是:过nslookup反解IP来实现辨别真假蜘蛛 nslookup 命令 nslookup 111.206.221.46 效果如图

CentOS7.6.x安装Logstash7.6.1的详细步骤-坤峰博客
ELK

CentOS7.6.x安装Logstash7.6.1的详细步骤

王, 坤峰阅读(46)评论(0)赞(0)

1、安装前准备,安装Logstash7.6.1需要使用和Elasticsearch相同的版本,我使用的版本是7.6.1,所需版本也基本相同,详细的安装步骤步骤可以查看 Elasticsearch7.6.1a安装步骤 2、安装脚本命令 #下载...

CentOS7.6.x安装Kibana7.6.1的详细步骤-坤峰博客
ELK

CentOS7.6.x安装Kibana7.6.1的详细步骤

王, 坤峰阅读(184)评论(0)赞(0)

1、安装前准备,安装需要使用和Elasticsearch相同的版本,我使用的版本是7.6.1,所需版本也基本相同,详细的安装步骤步骤可以查看 Elasticsearch7.6.1a安装步骤 2、安装脚本命令 #下载 kibana 文件 cu...

Elasticsearch

Elasticsearch相关特性

admin阅读(126)评论(0)赞(0)

一、ES分布式的特性 1.对复杂分布式机制的透明隐藏特性: 分片机制 集群发现机制 shard负载均衡 shard副本 请求路由 集群扩容 shard重分配 2.增减或减少节点时的数据rebalance 保持负载均衡 3.master节点 ...

Elasticsearch

Elasticsearch数据建模

admin阅读(116)评论(0)赞(0)

1.将所有有关联关系的数据,放在一个doc json类型数据中。冗余数据,将可能会进行搜索的条件和要搜索的数据,放在一个doc中。一般来说,对于es这种NoSQL类型的数据存储来讲,都是冗余模式 { “deptId”...

Elasticsearch

Elasticsearch深入聚合数据分析

admin阅读(114)评论(0)赞(0)

一、聚合操作内部原理 1.正排索引(doc value)的聚合内部原理 ①index-time生成 PUT/POST的时候,就会生成doc value数据,也就是正排索引 ②核心原理与倒排索引类似 正排索引,也会写入磁盘文件中,然后os c...