欢迎光临
我们一直在努力

Elasticsearch聚合数据分析

1.两个核心概念
bucket:一个数据分组,类似数据库分组group by
metric:对一个数据分组执行的统计,常见的数据分析的metric操作有count,avg,max,min,sum
2.有分词的字段需要field的fielddata属性设置为true
PUT /ecommerce/_mapping/product
{
“properties”: {
“tags”: {
“type”: “text”,
“fielddata”: true
}
}
}
3.常用统计示例
例1.计算每个tag下的商品数量
GET /ecommerce/product/_search
{
“aggs”: {
“group_by_tags”: {
“terms”: { “field”: “tags” }
}
}
}
例2.对名称中包含yagao的商品,计算每个tag下的商品数量
GET /ecommerce/product/_search
{
“size”: 0,
“query”: {
“match”: {
“name”: “yagao”
}
},
“aggs”: {
“all_tags”: {
“terms”: {
“field”: “tags”
}
}
}
}
例3.先分组,再算每组的平均值,计算每个tag下的商品的平均价格
GET /ecommerce/product/_search
{
“size”: 0,
“aggs” : {
“group_by_tags” : {
“terms” : { “field” : “tags” },
“aggs” : {
“avg_price” : {
“avg” : { “field” : “price” }
}
}
}
}
}
例4.计算每个tag下的商品的平均价格,并且按照平均价格降序排序
GET /ecommerce/product/_search
{
“size”: 0,
“aggs” : {
“all_tags” : {
“terms” : { “field” : “tags”, “order”: { “avg_price”: “desc” } },
“aggs” : {
“avg_price” : {
“avg” : { “field” : “price” }
}
}
}
}
}
例5.按照指定的价格范围区间进行分组,然后在每组内再按照tag进行分组,最后再计算每组的平均价格
GET /ecommerce/product/_search
{
“size”: 0,
“aggs”: {
“group_by_price”: {
“range”: {
“field”: “price”,
“ranges”: [
{
“from”: 0,
“to”: 20
},
{
“from”: 20,
“to”: 40
},
{
“from”: 40,
“to”: 50
}
]
},
“aggs”: {
“group_by_tags”: {
“terms”: {
“field”: “tags”
},
“aggs”: {
“average_price”: {
“avg”: {
“field”: “price”
}
}
}
}
}
}
}
}
4.count、avg、max、min、sum
GET /tvs/sales/_search
{
“size” : 0,
“aggs”: {
“colors”: {
“terms”: {
“field”: “color”
},
“aggs”: {
“avg_price”: { “avg”: { “field”: “price” } },
“min_price” : { “min”: { “field”: “price”} },
“max_price” : { “max”: { “field”: “price”} },
“sum_price” : { “sum”: { “field”: “price” } }
}
}
}
}
5.使用内置field不分词,对string field进行聚合
GET /test_index/test_type/_search
{
“size”: 0,
“aggs”: {
“group_by_test_field”: {
“terms”: {
“field”: “test_field.keyword”
}
}
}
}
6.下钻:多层次的下钻,即分组再分组,多层嵌套聚合
例:每个颜色的电视中的品牌的数量和平均价格是多少
GET /tvs/sales/_search
{
“size”: 0,
“aggs”: {
“group_by_color”: {
“terms”: {
“field”: “color”
},
“aggs”: {
“color_avg_price”: {
“avg”: {
“field”: “price”
}
},
“group_by_brand”: {
“terms”: {
“field”: “brand”
},
“aggs”: {
“brand_avg_price”: {
“avg”: {
“field”: “price”
}
}
}
}
}
}
}
}
7.histogram:类似于terms,也是进行bucket分组操作,接收一个field,按照这个field的值的各个范围区间,进行bucket分组操作
例:GET /tvs/sales/_search
{
“size” : 0,
“aggs”:{
“price”:{
“histogram”:{
“field”: “price”,
“interval”: 2000
},
“aggs”:{
“revenue”: {
“sum”: {
“field” : “price”
}
}
}
}
}
}
8.date histogram,按照我们指定的某个date类型的日期field,以及日期interval,按照一定的日期间隔,去划分bucket
min_doc_count:区间无值补0
extended_bounds,min,max:划分bucket的时候,会限定在这个起始日期,和截止日期内
例:GET /tvs/sales/_search
{
“size” : 0,
“aggs”: {
“sales”: {
“date_histogram”: {
“field”: “sold_date”,
“interval”: “month”,
“format”: “yyyy-MM”,
“min_doc_count”: 0,
“extended_bounds” : {
“min” : “2016-01”,
“max” : “2017-12”
}
}
}
}
}
9.搜索结合聚合aggregation,scope
出来两个结果,一个结果,是基于query搜索结果来聚合的; 一个结果,是对所有数据执行聚合的
global:就是global bucket,就是将所有数据纳入聚合的scope,而不管之前的query
例:GET /tvs/sales/_search
{
“size”: 0,
“query”: {
“term”: {
“brand”: {
“value”: “长虹”
}
}
},
“aggs”: {
“single_brand_avg_price”: {
“avg”: {
“field”: “price”
}
},
“all”: {
“global”: {},
“aggs”: {
“all_brand_avg_price”: {
“avg”: {
“field”: “price”
}
}
}
}
}
}
global:就是global bucket,就是将所有数据纳入聚合的scope,而不管之前的query

未经允许不得转载:坤峰博客 » Elasticsearch聚合数据分析

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址