淘先锋技术网

首页 1 2 3 4 5 6 7

elasticsearch是一款非常强大的开源搜索引擎

elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域:
在这里插入图片描述
什么是Lucene?

  • 是Apache的开源搜索引擎类库,提供了搜索引擎的核心API

elasticsearch具备下列优势:
(1)支持分布式,可水平扩展
(2)提供Restful接口,可被任何语言调用。

正向索引是最传统的,根据id索引的方式。但根据词条查询时,必须先逐条获取每个文档,然后判断文档中是否包含所需要的词条,是根据文档找词条的过程
倒排索引则相反,是先找到用户要搜索的词条,根据词条得到保护词条的文档的id,然后根据id获取文档。是根据词条找文档的过程

elasticsearch是面向**文档(Document)**存储的,文档数据会被序列化为json格式后存储在elasticsearch中。
在这里插入图片描述

索引(Index)**,就是相同类型的文档的集合。可以把索引当做是数据库中的表。

在这里插入图片描述

  • Mysql:擅长事务类型操作,可以确保数据的安全和一致性
  • Elasticsearch:擅长海量数据的搜索、分析、计算

具体的安装部署教程去看 安装elasticsearch.md --Typora

IK分词器包含两种模式:

  • ik_smart:最少切分

  • ik_max_word:最细切分

elasticsearch的数据搜索功能。我们会分别使用DSLRestClient实现搜索

Elasticsearch提供了基于JSON的DSL来定义查询

查询所有:match_all
全文检索(full text)查询:- match_query(单字段查询) multi_match_query(多字段查询,任意一个字段符合条件就算符合查询条件)

精确查询:根据精确词条值查找数据,一般是查找keyword、数值、日期、boolean等类型字段。例如:

  • ids
  • range 范围查询
  • term 精准查询

地理(geo)查询:根据经纬度查询。例如:

  • geo_distance 圆形
  • geo_bounding_box 矩形

复合(compound)查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:

  • bool 布尔查询
  • function_score 算分函数查询

function score 查询中包含四部分内容:
1、原始查询*条件:query部分,
2、过滤条件
:filter部分,
3、算分函数:符合filter条件的文档要根据这个函数做运算,

  • weight:函数结果是常量
  • field_value_factor:以文档中的某个字段值作为函数结果
  • random_score:以随机数作为函数结果
  • script_score:自定义算分函数算法
    4、运算模式:
  • multiply:相乘
  • replace:用function score替换query score
  • 其它,例如:sum、avg、max、min

布尔查询是一个或多个查询子句的组合,每一个子句就是一个子查询。子查询的组合方式有:

  • must:必须匹配每个子查询,类似“与”
  • should:选择性匹配子查询,类似“或”
  • must_not:必须不匹配,不参与算分,类似“非”
  • filter:必须匹配,不参与算分

2.1.排序

2.1.1.普通字段排序
“sort”: [
{
“FIELD”: “desc” // 排序字段、排序方式ASC、DESC
}
]
2.1.2.地理坐标排序
“sort”: [
{
“_geo_distance” : {
“FIELD” : “纬度,经度”, // 文档中geo_point类型的字段名、目标坐标点
“order” : “asc”, // 排序方式
“unit” : “km” // 排序的距离单位
}
}
]

2.2.分页

  • from:从第几个文档开始
  • size:总共查询几个文档

2.3.高亮

  • 1)给文档中的所有关键字都添加一个标签,例如<em>标签
  • 2)页面给<em>标签编写CSS样式

注意:**

  • 高亮是对关键字高亮,因此搜索条件必须带有关键字,而不能是范围这样的查询。
  • 默认情况下,高亮的字段,必须与搜索指定的字段一致,否则无法高亮
  • 如果要对非搜索字段高亮,则需要添加一个属性:required_field_match=false

2.4.总结

查询的DSL是一个大的JSON对象,包含下列属性:

  • query:查询条件
  • from和size:分页条件
  • sort:排序条件
  • highlight:高亮条件
    在这里插入图片描述

3.RestClient查询文档

文档的查询同样适用昨天学习的 RestHighLevelClient对象,基本步骤包括:

  • 1)准备Request对象

  • 2)准备请求参数

  • 3)发起请求

  • 4)解析响应
    在这里插入图片描述

  • 第一步,创建SearchRequest对象,指定索引库名

  • 第二步,利用request.source()构建DSL,DSL中可以包含查询、分页、排序、高亮等

    • query():代表查询条件,利用QueryBuilders.matchAllQuery()构建一个match_all查询的DSL
  • 第三步,利用client.search()发送请求,得到响应

ccc
elasticsearch返回的结果是一个JSON字符串,结构包含:

  • hits:命中的结果
    • total:总条数,其中的value是具体的总条数值
    • max_score:所有结果中得分最高的文档的相关性算分
    • hits:搜索结果的文档数组,其中的每个文档都是一个json对象
      • _source:文档中的原始数据,也是json对象

因此,我们解析响应结果,就是逐层解析JSON字符串,流程如下:

  • SearchHits:通过response.getHits()获取,就是JSON中的最外层的hits,代表命中的结果
    • SearchHits#getTotalHits().value:获取总条数信息
    • SearchHits#getHits():获取SearchHit数组,也就是文档数组
      • SearchHit#getSourceAsString():获取文档结果中的_source,也就是原始的json文档数据

完整代码如下:

@Test
void testMatchAll() throws IOException {
    // 1.准备Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.准备DSL
    request.source()
        .query(QueryBuilders.matchAllQuery());
    // 3.发送请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);

    // 4.解析响应
    handleResponse(response);
}

private void handleResponse(SearchResponse response) {
    // 4.解析响应
    SearchHits searchHits = response.getHits();
    // 4.1.获取总条数
    long total = searchHits.getTotalHits().value;
    System.out.println("共搜索到" + total + "条数据");
    // 4.2.文档数组
    SearchHit[] hits = searchHits.getHits();
    // 4.3.遍历
    for (SearchHit hit : hits) {
        // 获取文档source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
        System.out.println("hotelDoc = " + hotelDoc);
    }
}

3.1.4.小结

查询的基本步骤是:

  1. 创建SearchRequest对象
  2. 准备Request.source(),也就是DSL。
    ① QueryBuilders来构建查询条件
    ② 传入Request.source() 的 query() 方法
  3. 发送请求,得到结果
  4. 解析结果(参考JSON结果,从外到内,逐层解析)

3.2.match查询

在这里插入图片描述
@Test
void testMatch() throws IOException {
// 1.准备Request
SearchRequest request = new SearchRequest(“hotel”);
// 2.准备DSL
request.source()
.query(QueryBuilders.matchQuery(“all”, “如家”));
// 3.发送请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
// 4.解析响应
handleResponse(response);
}

3.3.精确查询

精确查询主要是两者:

  • term:词条精确匹配
  • range:范围查询
    在这里插入图片描述

3.4.布尔查询

布尔查询是用must、must_not、filter等方式组合其它查询,代码示例如下:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cuT8DlhL-1675930784495)(assets/image-20210721220927286.png)]

@Test
void testBool() throws IOException {
// 1.准备Request
SearchRequest request = new SearchRequest(“hotel”);
// 2.准备DSL
// 2.1.准备BooleanQuery
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
// 2.2.添加term
boolQuery.must(QueryBuilders.termQuery(“city”, “杭州”));
// 2.3.添加range
boolQuery.filter(QueryBuilders.rangeQuery(“price”).lte(250));
request.source().query(boolQuery);
// 3.发送请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
// 4.解析响应
handleResponse(response);
}

3.5.排序、分页

在这里插入图片描述
@Test
void testPageAndSort() throws IOException {
// 页码,每页大小
int page = 1, size = 5;
// 1.准备Request
SearchRequest request = new SearchRequest(“hotel”);
// 2.准备DSL
// 2.1.query
request.source().query(QueryBuilders.matchAllQuery());
// 2.2.排序 sort
request.source().sort(“price”, SortOrder.ASC);
// 2.3.分页 from、size
request.source().from((page - 1) * size).size(5);
// 3.发送请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
// 4.解析响应
handleResponse(response);
}

3.6.高亮

  • 查询的DSL:其中除了查询条件,还需要添加高亮条件,同样是与query同级。
  • 结果解析:结果除了要解析_source文档数据,还要解析高亮结果

###
@Test
void testHighlight() throws IOException {
// 1.准备Request
SearchRequest request = new SearchRequest(“hotel”);
// 2.准备DSL
// 2.1.query
request.source().query(QueryBuilders.matchQuery(“all”, “如家”));
// 2.2.高亮
request.source().highlighter(new HighlightBuilder().field(“name”).requireFieldMatch(false));
// 3.发送请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
// 4.解析响应
handleResponse(response);
}

3.6.2.高亮结果解析

在这里插入图片描述
代码解读:

  • 第一步:从结果中获取source。hit.getSourceAsString(),这部分是非高亮结果,json字符串。还需要反序列为HotelDoc对象
  • 第二步:获取高亮结果。hit.getHighlightFields(),返回值是一个Map,key是高亮字段名称,值是HighlightField对象,代表高亮值
  • 第三步:从map中根据高亮字段名称,获取高亮字段值对象HighlightField
  • 第四步:从HighlightField中获取Fragments,并且转为字符串。这部分就是真正的高亮字符串了
  • 第五步:用高亮的结果替换HotelDoc中的非高亮结果

private void handleResponse(SearchResponse response) {
// 4.解析响应
SearchHits searchHits = response.getHits();
// 4.1.获取总条数
long total = searchHits.getTotalHits().value;
System.out.println(“共搜索到” + total + “条数据”);
// 4.2.文档数组
SearchHit[] hits = searchHits.getHits();
// 4.3.遍历
for (SearchHit hit : hits) {
// 获取文档source
String json = hit.getSourceAsString();
// 反序列化
HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
// 获取高亮结果
Map<String, HighlightField> highlightFields = hit.getHighlightFields();
if (!CollectionUtils.isEmpty(highlightFields)) {
// 根据字段名获取高亮结果
HighlightField highlightField = highlightFields.get(“name”);
if (highlightField != null) {
// 获取高亮值
String name = highlightField.getFragments()[0].string();
// 覆盖非高亮结果
hotelDoc.setName(name);
}
}
System.out.println("hotelDoc = " + hotelDoc);
}
}

1.数据聚合

2.自动补全

3.数据同步

4.集群

看分布式搜索引梫03.md