分布式搜索（Elasticsearch）基本用法

目录

初识Elasticsearch

什么是elasticsearch

正向索引和倒排索引

与mysql进行对比

安装elasticsearch、kibana

安装分词器IK

IK分词器的拓展和停用词典

ik分词器-拓展词库

ik分词器-停用词库

索引库操作

mapping映射属性

索引库的CRUD

查看、删除索引库

文档操作

新增文档

查询文档

删除文档

 修改文档

RestClient操作索引库

创建索引库

1.导入数据

2.编写mapping映射

3.初始化JavaRestClient

4.创建索引库

删除索引库

判断索引库是否存在

RestClient操作文档

新增文档

查询文档

更新文档

方式一：

方式二：

删除文档

批量导入文档

DSL查询文档

DSL查询分类

全文检索查询

精准查询

地理坐标查询

组合查询（复合查询）

搜索结果处理

排序

分页

高亮

RestClient查询文档

快速入门

match查询

精确查询

复合查询

排序、分页、高亮

实例常用

初识Elasticsearch

什么是elasticsearch

elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。

elasticsearch结合kibana、Logstash、Beats，也就是ELK。被广泛应用在日志数据分析、实时监控等领域。

elasticsearch的发展

Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。

Lucene的优势：

易扩展

高性能（基于倒排索引）

Lucene的缺点：

只限于Java语言开发

学习曲线陡峭

不支持水平扩展

elasticsearch就是基于Lucene的开发，优势：

支持分布式，可水平扩展

提供Restful接口，可被任何语言调用

正向索引和倒排索引

elasticsearch采用倒排索引：

文档：每条数据就是一个文档

词条：文档按照语义分成的词语

正向索引：基于文档id创建索引。查询词条时必须先找到文档，而后判断是否包含词条

倒排索引：对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

与mysql进行对比

文档

elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。

文档数据会被序列化为json格式后存储在elasticsearch中。

索引

索引：相同类型的文档的集合

映射：索引中文档的字段约束信息，类似表的结构约束

架构​​

MySQL：擅长事务类型操作，可以确保数据的安全和一致性

Elasticsearch：擅长海量数据的搜索、分析、计算

安装elasticsearch、kibana

建议以下连接

Elasticsearch集群和Kibana部署流程_kibana部署教程-CSDN博客

安装分词器IK

分词器的作用是什么？
创建倒排索引时对文档分词
用户搜索时，对输入的内容分词  

IK分词器有几种模式？  
ik_smart：智能切分，粗粒度  
ik_max_word：最细切分，细粒度

es在创建倒排索引时需要对文档分词；在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。

处理中文分词，一般回使用IK分词器。infinilabs/analysis-ik: 🚌 The IK Analysis plugin integrates Lucene IK analyzer into Elasticsearch and OpenSearch, support customized dictionary.

下载完将压缩包解压到es的plugins目录即可

IK分词器的拓展和停用词典

ik分词器-拓展词库

要拓展ik分词器的词库，只需要修改一个ik分词器目录中的config目录中的 IkAnalyzer.cfg.xml文件：

ik分词器-停用词库

要禁用某些敏感词条，只需要修改一个il分词器目录中的config目录中的IkAnalyzer.cfg.xml文件：

拓展和禁用词文件都必须在当前配置文件所在的目录

索引库操作

mapping映射属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

type：字段数据类型，常见的简单类型有

     字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、IP地址）

     数值：long、integer、short、byte、double、float

     布尔：boolean

     日期：date

     对象：object

index:是否创建索引，默认为true

ananlyzer：使用哪种分词器

properties:该字段的子字段

索引库的CRUD

ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。

创建索引库和mapping的DSL语法如下：

    

PUT /haha
{"mappings":{"properties":{"info":{"type":"text","analyzer":"ik_smart"},"email":{"type":"keyword","index":false},"name":{"type":"object","properties":{"firstName":{"type":"keyword"},"lastName":{"type":"keyword"}}}}}
}
查看、删除索引库

查看索引库语法：

GET /索引库名

删除索引库的语法：

DELETE /索引库名

修改索引库

索引库和mapping一旦创建无法修改，但是可以添加新的字段，语法如下：

文档操作

新增文档

查询文档

GET /索引库名/_doc/文档id

删除文档

DELETE  /索引库名/_doc/文档id

 修改文档

方式一：全量删除，会删除旧文档，添加新文档

方式二：增量修改，修改指定字段

RestClient操作索引库

RestClient是ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。官方文档地址：Elasticsearch clients | Elastic Docs

创建索引库

mapping要考虑的问题：

字段名、数据类型、是否参与搜索、是否分词、如果分词、分词器是什么

1.导入数据
2.编写mapping映射

id一般在ES中用keyword来表示

3.初始化JavaRestClient

（1）.引入es的RestHighLevelClient依赖：

     <dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId><version>7.12.1</version></dependency>

（2）.配置版本

（3）.初始化JavaRestClient

public class HotelIndex {private RestHighLevelClient client;@Testvoid testInit(){System.out.println(client);}@BeforeEachpublic void setUp() throws Exception {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));}@AfterEachpublic void tearDown() throws Exception {this.client.close();}}
4.创建索引库

    @Testvoid createHotelIndex() throws IOException {CreateIndexRequest request = new CreateIndexRequest("hotel");request.source("""{"mappings": {"properties": {"name": {"type": "text"},"price": {"type": "long"},"location": {"type": "text"},"amenities": {"type": "keyword"}}}}""", XContentType.JSON);client.indices().create(request, RequestOptions.DEFAULT);}

删除索引库

   @Testvoid deleteHotelIndex() throws IOException {client.indices().delete(new DeleteIndexRequest("hotel"), RequestOptions.DEFAULT);}

判断索引库是否存在

    @Testvoid existsHotelIndex() throws IOException {GetIndexRequest request = new GetIndexRequest("hotel");boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);System.out.println(exists);}

RestClient操作文档

文档操作也同样需要初始化RestHighLevelClient

新增文档

从数据库中加载数据，并且转换为JSON格式

查询文档

直接解析的结果为json格式，记得将json格式反序列化

更新文档

方式一：

全量更新。再次学日语id一样的文档，就会删除旧文档，添加新文档

方式二：

局部更新。只更新部分字段

删除文档

批量导入文档

DSL查询文档

DSL查询分类

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括：

1. 查询所有：查询出所有数据，一般测试用。例如：`match_all`  


2. 全文检索（full text）查询**：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：  
   - `match_query`  
   - `multi_match_query`  
3. 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：  
   - `ids`  
   - `range`  
   - `term`  
4. 地理（geo）查询：根据经纬度查询。例如：  
   - `geo_distance`  
   - `geo_bounding_box`  
5. 复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：  
   - `bool`  
   - `function_score`

全文检索查询

match查询：全文检索查询的一种，会对用户输入内容分词，然后去倒排索引库检索，语法：

multi_match：与match查询类似，只不过允许同时查询多个字段，语法：

精准查询

精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有：  

term：根据词条精确值查询

range：根据值的范围查询

地理坐标查询

根据经纬度查询。常见的使用场景包括：

携程：搜索我附近的酒店

滴滴：搜索我附近的出租车

微信：搜索我附近的人

geo_bounding_box：查询geo_point值落在某个矩形范围的所以文档

geo_distance：查询到指定中心点小于某个距离值的所有文档

组合查询（复合查询）

复合查询：复合查询可以将其它简单查询组合起来，实现更复杂的搜索逻辑，例如：

fuction score：算分函数查询，可以控制文档相关性算分，控制文档排名。例如百度竞价

相关性算分

当我们利用match查询时，文档结构会根据与搜索词条的关联度打分（_score），返回结构时按照分值降序排列。

  1. TF-IDF：

    • 在Elasticsearch 5.0之前使用。

    • 随着词频（Term Frequency）的增加，相关性分数会不断增大。

  2. BM25：

    • 从Elasticsearch 5.0开始采用。

    • 随着词频的增加，相关性分数也会增大，但增长曲线会逐渐趋于平缓，避免过度偏向高频词

使用 fuction score query，可以修改文档的相关性算分，根据新得到的算分排序。

复合查询 Boolean Query

布尔查询是一个或多个查询子句的组合。子查询的组合方式有：

must：必须匹配每个子查询，类似“与”

should：选择性匹配子查询，类似“或”

must_not：必须不匹配，不参与算分，类似“非”

filter：必须匹配，不参与算分

搜索结果处理

排序

Elasticsearch支持对搜索结果进行排序，默认情况下是根据相关度算分（_score）进行排序。支持的排序字段类型包括：keyword类型、数值类型、地理坐标类型、日期类型

获取经纬度的方式：高德开放平台 | 高德地图API

分页

elasticsearch默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。

elasticsearch中通过修改from、size参数来控制要返回的分页结果：

该方法限制了查询上限为10000条

深度分页问题

ES是分布式的，所以会面临深度分页问题。例如按price排序后，获取from=990，size=10的数据：

深度分页解决方案：

  1. Search After

    • 原理：基于上一页的排序值继续查询下一页数据，要求分页时必须指定排序规则。

    • 特点：官方推荐的方式，适用于实时滚动查询，避免性能问题。

  2. Scroll

    • 原理：将排序数据生成快照并保存在内存中，适合大批量数据遍历。

    • 特点：官方已不再推荐使用，因为会占用较多资源且数据可能不是最新的。

高亮

高亮：就是在搜索结果中把搜索关键字突出显示。

原理：

将搜索结果中的关键字用标签标记出来

在页面中给标签添加css样式

默认情况下，ES搜索字段必须与高亮字段一致

增加字段匹配即可

RestClient查询文档

快速入门

1.创建SearchRequest对象

2.准备Request.source()，也就是DSL

3.发送请求，得到结果

4.解析结果

match查询

精确查询

复合查询

排序、分页、高亮

排序和分页

高亮

高亮API包括请求DSL构建和结果解析两部分。

DSL构建

高亮的结果处理

实例常用

将Client注入到Bean对象中

距离排序

让指定内容在搜索结果中排名置顶

我们给需要置顶的文档添加一个标记。然后利用function score给带有标记的文档增加权重

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/web/94091.shtml
繁体地址，请注明出处：http://hk.pswp.cn/web/94091.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

docker 查看容器 docker 筛选容器

docker 查看容器 docker 筛选容器

目录 docker ps 看运行中的容器 运行中的容器筛选容器名 2️⃣ 包括已停止的容器中筛选 3️⃣ 只输出容器 ID&#xff08;脚本里常用&#xff09; docker ps 看运行中的容器 docker ps -a 看所有容器 --filter "namexxx" 可以按名字查 运行中的容器筛选容器名 …
阅读更多...
策略模式 vs 适配器模式

策略模式 vs 适配器模式

一、模式本质1 策略模式&#xff1a;行为的选择核心思想&#xff1a;定义一组算法&#xff0c;将每个算法封装起来&#xff0c;并使它们可以互相替换&#xff0c;让算法的变化独立于使用它的客户端。2 适配器模式&#xff1a;接口的转换核心思想&#xff1a;将一个类的接口转换…
阅读更多...
Unity--判断一个点是否在扇形区域里面（点乘和叉乘的应用）

Unity--判断一个点是否在扇形区域里面（点乘和叉乘的应用）

问题分享&#xff1a;https://www.bilibili.com/video/BV1zLetz1Ew8 using System.Collections; using System.Collections.Generic; using UnityEngine; #if UNITY_EDITOR using UnityEditor; #endifpublic class SectorCheck : MonoBehaviour {[Tooltip("扇形圆心"…
阅读更多...
基于Python sdk发布自己的第一个mcp-client

基于Python sdk发布自己的第一个mcp-client

说在前面 上一篇文章发布了一个mcp-server&#xff0c;具体的server是否能被正确的访问到&#xff1f;是否能够得到正常的返回&#xff1f; 在github上找到一个客户端的代码实现&#xff0c;我把里面的大模型调用换成了支持国内大模型的方式&#xff0c;一起来验证一下吧~ 主…
阅读更多...
C# 浮点数与定点数详细解析

C# 浮点数与定点数详细解析

C# 浮点数与定点数详细解析 在 C# 中&#xff0c;数值类型主要分为&#xff1a; 整数型&#xff08;int, long 等&#xff09;浮点型&#xff08;float, double&#xff09;定点型&#xff08;decimal&#xff09; 浮点数和定点数在内部的表示方式不同&#xff0c;导致它们的 精…
阅读更多...
【小宁学习日记5 stm32】LED闪烁 LED流水灯 蜂鸣器

【小宁学习日记5 stm32】LED闪烁 LED流水灯 蜂鸣器

目录 01.LED闪烁 1、搭建电路板 2、新建工程 &#xff08;1&#xff09;前期准备 &#xff08;2&#xff09;创建工程文件夹结构 &#xff08;3&#xff09;复制固件库文件到对应文件夹 &#xff08;4&#xff09;在 Keil 中创建工程 &#xff08;5&#xff09;配置工程…
阅读更多...
openstack的novnc兼容问题

openstack的novnc兼容问题

1.今天在部署O版过程中发现了novnc组件不兼容openstack2.novnc一直报错&#xff0c;令牌过期&#xff0c;原本以为是python代码配置的问题&#xff0c;最后经过排查很久发现竟然是novnc的版本和openstack的O版不兼容novncyum remove -y novnc*安装支持版本yum install -y novnc…
阅读更多...
Day25 栈 队列 二叉树

Day25 栈 队列 二叉树

day25 栈 队列 二叉树使用栈计算表达式的值 概述 通过两个栈&#xff08;数值栈和符号栈&#xff09;实现中缀表达式求值。算法核心是&#xff1a; 遇到数字时&#xff0c;累加并入数值栈&#xff1b;遇到运算符时&#xff0c;比较其与符号栈顶运算符的优先级&#xff1a; 若当…
阅读更多...
阿里云RDS MySQL数据归档全攻略：方案选择指南

阿里云RDS MySQL数据归档全攻略：方案选择指南

引言在日常数据库管理中&#xff0c;数据归档是必不可少的重要环节。随着业务数据的不断增长&#xff0c;将历史数据从生产数据库迁移到更经济的存储方案中&#xff0c;不仅可以降低存储成本&#xff0c;还能提升数据库性能。阿里云提供了丰富的数据归档解决方案&#xff0c;本…
阅读更多...
线性回归学习

线性回归学习

一、线性回归简介核心思想&#xff1a;线性回归是一种通过属性的线性组合来做预测的模型。它的目标很明确&#xff0c;就是找到一条合适的直线、平面或者更高维度的超平面&#xff0c;让预测出来的值和实际真实值之间的差距尽可能小。比如在预测房屋价格时&#xff0c;就可以根…
阅读更多...
如何使用 DeepSeek 助力工作：全面指南​

如何使用 DeepSeek 助力工作：全面指南​

一、引言​1.1 DeepSeek 简介​DeepSeek 的定位与目标概述​核心技术亮点&#xff08;大语言模型、多模态能力、AI Agent 框架&#xff09;​1.2 工作场景中应用 AI 的趋势​AI 对职场效率提升的重要性​DeepSeek 在众多 AI 工具中的独特地位​二、DeepSeek 基础功能介绍​2.1 …
阅读更多...
车载诊断架构 --- EOL引起关于DTC检测开始条件的思考

车载诊断架构 --- EOL引起关于DTC检测开始条件的思考

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 做到欲望极简，了解自己的真实欲望，不受外在潮流的影响，不盲从，不跟风。把自己的精力全部用在自己。一是去掉多余，凡事找规律，基础是诚信；二是…
阅读更多...
JCTools Spmc 单生产者-多消费者的无锁并发有界队列

JCTools Spmc 单生产者-多消费者的无锁并发有界队列

SpmcArrayQueue 是 JCTools 中为 单生产者-多消费者&#xff08;Single-Producer-Multi-Consumer&#xff09; 场景设计的有界队列。与 SPSC 模型相比&#xff0c;SPMC 的复杂性主要体现在消费者侧&#xff0c;因为多个消费者线程需要以线程安全的方式竞争消费同一个队列中的元…
阅读更多...
SpringAI1.0.1实战教程：避坑指南25年8月最新版

SpringAI1.0.1实战教程：避坑指南25年8月最新版

Spring AI 1.0.1 使用教程 项目简介 作为一个Java的开发者 听到Java也有ai框架了 很高兴~~~ 本来想学一下SpringAI但是网上卖课的一大堆&#xff0c;并且大部分课程都是五月的&#xff0c;到2025年的8月份&#xff0c;SpringAI的版本做了很多更新&#xff0c;所以我本人参考…
阅读更多...
Maven架构的依赖管理和项目构建

Maven架构的依赖管理和项目构建

​​​​​​什么是依赖管理对第三方依赖包的管理&#xff0c;可以连接互联网下载项目所需第三方jar包。对自己开发的模块的管理&#xff0c;可以像引用第三方依赖包一样引用自己项目的依赖包。Maven的依赖管理方式和传统方式有什么区别传统方式&#xff1a;从官网手动下载jar包…
阅读更多...
微信小程序开发(一)：使用开发者工具创建天气预报项目

微信小程序开发(一)：使用开发者工具创建天气预报项目

Hi&#xff0c;我是前端人类学&#xff08;之前叫布兰妮甜&#xff09;&#xff01; 从今天开始&#xff0c;我将开启一个全新的微信小程序开发系列教程&#xff0c;通过实际项目带大家系统学习小程序开发。作为系列的第一篇文章&#xff0c;我们将从最基础的环境搭建开始&…
阅读更多...
【链表 - LeetCode】24. 两两交换链表中的节点

【链表 - LeetCode】24. 两两交换链表中的节点

24. 两两交换链表中的节点 - 力扣&#xff08;LeetCode&#xff09; 题解&#xff1a; - 迭代 首先是直接遍历的做法&#xff0c;这里注意调整指针指向的顺序。 /*** Definition for singly-linked list.* struct ListNode {* int val;* ListNode *next;* List…
阅读更多...
爬虫基础学习-链接协议分析，熟悉相关函数

爬虫基础学习-链接协议分析，熟悉相关函数

1、urlparse&#xff1a;&#xff08;python标准库中的一个模块&#xff0c;解析和操作url&#xff09;标准的url链接格式&#xff1a;scheme://netloc/path;params?query#fragmentscheme&#xff08;协议&#xff09; http or https netloc&#xff08;网络位置&#xff09; …
阅读更多...
kkfileview预览Excel文件去掉左上角的跳转HTML预览、打印按钮

kkfileview预览Excel文件去掉左上角的跳转HTML预览、打印按钮

上篇说了使用nginx代理kkfile预览文件&#xff0c;但是又发现个新问题&#xff0c;预览其他文件时都正常&#xff0c;但是预览.xlsx格式的时候&#xff0c;在左上角会有【跳转HTML预览】【打印】两个按钮&#xff0c;如下所示&#xff1a;这篇就来说一下如何去掉。首先这个跟kk…
阅读更多...
阿里开源新AI code工具：qoder功能介绍

阿里开源新AI code工具：qoder功能介绍

下载地址&#xff1a; https://qoder.com/ 文档地址&#xff1a; https://docs.qoder.com/ 文章目录1. AI 编码发展趋势2. 真实世界软件开发的挑战3. 我们的方法3.1. 透明度3.1.1. 知识可见性3.1.2. 执行透明度3.2. 增强上下文工程3.3. 规范驱动与任务委托3.3.1. 聊天模式&…
阅读更多...
最新文章

Copyright @ 2022~2023