ElasticSearch:Logstash之大数据量同步中的深分页问题

前言前面写过几篇使用 Logstash 把数据从 MySQL 同步到 ElasticSearch 的文章,在那几篇文章中,同步的数据量较小时没有问题,但在同步大量数据时会出现深分页问题。本文我们即是要解决深分页问题。需要注意的是,深分页问题并不是 Logstash 或者 ElasticSearch
ElasticSearch 2024年09月11日 50次浏览

ElasticSearch:“近实时性”理解

背景在生产环境遇到这样一个问题:先在索引中删除数据,在接下来的逻辑里需要判断数据是否删除,发现数据仍然存在;但在 kibana 的命令行里查询数据,又发现数据的确被删除了。概括问题的现象是这样的:删除数据没有立即生效,立刻去查询依然可以查询到,间隔一小段时间后就查询不到了。解决理论部分这其实是 El
ElasticSearch BUG 2024年06月25日 241次浏览

ElasticSearch:SpringBoot整合 - 复杂查询的使用

前言ElasticSearch 作为一个数据存储工具,有些场景下需要执行一些复杂的查询,此时若使用 SearchSourceBuilder 来构建查询条件就比较费劲,我们将使用 client.getLowLevelClient().performRequest() 来实现。实现理论部分client.
ElasticSearch 2024年06月23日 264次浏览

ElasticSearch:SpringBoot整合 - 复杂图形的使用

前言前面我们介绍了在 SpringBoot 中操作 ElasticSearch,进行单条和批量数据的增删改查,ElasticSearch 还支持对地理图形的操作。这里我们将介绍使用 SpringBoot 在 ElasticSearch 中对地理图形进行操作。实现准备工作前面我们完成了 ELK 环境的
ElasticSearch 2024年06月21日 205次浏览

ElasticSearch:Logstash之同步地理图形(geo_shape)数据

前言前面实现了使用 Logstash 把 geo_point 坐标点数据从 MySQL 同步到了 ElasticSearch,本文我们继续介绍使用 Logstash 把 geo_shape 地理图形数据从 MySQL 同步到 ElasticSearch。实现我们在前文的表结构上增加一个 geo_js
ElasticSearch 2024年06月19日 254次浏览

ElasticSearch:Logstash之同步地理坐标点数据

前言前面搭建了使用 Logstash 把MySQL中数据同步到 ElasticSearch 中,不过同步的是文本类型的数据。本文我们将在上文的基础上实现 ElasticSearch 中地理坐标点(geo_point) 数据的同步。实现本文的运行环境基于上文,因此这里仅记录核心部分。MySQL数据表结
ElasticSearch 2024年05月23日 316次浏览

ElasticSearch:Logstash同步MySQL和ElasticSearch数据

前言前面我们搭建了 ElasticSearch 和 kibana 服务,完整的 ELK 还有 Logstash 服务,本文我们将搭建 Logstash 服务,用于把 MySQL 数据同步到 ElasticSearch。实现下载镜像# 下载 Logstash 镜像docker pull logstas
ElasticSearch 2024年05月22日 400次浏览

ElasticSearch:SpringBoot整合(批量数据的增删改查)

前言写一下 ElasticSearch 在 SpringBoot 中的整合,本文实现在 ES 中的批量数据的增删改查功能。实现本文代码是在上一篇的基础上进行的,因此不再赘述 SpringBoot 创建 ElasticSearch 连接部分的代码。package com.langjialing.hel
ElasticSearch 2024年05月07日 374次浏览

ElasticSearch:SpringBoot整合(单条数据的增删改查)

前言写一下 ElasticSearch 在 SpringBoot 中的整合,本文实现在 ES 中的单条数据的增删改查功能。实现理论部分RestHighLevelClient本文我们使用的是 RestHighLevelClient 来实现的。RestHighLevelClient 是 Elastics
ElasticSearch 2024年05月07日 576次浏览

ElasticSearch:环境搭建

前言写一下 ElasticSearch 的基本教程。实现ElasticSearch搭建下载镜像# 下载ElasticSearch镜像docker pull elasticsearch:7.14.0创建容器并启动# 创建并启动ElasticSearch容器docker run -d -p 9200:9
ElasticSearch 2024年05月07日 402次浏览