在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三）

#在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三）

前言

在这里插入图片描述 请添加图片描述
文章目录
  • 前言- 聚合和分析-
    • 执行聚合操作-
      • 1. 使用Java API执行聚合操作- 2. 使用CURL命令执行聚合操作- 1. 使用Java API执行度量操作- 2. 使用CURL命令执行度量操作- 使用缓存- 调整分片大小和数量- 使用搜索建议- 结论- 节点发现- 负载均衡- 故障转移- 结论- 访问控制- 加密- 身份验证- 结论- REST API- 客户端库- 结论
在这里插入图片描述

聚合和分析

在Elasticsearch中执行聚合和度量操作可以帮助我们对数据进行更深入的分析。本文将介绍如何使用聚合和度量来执行复杂的数据分析操作，例如计数、平均值、百分位数和分组等。

执行聚合操作

1. 使用Java API执行聚合操作

可以使用Java API执行各种聚合操作。以下是使用RestHighLevelClient对象执行名为my_index的索引中的terms聚合操作的代码示例：

SearchRequest request = new SearchRequest("my_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
TermsAggregationBuilder aggregation =
    AggregationBuilders.terms("by_age").field("age");
sourceBuilder.aggregation(aggregation);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);

以上代码使用SearchRequest对象和SearchSourceBuilder对象执行terms聚合操作，并按年龄字段分组。

2. 使用CURL命令执行聚合操作

也可以使用CURL命令执行各种聚合操作。以下是使用名为my_index的索引中的terms聚合操作检索所有文档的示例：

curl -XGET 'localhost:9200/my_index/_search?pretty' -H 'Content-Type: application/json' -d'
{
    "aggs" : {
        "by_age" : {
            "terms" : { "field" : "age" }
        }
    }
}
'

执行度量操作

1. 使用Java API执行度量操作

可以使用Java API执行各种度量操作。以下是使用RestHighLevelClient对象执行名为my_index的索引中的avg度量操作的代码示例：

SearchRequest request = new SearchRequest("my_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
AvgAggregationBuilder aggregation =
    AggregationBuilders.avg("avg_age").field("age");
sourceBuilder.aggregation(aggregation);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);

以上代码使用SearchRequest对象和SearchSourceBuilder对象执行avg度量操作，并返回年龄字段的平均值。

2. 使用CURL命令执行度量操作

也可以使用CURL命令执行各种度量操作。以下是使用名为my_index的索引中的avg度量操作检索所有文档的示例：

curl -XGET 'localhost:9200/my_index/_search?pretty' -H 'Content-Type: application/json' -d'
{
    "aggs" : {
        "avg_age" : {
            "avg" : { "field" : "age" }
        }
    }
}
'

结论

本文介绍了如何使用聚合和度量来执行复杂的数据分析操作，例如计数、平均值、百分位数和分组等。使用Java API或CURL命令都可以对Elasticsearch索引中的数据进行聚合和度量操作，以便更好地理解和分析数据。在实际应用中，需要根据具体需求选择合适的聚合和度量操作来使用。

搜索性能优化

优化Elasticsearch的搜索性能是应用程序中非常重要的一部分。本文将介绍如何使用缓存、调整分片大小和数量，以及使用搜索建议等方式来优化Elasticsearch的搜索性能。

使用缓存

Elasticsearch中有两种类型的缓存：查询缓存和过滤器缓存。查询缓存为相同的查询结果提供快速的响应，而过滤器缓存则会缓存过滤器结果，以便在后续搜索中快速使用。以下是使用Java API启用过滤器缓存的代码示例：

SearchRequest request = new SearchRequest("my_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.query(QueryBuilders.termQuery("age", 30));
sourceBuilder.postFilter(QueryBuilders.termQuery("city", "New York"));
sourceBuilder.size(0);
sourceBuilder.aggregation(AggregationBuilders.avg("avg_age").field("age"));
sourceBuilder.aggregation(AggregationBuilders.terms("by_city").field("city"));
sourceBuilder.profile(true);
sourceBuilder.cache(true);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);

以上代码使用SearchSourceBuilder对象启用了过滤器缓存。

调整分片大小和数量

分片是Elasticsearch中数据的基本单元，并且将数据划分为多个分片可以使Elasticsearch更好地处理大型数据集。但是，如果分片过大或过小，都会影响搜索性能。以下是使用Java API设置索引分片数和备份数的代码示例：

CreateIndexRequest request = new CreateIndexRequest("my_index");
request.settings(Settings.builder()
        .put("index.number_of_shards", 5)
        .put("index.number_of_replicas", 1));

以上代码使用CreateIndexRequest对象设置名为my_index的索引的分片数为5，备份数为1。

使用搜索建议

搜索建议是Elasticsearch中一种重要的搜索优化技术。它可以在用户输入搜索查询时提供自动完成、拼写检查和相关性建议等功能。以下是使用Java API添加基于文本的完整推荐搜索建议的代码示例：

SearchRequest request = new SearchRequest("my_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
SuggestionBuilder termSuggestionBuilder =
    SuggestBuilders.termSuggestion("name").text("jonh");
SuggestBuilder suggestBuilder = new SuggestBuilder();
suggestBuilder.addSuggestion("suggest_name", termSuggestionBuilder);
sourceBuilder.suggest(suggestBuilder);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);

以上代码使用SearchSourceBuilder对象添加了一个基于文本的完整推荐搜索建议。

结论

本文介绍了如何使用缓存、调整分片大小和数量以及使用搜索建议等方法来优化Elasticsearch的搜索性能。使用这些技术可以提高搜索响应速度，并增强用户体验。在实际应用中，需要根据具体的搜索需求来选择合适的优化方式。

集群管理

配置和管理Elasticsearch集群是使大规模Elasticsearch应用程序成功运行的关键。本文将介绍如何进行节点发现、负载均衡和故障转移等操作来配置和管理Elasticsearch集群。

节点发现

节点发现是Elasticsearch中一个重要的概念，它允许新节点加入到已有的Elasticsearch集群中。以下是使用Java API启用节点发现功能的代码示例：

Settings settings = Settings.builder()
    .put("discovery.seed_hosts", "host1:9300,host2:9300")
    .put("cluster.name", "my_cluster_name")
    .build();
TransportClient client = new PreBuiltTransportClient(settings);

以上代码使用Settings对象启用了节点发现功能，并将节点列表设置为host1和host2。

负载均衡

负载均衡是在分布式系统中非常重要的一部分，它可以确保系统中所有节点都平均地承载负载。以下是使用Java API添加负载均衡功能的代码示例：

RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(new HttpHost("localhost", 9200, "http"))
                .setHttpClientConfigCallback(httpClientBuilder -> 
                    httpClientBuilder.addInterceptorLast(new ElasticsearchInterceptor())));

以上代码使用RestClient对象添加了一个名为ElasticsearchInterceptor的拦截器来实现负载均衡。

故障转移

故障转移是在Elasticsearch集群中必须考虑的问题。当某个节点发生故障时，需要立即采取行动将其替换为另一个节点。以下是使用Java API添加自动故障转移功能的代码示例：

Settings settings = Settings.builder()
    .put("cluster.routing.allocation.enable", "all")
    .put("cluster.routing.allocation.node_initial_primaries_recoveries", 20)
    .put("cluster.routing.allocation.node_concurrent_recoveries", 2)
    .put("indices.recovery.max_bytes_per_sec", "50mb")
    .build();

以上代码启用了自动故障转移功能，并设置了一些相关参数，例如索引恢复速度和并发恢复数等。

结论

本文介绍了如何进行节点发现、负载均衡和故障转移等操作来配置和管理Elasticsearch集群。这些技术可以使Elasticsearch应用程序更稳定、可靠和高效。在实际应用中，需要选择合适的配置选项和管理方案来满足具体需求。

安全性和访问控制

保护Elasticsearch集群和数据是任何生产环境下应用程序的必要条件之一。本文将介绍如何使用访问控制、加密和身份验证等技术来提高Elasticsearch的安全性。

访问控制

访问控制是Elasticsearch中一个非常重要的概念，它可以确保只有经过授权的用户才能够访问Elasticsearch集群和数据。以下是使用Java API添加基于用户名/密码的访问控制的代码示例：

RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(new HttpHost("localhost", 9200, "http"))
                .setHttpClientConfigCallback(httpClientBuilder -> 
                    httpClientBuilder.setDefaultCredentialsProvider(
                        new BasicCredentialsProvider()))
                .setRequestConfigCallback(requestConfigBuilder -> 
                    requestConfigBuilder.setConnectTimeout(5000)
                                         .setSocketTimeout(60000)));

以上代码使用RestClient对象添加了一个BasicCredentialsProvider对象作为默认凭据提供者，以实现基于用户名/密码的访问控制。

加密

加密可以确保在Elasticsearch集群和数据传输过程中的安全性。以下是使用Java API启用HTTPS加密的代码示例：

RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(new HttpHost("localhost", 9200, "https")));

以上代码使用RestClient对象启用了HTTPS加密协议，以确保数据传输的安全性。

身份验证

身份验证是Elasticsearch中一个非常重要的概念，它可以确保只有经过授权的用户才能够访问和修改Elasticsearch集群和数据。以下是使用Java API添加基于X-Pack的身份验证功能的代码示例：

RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(new HttpHost("localhost", 9200, "https"))
                .setHttpClientConfigCallback(httpClientBuilder -> 
                    httpClientBuilder.setDefaultCredentialsProvider(
                        new BasicCredentialsProvider()))
                .setRequestConfigCallback(requestConfigBuilder -> 
                    requestConfigBuilder.setConnectTimeout(5000)
                                         .setSocketTimeout(60000))
                .setXpackBuilder(XPackClientBuilder.builder("username", "password")));

以上代码使用RestClient对象启用了基于X-Pack的身份验证功能，并将用户名和密码设置为"username"和"password"。

结论

本文介绍了如何使用访问控制、加密和身份验证等技术来提高Elasticsearch的安全性。这些技术可以确保Elasticsearch集群和数据的安全性，并保护其免受未经授权的访问和攻击。在实际应用中，需要根据具体需求来选择合适的安全措施。

应用程序集成

将Elasticsearch集成到应用程序中是实现数据搜索和分析的关键。本文将介绍如何使用REST API和各种客户端库来将Elasticsearch集成到应用程序中。

REST API

Elasticsearch提供了REST API，以便应用程序可以通过HTTP协议与Elasticsearch进行交互。以下是使用Java代码向Elasticsearch索引添加文档的示例：

RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(new HttpHost("localhost", 9200, "http")));
IndexRequest request = new IndexRequest("my_index");
request.id("1");
String jsonString = "{" +
        "\"name\":\"John\"," +
        "\"age\":30," +
        "\"city\":\"New York\"" +
        "}";
request.source(jsonString, XContentType.JSON);
IndexResponse response = client.index(request, RequestOptions.DEFAULT);

以上代码使用RestHighLevelClient对象向名为"my_index"的索引添加ID为1的文档。

客户端库

Elasticsearch也提供了各种语言的客户端库，以便应用程序可以更容易地与Elasticsearch交互。以下是使用Java API添加Elasticsearch客户端库的代码示例：

<dependency>
  <groupId>org.elasticsearch.client</groupId>
  <artifactId>elasticsearch-rest-high-level-client</artifactId>
  <version>7.14.0</version>
</dependency>

以上代码将elasticsearch-rest-high-level-client客户端库添加到Java项目中。

以下是使用Java代码向Elasticsearch索引添加文档的客户端库示例：

RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(new HttpHost("localhost", 9200, "http")));
IndexRequest request = new IndexRequest("my_index");
request.id("1");
Map<String, Object> jsonMap = new HashMap<>();
jsonMap.put("name", "John");
jsonMap.put("age", 30);
jsonMap.put("city", "New York");
request.source(jsonMap);
IndexResponse response = client.index(request, RequestOptions.DEFAULT);

以上代码使用RestHighLevelClient对象和Elasticsearch客户端库向名为"my_index"的索引添加ID为1的文档。

结论

本文介绍了如何使用REST API和各种语言的客户端库将Elasticsearch集成到应用程序中。这些方法可以使应用程序更有效地与Elasticsearch交互，并实现数据搜索和分析等功能。在实际应用中，需要根据具体需求来选择合适的集成方式。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/777459.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Java——继承（Inheritance）

Java——继承（Inheritance）

一、继承简要介绍 1、继承是什么 在Java中，继承是一种面向对象编程的重要特性，它允许一个类（子类或派生类）继承另一个类（父类或基类）的属性和方法。继承的目的是实现代码的重用和设计的层次化。 子类通常…
阅读更多...
探索LlamaIndex：如何用Django打造高效知识库检索

探索LlamaIndex：如何用Django打造高效知识库检索

简介 LlamaIndex（前身为 GPT Index）是一个数据框架，为了帮助我们去建基于大型语言模型（LLM）的应用程序。 主要用于处理、构建和查询自定义知识库。 它支持多种数据源格式 excel，txt，pdf&…
阅读更多...
DaViT（ECCV 2022，Microsoft）

DaViT（ECCV 2022，Microsoft）

paper：DaViT: Dual Attention Vision Transformers official implementation：https://github.com/dingmyu/davit third-party implementation：https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/davit.py 出发点…
阅读更多...
独家揭秘！格行随身WiFi‘骄傲’宣言背后的震撼行业的真相！随身WiFi行业内黑马

独家揭秘！格行随身WiFi‘骄傲’宣言背后的震撼行业的真相！随身WiFi行业内黑马

近几年以来，随行WiFi产品呈现爆发式增长，随行WiFi的火爆，是技术进步带给消费者的一种“福利”，各大直播间也充斥着品牌各异的随身WiFi。但真正脱颖而出、赢得消费者信赖的优质品牌却凤毛麟角。而其中最受欢迎的格行随身WiFi也因设…
阅读更多...
Java语言+后端+前端Vue,ElementUI 数字化产科管理平台 产科电子病历系统源码

Java语言+后端+前端Vue,ElementUI 数字化产科管理平台 产科电子病历系统源码

Java语言后端前端Vue,ElementUI 数字化产科管理平台 产科电子病历系统源码 Java开发的数字化产科管理系统，已在多家医院实施，支持直接部署。系统涵盖孕产全程，包括门诊、住院、统计和移动服务，整合高危管理、智能提醒、档案追踪等…
阅读更多...
Stream练习

Stream练习

运用点&#xff1a; 流内数据类型转换(map)、filter、limit、skip、concat(让两个流合并) 题目&#xff1a; 操作1、2&#xff1a; ArrayList<String> manList new ArrayList<>();ArrayList<String> womanList new ArrayList<>();Collections.addAl…
阅读更多...
C++之static关键字

C++之static关键字

文章目录 前提正文多重定义extern关键字使用staticstatic 全局变量(在.cpp文件中定义)static变量存放在哪里static变量可不可以放在.h文件中 static 函数static局部变量static 成员变量static 成员函数 总结参考链接 前提 好吧&#xff0c;八股&#xff0c;我又回来了。这次想…
阅读更多...
8.14 矢量图层面要素2.5D渲染

8.14 矢量图层面要素2.5D渲染

文章目录 前言2.5D渲染QGis设置面符号为2.5D二次开发代码实现2.5D 总结 前言 本章介绍矢量图层面要素2.5D渲染的使用说明&#xff1a;文章中的示例代码均来自开源项目qgis_cpp_api_apps 2.5D渲染 2.5D渲染可以将多边形渲染为类3D效果。 QGis设置面符号为2.5D 以"hou…
阅读更多...
数据库7.4

数据库7.4

第二次作业 1.登陆数据库 2.创建数据库zoo 3.修改数据库zoo字符集为gbk 4.选择当前数据库为zoo 5.查看创建数据库zoo信息 6.删除数据库zoo C:\Windows\System32>mysql -uroot -p20040830Nmx mysql> create database zoo; alter database zoo character set gbk; mys…
阅读更多...
Java springboot校园管理系统源码

Java springboot校园管理系统源码

Java springboot校园管理系统源码-014 下载地址&#xff1a;https://download.csdn.net/download/xiaohua1992/89364089 技术栈 运行环境&#xff1a;jdk8 tomcat9 mysql5.7 windows10 服务端技术&#xff1a;Spring Boot Mybatis VUE 使用说明 1.使用Navicati或者其它工…
阅读更多...
VBA初学：零件成本统计之三（获取材料外协的金额）

VBA初学：零件成本统计之三（获取材料外协的金额）

第三步&#xff0c;从K3的数据库中获取金额 我这里是使用循环&#xff0c;通过任务单号将金额汇总出来&#xff0c;如果使用数组的话&#xff0c;还要按任务单写GROUP&#xff0c;还要去对应&#xff0c;不如循环直接一点 获取材料和外协金额的表格Sub getje()Dim rowcount A…
阅读更多...
【JAVA入门】Day13 - 代码块

【JAVA入门】Day13 - 代码块

【JAVA入门】Day13 - 代码块 文章目录 【JAVA入门】Day13 - 代码块一、局部代码块二、构造代码块三、静态代码块 在 Java 中&#xff0c;两个大括号 { } 中间的部分叫一个代码块&#xff0c;代码块又分为&#xff1a;局部代码块、构造代码块、静态代码块三种。 一、局部代码块…
阅读更多...
Linux应用---信号

Linux应用---信号

写在前面&#xff1a;在前面的学习过程中&#xff0c;我们学习了进程间通信的管道以及内存映射的方式。这次我们介绍另外一种应用较为广泛的进程间通信的方式——信号。信号的内容比较多&#xff0c;是学习的重点&#xff0c;大家一定要认真学&#xff0c;多多思考。 一、信号概…
阅读更多...
ASP.NET Core----基础学习01----HelloWorld---创建Blank空项目

ASP.NET Core----基础学习01----HelloWorld---创建Blank空项目

文章目录 1. 创建新项目--方式一&#xff1a; blank2. 程序各文件介绍&#xff08;Project name &#xff1a;ASP.Net_Blank&#xff09;&#xff08;1&#xff09;launchSettings.json 启动方式的配置文件&#xff08;2&#xff09;appsettings.json 基础配置file参数的读取&a…
阅读更多...
Vue 前端修改页面标题无需重新打包即可生效

Vue 前端修改页面标题无需重新打包即可生效

在public文件夹下创建config.js文件 index.html页面修改 其他页面的标题都可以用window.title来引用就可以了&#xff01;
阅读更多...
【算法】（C语言）：冒泡排序、选择排序、插入排序

【算法】（C语言）：冒泡排序、选择排序、插入排序

冒泡排序 从第一个数据开始到第n-1个数据&#xff0c;依次和后面一个数据两两比较&#xff0c;数值小的在前。最终&#xff0c;最后一个数据&#xff08;第n个数据&#xff09;为最大值。从第一个数据开始到第n-2个数据&#xff0c;依次和后面一个数据两两比较&#xff0c;数值…
阅读更多...
商务办公优选！AOC Q27E3S2商用显示器，打造卓越新体验！

商务办公优选！AOC Q27E3S2商用显示器，打造卓越新体验！

摘要&#xff1a;助办公室一族纵横职场&#xff0c;实现高效舒适办公&#xff01; 在日常商务办公中&#xff0c;对于办公室一族来说总有太多“难难难难难点”&#xff1a;工作任务繁琐&#xff0c;熬夜加班心力交瘁、长时间伏案工作导致颈椎、眼睛等出现问题&#xff0c;职业…
阅读更多...
【吊打面试官系列-MyBatis面试题】为什么说 Mybatis 是半自动 ORM 映射工具？它与全自动的区别在哪里？

【吊打面试官系列-MyBatis面试题】为什么说 Mybatis 是半自动 ORM 映射工具？它与全自动的区别在哪里？

大家好&#xff0c;我是锋哥。今天分享关于 【为什么说 Mybatis 是半自动 ORM 映射工具&#xff1f;它与全自动的区别在哪里&#xff1f;】面试题&#xff0c;希望对大家有帮助&#xff1b; 为什么说 Mybatis 是半自动 ORM 映射工具&#xff1f;它与全自动的区别在哪里&#xf…
阅读更多...
[从0开始轨迹预测][NMS]：NMS的应用（目标检测、轨迹预测）

[从0开始轨迹预测][NMS]：NMS的应用（目标检测、轨迹预测）

非极大值抑制&#xff08;Non-Maximum Suppression&#xff0c;简称NMS&#xff09;是一种在计算机视觉中广泛应用的算法&#xff0c;主要用于消除冗余和重叠的边界框。在目标检测任务中&#xff0c;尤其是在使用诸如R-CNN系列的算法时&#xff0c;会产生大量的候选区域&#x…
阅读更多...
Redis基础教程（九）：redis有序集合

Redis基础教程（九）：redis有序集合

&#x1f49d;&#x1f49d;&#x1f49d;首先&#xff0c;欢迎各位来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里不仅可以有所收获&#xff0c;同时也能感受到一份轻松欢乐的氛围&#xff0c;祝你生活愉快&#xff01; &#x1f49d;&#x1f49…
阅读更多...
最新文章

Copyright @ 2022~2023