es性能调优

2023-06-30

本文主要是 es性能调优 相关的知识问答,如果你也了解,请帮忙补充。

参考知识1 elk上线所有应用后,发现日志有延迟现象,少则延迟几分钟,多则延迟半个多小时,查看kafka,发现有大量的消息堆积,于是,我就多增加了几台logstash的机器来消费日志,但是经过观察后,日志延迟并没有解决,反而logstash大量报错 retrying failed action with response code: 429 es_rejected_execution_exception ,经过查阅资料,发现是瓶颈在es这里,logstash写入的速度太快,但是es接受的速度太小,于是产生大量的报错,

在kibana中查看es的线程池使用情况:get _nodes/stats/thread_pool?pretty
发现有大量的rejected。说明es的性能有问题,来不及写入的日志被丢弃了。

es调优如下:

thread_pool:
write:
size: 9
queue_size: 1000

logstash调优如下:

pipeline.workers: 4

pipeline.batch.size: 1000
pipeline.batch.delay: 15
相似知识
Tomcat 性能调优 参考知识1默认的模式,性能非常低下,没有经过任何优化处理和支持.一个线程处理一个请求。缺点:并发量高时,线程数较多,浪费资源。Tomcat7或以下,在Linux系统中默认使用这种方式。nio(newI
Flink性能调优(一) 参考知识1Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(GarbageCollection),评估内存使用及剩余情况来判断内存是否变成性能瓶颈,并根据情
2022-02-24-Spark-44(性能调优通用调优) 参考知识1计算负载主要由Executors承担,Driver主要负责分布式调度,调优空间有限,因此对Driver端的配置项我们不作考虑通过如下参数就可以明确有多少CPU资源被划拨给Spark用于分布式
JVM性能调优-G1 参考知识1本篇是对Java官网G1收集器调优的精简版。针对G1垃圾的收集阶段可能出现的问题,非合理内存分配,大对象占用,FullGC等问题作出解决方式和操作参数。G1是一个吞吐量和时间延迟之间相互平衡
JVM性能调优指南(一) 参考知识1-help-server-client-version-showversion-cp-classpath调整为完全解释执行编译模式:调整为编译执行编译模式:最后一行的mixedmode表明J
2022-02-26-Spark-46(性能调优SparkUI) 参考知识1ExecutorsTab的主要内容如下,主要包含“Summary”和“Executors”两部分。这两部分所记录的度量指标是一致的,其中“Executors”以更细的粒度记录着每一个Exec
tomcat 性能调优 参考知识1java性能优化原则:代码运算性能内存回收应用配置(影响java程序注意原因是垃圾回收)代码层优化:避免过多的循环嵌套调用和复杂逻辑Tomcat调优主要内容1.增加最大连接数2.调整工作模式
jvm性能调优都做了啥 JVM是最好的软件工程之一,它为Java提供了坚实的基础,许多流行语言如Kotlin、Scala、Clojure、Groovy都使用JVM作为运行基础。一个专业的Java工程师必须要了解并掌握JVM,