如何在高配置服务器上跑出Doris的性能

  1. 问题背景:对于服务器32core,48core甚至64core服务器,这时Doirs默认的参数配置(内存、CPU、线程)较少。在用户看到的现象是服务器资源使用不高,到时写入或者查询性能不高。
  2. 如下配置是可以增强Doris使用服务器资源的能力,出来大家参考参考

该配置是在10个32core,128GB,每个服务器挂着5个1TB磁盘。每秒写入80w数据的集群上的实测的配置。

1.BE、FE调优参数添加,比如数据库最大事务.
#Cumulative Compaction线程池中线程数量的最大值
max_cumu_compaction_threads = 60
#Base Compaction线程池中线程数量的最大值
max_base_compaction_threads = 8
#控制每个内核运行工作的线程数。 通常选择 2 倍或 3 倍的内核数量。 这使核心保持忙碌而不会导致过度抖动
num_threads_per_core = 96
thrift_connect_timeout_seconds = 10
thrift_rpc_timeout_ms = 10000
streaming_load_json_max_mb = 2000
max_tablet_version_num = 8000
max_runnings_transactions_per_txn_map = 50000
max_running_txn_num_per_db = 100000
publish_version_worker_count = 96
number_tablet_writer_threads = 64
min_compaction_threads = 20
max_send_batch_parallelism_per_job = 20
enable_quick_compaction = false
compaction_task_num_per_disk=8
compaction_task_num_per_fast_disk=16

你可能感兴趣的:(大数据)