E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Doris性能调优
Apache
Doris
入门教程09:数据导入之导入场景
支持的数据源
Doris
提供多种数据导入方案,可以针对不同的数据源进行选择不同的数据导入方式。
sunjian286
·
2023-10-23 22:23
apache
数据仓库
大数据
kafka
mysql
Apache
Doris
入门教程06:数据划分
本文主要介绍
Doris
的建表和数据划分,以及建表操作中可能遇到的问题和解决方法。基本概念在
Doris
中,数据都以表(Table)的形式进行逻辑上的描述。
sunjian286
·
2023-10-23 22:52
数据结构
大数据
数据库架构
数据库
apache
Apache
Doris
(十) :
Doris
基础
目录1.基本概念2.建表语法及参数解释2.1column_definition_list2.2index_definition_list2.3engine_type2.4key_type
IT贫道
·
2023-10-23 22:19
Apache
Doris
大数据OLAP体系技术栈
sql
database
数据库
数据仓库
etl
apache
Apache
Doris
(十五) :
Doris
分区和分桶1-Range分区
目录1.分区Partition2.Ranage分区2.1创建Range分区方式2.2删分区2.3多列分区进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容!
IT贫道
·
2023-10-23 22:19
Apache
Doris
大数据OLAP体系技术栈
sql
database
apache
数据库
数据仓库
etl
Apache
Doris
极速数据湖分析深度解读
从上世纪90年代初BillInmon在《buildingtheDataWarehouse》一书中正式提出数据仓库这一概念,至今已有超过三十年的时间。在最初的概念里,数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策」,而数据湖最初是为了解决数仓无法存储海量且异构的数据而构建的集中式存储系统。时代的发展与用户数据应用诉求的演进,催生了数据架构的不断革新,也
SelectDB技术团队
·
2023-10-23 22:46
apache
数据库
数据仓库
数据分析
数据挖掘
Apache
Doris
1.1 特性揭秘:Flink 实时写入如何兼顾高吞吐和低延时
导读:随着数据实时化需求的日益增多,数据的时效性对企业的精细化运营越来越重要,使得实时数仓在这一过程中起到了不可替代的作用。本文将基于用户遇到的问题与挑战,揭秘ApacheDoris1.1特性,对Flink实时写入ApacheDoris的优化实现与未来规划进行详细的介绍。背景随着数据实时化需求的日益增多,数据的时效性对企业的精细化运营越来越重要,在海量数据中,如何能实时有效的挖掘出有价值的信息,快
SelectDB技术团队
·
2023-10-23 22:45
apache
flink
大数据
Apache
Doris
(四十六):
Doris
数据更新与删除 - 批量删除
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道
·
2023-10-23 22:43
大数据OLAP体系技术栈
Apache
Doris
doris
[jmx]zookeeper/kafka/hive/hadoop/presto/presto等组件的jmx监控汇集
jmx监控配置hadoop的jmx监控kafka的jmx监控hive的jmx监控hiveserver2的jmx监控metastore的jmx监控kylin的jmx监控loki的监控promtail的监控
doris
王一1995
·
2023-10-23 20:19
运维
#
linux
大数据
大数据
java
kafka
Doris
运维篇:Apache
Doris
如何定位处理问题的Tablet
我们在使用
Doris
的时候,有时候会遇到用户在查询的时候出现失败,出现类似下面这种错误:tablet=33903.2001738452.784560b62ce005b4-03d036e54a7ff7bb
张家锋
·
2023-10-23 16:22
高流量大并发Linux TCP
性能调优
本文参考文章为:优化Linux下的内核TCP参数来提高服务器负载能力LinuxTuning本文所面对的情况为:高并发数高延迟高丢包(典型的美国服务器)值得注意的是,因为openvz的VPS权限比较低,能够修改的地方比较少,所以使用openvz的VPS作VPN服务器是非常不推荐的。我们通过修改/etc/sysctl.conf来达到调整的目的,注意修改完以后记得使用:sysctl-p来使修改生效。首先
龙行天下之Sky
·
2023-10-23 09:31
学习点滴
性能
tcp
服务器
linux
高流量大并发Linux TCP
性能调优
其实主要是手里面的跑open服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文参考文章为:优化Linux下的内核TCP参数来提高服务器负载能力LinuxTuning本文所面对的情况为:高并发数高延迟高丢包(典型的美国服务器)值得注意的是,因为openvz的VPS权限比较低,能够修改的地方比较少,所
phymat.nico
·
2023-10-23 09:01
高流量大并发Linux TCP
性能调优
(转)
其实主要是手里面的跑open服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文参考文章为:优化Linux下的内核TCP参数来提高服务器负载能力LinuxTuning本文所面对的情况为:高并发数高延迟高丢包(典型的美国服务器)值得注意的是,因为openvz的VPS权限比较低,能够修改的地方比较少,所
h1234
·
2023-10-23 09:00
运维
系统优化
linux
tcp
优化
TCP
性能调优
实战
前言TCP性能的提升不仅考察TCP的理论知识,还考察了对于操作系统提供的内核参数的理解与应用。TCP协议是由操作系统实现,所以操作系统提供了不少调节TCP的参数。LinuxTCP参数如何正确有效的使用这些参数,来提高TCP性能是一个不那么简单事情。我们需要针对TCP每个阶段的问题来对症下药,而不是病急乱投医。接下来,将以三个角度来阐述提升TCP的策略,分别是:TCP三次握手的性能提升;TCP四次挥
Xinx9826
·
2023-10-23 09:59
网络编程
网络
tcp
【无标题】高流量大并发Linux TCP
性能调优
最近在使用jmeter做压测,当jmeter的并发量高的时候发现jmeter服务器一直报错Cannotassignrequestedaddress,查看了一下发现系统中存在大量处于TIME_WAIT状态的tcp端口netstat-n|awk‘/^tcp/{++S[$NF]}END{for(ainS)printa,S[a]}’TIME_WAIT50013ESTABLISHED27SYN_RECV1在
weixin_45093753
·
2023-10-23 09:56
linux
tcp/ip
运维
【大数据 -
Doris
实践】数据表的基本使用(四):动态分区
数据表的基本使用(四):动态分区1.原理2.使用方式3.动态分区规则参数3.1主要参数3.2创建历史分区的参数3.3创建历史分区规则3.4创建历史分区举例3.5注意事项4.示例4.1创建动态分区表4.2查看动态分区表调度情况4.3查看表的分区4.4插入测试数据4.5设置创建历史分区4.6动态分区表与手动分区表相互转换4.6.1手动分区转换为动态分区4.6.2动态分区转换为手动分区动态分区是在Dor
G皮T
·
2023-10-23 07:21
#
Doris
大数据
Doris
数据同步
数据仓库
动态分区
分区
Doris
的12天减肥日记-第4天
加油
Doris
一步一步慢慢来比较快图片发自App
Dorisyoung
·
2023-10-23 05:35
如何将PyTorch模型迁移到昇腾平台
首先,我们了解下模型迁移的全流程:通过上图可以看出,模型迁移包括“脚本迁移–>模型训练–>精度调优–>
性能调优
–>模型固化”几个流程,其中:“脚本迁移”是对PyTorch训练脚本进行少量修改,使其可以运行在昇腾
昇腾CANN
·
2023-10-22 13:51
pytorch
深度学习
人工智能
昇腾CANN
迁移学习
【大数据 -
Doris
实践】数据表的基本使用(三):数据模型
数据模型1.Aggregate模型1.1例一:导入数据聚合1.2例二:保留明细数据1.3例三:导入数据与已有数据聚合2.Uniq模型3.Duplicate模型4.数据模型的选择建议5.聚合模型的局限性
Doris
G皮T
·
2023-10-22 10:15
#
Doris
大数据
Doris
数据模型
Aggregate
Unique
Duplicate
数据仓库
linux性能分析(四)如何学习linux性能优化
-->真正站在巨人的'肩膀'上
性能调优
的'目的':不影响'系统稳定性'的资源'最大'利用化补充:性能分析不能'脱离环境'侃侃而谈,了解基本的'性能基线'切记:千万不要把性能'工具'当成学习的'全部',应消除干扰
wzj_110
·
2023-10-22 06:36
Linux性能分析
如何学习linux性能优化
springboot 链接
doris
配置
org.springframework.bootspring-boot-starter-data-jpaorg.springframework.bootspring-boot-starter-web在application.properties或application.yml文件中配置
Doris
贾宝玉的贾
·
2023-10-22 03:18
spring
boot
java
后端
doris
JVM与
性能调优
性能测试在了解
性能调优
之前,首先得知道什么是性能测试,我们的程序怎样的性能表现才需要进行
性能调优
一、性能测试概念1.概念用最低的资源换取最高的处理能力和低的响应时间,在一定环境下做性能需求2.问题:环境很难真实需求一般很模糊
crossyf
·
2023-10-22 03:51
【面试必备】springboot配置redis持久化
性能调优
影响MySQLServer性能的相关因素商业需求对性能的影响系统架构及实现对性能的影响Query语句对系统性能的影响Schema设计对系统的性能影响硬件环境对系统性能的影响MySQL数据库锁定机制
jixuczy
·
2023-10-21 15:50
程序员
java
经验分享
面试
Redis基础与
性能调优
Redis是一个开源的,基于内存的结构化数据存储媒介,可以作为数据库、缓存服务或消息服务使用。Redis支持多种数据结构,包括字符串、哈希表、链表、集合、有序集合、位图、Hyperloglogs等。Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力,并且支持副本集和通过RedisSentinel实现的高可用方案,同时还支持通过RedisCluster实现的数据自动分片能力。Redi
Mlxg2234
·
2023-10-21 15:50
Redis 高级特性与
性能调优
一、数据持久化Redis提供了将数据定期自动持久化至硬盘的能力,包括RDB和AOF两种方案,两种方案分别有其长处和短板,可以配合起来同时运行,确保数据的稳定性。1、必须使用数据持久化吗?Redis的数据持久化机制是可以关闭的。如果你只把Redis作为缓存服务使用,Redis中存储的所有数据都不是该数据的主体而仅仅是同步过来的备份,那么可以关闭Redis的数据持久化机制。但通常来说,仍然建议至少开启
7*24 工作者
·
2023-10-21 15:50
缓存和nosql数据库知识
redis
性能调优
OpenJDK 提案将为 Java 带来通用泛型
3、推荐一款可视化配置Nginx的神器4、一款
性能调优
利器—火焰图5、Redis实现限流的三种方式Infoworld消息指出,根据OpenJDK提案,Java将获得通用泛型(universalgenerics
Java之间
·
2023-10-21 14:25
java
python
编程语言
大数据
spring
一文了解mysql的并发控制原理
所以所以掌握Mysql的一些底层原理有助于我们更好地理解Mysql,对Mysql进行
性能调优
,从而开发高性能的后端服务。
爱喝马黛茶的安东尼
·
2023-10-21 08:23
Oracle
性能调优
实践中的几点心得
很多的时侯,做OracleDBA的我们,当应用管理员向我们通告现在应用很慢、数据库很慢的时侯,我们到数据库时做几个示例的Select也发现同样的问题时,有些时侯我们会无从下手,因为我们认为数据库的各种命种率都是满足Oracle文档的建议。实际上如今的优化己经向优化等待(waits)转型了,实际中性能优化最根本的出现点也都集中在IO,这是影响性能最主要的方面,由系统中的等待去发现Oracle库中的不
小小哭包
·
2023-10-21 08:06
数据库
Oracle性能调优
Oracle性能优化
Mysql 中的
性能调优
方法
Mysql
性能调优
方法可以从四个方面来说,分别是:表结构与索引SQL语句优化Mysql参数优化硬件及系统配置这四个方面的优化成本和优化效果是成反比的。
无语堵上西楼
·
2023-10-21 00:32
mysql面试题
mysql
数据库
Android
性能调优
工具Hugo
在进行Android
性能调优
、减少应用卡顿时,寻找可优化的code是一个必要的过程。
夜空中的风褛
·
2023-10-20 07:33
Apache Flink X Apache
Doris
构建极速易用的实时数仓架构
摘要:本文整理自SelectDB资深大数据研发专家王磊,在FFA2022实时湖仓专场的分享。本篇内容主要分为四个部分:实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上,分析一下传统的数据架构。从图中可以看到,数据分为实时数据流和离线数据流。在实时数据部分,通过Binlo
Apache Flink
·
2023-10-20 00:33
Flink
大数据
实时计算
apache
flink
架构
大数据
hadoop
Apache
Doris
&& Kafka
KafkaKafka入门到精通。Kafka硬件配置选择Kafka生产者KafkaBrokerKafka消费者Kafka总体针对Kafka3.0.0Kafka传统定义:分布式的基于发布订阅的消息队列MessageQueue。主要应用于大数据实时处理领域。最新的定义:新的开源的分布式事件流平台EventStreamingPlatform。用于数据管道流分析数据集成和关键任务的应用。消息队列应用场景:缓
wqy19941008
·
2023-10-20 00:03
学习总结
kafka
java
分布式
Apache
Doris
使用总结
前提:已有多年大数据经验,熟悉多种架构,与其他框架类比后总结的
doris
一些特性,新手勿入1.
Doris
基础学习中文官网:https://
doris
.apache.org/zh-CN/docs/dev/
这个程序猿可太秀了
·
2023-10-20 00:32
大数据
大数据
doris
Apache
Doris
入门教程05:数据模型
数据模型本文主要从逻辑层面,描述
Doris
的数据模型,以帮助用户更好的使用
Doris
应对不同的业务场景。基本概念在
Doris
中,数据以表(Table)的形式进行逻辑上的描述。
sunjian286
·
2023-10-20 00:01
apache
数据库
大数据
数据仓库
sql
Apache
Doris
(四十四):
Doris
数据更新与删除 - Delete 数据删除
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道
·
2023-10-20 00:59
大数据OLAP体系技术栈
Apache
Doris
doris
Apache
Doris
(二十五):
Doris
数据导入(三)Broker Load-1
ApacheDoris架构中除了有BE和FE进程之外,还可以部署Broker可选进程,主要用于支持
Doris
读写远端存储上的文件和目录。例如:ApacheHDF
IT贫道
·
2023-10-20 00:28
大数据OLAP体系技术栈
doris
实时数仓
olap
大数据
数据仓库
分布式数据库
Apache
Doris
(十二) :数据存储模型之Unique数据存储模型
目录1.读时合并2.写时合并进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容!在某些多维分析场景下,用户更关注的是如何保证Key的唯一性,即如何获得PrimaryKey唯一性约束。因此,我们引入了Unique数据模型,该模型可以根据相同的PrimaryKey来保留后插入的数据,确保数据的唯一
IT贫道
·
2023-10-20 00:58
Apache
Doris
大数据OLAP体系技术栈
sql
database
大数据
数据仓库
etl
apache
Apache
Doris
(十九) :
Doris
Properties 配置项及Engine选择
目录一、Properties配置项二、关于ENGINE进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容!一、Properties配置项在创建表时,可以指定properties设置表属性,目前支持以下属性:
IT贫道
·
2023-10-20 00:58
Apache
Doris
大数据OLAP体系技术栈
sql
database
数据库
大数据
数据仓库
apache
Apache
Doris
02|导入数据遇到的问题
1、brokerload数据导入失败loadlabelexample_db.stuscore(datainfile("hdfs://devtest4.com:50070/tmp/testdata/stuscore.txt")intotablestuscore)withbroker'broker_name'("username"="root","password"="");查看数据导入状态。show
爱吃鱼的荔果果
·
2023-10-20 00:55
Doris
Apache
Doris
ODBC外表之Postgresql使用指南
今天是2022年阳历新年第一天,祝大家元旦快乐,这也是2022年第一篇文章,后续会给大家带来更多关于
Doris
的文章,同时也希望
Doris
2022年起飞,顺利从Apache孵化器毕业成顶级项目,给大家带来更快
hf200012
·
2023-10-20 00:25
Doris
postgresql
ubuntu
doris
Apache
doris
1.2.0 release
亲爱的社区小伙伴们,再一次经历数月的等候后,我们很高兴地宣布,ApacheDoris于2022年12月7日迎来1.2.0Release版本的正式发布!有近118位Contributor为ApacheDoris提交了超2400项优化和修复,感谢每一位让ApacheDoris更好的你!自从社区正式确立LTS版本管理机制后,在1.1.x系列版本中不再合入大的功能,仅提供问题修复和稳定性改进,力求满足更多
hf200012
·
2023-10-20 00:25
Doris
apache
java
数据库
apache
doris
doris
Apache
Doris
Routine Load数据导入使用方法
ApacheDoris代码仓库地址:apache/incubator-
doris
欢迎大家关注加星1.概要Routineload功能为用户提供了一种自动从指定数据源进行数据导入的功能。
hf200012
·
2023-10-20 00:24
Doris
kafka
big
data
Apache
Doris
基础
FE又分为Leader、Follwer和Observer三种角色,默认一个
Doris
集群中只能有一个Leader,可以有多个Follwer和Observer。
Devops_Andre
·
2023-10-20 00:23
apache
大数据
数据仓库
Apache
Doris
(四十五):
Doris
数据更新与删除 - Sequence 列
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.基本原理
IT贫道
·
2023-10-20 00:22
大数据OLAP体系技术栈
Apache
Doris
doris
【13-JVM面试专题-JVM调优经验-JVM调优常用命令-G1调优策略-JVM性能优化指南-JVM
性能调优
的工具】
JVM调优经验-JVM调优常用命令-G1调优策略-JVM性能优化指南-JVM
性能调优
的工具JVM调优经验-JVM调优常用命令-G1调优策略-JVM性能优化指南-JVM
性能调优
的工具?你掌握的怎么样呢?
硕风和炜
·
2023-10-19 10:53
JVM
jvm
面试
JVM调优常用命令
JVM性能调优工具
java
服务日志
性能调优
,由log引出的巨坑
只有被线上服务问题毒打过的人才明白日志有多重要!谁赞成,谁反对?如果你深有同感,那恭喜你是个社会人了:)日志对程序的重要性不言而喻,轻巧、简单、无需费脑,程序代码中随处可见,帮助我们排查定位一个有一个问题问题。但看似不起眼的日志,却隐藏着各式各样的“坑”,如果使用不当,不仅不能帮助我们,反而会成为服务“杀手”。本文主要介绍生产环境日志使用不当导致的“坑”及避坑指北,高并发系统下尤为明显。同时提供一
测试界的世清
·
2023-10-19 10:01
软件测试
技术分享
软件测试
自动化测试
技术分享
PostgreSQL
性能调优
postgresql.conf参数调优
PostgreSQL
性能调优
postgresql.conf参数调优调整硬件配置1.存储器1)OLAP(联机分析处理)2)OLTP(联机事务处理)2.内存容量3.CPU速度数据库参数调整1.连接数2.内存相关参数
ac.char
·
2023-10-19 06:30
PostgreSQL
postgresql
PostgreSQL/pgsql数据库优化查询和索引的猜想
此文是我做为日记来用的,后面再规范和整理1、索引太多会影响Insert、Update;2、索引太少不利于
性能调优
;3、数据结构分析、SQL拼写的分析如果太复杂,又不利于实际的开发工作;故,是否可以这样:
天马座的流星拳
·
2023-10-19 06:59
#
PostgreSQL
数据库
postgresql
database
pgsql
PostgreSQL
性能调优
:优化查询和索引设计
本文将介绍如何在PostgreSQL中进行
性能调优
,重点关注优化查询和索引设计两个重要方面。1.查询性能优化1.1使用合适的查询语句合适的查询语句是保证高效数据检索
PGCCC
·
2023-10-19 06:24
postgresql
数据库
Doris
对接消费kafka数据方案实现
本篇主要讲述消费kafka中的数据同步到
Doris
中。
HD0do(迪答数据)
·
2023-10-19 04:44
Doris
数据仓库
实时大数据
abap代码优化和
性能调优
工具
select/endselect与loop类似是循环(一个是对数据库表,一个是对内表)select*效率低于select字段1字段2...select主键1主键2主键3非主键4效率高于select主键1主键2非主键4.intotable内表效率高于intocorrespondingfieldsoftable内表(intotable内表要注意内表的结构字段顺序)表中取值语句的where条件条件中单值
学习 来了来了
·
2023-10-19 04:39
abap
数据库
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他