mysql同步doris

Doris BE节点上安装ODBC

一.安装UnixODBC用yum安装OBDCyuminstallunixODBCunixODBC-devellibtool-ltdllibtool-ltdl-devel或者下载安装（不推荐）下载路径：ftp://ftp.unixodbc.org/pub/unixODBC/unixODBC_2.3.9_Solaris.tgz2.1将unixODBC-2.3.9.tar.gz放到/root目录2.2解
JasonGofen·2023-02-17 13:13

Day 007 2组阿德doris+《如何有效阅读一本书》读书笔记

阅读时间：23:00阅读内容：如何有效阅读一本书明天就要开启第二本书的阅读了。对于我这样，已经很久没有读书，基本没写过读书笔记的人来说，我很庆幸自己参加了若辰老师的读书营，可以和很多同频的小伙伴一起学会阅读，爱上阅读。在这本书读完之后，我明白了几个关于的道理，也是我在阅读的时候要学会的点第一，我们每个人都应该有只属于自己的阅读方法，无论是碎片阅读，主题阅读或是其他，只要能从阅读中收获知识就都是好方
阿德doris·2023-02-17 01:29

MPP架构、常见OLAP引擎分析

SMP2、NUMA3、MPP二、批处理架构和MPP架构三、MPP架构的OLAP引擎1）只负责计算，不负责存储的引擎1、Impala2、Presto2）既负责计算，又负责存储的引擎1、ClickHouse2、Doris3
jerry-89·2023-02-16 20:56

Apache Doris 1.2.2 Release 版本正式发布

亲爱的社区小伙伴们，我们很高兴地宣布，ApacheDoris于2023年2月15日迎来1.2.2Release版本的正式发布！在新版本中，ApacheDoris团队修复了自1.2.1版本发布以来超过200个问题或性能改进项。同时，1.2.2版本作为1.2LTS的迭代版本，具备更高的稳定性，建议用户升级到这个版本。GitHub下载：https://github.com/apache/dor...官网
·2023-02-16 20:58

SelectDB 五位开发者成为 Apache Doris 新晋 PMC 成员和 Committer！

近期，通过ApacheDoris项目管理委员会的推荐与投票，ApacheDoris社区正式迎来了2位新晋PMC成员和8位新晋Committer的加入。值得关注的是，2位新晋PMC成员均来自SelectDB，分别是衣国垒（yiguolei）、杨勇强（dataroaring），8位新晋Committer中有3位来自SelectDB，分别是张晨（zhannngchen）、李驰（starocean999）
·2023-02-16 20:56

架构师训练营第6周作业

2.针对Doris案例，请用UML时序图描述Doris临时失效的处理过程（包括判断系统进入临时失效状态，临时失效中的读写过程，失效恢复过程）。
丿追灬·2023-02-06 17:56

D75 2组阿德doris+《活出生命的意义》读书笔记

人的生命是短暂的，在这短暂的生命中，我们怎么样才能找到生命的意义呢？作者提出了三种途径：1、创造或从事某种工作2、经历某种事情或者面对某个人3、即使处于绝境的无助受害人，面对无法改变的厄运，仍能自我超越，并且以此改变自己。他能够将个人悲剧转化为胜利人在工作中很容易找到属于自己的地位和能做的事，这样也就不会认为自己没用。当人处在被爱中，他就会感觉到自己是被人需要的，他人的存在和爱帮助他找到自己的意义
阿德doris·2023-02-03 01:35

实时分析全面赋能金融业务，马上消费基于 Apache Doris 构建实时数仓的实践

导读：近年来，马上消费的业务体量呈飞跃式增长，每天产生数据可达上千亿条，如何更高效挖掘这些数据的价值，成为了其必须要面临的挑战。随着各业务对实时数据分析的需求越来越强烈，马上消费于2021年引入ApacheDoris构建实时数仓，目前已服务10+业务团队的数据应用，99%以上的查询响应耗时在5秒内，数据时效延迟均不超过1分钟，解决了其对于实时数据分析的强烈诉求，最终效果得到各业务部门的认可与肯定。
·2023-02-02 16:53

Doris-集成其他系统（四）

目录0、准备1、Spark读写Doris1.1准备Spark环境1.2使用SparkDorisConnector1.2.1SQL方式读写数据1.2.2DataFrame方式读写数据（batch）1.2.3RDD
有语忆语·2023-02-02 12:40

mysql同步数据到redis-全量同步

迁移前的数据建表语句createtablecompany(idbigintauto_incrementprimarykey,namevarchar(32),sdatetimestamp,emailvarchar(64),domainvarchar(128),cityvarchar(64))engine=InnoDB插入示例语句insertintocompany(name,sdate,email,d
捞月亮的阿汤哥·2023-02-02 10:58

Doris开发手记1：解决蛋疼的MySQL 8.0连接问题

笔者作为ApacheDoris的开发者，平时感觉相关Doris的文章写的很少。主要是很多时候不知道应该去记录一些怎么样的问题，感觉写的不好就会很慌张。
LeeHappen·2023-02-02 09:47

2020-05-15

Doris莹丘丘职业占星师水晶疗愈师灵气疗愈师成长型占星师，注重通过星盘分析找到每个人的成长路径，让我们更好落地到当下，关注自己，热爱生活。
莹丘丘的记录课堂·2023-02-02 01:41

flink cdc 整合 数据湖hudi 同步 hive

flinkcdc2.0实例3.flink需要的jar包需要的包：flink-connector-mysql-cdc-2.0.2.jar-rw-r--r--1rootroot78023992月1600:36doris-flink
wudl·2023-01-31 12:30

Apache Doris ODBC外表数据库主流版本及其ODBC版本对应关系

1.PostgreSQL以下是PostgreSQL数据库版本和PostgreSQLODBC驱动版本和ApacheDoris版本适配没问题列表PostgreSQL版本PostgreSQLODBC版本12.9postgresql12-odbc-13.02.000013.5postgresql13-odbc-13.02.000014.1postgresql14-odbc-13.02.00009.6.24
张家锋·2023-01-30 13:17

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

社区贡献：Doris-spark-connector的实时读写和优化。
张家锋·2023-01-30 06:45

Day4+8组+83号Doris周《学习力》

☞旧知早起一睁眼，就习惯性的用手摸手机，然后闭着眼睛开机，算着差不多时间也该开机了，然后睡眼朦胧的输密码，打开微信，看看有什么新消息了？看看朋友圈里发生了什么新鲜事？接着是铺天盖地的资讯，八卦迎面而来，就这样揉着干涩的眼睛，晕乎乎的起床了。不知道自己是从什么时候开始这样做的，尽管现在由于特殊原因，已经比以前收敛好多，可还是不由自主的拿起手机，浏览一会儿，然后又不情愿的放下。一日之计在于晨，大把的晨
木词·2023-01-29 19:06

Apache Doris 通过ODBC连接SQL Server

1.系统环境CentOS7.7.19082.安装包unixODBC：2.3.9freetds：1.2.213.部署步骤3.1安装unixODBC（源码安装)下载最新的unixODBC源码包，下载url：http://www.unixodbc.org，放置目录下，如：/usr/local，然后执行以下命令：#tarzxvfunixODBC-2.3.9.tar.gz#cdunixODBC-2.3.9/
张家锋·2023-01-27 04:52

Doris 运维篇：Apache Doris tablet错误问题实操案例（一）

因为之前是正常的，我们首先想到的是不是OOM了，我通过下面的命令查看：dmesg-T然后就看到了下面的信息Memorycgroupoutofmemory:Killprocess7187(doris_be
张家锋·2023-01-25 21:30

Doris Summit 2022 主论坛议程介绍｜即刻报名

DorisSummit2022将于1月6-7日在线上正式举办，本次峰会共分2天进行，首日上午为主论坛：核心技术解析，下午为商业与数据生态分论坛，7日全天为行业用户最佳实践案例。大会汇聚了来自全球顶尖云厂商、一线互联网企业、明星创业公司以及开源领域的众多资深技术专家，旨在探讨和洞悉ApacheDoris最新技术趋势、行业最佳实践、以及数据上下游生态应用。其中在首日的主论坛上，来自Apache基金会、
·2023-01-19 15:04

Doris Summit 2022 拉开序幕，立即报名年度技术盛会！

数据是数字经济时代的基础性资源和战略性资源，也是重要的生产力。在数字转型中，大多数企业在转型中面临的最大挑战往往都与“数据”息息相关，比如数据的质量不高、数据孤岛严重、数据难以迁移，原架构冗余、资源投入限制等问题，导致数据的实时性、准确性无法得到保证，数据分析复杂度、难度较高，数据价值难以有效挖掘。而ApacheDoris作为业界最流行的实时分析型数据库之一，自开源伊始的目标就是帮助更多人解决数据
·2023-01-19 15:04

Tapdata Cloud 场景通关系列：数据入湖仓之 MySQL → Doris，极简架构，更实时、更简便

【前言】作为中国的“Fivetran/Airbyte”,TapdataCloud自去年发布云版公测以来，吸引了近万名用户的注册使用。应社区用户上生产系统的要求，TapdataCloud3.0将正式推出商业版服务，提供对生产系统的SLA支撑。Tapdata目前专注在实时数据同步和集成领域，核心场景包括以下几大类：引用实时数据库同步，如Oracle→Oracle,Oracle→MySQL,MySQL→
·2023-01-14 21:27

张文歆：思维需碰撞，才有更大的“火花”｜对话 Doris

「对话Doris」是SelectDB推出的系列专访栏目，本栏目将对ApacheDoris社区优秀开发者进行访谈，希望通过他们在社区的成长经历，传递出对开源的态度、参与开源方法论以及实践经验，让开发者更加了解开源
·2023-01-12 09:04

Doris或StarRocks Jmeter压测

每个线程执行不同的where条件，通过csv文件实现）2.实现固定并发数执行几分钟（如果只是固定并发数执行一次，压测是不合格的，QPS是达不到你设置的并发数）整个测试涉及到的大概这么多1.JmeterJDBC连接Doris
me凡·2023-01-10 21:43

apache Doris和StarRocks创建Hive外部表

StarRocks和Doris创建外部表不同StarRocksHive外表创建Hive资源StarRocks使用Hive资源来管理使用到的Hive集群相关配置，如HiveMetastore地址等，一个Hive
贾斯汀玛尔斯·2023-01-10 21:43

OLAP工具Doris或StarRocks的数据迁移

需求将旧环境starrocks数据迁移到新环境备份恢复相关的操作目前只允许拥有ADMIN权限的用户执行。一个Database内，只允许有一个正在执行的备份或恢复作业。备份和恢复都支持最小分区（Partition）级别的操作，当表的数据量很大时，建议按分区分别执行，以降低失败重试的代价。因为备份恢复操作，操作的都是实际的数据文件。所以当一个表的分片过多，或者一个分片有过多的小版本时，可能即使总数据量
贾斯汀玛尔斯·2023-01-10 21:43

Apache Doris和StarRocks的行转列方案

ApacheDoris列转行LateralViewdescriptionLateralview语法可以搭配TableFunction，完成将一行数据扩展成多行（列转行）的需求。语法：...FROMtable_namelateral_view_ref[lateral_view_ref...]lateral_view_ref:LATERALVIEWtable_function(...)view_ali
贾斯汀玛尔斯·2023-01-10 21:43

Apache Doris 技术调研

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据技术体系PPT下载ApacheDoris技术调研PPTWHATApacheDoris是一个基于MPP架构的高性能实时分析OLAP引擎，以其极快的速度和易用性而闻名。它只需要亚秒的响应时间即可在海量数据下返回查询结果，并且不仅可以支持高并发点查询场景，还可
Shockang·2023-01-10 21:42

StarRocks|Doris业内工程实践整理

1、理想汽车xStarRocks：为Hive数据查询插上极速之翼！https://www.modb.pro/db/3948982、阿里云强力贡献：如何让StarRocks做到极速数据湖分析https://www.modb.pro/db/3943353、众安保险xStarRocks|全新实时分析能力开启数字化经营新局面https://www.modb.pro/db/3912944、从ClickHou
Haven.Liu·2023-01-10 21:11

Doris Summit 2022 拉开序幕，立即报名年度技术盛会！

数据是数字经济时代的基础性资源和战略性资源，也是重要的生产力。在数字转型中，大多数企业在转型中面临的最大挑战往往都与“数据”息息相关，比如数据的质量不高、数据孤岛严重、数据难以迁移，原架构冗余、资源投入限制等问题，导致数据的实时性、准确性无法得到保证，数据分析复杂度、难度较高，数据价值难以有效挖掘。而ApacheDoris作为业界最流行的实时分析型数据库之一，自开源伊始的目标就是帮助更多人解决数据
SelectDB技术团队·2023-01-10 12:53

万亿数据秒级响应，Apache Doris 在360 数科实时数仓中的应用

作者｜360数科中间件团队编辑整理｜SelectDB作为以人工智能驱动的金融科技平台，360数科携手金融合作伙伴，为尚未享受到普惠金融服务的优质用户提供个性化的互联网消费金融产品，致力于成为连接用户与金融合作伙伴的科技平台。360数科旗下产品主要有360借条、360小微贷、360分期等，截止目前，已累计帮助141家金融机构为4300万用户提供授信服务、为2630万用户提供借款服务、单季促成交易金额
SelectDB技术团队·2023-01-10 12:23

Apache Doris 在小米亿级用户行为分析平台的实践｜最佳实践

导读：过去3年时间里，ApacheDoris已经在小米内部得到了广泛的应用，支持了集团数据看板、广告投放/广告BI、新零售、用户行为分析、A/B实验平台、天星数科、小米有品、用户画像、小米造车等小米内部数十个业务，并且在小米内部形成了一套以ApacheDoris为核心的数据生态。本文将为大家分享小米用户行为分析平台基于ApacheDoris向量化版本的改造实践，包括数据存储架构和查询服务架构的演进
SelectDB技术团队·2023-01-10 12:23

Apache Doris 1.2.1 Release 版本正式发布｜版本通告

GitHub下载：https://github.com/apache/doris/r
SelectDB技术团队·2023-01-10 12:23

node mysql同步_什么!？nodejs 实现同步网络请求？

node.js以异步方式、事件队列为标准，基本每一套与网络、IO相关的API都会设计成异步的。如，一段很平常的请求代码，用node.js只能用异步方式。consthttps=require('https');https.get("https://nodejs.org/api/https.html",res=>res.pipe(process.stdout))异步方式不会阻塞进程，充分利用CPU。但
江南好风光·2023-01-10 06:51

使用Prometheus和Grafana监控Apache Doris

目录1.介绍2.Prometheus和Grafana的简单使用3.配置Prometheus的prometheus.yml4.下载DorisDashboard模板1.介绍Doris的FE和BE通过http
Bulut0907·2023-01-07 20:50

Doris Summit 2022 正式启航，演讲议题开启征集

作为2022年新晋Apache顶级项目，ApacheDoris在过去数年的飞速发展有目共睹。社区聚集了来自不同行业百余家企业的近500名贡献者，成长为全球数据库和大数据领域最为活跃的开源社区之一，开始代表中国开源力量在全球舞台上闪耀。与此同时，以极速、易用、实时、统一的湖仓分析引擎为定位，ApacheDoris助力了全球范围内上千家用户构建高效的数据分析平台和服务、成为业务决策效率取得卓越提升的重
·2023-01-06 15:49

Doris Summit 2022 拉开序幕，立即报名年度技术盛会！

数据是数字经济时代的基础性资源和战略性资源，也是重要的生产力。在数字转型中，大多数企业在转型中面临的最大挑战往往都与“数据”息息相关，比如数据的质量不高、数据孤岛严重、数据难以迁移，原架构冗余、资源投入限制等问题，导致数据的实时性、准确性无法得到保证，数据分析复杂度、难度较高，数据价值难以有效挖掘。而ApacheDoris作为业界最流行的实时分析型数据库之一，自开源伊始的目标就是帮助更多人解决数据
·2023-01-05 15:09

Apache Doris Join 实现与调优实践｜未来源码

推荐语：SQL的支持力度和粒度，已经作为今天所有大数据计算引擎的重要衡量标准之一，而SQL的所有操作，可以分为简单操作（如where、limit等filter操作）和复杂操作（groupby、join等聚合操作），而join操作又是其中最复杂、代价最大的操作类型，是大部分业务场景的性能瓶颈所在，所以，今天我们基于dorissql，来简要的聊一下SQL所支持的几种常见的join算法以及其适用场景，管
·2023-01-05 15:08

Apache Doris 1.2.1 Release 版本正式发布｜版本通告

亲爱的社区小伙伴们，我们很高兴地宣布，ApacheDoris于2023年1月4日迎来1.2.1Release版本的正式发布！在新版本中，ApacheDoris团队修复了自1.2.0版本发布以来约200个问题或性能改进项。同时，1.2.1版本作为1.2LTS的第一个迭代版本，具备更高的稳定性，建议用户升级到这个版本。GitHub下载：https://github.com/apache/dor...官
·2023-01-04 17:26

部署doris集群，详细步骤

可以从百度下载：Palo文档PALO-预编译版本下载|Doris(baidu.com)也可以从doris官网下载（推荐）：Download-ApacheDoris我是从doris官网下载的1.1.5版本
@anSon_·2023-01-04 09:32

复杂查询响应速度提升10+倍，度言软件基于 Apache Doris 实时数仓建设实践

作者|杭州度言软件大数据团队杭州度言软件有限公司（度言软件）成立于2014年，是信贷不良资产处置技术服务供应商，以“智能科技赋能不良资产处置，推动贷后行业合规高效发展”为使命，运用云通讯、大数据、人工智能等智能科技为信贷不良资产处置业务赋能，提供贷后管理通信能力支撑，实现了催收作业的智能化管理，客户群体为银行、消费金融公司、AMC等金融机构和为这些机构提供人力资源外包服务的相关公司，目前已拥有20
·2023-01-03 19:47

CloudCanal对Online DDL 工具 GH-OST 和 PT-OSC 的支持

本文以MySQL->MySQL同步链路使用GH-OST为例，介绍CloudCanal是如何支持实时同步GH-OST产生的DDL的。
·2022-12-30 10:23

实时写入场景的用户痛点

实时写入场景的用户痛点SQL开发工作量大对于一些还没有完成数仓建设的新业务，或是刚刚开始依托StarRocks进行OLAP平台建设的用户而言，在StarRocks中建表以承载Mysql同步过来的数据是第一步
feidodo网络·2022-12-30 05:13

数据导入实践和调优

大数据平台自助导入任务工作流适配了DorisBrokerLoad导入方式，数据开发零代码——通过简单的勾选配置即可完成自助的Doris数据导入工作流创建。
feidodo网络·2022-12-30 05:43

数据库 Apache Doris 展开了为期两个月的调研测试

2022年3月开始，我们对符合以上特点的数据库ApacheDoris展开了为期两个月的调研测试。以下是ApacheDoris1.1.2在各个方面的满足情况。基于上述情况，我们决定采用ApacheDoris，除了可以满足上文提到的几个特点，我们还考虑以下几个方面：Clickhouse由于Join查询限制、函数局限性、数据模型局限性（只插入，不更新）、以及可维护性较差等原因，更适合日志存储以及保留当前
feidodo网络·2022-12-30 05:42

Apache Doris 在小米亿级用户行为分析平台的实践｜最佳实践

导读：过去3年时间里，ApacheDoris已经在小米内部得到了广泛的应用，支持了集团数据看板、广告投放/广告BI、新零售、用户行为分析、A/B实验平台、天星数科、小米有品、用户画像、小米造车等小米内部数十个业务，并且在小米内部形成了一套以ApacheDoris为核心的数据生态。本文将为大家分享小米用户行为分析平台基于ApacheDoris向量化版本的改造实践，包括数据存储架构和查询服务架构的演进
·2022-12-29 19:56

Go语言题解LeetCode599两个列表的最小索引总和

目录题目描述思路分析AC代码题目描述599.两个列表的最小索引总和假设Andy和Doris想在晚餐时选择一家餐厅，并且他们都有一个表示最喜爱餐厅的列表，每个餐厅的名字用字符串表示。
·2022-12-29 06:25

复杂查询响应速度提升10+倍，度言软件基于 Apache Doris 实时数仓建设实践

作者|杭州度言软件大数据团队杭州度言软件有限公司（度言软件）成立于2014年，是信贷不良资产处置技术服务供应商，以“智能科技赋能不良资产处置，推动贷后行业合规高效发展”为使命，运用云通讯、大数据、人工智能等智能科技为信贷不良资产处置业务赋能，提供贷后管理通信能力支撑，实现了催收作业的智能化管理，客户群体为银行、消费金融公司、AMC等金融机构和为这些机构提供人力资源外包服务的相关公司，目前已拥有20
·2022-12-27 19:35

Doris Summit 2022 主论坛议程介绍｜即刻报名

DorisSummit2022将于1月6-7日在线上正式举办，本次峰会共分2天进行，首日上午为主论坛：核心技术解析，下午为商业与数据生态分论坛，7日全天为行业用户最佳实践案例。大会汇聚了来自全球顶尖云厂商、一线互联网企业、明星创业公司以及开源领域的众多资深技术专家，旨在探讨和洞悉ApacheDoris最新技术趋势、行业最佳实践、以及数据上下游生态应用。其中在首日的主论坛上，来自Apache基金会、
·2022-12-26 18:34

Doris 1.1.2版本部署

Doris1.1.2版本部署1Doris整体架构介绍2环境分配3前置条件4FE部署5BE部署6检查部署情况1Doris整体架构介绍Doris架构非常简单,只有两类进程。
浅谈_·2022-12-24 09:57

查看从库mysql同步错误日志_MySQL主从库--同步异常

查看主库运行状态--查看主库运行状态mysql>showmasterstatus\G***************************1.row***************************File:mysql-bin.000012Position:439767167Binlog_Do_DB:xxx_dbBinlog_Ignore_DB:information_schema,mysql
波子Booz·2022-12-24 00:37
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他