mysql同步doris

怎么使用 Go 语言操作 Apache Doris

ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单
hf200012·2023-09-29 12:29

Zilliz@阿里云：大模型时代下Milvus Cloud向量数据库处理非结构化数据的最佳实践

为探讨这些问题，近日，阿里云联合Zilliz和Doris举办了一场以《大模型时代下的数据存储与分析》为主题的技术沙龙，其中，阿里云对象存储OSS上拥有海量的非结构化数据，Milvus（Zilliz）作为全球最有影响力的开源向量数据库项目
LCHub低代码社区·2023-09-29 09:18

Doris数据库简单语句整理

最近项目要用到Doris数据库，简单学习了下，觉得这个数据库挺好的，便简单的整理了下他的建表语句--所有表的新增，必须设置分桶--如果BE节点数量小于3，则需指定副本数小于等于BE节点数量replication_allocation
Java小学森·2023-09-28 12:56

各种数据库表名长度限制整理

ORACLE30GreenPlum40KINGBASEES63PostgreSql63Gbase63瀚高63OSCAR64MYSQL64HBASE64MariaDB64SQLSERVER128达梦128DB2128doris64OscarMPP64ClickHouse248
Java小学森·2023-09-28 12:51

MySQL同步错误1594

查资料：https://blog.51cto.com/wuwei5460/1552798按照文章描述步骤，记录如下：一、问题描述，提取关键信息Master_Log_File:mysql-bin.004018Relay_Log_File:mysql-relay-bin.000327Relay_Master_Log_File:mysql-bin.003986Last_Errno:1594Last_Er
蜗牛在北京·2023-09-28 10:02

怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据

Doris支持bitmap数据类型，在Flink计算场景中，可以结合FlinkdorisConnector对bitmap数据做计算。
hf200012·2023-09-28 06:35

使用Logstash同步Mysql到Easysearch

从MySQL同步数据到ES有多种方案，这次我们使用ELK技术栈中的Logstash来将数据从MySQL同步到Easysearch。方案前提MySQL表记录必须有主键，比如id字段。
·2023-09-27 15:18

Apache Doris 2.0 版本 FQDN 使用介绍

在介绍这个之前，我们知道Doris之前是不支持主机名称方式，只能使用IP地址，在实际使用中，有的用户因为网络重构或者设备迁移产生了IP地址变更，这个就会引发Doris集群数据不可用。
hf200012·2023-09-27 11:54

Apache Doris 行列转换可以这样玩

行列转换在做报表分析时还是经常会遇到的，今天就说一下如何实现行列转换吧。行列转换就是如下图所示两种展示形式的互相转换1.行转列我们来看一个简单的例子，我们要把下面这个表的数据，转换成图二的样式image-20230914151818953.png要转换的结果数据展示image-20230914152642915.png先看看建表语句：CREATETABLEtb_score_01(idINT(11)
hf200012·2023-09-27 11:22

MySQL同步Could not find first log file name in binary log index file错误

今天犯了个错误，在起一组备库并配置同步的时候出现了这个错误，按字面意思是在Server找不到Log文件，到Server看到确实有这个文件，某度搜索都是一古脑的Flushlogs，我试了不管用，最后经过检查是端口弄错了，连接到另一台服务器，所以才找不到Log，这个错误提示也有一点点误导我的感觉。
世宝宝·2023-09-27 10:32

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。在内容数仓搭建的过程中，我们的工作始终围绕降本增效为主要目的进行优化与迭代，希望在数据服务方面不断提升产品工具的开发与分析效率，同时在数仓架构方面能够有效减少架构成本与资源开销。在传统数据服务中，我们为业务分析师提供了多种数据服务，包括SQL查
·2023-09-26 19:55

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
·2023-09-26 19:55

Doris行权限入门实战

Doris行权限原理Doris支持了行级数据权限，当多租户模式使用的是共享表模式的情况下该功能能很方便的帮用户数实现行级权限控制。Doris的行级权限是通过安全策略(ROWPOLICY)实现的。
wangleigiser·2023-09-26 19:21

Doris权限设置Demo

Doris权限管控Demo如下：CREATEUSER'test'@'%'IDENTIFIEDBY'test';createdatabasetestdb;GRANTSELECT_PRIV,LOAD_PRIV
wangleigiser·2023-09-26 19:51

Java Stream Load写入数据到Doris

JavaStreamLoad写入数据到Dorisdemo如下：importorg.apache.commons.codec.binary.Base64;importorg.apache.http.HttpHeaders;importorg.apache.http.client.methods.CloseableHttpResponse;importorg.apache.http.client.me
wangleigiser·2023-09-26 19:47

【010】2022.12.27 周二 和big死磕的一天

下午的一些问题排查和解决也都还好，不过待到晚上开项目会，总结问题时，发现了一个spark写入doris后，时间字段对不上的问题，看了半天也没结果，感觉很诡异。
算法成瘾者·2023-09-26 09:27

doris错误信息Invalid range value format

错误信息ERROR1105(HY000):errCode=2,detailMessage=Invalidrangevalueformat：errCode=2,detailMessage=dateliteral[2017-03-01]isinvalid:errCode=2,detailMessage=Invaliddatetimevalue:2017-03-01mysql>createtablema
程裕强·2023-09-26 07:57

Flink CDC MySQL同步MySQL错误记录

1、启动FlinkSQL[[email protected]]$bin/sql-client.sh2、新建源表问题1：Encountered“(”处理方法：去掉int(11)，改为intFlinkSQL>CREATETABLE`t_user`(>`uid`int(11)NOTNULLAUTO_INCREMENTCOMMENT'userid',>`did`int(11)
程裕强·2023-09-26 07:56

Doris 2.0.1 Dockerfile制作

docker-build//构建根目录└──fe//FE构建目录├──dockerfile//dockerfile脚本└──resource//资源目录├──init_fe.sh//启动及注册脚本└──apache-doris-x.x.x-bin-fe.tar.gz
wangqiaowq·2023-09-25 11:41

下一代实时数据库：Apache Doris 【五】数据表的创建

uroot-pcreateuser‘test’identifiedby‘test’;2）创建数据库createdatabasetest_db;3）用户授权grantallontest_dbtotest;3.2基本概念在Doris
Maynor996·2023-09-25 07:49

Doris配置MySQL jdbc catalog信息不同步问题解决方案

Doris客户端mysql-h127.0.0.1-P9030-uroot-p1.创建MySQLcatalogmysql>CREATECATALOGjdbc_mysqlPROPERTIES(->
贾斯汀玛尔斯·2023-09-24 17:43

MySQL高可用之MHA

目录一、环境准备二、架构原理三、安装mysql软件及初始化环境1、安装Mysql软件2、初始化环境四、配置mysql环境1、配置mysql半同步复制2、配置mysql同步五、安装和配置MHA1、安装MHA
归海听雪·2023-09-24 13:34

Apache Doris 快速入门

broker：用来和外部文件系统打交道2.修改配置DORIS_HOME=/export/server/doris-1.2.4.1node1：安装doris的机器名配置文件修改参数$D
时下握今·2023-09-24 13:47

Datax从mysql同步数据到HDFS

在实际使用Datax的时候，比较常用的是同步业务数据（mysql中的数据）到HDFS来实现数仓的创建，那么怎么实现呢？我们一步步来实现（基于Datax3.0.0）1、检查环境，需要安装完一个Datax，一个mysql，安装hadoop以及hive2、在mysql中创建源表，并在原表中插入数据，我们的目标是把源表的mysql数据同步到HDFS中，我们当前测试表如下源数据库：test源表结构：CREA
一杯咖啡半杯糖·2023-09-24 13:47

同程数科基于 Apache Doris 的数据仓库建设

本文详细讲述了架构1.0到2.0的演进过程及Doris的应用实践，希望对大家有所帮助。作者｜同程
SelectDB技术团队·2023-09-24 10:10

下一代实时数据库：Apache Doris 【三】集群部署

文章目录2.3安装要求2.3.1软硬件需求2.3.2默认端口2.4集群部署2.4.1创建目录并拷贝编译后的文件2.4.2部署FE节点2.4.3配置BE节点2.4.4在FE中添加所有BE节点2.4.5启动BE2.4.6部署FS_Broker(可选)后记2.3安装要求2.3.1软硬件需求Linux操作系统要求linux系统版本Centos7.1及以上Ubuntu16.04及以上2)软件需求软件版本Ja
Maynor996·2023-09-24 10:40

Doris数据库FE——SQL handleQuery

SQL解析在下文中指的是将一条sql语句经过一系列的解析最后生成一个完整的物理执行计划的过程。这个过程包括以下四个步骤：词法分析、语法分析、生成逻辑计划、生成物理计划。DorisSQL解析具体包括了六个步骤：词法分析，语法分析、语义分析，生成单机逻辑计划，生成分布式逻辑计划，生成物理计划。具体代码实现上包含以下五个步骤：Parse、Analyze、SinglePlan、DistributedPla
肥叔菌·2023-09-24 05:23

Apache Doris 系列： 入门篇-数据导入及查询

数据导入及查询本文档主要介绍Doris的数据导入及数据查询。
张家锋·2023-09-23 18:01

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

hive分区表同步数据到doris分区分桶表详解

hive分区表同步数据到doris分区分桶表详解本文从BrokerLoad来实现数据同步一、BrokerBroker是在doris中独立存在的，FE是负责元数据和任务调度，BE负责存储实际数据和执行任务
不吃鱼的cat·2023-09-23 03:04

Doris 导出表结构或数据

MYSQLDUMP导出表结构或数据Doris在0.15之后的版本已经支持通过mysqldump工具导出数据或者表结构导出查询结果集-ApacheDoris使用示例导出导出test数据库中的table1表
jerry-89·2023-09-23 03:03

Apache Kylin VS Apache Doris全方位对比

://cloud.tencent.com/developer/article/14772341系统架构1.1WhatisKylin1.2WhatisDoris2数据模型2.1Kylin的聚合模型2.2Doris
数仓大山哥·2023-09-22 21:19

下一代实时数据库：Apache Doris 【二】编译与安装

文章目录第2章编译与安装2.1安装Docker环境2.2使用Docker开发镜像编译后记第2章编译与安装安装Doris，需要先通过源码编译，主要有两种方式：使用Docker开发镜像编译(推荐)、直接编译
Maynor996·2023-09-22 21:18

mysql同步两张表_MYSQL两张表同步的有关问题

mysql两张表同步的问题现在有两张表,一张user主要的字段有username,usercode,depname,depid,adress,phone.一张是user_temp字段相同,但是没有ID相对应.两张表通过usercode和depid来确定是否同一条记录.现在需要做的有:一是统计有多少条需要更新(usercode,depid相同,其它有一个或者多个字段不同),多少需要删除(userco
Alex Cui·2023-09-21 23:31

Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

文章目录集成其他系统Spark读写Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter
迷雾总会解·2023-09-21 12:33

记 doris - 开发问题与解决系列

doris-开发问题与解决系列不支持多表关联跨表字段聚合计算key字段不能为nullkey字段类型不能是string/text/float/double，date做key不会报错，但数据显示异常和不准确
cg6·2023-09-21 12:00

Mysql同步数据到Doris的踩坑过程

问题背景由于项目需要，需要把多个Mysql数据库的数据同步到Doris数据库，然后利用Doris强调的计算和查询能力，来满足业务需求。有关Doris可以查看它的官方文档来了解它。
是良辰·2023-09-21 12:27

canal+kafka实现mysql与redis数据同步(centos7)

目前cannal的最新版支持三种消息队列，kafka,rocketmq(有bug)rabbitMq因此本文使用kafka作为mysql同步数据到redis的消息队列kafka2.8以后的版本不在依赖zookeeper
牛壹壹·2023-09-21 07:29

Apache Doris 系列： 入门篇-安装部署

下面我们以部署一台FE节点和一台BE节点为例来演示部署，正常情况Doris集群下我们建议至少要部署一个FE节点及三个BE节点。
张家锋·2023-09-20 15:35

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:10

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:38

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
SelectDB技术团队·2023-09-20 08:58

基于Apache doris怎么构建数据中台(二)-数据中台建设内容

这次主要是将基于Doris的数据中台建设内容及系统架构设计围绕着上次将的我们要解决的五个问题：找数，理解数据，问题评估，取数及数据可视化，给出一个概要的设计及框架数据中台建设内容数据规范统一：采用维度事实建模理论进行严格的
张家锋·2023-09-19 14:05

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
·2023-09-19 12:11

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到
G皮T·2023-09-19 04:45

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

Doris构建实时数仓落地方案详解（二）：Doris核心功能解读1.Doris发展历程2.Doris三大模型3.Doris数据导入4.Doris多表关联5.Doris核心设计6.Doris查询优化7.Doris
G皮T·2023-09-19 04:14

【遇见Doris】Doris在用户画像人群业务的应用

本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。
ApacheDoris·2023-09-18 08:38

Doris进阶——数据导入

数据导入：将用户的原始数据导入到Doris中，导入成功后可以通过Mysql客户端进行查询。所有的导入方式都支持CSV格式，其中BrokerLoad中支持parquet和orc数据格式。
小眼睛的Ayuan·2023-09-18 08:08
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他