大数据开发数据中台

你需要懂一点ClickHouse的基础知识

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-12-30 09:39

数据中台-架构、构建与体系建设

数据中台-架构、构建与体系建设数据中台架构数据中台构建方法论技术体系数据体系服务体系运营体系数据中台功能架构数据中台技术架构企业构建数据中台评估统计分析阶段决策支持阶段数据驱动阶段运营优化阶段数据汇集-
Ybb_studyRecord·2023-12-30 03:53

大数据实践之路 读后感

CSDN博客商业银行数据资产估值白皮书，推荐系统源码下载-CSDN博客用友BIP数据资产入表解决方案白皮书，推荐系统源码下载-CSDN博客1、内容总体概括简单来说一下，本书内容可以分四个大部分：一是介绍了数据中台的五大功能模块即元数据中心
Michael_Shentu·2023-12-29 19:24

重磅发布！《2022中国数据智能产业图谱+中国企业数智化转型升级服务全景图》

中新赛克海睿思从数千家企业中脱颖而出，成功入选大数据、大数据分析平台、数据中台等3大板块，被评选为典型代表企业。此图谱中，中新赛克海睿思入选的核心服
海睿思·2023-12-29 17:24

爬虫现在还有那么吃香嘛？

Python作为一种广泛应用的编程语言，在Web开发、大数据开发、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。
会python的小孩·2023-12-28 17:40

Flink开发利器StreamX

背景Hadoop体系虽然在目前应用非常广泛，但架构繁琐、运维复杂度过高、版本升级困难，且由于部门原因，数据中台需求排期较长，我们急需探索敏捷性开发的数据平台模式。
Apache StreamPark·2023-12-28 15:34

推荐几个开源HTTP服务接口快速生成工具

（3）数据中台架构中，企业数据资产对外
大龄码农有梦想·2023-12-28 13:10

数据中台架构原理与开发实战：从数据采集到数据清洗

1.背景介绍数据中台是一种架构模式，主要用于解决企业内部数据的采集、存储、清洗、分析和应用等问题。
一枚可爱的程序女孩·2023-12-28 05:13

构建高效数据中台：集群规划与搭建的最佳实践指南

架构设计Rack(机架)配置建议大数据集群规划安装细节见配套文档YARN资源管理平台队列调度策略CapacityScheduler默认配置下，CapacityScheduler将尝试保证每个队列在其分配的容量内公平地使用资源。然而，Hadoop也支持通过调整队列的权重和使用抢占策略来优化资源的使用。例如&
数据与后端架构提升之路·2023-12-28 04:20

大数据开发之Sqoop详细介绍

测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Hadoop
lcz-2000·2023-12-27 23:31

米哈游大数据云原生实践

作者：米哈游大数据开发近年来，容器、微服务、Kubernetes等各项云原生技术的日渐成熟，越来越多的公司开始选择拥抱云原生，并开始将AI、大数据等类型的企业应用部署运行在云原生之上。
阿里云云原生·2023-12-27 06:31

如何更好地建设数据中台？

“数据中台”也成为挖掘数据价值、辅助企业快速决策，实现降本增效，甚至重构企业商业模式的关键。然而在TOP50房企里，仅有38%的企业实现了内部系统数据的互通。数据中台为何建不起来？
WakeData惟客数据·2023-12-26 14:09

案例 | 数据中台如何支撑6000+门店降本提效？

对于企业来说，上中台不是目的，借助数据中台让企业建立数据驱动意识，并结合数据中台持续做好各项业务运营，才是根本。那么对于零售行业来说，该如何利用数据中台为业务赋能？
WakeData惟客数据·2023-12-26 14:39

数据中台与数据仓库有什么区别？

数字化转型浪潮卷起各种新老概念满天飞，数据中台、数据仓库轮番在朋友圈刷屏，企业还没推开数字化大门，先被各种概念绊了一脚。今天咱们就来看下这两者究竟有啥区别。
WakeData惟客数据·2023-12-26 14:38

HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-12-26 10:34

Hadoop2.x安全：hadoop集群之kerberos认证（三、常用命令、有效期）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-12-25 15:34

Java技术专题-Lombok插件开发实践必知必会操作！

前言在目前众多编程语言中，Java语言的表现还是抢眼，不论是企业级服务端开发，还是Andorid客户端开发，都是作为开发语言的首选，甚至在大数据开发领域，Java语言也能占有一席之地，如Hadoop，Spark
洛神灬殇·2023-12-24 23:17

数据中台包含哪些模块

本文将通过对数据中台架构的介绍，让大家了解数据中台总体架构、包含的模块、模块之间的关系以及运转机制。
xuanxing123·2023-12-24 15:05

大数据开发都要学习什么？什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。
金光闪闪耶·2023-12-24 14:49

功能强大的开源数据中台系统 DataCap 1.18.0 发布

推荐一套基于SpringBoot开发的简单、易用的开源权限管理平台，建议下载使用:https://github.com/devlive-community/authx推荐一套为Java开发人员提供方便易用的SDK来与目前提供服务的的OpenAI进行交互组件：https://github.com/devlive-community/openai-java-sdk推荐一套全平台数据库管理工具，建议下载
qianmoQ·2023-12-24 02:36

机场数据治理系列介绍（1）：机场行业数据中台中的数据管理顶层设计方案

目录1、战略目标与价值2、组织架构与角色分配3、数据流程管理4、数据质量管理5、数据安全与隐私保护6、技术平台选择与部署7、数据服务与API管理8、数据培训与文化推广9、持续改进与优化民航机场行业的数据中台中
机场信息系统研究员·2023-12-24 02:27

hadoop 3.3.3集群安装部署

前言大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节
以茉萱·2023-12-24 02:18

大数据开发介绍

...........................................................................................................................................................1.你的专业是什么，你是如何确定自己的求职方向的首先要明确自己学的专业具体是干啥的，比如我
Guff_hys·2023-12-23 17:30

秋天的第一杯奶茶

关注微信公众号：一个数据人的自留地1、回复“数据中台”，获取2、回复“数据产品”，获取3、回复“商业分析”，获取4、回复“交个朋友”，进入大家是不是在这周突然被“秋天的第一杯奶茶”这个梗刷屏了呢？
一个数据人的自留地·2023-12-22 19:24

01-黑马程序员大数据开发

一.Hadoop概述1.什么是大数据狭义上：对海量数据进行处理的软件技术体系广义上：数字化、信息化时代的基础支撑，以数据为生活赋2.大数据的核心工作：存储：妥善保存海量待处理数据；ApacheKUDU、云平台存储：阿里云OSS、UCloud的US3、AWS的S3、金山云的KS3等等计算：完成海量数据的价值挖掘；ApacheHadoop-MapReduce；ApacheHive是一款以SQL
S1406793·2023-12-22 08:06

天津大数据培训机构品牌 数据分析师的发展方向

大数据专业还是有一定难度的，毕竟大数据开发技术所包含的编程技术知识是比较杂且多的如果是计算机专业的学生或者自身有一定基础的人学，相对来说会比较容易，但对于零基础小伙伴学习来说，想要学习大数据，难度还是很高的
qq_38453958·2023-12-22 03:49

来看！天津靠谱Java培训机构哪家更好一点？

包括Java基础、JavaWeb、JavaEE、大数据开发、人工智能等多方面的技术领域。参加Java培训可以帮助我们掌握计算机编程语言的基础知识，掌握Java语言编程技巧，快速提高编程水平。
qq_38453958·2023-12-22 03:49

浅谈数据中台之数据开发

目录01前言‍02中台概念及背景‍‍‍‍‍‍‍03数据中台建设方法‍‍‍‍‍‍04数据开发实践01‍前言‍‍2015年阿里在国内首次提出了中台概念，由阿里引领发展，迅速在互联网企业中形成了一股浪潮。
EAWorld·2023-12-21 10:03

7.数据中台 --- 数据开发：数据体系建设

数据中台数据体系是在全域原始数据的基础上，进行标准定义及分层建模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系，可以方便的支撑数据应用。
enlyhua·2023-12-21 09:30

数据中台之旅(五)数据开发介绍

功能介绍数据开发包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发:数仓开发使用频率最高的一个功能。通过web化的开发方式大大提升开发效率,降低技术门槛。以前在平安使用的是shell、sql脚本，自己写整套的指令。我希望的是，开发人员只要关注业务逻辑
belialxing·2023-12-21 09:59

数据中台架构原理与开发实战：数据集成与数据交换

作者：禅与计算机程序设计艺术1.背景介绍数据中台（DataStudio）是由数据团队在业务部门和技术部门协同下，通过构建统一的数据运维中心，实现数据集成、数据质量管理、数据分析及数据价值转化等数据的价值的一种方法论
禅与计算机程序设计艺术·2023-12-21 09:56

数据中台架构原理与开发实战：从监控告警到故障处理

1.背景介绍数据中台概述数据中台(DataHub)是一个数据服务平台，它提供了包括各种数据源、数据采集、清洗、计算、存储和分析等数据服务功能。
禅与计算机程序设计艺术·2023-12-21 02:17

数据中台未来一定需要具备三种能力

这在数据中台就表现为数据的中心化，也就是数据的高内聚、低耦合，需要对共性问题抽象出业务的规则，建立数据模型。
求知笔记·2023-12-20 20:07

数据中台架构原理与开发实战：数据中台的数据可视化工具与平台

1.背景介绍概述如今互联网业务呈爆炸式增长，用户需求也日渐复杂，数据处理能力要求越来越高。大量的数据产生、存储、分析和管理必然会给企业带来巨大的挑战。数据仓库和数据湖作为企业级的基础设施建设的重要组成部分，可以提供数据源头，汇聚和加工各种异构数据源并形成统一的价值信息。然而，对于企业中不同业务线的应用部门，往往需要通过不同的界面或方式才能看到这些数据。比如对于零售部门，可能只能通过APP进行数据的
禅与计算机程序设计艺术·2023-12-20 05:03

数据中台架构原理与开发实战：实例解析数据中台项目

作者：禅与计算机程序设计艺术1.背景介绍数据中台（DataCenterDataWarehouse，DCDW）是企业为了整合数据而建立的一个集中化平台，主要包括数据采集、存储、处理、分析、智能决策支持等环节
禅与计算机程序设计艺术·2023-12-20 05:00

用Q-learning算法实现自动走迷宫机器人

2019独角兽企业重金招聘Python工程师标准>>>【技术沙龙002期】数据中台：宜信敏捷数据中台建设实践|宜信技术沙龙将于5月23日晚8点线上直播，点击报名项目描述：在该项目中，你将使用强化学习算法
weixin_33901641·2023-12-19 15:59

学习大数据开发的前提是什么？

1.数学知识数学知识是数据分析师的基础知识。对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。对于高级数据分析师，统计模型相关知识是必备能力，线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。2.分析工具对于初级数据分析师，玩转Excel是必须的，数据透
yoku酱·2023-12-19 14:56

订单峰值激增 230%，Serverless 如何为世纪联华降本超 40%？｜双11 云原生实践

作者|朱鹏导读：2020年双11，世纪联华基于阿里云函数计算(FC)弹性扩容，应用于大促会场SSR、线上商品秒杀、优惠券定点发放、行业导购、数据中台计算等多个场景，业务峰值QPS较去年提升230%，研发效率交付提效超过
阿里云云原生·2023-12-19 14:10

数据中台架构原理与开发实战：数据服务与API接口

1.背景介绍“数据中台”是一个新的IT技术概念，它是指将数据、计算、应用等技术能力进行整合的一体化平台。
禅与计算机程序设计艺术·2023-12-19 07:48

我对大数据的理解

在这种大环境下，部分企业或政府建立的大数据平台，并且在此之上建立了数据湖、数据仓库、数据中台。相关概念或定义如下：大数据平台是一个以处
王永翔·2023-12-19 07:54

双非大数据

双非本秋招上岸总结个人简介学历：双非；专业：软件工程；求职岗位：大数据开发工程师；状态：已上岸翻车经历学校以Java后端开发为主流，我从大二开始学习Java，直到大四都会学习与Java开发相关的技术栈。
Guff_hys·2023-12-19 04:35

数据中台与数据仓库有什么区别？

数字化转型浪潮卷起各种新老概念满天飞，数据中台、数据仓库轮番在朋友圈刷屏，企业还没推开数字化大门，先被各种概念绊了一脚。今天咱们就来看下这两者究竟有啥区别。
惟客数据·2023-12-19 00:48

活动预告｜ 字节跳动基于DataLeap的DataOps最佳实践

随着数字化转型的推进以及业务数仓建设不断完善，大数据开发体量及复杂性逐步上升，如何保证数据稳定、正确、持续产出成为数据开发者核心诉求，也成为平台建设面临的挑战之一。
字节数据平台·2023-12-18 14:40

数据中台演进的四个阶段

数据中台的演进可以分为四个阶段，分别是：数据库阶段；数据仓库阶段；数据平台阶段；数据中台阶段。
求知笔记·2023-12-18 08:20

大数据架构（一）背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
野生的狒狒·2023-12-18 02:50

什么是BI、数据仓库、数据湖和数据中台，他们有什么差异？

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵进行系统的解析
公众号:肉眼品世界·2023-12-17 15:03

数据中台：企业数据质量参差不齐？听听专家怎么说

本文节选自《数据中台》作者：付登坡，江敏，任寅姿，孙少忆等1数据质量管理的目标数据质量管理主要解决“数据质量现状如何，谁来改进，如何提高，怎样考核”的问题。
中生代技术·2023-12-17 14:30

数据中台架构原理与开发实战：ETL过程深度解析

1.背景介绍随着互联网的蓬勃发展，越来越多的企业和机构开始在线存储、分析、报告各种数据。数据存储成为新旧应用、新旧数据管理和数据报表需求交织相成的一个重要原因。为了解决这个难题，数据仓库（DataWarehouse）应运而生。它是一个集中汇聚所有业务数据并提供统一视图的数据集合。同时也充当了数十年来存储、分析、报告数据的“单点故障”。数据仓库不仅能够满足内部各个部门对数据的查询需求，还可以作为“云
禅与计算机程序设计艺术·2023-12-17 14:29

Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）

Win10下安装大数据开发环境spark+hadoop+hive（实测可用）基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先，我们需要搭建软件的运行环境，本文中所使用的软件均需要运行在
YannAdams·2023-12-17 06:30

数据采集方法

数据采集过程是数据流入数据中台的关键步骤，主要通过认证鉴权、关键数据源管控、采集数据传输安全、临时数据限制、日志记录和告警等多种措施来保障采安全性。
manok·2023-12-16 11:23
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他