04--数据开发

滴滴数据服务体系建设实践

什么是数据服务化大数据开发的主要流程分为数据集成、数据开发、数据生产和数据回流四个阶段。
滴滴技术·2023-08-10 20:45

滴滴实时数据链路建设组件选型实践篇

但同时我们也发现，大部分实时开发同学在做实时数据建设过程中会笼统的把实时数据建设等同于flink数据开发，常常把实时数据处理过程中的其他相关组件放在边缘位置，无法高效的整合数据处理组件来完成不同业务场景的实时需求
滴滴技术·2023-08-10 20:14

大数据开发：Hive列式存储ORC、Parquet的优点

今天的大数据开发学习分享，我们就主要来讲讲，Hive列式存储ORC、Parquet的优点。
成都加米谷大数据·2023-08-10 10:12

大数据开发：Flink如何设计容错

前面我们讲了Hadoop和spark的容错设计，今天的大数据开发学习分享，我们继续来讲Flink又是如何设计容错的？
成都加米谷大数据·2023-08-10 07:57

一站式Flink&Spark平台解决方案——StreamX

随着Flink&Spark生态的不断完善，越来越多的企业选择这两款组件，或者其中之一作为离线&实时的大数据开发工具，但是在使用他们进行大数据的开发中我们会遇到一些问题，比如：任务运行监控怎么处理？
产品经理自我修养·2023-08-10 06:00

【数据向】（四）什么是数据洞察？

写在前面相信有很多朋友和我一样，之前听过数据分析，数据挖掘，数据开发等等概念或者角色，但是却对于数据洞察没有概念。本文尝试通过较为全面地讲述，让大家能够迅速建立起数据洞察的相关认知。
千杉沐雪·2023-08-10 02:33

大数据开发教程——Apache Hive实战

Hive建表高阶语句CTASandCTE（重点）CTAS–CreateTableAsSelectCREATETABLEctas_employeeasSELECT*FROMemployee（基于select查询的结果生成表）CTASCANNOTcreateapartition,external,orbuckettable（不能生成分区表，外部表，桶表）Createtablelikeothertabl
比屋大数据·2023-08-09 23:26

案例 | 看某国有大行如何构建内部数据安全风险管控核心能力

某国有大行省分行近年来不断加大信息化业务发展力度，提高大数据开发利用程度，随着数据使用部门的扩大化，以及
数据库安全·2023-08-09 21:41

Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据

debeziumconnector故障，并使用debezium补缺失的数据一、背景二、快速恢复connector三、使用debezium补缺失的数据一、背景debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务
最笨的羊羊·2023-08-09 03:33

数据开发常见问题

目录环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARNApplication状态不一致？创建作业和执行计划的区别是什么？如何查看作业运行记录？如何在OSS上查看日志？读写MaxCompute时，报错java.lang.RuntimeException.Parseresponsefailed:‘…’多个ConsumerID消费同一个Topic时为什么TPS不一
首席撩妹指导官·2023-08-08 19:32

苏宁数据治理实战方法论和三字经

大数据到达一定的规模，其所需承载的集群资源成本、数据开发维护成本和数据管理成本，将会呈几何式增长，同样也将会带来一笔巨额的开销。如果缺少科学有效的治理管控，就会出现大量的“负”数
产品经理自我修养·2023-08-08 19:39

pandas学习之开发利器anaconda与Jupyter安装(mac)

什么是anaconda一句话:她是一个包管理器和环境管理器,包含了很多数据开发的工具,数据分析必备安装anaconda安装包地址:https://docs.anaconda.com/anaconda/install
Antg·2023-08-07 13:39

大数据开发：Oozie调度框架简介

今天的大数据开发分享，我们就先来讲讲这个Oozie调度框架的一些基础知识。ApacheOozie是一个用来管理Hadoop任务的工作流调度系统，基于有向无环图的模型（DAG）。
成都加米谷大数据·2023-08-06 19:26

linux开发板led怎么亮,韦东山嵌入式Linux学习笔记04--点亮开发板的一个LED灯

搜索开发板原理图LED的走线LED8是网线接口的指示灯.在这里我们尝试用汇编代码控制D10,也就是LED1,它连接到EINT4/GPF4,读取芯片手册有原理图可知,如果需要点亮LED1,需要控制s3c2440的GPF4引脚输出低电平.GPFCON=0x56000050GPFDAT=0x56000054GPFUP=0x56000058=========================直接set0x5
A菲拉格慕(小艳子)·2023-08-05 01:42

[最新安全稳定，自带haddop生态]Hadoop伪分布式ubuntu虚拟镜像

网上现有的教学用的大数据开发环境镜像主要有林子雨老
yasuo626·2023-08-05 01:34

大数据开发的前景怎么样？该怎么学习？

猎聘大数据研究院发布了《2022未来人才就业趋势报告》从排名来看，2022年1-4月各行业中高端人才平均年薪来看，人工智能行业中高端人才平均年薪最高，为31.04万元；金融行业中高端人才以27.69万元的平均年薪位居第二；通信、大数据行业中高端人才平均年薪分别为27.51万元、25.23万元，位列第三、第四；IT/互联网行业中高端人才平均年薪23.02万元，位列第七。图表来源：《2022未来人才就
我想去吃ya·2023-08-04 17:17

大数据开发的学习路线是什么样的

大数据技术的体系庞大且复杂，每年都会涌现出大量新的技术，目前大数据行业所涉及到的核心技术主要就是：数据采集、数据存储、数据清洗、数据查询分析和数据可视化。学习大数据需要掌握什么语言基础？1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。数据的操作语言
我想去吃ya·2023-08-04 17:47

Verilog语法基础04--运算符

Verilog中的操作符按照功能可以分为下述类型：1、算术运算符2、关系运算符3、逻辑运算符4、条件运算符5、位运算符6、移位运算符7、拼接运算符算术运算符：符号使用方法说明+a+ba加上b-a-ba减去b*a*ba乘以b/a/ba除以b%a%ba模除b关系运算符：符号使用方法说明>a>ba大于b=ba大于等于b>=a=b)?a:b;位运算符：符号使用方法说明~~a将a的每个位进行取反&a&b将a
s375527511·2023-08-04 16:47

大数据开发：数据仓库建模方法与模型

今天的大数据开发分享，我们主要来讲讲数据仓库建模方法与模型。数仓建模方法数据仓库中几种经典的数据模型，包括关系建模、维度建模、DataVault模型。
成都加米谷大数据·2023-08-04 13:24

什么是大数据开发？

♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
yoku酱·2023-08-04 13:19

3、大数据技术架构：核心原理与应用实践（下）

4、大数据的开发实践这一章节，主要是描述了大数据开发的几个场景和优化的技巧。
朗如行玉山_5b30·2023-08-04 06:27

大数据可视化BI工具：Visualis

Visualis支持拖拽式报表定义、图表联动、钻取、全局筛选、多维分析、实时查询等数据开发探索的分析模式，并提供水印、数据质量校验等金
小水滴2014·2023-08-03 23:30

Spark2.x精通：Master端循环消息处理源码剖析（一）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-08-03 12:57

如何方便的维护postgresql中的数据字典？

1.场景描述在日常的数据开发过程中，如果是任务紧急，或者是任务量大的时候，我们往往没有足够的时间来专程进行数据字典的维护。
theskylife·2023-08-02 23:19

伴鱼基于 Flink 构建数据集成平台的设计与实现

将数据集成过程平台化，将极大提升数据开发人员的效率，本文主要内容为：数据集成VS数据同步集成需求数据集成V1数据集成V2线上效果总结Tips：FFA大会以及Hackath
Apache Flink·2023-08-02 21:14

“三问五步”落地医疗行业数据安全建设体系|盾见

2021年6月10日，我国《数据安全法》颁布，并于2021年9月1日正式施行，作为数据领域的纲领性和基础性法律，以准确定义数据、数据处理、数据安全为出发点，提出解决数据全生命周期中的数据安全问题，达到数据开发利用
极盾科技·2023-08-02 20:47

偶数科技发布实时湖仓数据平台Skylab 5.3版本

Skylab包含七大产品，分别为云原生分布式数据库OushuDB、数据分析与应用平台Kepler、数据资产管理平台Orbit、自动化机器学习平台LittleBoy、数据工厂Wasp、数据开发与调度平台Flow
偶数科技·2023-08-02 16:44

IT行业发展新趋势，大数据开发应该如何从“零”学起？

大数据大数据可能是目前IT行业中被炒的最热的一个词了，尤其是国家在前几年提出大力发展大数据产业的时候，更是一层激起千层浪。不管是小白还是有开发经验的都想从中分得一杯羹。那么相对于有开发经验的，小白应该如何学习大数据呢？第一、小白在学习大数据的时候一定要搞清楚什么是大数据、并且了解大数据在我们的生活中和工作中可以应用到哪些方面。搞清楚这个，就可以培养学习的兴趣。俗话说的好“兴趣是最好的老师”。第二、
尚学先生·2023-08-02 11:35

Hive中的行转列，列转行

一、背景在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。
LiuPineapple·2023-08-02 04:07

大数据开发：Flink API编程初级入门

Flink编程，一个重要的思想就是API编程，今天的大数据开发学习分享，我们就来讲讲FlinkAPI编程初级入门。
成都加米谷大数据·2023-08-02 00:49

大数据培训毕业的学生，到底能拿多少薪资？

大数据开发岗位的工资，能拿到多少？
码农星球·2023-08-01 20:03

《大数据开发》Hive

Hive是基于Hadoop的一个数据仓库工具；提供Sql（hiveSql）查询功能；数据是存储在hdfs上，hive本身不存储数据，构建表的逻辑存在指定数据库（mysql）。本质是将SQL语句转换为MapReduce任务执行。离线大数据计算。可以将结构化的数据文件映射成为一张数据库表。官方文档流程图HiveSql与Sql相比Hive字段类型1.建表三种方式直接建表法：createtablemovi
Steve_Abelieve·2023-08-01 12:40

《大数据开发》环境安装

Hadoop环境安装（HDFS-MapReduce）Storm环境安装（Storm）Zookeeper环境安装（Zookeeper）Hbase环境安装（HBase）Hive环境安装（Hive）Kafka环境安装（Kafka）Flume环境安装（Flume）Hadoop2.0环境安装（Yarn）Spark环境安装（Spark）
Steve_Abelieve·2023-08-01 12:10

《大数据开发》数据类型+常用数据处理

数据类型从结构划分常见数据操作均值操作：作用衡量这个系统的平均值，可以做两个系统的比较。缺点:对异常数据敏感标准差操作：衡量这个系统的波动程度，可以做两个系统的比较。缺点:对异常数据敏感变异系数操作：均值/方差，可以用于不同系统的比较。切尾均值操作：作用衡量这个系统的平均值，可以做两个系统的比较,一定程度上解决数据异常。异常检测什么是异常(离群点)：异常就是显著不同于这个系统的值，不属于该系统的范
Steve_Abelieve·2023-08-01 12:09

大数据开发学习笔记——HA简介

单点故障---解决hahadoop2.x之后，Cloudera提出了QJM/QuromJournalManager，这是一个基于Paxos算法实现的HDFSHA方案，它给出了一种较好的解决思路和方案,示意图如下：基本原理就是用2N+1台JN存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉
卿卿老祖·2023-08-01 02:11

Day01-作业（HTML&CSS）

文字素材如下：企业简介传智教育(股票代码003032)，隶属江苏传智播客教育科技股份有限公司，注册资本4亿元，是第一个实现A股IPO的教育企业，公司致力于培养高精尖数字化人才，主要培养人工智能、python+大数据开发
穿城大饼·2023-07-31 18:24

阿里云大数据开发三面面经，已过，面试题已配答案

一面：阿里云大数据开发一面面经，已过，面试题已配答案_蓦然_的博客-CSDN博客二面：阿里云大数据开发二面面经，已过，面试题已配答案_蓦然_的博客-CSDN博客1、SQL题自由发挥2、实习经历根据自己的来就行
蓦然_·2023-07-31 11:11

《黑马程序员2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目》学习笔记总目录

本文是对《黑马程序员新版大数据入门到实战教程》所有知识点的笔记进行总结分类。学习视频：黑马程序员新版大数据学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。前言：配置三台虚拟机，为集群做准备（该篇章请到原视频进行观看，不在文章内详细展开）1．设置三台Linux虚拟机的主机名和固定IP2．在Linux系统以及本机系统中配置了主机名映射3．配置了三台服务器之间root用户的SSH免密互通4．安
放下华子我只抽RuiKe5·2023-07-30 11:47

数仓建模—宽表的设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发
大数据技术派·2023-07-30 10:48

rt-thread+stm32 使用串口dma空闲中断接收不定长数据

rt-thread+stm32使用串口dma空闲中断接收不定长数据开发环境一、工程配置二、添加代码并测试三、解决问题开发环境IDE:RT-ThreadStudiov2.1.0系统版本：v4.0.2芯片:
郑州-刘明鑫·2023-07-30 09:52

助力秋招-独孤九剑荡剑式 | Java语言&基础面试题

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-07-30 05:36

加强信用信息共享应用 促进中小微企业融资

各地区、各部门要认真贯彻落实党中央、国务院关于加强社会信用体系建设、促进中小微企业融资的决策部署，围绕保市场主体、应对新的经济下行压力，加快信用信息共享步伐，深化数据开发利用，创新优化融资模式，加强信息安全和市场主体权益保护
授渔亭·2023-07-29 19:05

Google Bard初体验 - 感觉并不是很能打

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-07-29 04:19

Dinky简介与部署(Docker形式)

沉浸式FlinkSQL数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore
HuaWei&&WeiHua·2023-07-29 03:02

关于数据中台的思考与总结

关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与实时数仓从0建设离线数仓区别数据中台解决方案零售行业原文地址
akenseren·2023-07-28 21:50

这 3 类程序员成长最慢！踩坑最多！

这个题我会啊，我觉得是以下这三类程序员，文章不长，请耐心看完～1、哪个技术火就追哪个我有一位朋友大数据火时就转行做了1年大数据开发，后来区块链火了又搞1年区块链，去年web3.0很火又进了一家web3.0
军哥手记·2023-07-28 11:55

[使用DataX采集Mysql数据到Hive]

上安装MySQL4.贷款数据导入MySQL5.安装Hive6.启动Hadoop和Hive7.Hive中建表8.安装DataX9.DataX导入导出文件配置10.启动DataX导入数据及结果检查##需求大数据开发工作中
pblh123·2023-07-28 03:37

实训笔记7.26

实训笔记7.267.26笔记一、Hadoop大数据开发技术1.1Hadoop的安装部署1.2Hadoop的分布式文件存储系统HDFS1.2.1HDFS的组成1.2.2HDFS的操作方式1.2.3HDFS
cai-4·2023-07-27 23:11

大数据开发：Flink SQL快速入门

今天的大数据开发分享，我们就来讲讲基本的FlinkSQL快速入门。FlinkSQL，就是直接可以在代码中写SQL，来实现一些查询（Query）操作。
成都加米谷大数据·2023-07-27 19:23

花骨朵er—Day 04--《如何阅读一本书》—读书打卡

今天阅读的是第四章到第六章。阅读的前三天我一直都是每天阅读一章的内容，要在一周完成两本书，这个速度太慢了。于是今天加快了阅读的速度，但是阅读的效果没有之前几天好。所以后期应该花一部分时间，按照学到的方法把本书再阅读一遍。第四章讲的是精读法，精读法介绍了两个内容：阅读习惯和具体方法。阅读习惯要求“心到、眼到、口到、手到、脑到”，即要求阅读者应该做到集中注意力、认真看、认真背诵、认真做笔记、认真思考。
Cc沫沫·2023-07-27 11:31
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他