04--数据开发

阿里OneData体系架构 (文末附PPT下载)

一、前言导读1.1本PPT的核心理念：分享了阿里大数据OnaData体系架构，其重大的意义主要在于数据开发过程的规范化和统一化。
大数据阶梯之路·2022-12-16 21:32

世界杯ing～这不来个实时数据可视化？（结尾附源码）

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2022-12-16 19:09

想转行做大数据开发，求各路大神给指条明路？

其实想转大数据的最初原因很简单，就是想在收入上有所提升，其实现在越来越多人开始看中大数据开发这个岗位了，无非就是下面这些原因，如果你真的付出努力愿意去学习的话，相信也不会辜负你的努力~1、行业发展好首先考虑的是行业发展的角度
我想去吃ya·2022-12-16 18:13

大数据开发是干什么的？

大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
一起学习大数据·2022-12-16 18:08

大数据时代，数据仓库究竟是干嘛的？

前言无论你是否专门从事大数据开发，作为一个开发人员，应该都听说过数据仓库的概念，那你知道为什么会出现数据仓库？数据仓库究竟是干嘛的吗？有什么价值和意义呢？那么本文就带到入门，揭开数据仓库的面纱。
JAVA旭阳·2022-12-16 18:07

明日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造

本文6484字，阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们深入地使用，出现越来越多的问题，比如：数据开发迭代速度不够快
LinkTime_Cloud·2022-12-16 16:02

升级JSONB列式存储，Hologres助力淘宝搜索2022双11降本增效！

作者：陆晨炜（花名遣云）阿里巴巴智能引擎事业部数据开发前言：2022年的双11，阿里淘宝搜推集群承载上千万每秒的的流量峰值，消费者的每一次浏览、点击都通过搜推集群进行流转，与往年双11不同的是，降本增效在今年也变成了特别重要的一个技术课题
·2022-12-16 13:39

百亿节点、毫秒级延迟，携程金融基于 NebulaGraph 的大规模图应用实践

作者：霖雾，携程数据开发工程师，关注图数据库等领域。
·2022-12-15 17:00

案例分享 | 基于Linkis+DSS构建合合信息一站式数据开发平台

目录指引1.IDS的简介2.IDS的诞生背景3.IDS——合数据工坊的实践之路3.1用户权限3.2引擎增强3.3作业调度3.4数据治理3.5IDS中一些小的功能改造点或应用项4.总结5.参考文档1.IDS的简介IntsigDataStudio（IDS）是上海合合信息科技股份有限公司，大数据平台基于微众WDS社区开源的Linkis&DSS组件构建的一站式敏捷数据应用开发管理门户，面向的主要用户群体包
微众开源·2022-12-15 11:02

scala环境安装

scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程早期，scala刚出现的时候，并没有怎么引起重视，随着Spark和Kafka这样基于scala的大数据框架的兴起，scala逐步进入大数据开发者的眼帘
huahailing1024·2022-12-15 11:07

JupyterLab深度定制开发实践

JupyterLab深度定制开发实践JupyterLab定制开发背景数据开发痛点分析在大家日常的数据开发工作过程中，主要的步骤就是：1、获取要分析的任务。
szwx855·2022-12-14 15:01

毕业设计 : 基于Spark的海量新闻文本聚类 - Spark 新闻分类 文本分类新闻聚类

目录功能介绍5.1求TF-IDF5.2调用K-means模型5.3评价方式6聚类结果7最后0前言Hi，这里是丹成学长，今天学长带大家实现一个大数据项目**基于Spark的海量新闻文本聚类**1项目介绍在大数据开发领域
DanCheng-studio·2022-12-14 07:02

关于数据公共层建设

数据开发团队有哪些？数据使用团队有哪些？数据模型图整理现有的数据模型E-R图，归属到不同主题域。公共数据层定义统一化内部数据整合包括一致性的指标定义体系、模型设计方法和配套工具。
数据驱动足迹·2022-12-13 20:25

大数据开发：Hadoop，Spark和Flink计算引擎对比

Hadoop学习可以说是大数据学习当中的重难点，很多同学都在Hadoop的学习当中存在各种各样的疑问。很多同学都问过这样一个问题，针对于大数据处理，有Hadoop、Spark、Flink等，这三者有何不同，下面就为大家分享关于Hadoop，Spark和Flink之间的比较。总体来说，Hadoop，Spark和Flink在数据处理上各有其优势。Hadoop对大批量数据的处理很有一套，但是由于是离线离
加米谷大数据张老师·2022-12-12 15:32

大数据开发之Spark和Flink的对比（转载）

大数据计算引擎的起源Hadoop和其他基于mapreduce的数据处理系统的出现首先是为了满足传统数据库无法满足的数据处理需求。随着2004年谷歌发布MapReduce白皮书以来的发展浪潮，利用Hadoop的开源生态系统或类似系统处理大数据已经成为行业的基本需求。尽管最近努力降低进入门槛，但在开发自己的数据处理系统时，大数据培训组织不可避免地会遇到一系列问题，常常会发现从数据中获得价值所需的投资大
at小白在线中·2022-12-12 15:00

《MY大数据开发笔记》----hive知识点总结

hive的作用：hive最初的设计目的是为了给哪些精通sql但是不熟悉Hadoop的分析师，用来分析大规模的结构化的数据文件而设计的。首先最重要的一点：hive的使用和关系型数据库的使用方式类似（类sql语句），那我们为什么不使用关系型数据库而使用hive？1.hive能分析超大数据规模的数据。2.hive用于分析存储在文件中的结构化的数据。而关系型数据库不能。所以hive最初的设计目的是：给哪些
慢！有杀气·2022-12-12 09:42

DateFrame的用法

由于公司项目转型，从java开发现在转做大数据开发已经有两个月了，通过查阅spark官方文档Spark-2.1.0，现在简单谈一下DataFrame的基本应用。
涪陵小帮手·2022-12-11 23:50

现在开始学习大数据晚了吗？

每年都有大量的人才涌入到大数据行业中，对于现在刚刚入场大数据开发技术的人来说，现在还有机会吗？
我想去吃ya·2022-12-11 17:29

大数据初学者应该怎么学习？

其实现在有很多小伙伴看中了大数据的发展前景，但是其实不知道大数据开发具体是做什么的，又该怎么学习？学习了之后又该做什么？
我想去吃ya·2022-12-11 17:28

计算机相关专业本科生学习Python，如何选择学习路线和学习资料

Python语言是一门典型的全场景编程语言，可以从事Web开发、大数据开发、人工智能开发和嵌入式开发，在大数据和人工智能的推动下，当前Python语言的上升趋势非常明显。与J
不爱喝苏打水·2022-12-11 16:08

Right tool for the right job ! 机器学习的伟大歌声与平凡之路

作为企业的数据开发者和数据分析师，你又需要什么样的AI平台和工具？不管你是哪类应用人群，亚马逊云服务（AWS）机器学习平台都能为你所用，而且保证好用、易用！
中国云报·2022-12-10 22:50

第六章：数据治理

数据治理项目的范围通常都会包含：组织建设、数据安全、数据开发、数据质量、元数据管理、数据价值等几个模块。当然基于每家公司的数据治理的目标不
十五楼亮哥·2022-12-10 20:11

大数据篇--中台概念总结

文章目录一、前言二、概述三、什么是数据中台四、数据处理需求的演进历程五、数据中台和数据仓库、数据平台的区别六、包含模块1.数据汇聚：2.数据开发：3.数据资产管理：4.数据质量和安全：（1）数据质量：（
小强签名设计·2022-12-10 11:05

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之5.即席查询Impala介绍及入门使用

文章目录前言1.Impala概述（1）Impala的概念和优势（2）Impala的缺点及适用场景2.Impala的安装与入门（1）准备工作（2）制作本地yum源（3）安装Impala（4）Impala启动和完善（5）入门案例3.Impala架构原理（1）Impala组件（2）Impala单机执行计划和分布式执行计划总结前言本文主要介绍了Impala的使用，Impala是一款开源的数据交互式查询工具
cutercorley·2022-12-10 11:02

专访丨媒体深度融合下的客户端该如何发展？

近日，神策数据有幸邀请到了北京时间数据开发及应用部副主任邵宏智，聚焦媒体深度融合下的客户端
神策数据·2022-12-10 00:10

大数据工程师应聘要求高么？好找工作么

大数据开发工程师该岗位对于技术要求较高，有一定的技术门槛。大数据工程师不少细分方向，不同的方向需要具备不同的知识结构，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维。
我想去吃ya·2022-12-08 20:15

大数据开发需要掌握哪些？

大数据专业包含课程较多难度大对学习者的要求较高，从事大数据相关的岗位有平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘，不同的从业方向需要掌握的技能也不尽相同。
我想去吃ya·2022-12-08 20:14

大数据开发要学Java框架吗？

大数据开发要学Java框架吗？学习大数据要去学习Java而且还要精通，不仅要掌握Java基础知识还要掌握一些核心的Java架构。
我想去吃ya·2022-12-08 20:44

年底跳槽！工资翻 3 倍！

最近收到一位读者的留言，他转行大数据开发以后，薪资成功翻了3倍。我把他的故事整理成文章，和你们分享一下（故事叙述部分用的是第一人称）。
BigDataSam·2022-12-08 13:07

java大数据开发训练营--Java Web 后端技术基础（上）

题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。
Laozizuiku·2022-12-08 10:29

TensorFlow 篇 | TensorFlow 2.x 基于 Keras 的模型构建

使用Keras进行模型开发与迭代是每一个数据开发人员都需要掌握的一项基本技能，让我们一起走进Keras的世界一探究竟。
AlexanderJLiu·2022-12-07 20:39

Hadoop大数据开发基础课后答案

Hadoop大数据开发基础课后答案(仅供参考)本书为中国工信出版集团的《Hadoop大数据开发基础》Hadoop集群的搭建与配置一、选择题1.HDFS中的文件块默认保存（C）份。
不太聪明的学渣·2022-12-07 11:06

CDGA|浅谈金融机构数据治理的五个短板

与此同时，随着数据量的指数级爆发式增长，如何有效挖掘其价值，实现数据开发利用与安全保护，成为各界关注与亟待解决的共性问题。面向开展数据治理的过程中带来新挑战，很多金融机构的短板主要
hb15302782362·2022-12-06 14:22

python实验数据预处理案例_数据开发_Python数据预处理_Pandas案例(二)

说明1.数据预处理数据预处理中清洗数据，是重塑数据的步骤之一，将一些不符合程序输入的数据整理成符合相应模式的数据数据重塑能力2.一些符号说明importpandasaspddf是一个数据框eg:df=pd.DataFrame({‘col_1_nm‘:[‘11‘,‘22‘],‘col_2_nm‘:[‘da‘,‘dd‘]})数据类型转换数据类型Pandas类型objectint64float64dat
weixin_39925031·2022-12-05 22:31

大数据开发---OLTP和OLAP的关系【1】

文章目录1、OLTP和OLAP的定义2、OLTP和OLAP的关系3、OLTP和OLAP的区别4、大数据时代对数据存储的挑战1、OLTP和OLAP的定义OLAP系统：联机分析处理系统：DataWarehouse数据仓库（On-LineAnalyticalProcessing)OLTP系统：联机事务处理系统(On-linetransactionprocessing)2、OLTP和OLAP的关系3、OL
一蓑烟雨紫洛·2022-12-05 12:28

（上）史上最全 Flink SQL 成神之路（全文 18 万字、138 个案例、42 张图）

的文章会让你明白博主会阐明博主期望本文能给小伙伴们带来什么帮助，让小伙伴萌能直观明白博主的心思博主会以实际的应用场景和案例入手，不只是知识点的简单堆砌博主会把重要的知识点的原理进行剖析，让小伙伴萌做到深入浅出gzh：大数据羊说与大家一起学习大数据开发
大数据羊说·2022-12-04 19:36

大数据开发大作业3

大作业3一级目录一级目录dockercp/tmp/test_data/ml-100kc5f727be11c8:mkdirhdfsdfs-mkdir/bhdfsdfs-put/ml-100k/bhdfsdfs-put/ml-100k/ahdfsdfs-ls/a/ml-100khdfsdfs-ls/c/ml-100khdfsdfs-ls/dzy6hdfsdfs-cat/dzy6/part-00003h
27878678678·2022-12-04 10:54

阿里云认证有用吗？阿里云证书含金量及如何获得

也有很多人对未来很迷茫，听别人说哪种证书有用，有前途，就一股脑的投入进去，但事实上，有些证书哪怕考过了其实对自己的帮助其实很小，当下社会，阿里云认证证书对于计算机大数据方面的人才来说有很高的含金量，是对计算机和大数据开发人才的一种认可
qq_42667516·2022-12-03 09:52

伴鱼DQC数据质量平台实践

DQC数据质量平台实践日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。
☞空白页·2022-11-30 18:26

伴鱼数据质量平台实践

（博客官网：https://tech.ipalfish.com/blog/）日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的BUG
DolphinScheduler社区·2022-11-30 18:41

给数据开发的SQL面试准备路径！⛵

大量的数据科学职位需要精通SQL，它也是数据分析师、数据科学家、数据建模岗最常考核的面试技能。在本篇内容中ShowMeAI将梳理汇总所有面试SQL问题，按照不同的主题构建练习专项块。作者：韩信子@ShowMeAI数据分析实战系列：https://www.showmeai.tech/tutorials/40AI面试题库系列：https://www.showmeai.tech/tutorials/48
·2022-11-30 13:46

Spark修炼之道系列教程预告

Spark修炼之道（基础篇）——Linux大数据开发基础（15讲）、Li
zhouzhihubeyond·2022-11-30 08:41

Spark修炼之道——Spark学习路线、课程大纲

Spark修炼之道（基础篇）——Linux大数据开发基础（15讲）、Li
zhouzhihubeyond·2022-11-30 08:41

最新的适合0基础的Java 学习路线，（附视频教程）不仅仅是Javaweb还有大数据哦

除了有Java学习路线外，还有Java基础入门、JavaWeb开发+实战、大数据开发+实
rookieflyhigher菜鸟要飞·2022-11-30 03:11

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第14章 存储和成本管理

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第15章 数据质量

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第4篇 数据应用篇 -第16章 数据应用

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第2篇 数据模型篇 -第9章 阿里巴巴数据整合及管理体系

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:15

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第12章 元数据

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:15

《大数据之路：阿里巴巴大数据实践》-第1篇 数据技术篇 -第3章数据同步

《大数据之路：阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述
九层之台起于累土·2022-11-29 19:14
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他