003-数据开发第19页

史上最全的2023最新大数据面试笔记【200+页，10w+字】

简介：我本硕都是双非计算机专业，研二开始学习大数据开发的相关知识，从找实习到秋招，投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂，现在已经签约蚂蚁数据研发工程师

三石大数据·2023-04-21 20:39

我们为什么需要数据血缘

1、日益庞大的数据开发导致表间关系混乱，管理成本与使用成本激增数据血缘产生最本质的需求。大数据开发作为数据汇集与数据服务提供方，庞大的数据与混乱的数据依赖导致管理成本与使用成本飙升。

jane9872·2023-04-21 16:52

大数据实战 --- 世界新冠疫情数据分析

目录开发环境数据描述功能需求数据准备统计计算HbaseHive分析数据开发环境Hadoop+Hive+Spark+HBase启动Hadoop：start-all.sh启动zookeeper：zkServer.shstart

你∈我·2023-04-21 16:04

一文带你彻底搞懂i++和++i的区别，谁的效率更高？

作者简介：Codebowl靓仔，学妹的工具人，C++开发误入数据开发，梦想30岁退休的靓仔就是我啦。

CodeBowl·2023-04-21 12:06

【数据中台商业化】数据中台微前端实践

作者：京东科技陈云飞一，需求背景1业务背景在以往的业务场景中，用户进入五花八门的菜单体系中，往往会产生迷茫情绪，难以理解平台名称及具体作用，导致数据开发与管理学习成本较高，降低工作效率。

·2023-04-21 10:35

（2018干货系列七）最新大数据学习路线整合

互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发。

weixin_30457881·2023-04-21 10:04

中国“数字经济”有望持续领跑

从具体实践来看，数字经济的活力表现在诸多方面：数字基础设施高速泛在化，天地空一体化网络融合发展；数据要素的价值日益凸显，数据开发利用水平不断加深；数字产业化保持快速增长，疫情

一睁眼看世界·2023-04-20 15:28

DawnSql在数据治理中的优势

数据治理的流程数据治理的主要流程：数据集成数据开发数据质量数据服务1.数据集成数据集成主要包括两块：数据采集和清洗。2.数据开发数据开发包括编码研发和规范建模。

·2023-04-20 10:57

数据系统架构-9.统一查询服务one-service

统一查询服务one-service1.背景在日常的数据开发过程中，我们会把数据结果存储在各类数据库中或者导入到OLAP查询引擎中供上层应用使用。

叶之城·2023-04-20 10:51

大宝大话大数据（一）大数据的骨架

学习和使用大数据工具已经一年多了，经历了看书自学，实习实践，理解原理这几个重要阶段的铺垫后，自我感觉算是对大数据开发初步入门了。也想借此机会对所学内容做一个总结和归纳。

北邮郭大宝·2023-04-19 21:59

基于 Flink 流计算实现的股票交易实时资产应用

1.1成员简介陆冠兴：数据开发工程师，目前在互联网券商大数据部门工作，主要负责业务数据开发、数据平台建设、数据资产建设等相关工作，对流计算应用开发有一定经

·2023-04-19 11:45

网易数帆数据治理体系、工具、流程、制度与管理概述

文章将围绕以下三点展开：1.数据治理解决了什么问题2.数据治理体系3.浅谈数据治理的实现01数据治理解决了什么问题首先看一下数据治理解决了什么问题，可以总结为六个方面：1.数据开发与数据治理脱节在许多企业中存在这样一个现象

wangyishufan·2023-04-19 11:35

给初心者的数据仓库元数据系统开发指南

加过一些数据开发的社群，经常会有人问元数据系统怎么开发，大概网上很难搜到相关的好文章。什么是元数据首先，元数据的概念，通常解释为数据的数据，这个太难看懂了，需要换个角度解释。

爆头精·2023-04-19 04:37

大数据开发必备面试题Flume篇合集

大数据开发必备面试题Flume篇合集1、详细介绍Flume有哪些组件？2、你是如何实现Flume数据传输的监控的？3、Flume参数怎么调优？4、简述下Flume的事务机制。

技术人小柒·2023-04-18 22:53

精通MySQL之架构篇

今天给大家分享的是大数据开发基础部分MySQL的第一篇，老刘讲点和别人不一样的内容！

IT老王博客·2023-04-18 21:30

元数据系统的产品形态

这是个生产力工具，可以提升数据开发者的生产效率。多从数据开发者的使用角度思考，让他们用的爽，元数据门户的用户数自然而然就会提升。这个门户可以

爆头精·2023-04-18 13:19

邀您参赛！DCIC 2023「科技金融欺诈风险识别」算法赛正在报名中

为进一步打击外部欺诈违法犯罪行为，建立完善符合电信网络诈骗活动特征的异常账户和可疑交易的监测机制，兴业银行股份有限公司联合2023数字中国创新大赛·数据开发赛道设置算法赛题「科技金融应用：欺诈风险识别」

DataFountain数据科学·2023-04-18 10:46

217页企业大数据能力平台建设技术方案（word可编辑）

1.1.1.1 建设方案架构数据治理平台覆盖了从标准、设计、采集、开发到使用，再到交付的全数据治理流程，为组织提供了一站式数据治理运营平台，可满足数据共享交换、数据开发、数据运营多种应用场景，

数字化动态·2023-04-18 07:14

【库学科技资讯】最厉害的大数据工程师是哪个？这4个岗位入职前一定要区分好！

大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师、有什么区别？都要做什么工作？哪个功能最强大？今天我们来看一位大神如何解释！

库学科技·2023-04-17 22:43

了解Hbase吗？说下Hbase的架构原理

说下Hbase的架构原理我是精神抖擞王大鹏，不卑不亢，和蔼可亲~计算机硕士，目前小米大数据开发。日常会分享总结一些自己面试实际问题的回答，欢迎一起讨论。

精神抖擞王大鹏·2023-04-17 17:21

关于大数据获客你需要了解的知识

1、SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob

MegaDADT·2023-04-17 13:52

数据开发常用工具---查询结果邮件定时发送

目前数据开发的任务有很多工具(dataworks,schedulerx,crontab)大部分都可以实现定时依赖运行。

R_记忆犹新·2023-04-17 05:47

echarts经验总结

使用echarts将尽五个年头，发现很多之前遇到的问题回头又遇到了却忘记了当初解决问题的方法，因为公司是做大数据开发，对数据可视化使用频繁且需(fei)求(chang)各(bian)异(tai)，所以echarts

晚饭总吃撑·2023-04-16 19:55

数据开发如何巧妙解决业务问题

|0x00数据研发的技能栈“你的价值是什么？”这可能是做数据的同学，最经常被问到的问题。早期数据从业者是比较开心的，能够应用Hadoop框架做工具，就已经能够解决mysql时代面临的海量数据问题了，价值不言而喻。有道是：“会写MR，月薪过万”。但是如今，随着工具的不断发展和完善，尤其是商业化方案的高度完善，会使用大数据工具，来处理海量数据，已经是从业新人的标配了，甚至很多非专业的人士都能够轻松驾驭

晓阳的数据小站·2023-04-16 15:11

（大数据开发随笔9）Hadoop 3.3.x分布式环境部署——全分布式模式

索引完全分布式模式守护进程布局集群搭建准备总纲配置文件格式化集群启动集群集群控制命令集群启停进程查看启动日志查看集群常见问题案例演示：WordCount完全分布式模式分布式文件系统中，HDFS相关的守护进程也分布在不同的机器上，如：NameNode守护进程，尽可能单独部署在一台硬件性能较好的机器中其他的每台机器上都会部署一个DataNode进程，一般的硬件环境即可SecondaryNameNode

脑汁·2023-04-16 13:58

（大数据开发随笔6）Hadoop 3.3.x分布式环境部署——本地模式

本地模式材料准备Linux虚拟机-CentOS7hadoop-3.3.1.tar.gzIndexof/hadoop/common(apache.org)jdk-8u321-linux-x64.tar.gzJavaArchive|OracleCentos7虚拟机部署准备材料：VMware17CentOS-7-x86_64-Minimal-2009.isocentos-7-isos-x86_64安装包

脑汁·2023-04-16 13:28

（大数据开发随笔7）Hadoop 3.3.x分布式环境部署——伪分布式模式

伪分布式模式前戏jdk和hadoop环境变量配置确保防火墙关闭：systemctlstatusfirewalld；返回inactive；关闭命令systemctlstopfirewalld；防止自启动命令systemctldisablefirewalld报错：-bash:/usr/bin/systemctl:Permissiondenied解决：sudochmod-R750/usr/bin/sys

脑汁·2023-04-16 13:58

（大数据开发随笔8）Hadoop 3.3.x分布式环境部署——补充知识

索引克隆虚拟机SSH免密登录ssh简介免密登录scp命令时间同步克隆虚拟机克隆：注意要分开放置三个虚拟机的位置修改克隆机的ip地址vi/etc/sysconfig/network-scripts/ifcfg-ens33——IPADDR重启网络systemctlrestartnetworkipaddr查看ip地址修改克隆机的主机名hostname主机名2hostnamectlset-hostname

脑汁·2023-04-16 13:27

DAMA、DCMM等数据管理框架各个能力域的划分是否合理？有内在逻辑吗？

《DAMA》针对数据管理体系给出了自己的框架，如下图：《DAMA》确定了10个数据管理职能，也就是10个能力域，分别是数据架构管理、数据开发、数据操作管理、数据安

hzp666·2023-04-16 08:33

大数据开发：OLAP开源数据分析引擎简介

今天的大数据开发分享，我们就主要来讲讲主流的几个OLAP开源数据分析引擎。

成都加米谷大数据·2023-04-16 01:55

Flink 优化 (五) --------- Job 优化

DataGen造数据1.DataStream的DataGenerator2.SQL的DataGenerator二、算子指定UUID三、链路延迟测量四、开启对象重用五、细粒度滑动窗口优化一、使用DataGen造数据开发完

在森林中麋了鹿·2023-04-15 21:11

大数据开发：消息队列如何处理消息积压

今天的大数据开发学习分享，我们就来聊聊，消息队列如何处理消息积压？一般来说，消息积压的直接原因一定是系统中的某个部分出现了性能问题，来不及处理上游发送的消息，才会导致消息积压。

成都加米谷大数据·2023-04-15 20:40

程序员也有年龄限制？3个真实的程序员年龄故事告诉你

今天举3个真实的程序员年龄的例子故事如下第一位：丁军大数据开发工程师35岁择业丁军是一名大数据开发工程师曾在小米工作多年，后兑现股票还了房贷，跳槽去做在线教育。

51Aspx源码服务专家·2023-04-15 20:01

东软跨境电商数仓开发进度

我们学校开始了为期两个月（2022.05.23-2022.07.22）的实训，在本次实训当中，我们将围绕着东软跨境电商主题，开发一个东软睿购跨境电商项目，项目小组三人，一人做前端，一人做后端，一人进行大数据开发

Mmj666·2023-04-15 13:26

大数据开发必备面试题Kafka篇合集

1、简述下使用Kafka的原因。（1）缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。（2）解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要遵守约定，针对数据编程即可获取扩展能力。（3）冗余：可以采

技术人小柒·2023-04-15 13:47

大数据开发必备面试题Spark篇02

1、Spark与MapReduce的Shuffle的区别？（1）相同点：都是将mapper（Spark里是ShuffleMapTask）的输出进行partition，不同的partition送到不同的reducer（Spark里reducer可能是下一个stage里的ShuffleMapTask，也可能是ResultTask）。（2）不同点：A、MapReduce默认是排序的，spark默认不排序

技术人小柒·2023-04-15 13:46

大数据开发必备面试题Spark篇01

1、Hadoop和Spark的相同点和不同点？Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap

技术人小柒·2023-04-15 13:16

大数据开发必备面试题Spark篇合集

1、Hadoop和Spark的相同点和不同点？Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap

技术人小柒·2023-04-15 13:44

前端项目-05-轮播图banner和Floor组件开发-全局轮播图组件抽取

目录1-轮播图模块数据开发2-floor组件开发3-抽取全局轮播图组件1-轮播图模块数据开发轮播图需要用到swiper插件，先安装5.4.5版本的swiper：npminstall--saveswiper

ycmy2017·2023-04-15 02:35

大数据学习路线图（2023完整版）适合收藏

大数据开发是一门涉及处理和分析大规模数据的技术领域，随着大数据技术的不断发展和应用，对大数据开发人员的需求也在逐渐增加。就业前景相对较好，尤其在科技行业和数据驱动型企业中。

千锋IT教育·2023-04-14 23:40

大数据需要学哪些内容

随着物联网、人工智能、云计算等技术的发展，数据的规模不断增大，数据分析、数据挖掘、人工智能等应用也随之蓬勃发展，对大数据开发的需求越来越多。因此，大数据开发人才将会在未来的职场中占据重要的地位。

千锋IT教育·2023-04-14 23:10

大数据=SQL Boy,SQL Debug打破SQL Boy 的僵局

网上经常盛传大数据=sqlboy，后端开发=crudboy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hivesql、sparksql、flinksql等等

诸葛子房_·2023-04-14 18:36

大数据发展趋势如何？

现在，在数字化转型的推动下，越来越多的企业意识到大数据的魅力，并不断在这个领域投入资金，Python+大数据开发相关人才也备受青睐！

我想去吃ya·2023-04-14 12:17

Apache ORC深度探索（上篇）

相信对Hadoop生态系统熟络的大数据开发者对ORC都不会陌生，笔者也是，那么ORC具体是什么？有哪些应用呢？

阿福Chris·2023-04-14 07:06

Hadoop2.7.5集群搭建

pdf：链接：https://pan.baidu.com/s/1WDWgZLlErWf6S-9JJwiAqQ提取码：umnh参考课程：【好程序员】最新大数据Hadoop入门基础视频教程，适合零基础自学的大数据开发课程

QYHuiiQ·2023-04-14 04:26

003-《资治通鉴》读书体会-卷第一-周纪一-安王

01安王在位26年，这二十多年没什么值得记录的事情，无非是各个诸侯国之间的混战。今天张三打李四，明天王二打麻子。整个中原大地已经再无宁日，年年有战争。应该和现在的中东地区差不多。兴，百姓苦，亡，百姓苦。一将终成万古枯，显赫的地王世家之下，不知冤死了多少无辜的生灵。突然想到当今世界的主题，和平与发展。我想，在安王那个战乱纷争的年代，生产力必定处在并长期处在较低的水平，庶民如同草芥蝼蚁，在夹缝中苟延残

言信果·2023-04-13 13:28

火山引擎 DataLeap 推出全链路智能监控报警平台

字节数据平台·2023-04-13 05:08

字节跳动构建Data Catalog数据目录系统的实践

作为数据目录产品，DataCatalog通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。

免费的东西·2023-04-13 05:08

从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala

从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala前言【本文适合有一定计算机基础/半年工作经验的读者食用。

虎鲸不是鱼·2023-04-12 20:43

数据湖 | Apache Hudi 设计与架构最强解读

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-12 12:45

推荐频道

003-数据开发