04--数据开发第18页

数据开发如何巧妙解决业务问题

|0x00数据研发的技能栈“你的价值是什么？”这可能是做数据的同学，最经常被问到的问题。早期数据从业者是比较开心的，能够应用Hadoop框架做工具，就已经能够解决mysql时代面临的海量数据问题了，价值不言而喻。有道是：“会写MR，月薪过万”。但是如今，随着工具的不断发展和完善，尤其是商业化方案的高度完善，会使用大数据工具，来处理海量数据，已经是从业新人的标配了，甚至很多非专业的人士都能够轻松驾驭

晓阳的数据小站·2023-04-16 15:11

（大数据开发随笔9）Hadoop 3.3.x分布式环境部署——全分布式模式

索引完全分布式模式守护进程布局集群搭建准备总纲配置文件格式化集群启动集群集群控制命令集群启停进程查看启动日志查看集群常见问题案例演示：WordCount完全分布式模式分布式文件系统中，HDFS相关的守护进程也分布在不同的机器上，如：NameNode守护进程，尽可能单独部署在一台硬件性能较好的机器中其他的每台机器上都会部署一个DataNode进程，一般的硬件环境即可SecondaryNameNode

脑汁·2023-04-16 13:58

（大数据开发随笔6）Hadoop 3.3.x分布式环境部署——本地模式

本地模式材料准备Linux虚拟机-CentOS7hadoop-3.3.1.tar.gzIndexof/hadoop/common(apache.org)jdk-8u321-linux-x64.tar.gzJavaArchive|OracleCentos7虚拟机部署准备材料：VMware17CentOS-7-x86_64-Minimal-2009.isocentos-7-isos-x86_64安装包

脑汁·2023-04-16 13:28

（大数据开发随笔7）Hadoop 3.3.x分布式环境部署——伪分布式模式

伪分布式模式前戏jdk和hadoop环境变量配置确保防火墙关闭：systemctlstatusfirewalld；返回inactive；关闭命令systemctlstopfirewalld；防止自启动命令systemctldisablefirewalld报错：-bash:/usr/bin/systemctl:Permissiondenied解决：sudochmod-R750/usr/bin/sys

脑汁·2023-04-16 13:58

（大数据开发随笔8）Hadoop 3.3.x分布式环境部署——补充知识

索引克隆虚拟机SSH免密登录ssh简介免密登录scp命令时间同步克隆虚拟机克隆：注意要分开放置三个虚拟机的位置修改克隆机的ip地址vi/etc/sysconfig/network-scripts/ifcfg-ens33——IPADDR重启网络systemctlrestartnetworkipaddr查看ip地址修改克隆机的主机名hostname主机名2hostnamectlset-hostname

脑汁·2023-04-16 13:27

DAMA、DCMM等数据管理框架各个能力域的划分是否合理？有内在逻辑吗？

《DAMA》针对数据管理体系给出了自己的框架，如下图：《DAMA》确定了10个数据管理职能，也就是10个能力域，分别是数据架构管理、数据开发、数据操作管理、数据安

hzp666·2023-04-16 08:33

大数据开发：OLAP开源数据分析引擎简介

今天的大数据开发分享，我们就主要来讲讲主流的几个OLAP开源数据分析引擎。

成都加米谷大数据·2023-04-16 01:55

Flink 优化 (五) --------- Job 优化

DataGen造数据1.DataStream的DataGenerator2.SQL的DataGenerator二、算子指定UUID三、链路延迟测量四、开启对象重用五、细粒度滑动窗口优化一、使用DataGen造数据开发完

在森林中麋了鹿·2023-04-15 21:11

大数据开发：消息队列如何处理消息积压

今天的大数据开发学习分享，我们就来聊聊，消息队列如何处理消息积压？一般来说，消息积压的直接原因一定是系统中的某个部分出现了性能问题，来不及处理上游发送的消息，才会导致消息积压。

成都加米谷大数据·2023-04-15 20:40

程序员也有年龄限制？3个真实的程序员年龄故事告诉你

今天举3个真实的程序员年龄的例子故事如下第一位：丁军大数据开发工程师35岁择业丁军是一名大数据开发工程师曾在小米工作多年，后兑现股票还了房贷，跳槽去做在线教育。

51Aspx源码服务专家·2023-04-15 20:01

东软跨境电商数仓开发进度

我们学校开始了为期两个月（2022.05.23-2022.07.22）的实训，在本次实训当中，我们将围绕着东软跨境电商主题，开发一个东软睿购跨境电商项目，项目小组三人，一人做前端，一人做后端，一人进行大数据开发

Mmj666·2023-04-15 13:26

大数据开发必备面试题Kafka篇合集

1、简述下使用Kafka的原因。（1）缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。（2）解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要遵守约定，针对数据编程即可获取扩展能力。（3）冗余：可以采

技术人小柒·2023-04-15 13:47

大数据开发必备面试题Spark篇02

1、Spark与MapReduce的Shuffle的区别？（1）相同点：都是将mapper（Spark里是ShuffleMapTask）的输出进行partition，不同的partition送到不同的reducer（Spark里reducer可能是下一个stage里的ShuffleMapTask，也可能是ResultTask）。（2）不同点：A、MapReduce默认是排序的，spark默认不排序

技术人小柒·2023-04-15 13:46

大数据开发必备面试题Spark篇01

1、Hadoop和Spark的相同点和不同点？Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap

技术人小柒·2023-04-15 13:16

大数据开发必备面试题Spark篇合集

1、Hadoop和Spark的相同点和不同点？Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括map、reduce、filter、flatmap

技术人小柒·2023-04-15 13:44

前端项目-05-轮播图banner和Floor组件开发-全局轮播图组件抽取

目录1-轮播图模块数据开发2-floor组件开发3-抽取全局轮播图组件1-轮播图模块数据开发轮播图需要用到swiper插件，先安装5.4.5版本的swiper：npminstall--saveswiper

ycmy2017·2023-04-15 02:35

大数据学习路线图（2023完整版）适合收藏

大数据开发是一门涉及处理和分析大规模数据的技术领域，随着大数据技术的不断发展和应用，对大数据开发人员的需求也在逐渐增加。就业前景相对较好，尤其在科技行业和数据驱动型企业中。

千锋IT教育·2023-04-14 23:40

大数据需要学哪些内容

随着物联网、人工智能、云计算等技术的发展，数据的规模不断增大，数据分析、数据挖掘、人工智能等应用也随之蓬勃发展，对大数据开发的需求越来越多。因此，大数据开发人才将会在未来的职场中占据重要的地位。

千锋IT教育·2023-04-14 23:10

大数据=SQL Boy,SQL Debug打破SQL Boy 的僵局

网上经常盛传大数据=sqlboy，后端开发=crudboy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hivesql、sparksql、flinksql等等

诸葛子房_·2023-04-14 18:36

大数据发展趋势如何？

现在，在数字化转型的推动下，越来越多的企业意识到大数据的魅力，并不断在这个领域投入资金，Python+大数据开发相关人才也备受青睐！

我想去吃ya·2023-04-14 12:17

springMVC整理04--文件上传 & 拦截器 & 异常处理

1.文件上传SpringMVC的文件上传非常简便，首先导入文件上传依赖的jar：123commons-fileupload4commons-fileupload51.3.16在springMVC-servlet.xml配置文件中配置文件解析器：1346789注意解析器的id必须等于multipartResolver,否则上传会出现异常：1.1单个文件上传1@Controller2publiccla

weixin_34406061·2023-04-14 09:41

Apache ORC深度探索（上篇）

相信对Hadoop生态系统熟络的大数据开发者对ORC都不会陌生，笔者也是，那么ORC具体是什么？有哪些应用呢？

阿福Chris·2023-04-14 07:06

Hadoop2.7.5集群搭建

pdf：链接：https://pan.baidu.com/s/1WDWgZLlErWf6S-9JJwiAqQ提取码：umnh参考课程：【好程序员】最新大数据Hadoop入门基础视频教程，适合零基础自学的大数据开发课程

QYHuiiQ·2023-04-14 04:26

R语言绘图（ggplot2、ggpubr）从入门到精通04--柱状图美化之调色

本系列课程要求大家有一定的R语言基础，对于完全零基础的同学，建议去听一下师兄的《生信必备技巧之——R语言基础教程》。本课程将从最基本的绘图开始讲解，深入浅出的带大家理解和运用强大而灵活的ggplot2包。内容包括如何利用ggplot2绘制散点图、线图、柱状图、添加注解、修改坐标轴和图例等。本次课程所用的配套书籍是：《RGraphicCookbooks》除了以上的基本图形外，师兄还会给大家讲解箱线图

生信师兄·2023-04-13 08:50

火山引擎 DataLeap 推出全链路智能监控报警平台

字节数据平台·2023-04-13 05:08

字节跳动构建Data Catalog数据目录系统的实践

作为数据目录产品，DataCatalog通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。

免费的东西·2023-04-13 05:08

从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala

从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala前言【本文适合有一定计算机基础/半年工作经验的读者食用。

虎鲸不是鱼·2023-04-12 20:43

数据湖 | Apache Hudi 设计与架构最强解读

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-12 12:45

大数据学习完可以做什么

接下来我们就具体说下学大数据可以从事的岗位：1、大数据开发工程师开发，建设，测试和维护架构，负

我想去吃ya·2023-04-12 01:55

学习大数据需要什么语言基础

Python易学，人人都可以掌握，如果零基础入门数据开发行业的小伙伴，可以从Python语言入手。

我想去吃ya·2023-04-12 01:55

日本留学生算法转型大数据开发？听他怎么说

但19年归国之后，求职算法一职半年无果，遂开始学习开发的内容，目前在某大厂担任大数据开发工程师一职。留学日本本科所在专业是中日合办的专业，会有日方老师过来授课。接触的多了以后对日本的文化很有兴趣，

大数据肌肉猿·2023-04-11 19:55

Kafka Connect简介

一.KafkaConnect简介Kafka是一个使用越来越广的消息系统，尤其是在大数据开发中（实时数据处理和分析）。

wandy0211·2023-04-11 17:19

大数据之路读书笔记-04离线数据开发

大数据之路读书笔记-04离线数据开发从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的。

潘小磊·2023-04-11 11:41

大数据开发的前景和就业如何？该如何去学习它？

python大数据开发学习路线如下：2022最新MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到

测试小扎·2023-04-11 11:26

大数据开发、Java技术笔记整理

整理了一下电脑里的笔记，只doc格式的已有这么些。以后更文便按着列表来吧。当初留下笔记也只是习惯问题而已，如今将他们都分享出来也算是个新的“习惯”吧。技术这东西没有标答，若看官们有任何异议，欢迎交流。PS：当然，此后一系列文章应该对技术小白有点困难，若没有基础可能会看不懂，以后空了会考虑出小白笔记。好啦，以上废话到此为止。今日分享：“idea破解”1、将文件解压到E:\idea目录中2、进行破解将

卿卿老祖·2023-04-11 09:29

CDA证书值得考吗？数据分析前景怎么样？

在数据时代快速发展的现在，涌现出一批高薪的岗位，像大数据开发工程师、数据挖掘工程师、数据分析师等等。相对开发工程师等类型更偏向于技术的岗位而言，数据分析师对于学习者的要求同样严格。

IT自学妹·2023-04-10 23:38

java入门

1、为什么要选用java目前全球Top1开发语言，最大的开发社区，最多的厂商支持企业和互联网后端开发/安卓开发/大数据开发全球需求量最大的工程师，高薪就业掌握java作为第一门工作语言后，掌握其他语言非常容易

一一垚·2023-04-10 16:57

dodaf体系结构建模与分析系统软件

互联网是个神奇的大网，大数据开发和软件

seolutong·2023-04-10 15:52

iOS架构之路07 -- .framework静态库依赖Cocoapods第三方库

在自己创建的.framework工程中，会依赖其他第三方库pod库，本文是在iOS架构之路04--静态库.framwork的手动，脚本，资源文件打包这篇文章所建工程的基础上展开的，原来的工程结构如下：25440976

YanZi_33·2023-04-10 12:16

【闲聊】大数据开发秋招面试准备

现在真的是越来越卷了，这才6月，很多公司秋招都开始了（比如华为官网已经可以投递了）。打算从明天开始准备秋招，后面继续更新一些面试题，包括计算机基础、算法、数仓、Java、SQL，以及常考题。不知道外企难度怎么样，计划把八股文的英语版也准备起来，网上好像没找到八股文英文版，打算自己更新一套。1.算法算法是个积累的过程，突击没有用，只能每天坚持。后面打算每天做一道题，把每种类型的题多做几遍。下面是

和风与影·2023-04-10 06:41

牛客网Python入门103题练习|(04--列表（2）)

⭐NP24淘汰排名最后的学生描述某实验班实行末位淘汰制，期中考试需要淘汰末三位同学。现输入一行多个字符串表示按分数排名的该班级同学的名字（数量一定不少于三个），请你使用list将其封装为列表，然后使用三次pop函数，去掉末三位同学的名字，最后输出淘汰后的班级名字列表。输入描述：输入一行多个字符串表示同学名字，最少不少于3个名字，以空格间隔。输出描述：输出删除末三位后的完整列表。示例1输入：NiuN

YueXuan_521·2023-04-09 23:47

大数据环境-云平台（阿里云）

本节内容参考：【2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目全套一网打尽-哔哩哔哩】阿里云VPC配置1、注册账户登陆2、构建云上虚拟局域网virtualprivatecloud

Kilig*·2023-04-09 21:22

美团大数据开发转正实习面经(已OC)

一面面试体验整体很不错，面试官很温柔，也不会故意为难你。一面(2023.3.21)自我介绍简单介绍项目(研一在国电做的)你认为学习到的技术和实际使用的差距在哪项目中的数据都是哪里来的(集团中各种设备运行的数据)你说你用到了Spark那你介绍一下Spark的组件和整体架构(结合Dirver和Executor各自的作用)介绍一下Spark的RDD(分布式弹性数据集、基本的数据抽象、封装了计算逻辑、RD

落花雨时·2023-04-09 14:35

数据中台：数据中台技术架构详解

文章目录简介一.整体架构二.核心模块2.1数据汇聚技术选型2.2数据开发2.3数据资产管理2.4数据质量和安全2.4.1数据质量2.4.2数据安全2.5数据服务简介把数据中台是什么？为何？有什么价值？

Freedom3568·2023-04-09 11:52

3000字梳理大数据开发流程及规范(建议收藏)

点击上方"大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新|1052个转型案例分享-大数据交流群来源：五分钟学大数据全文共2933个字，建议阅读5分钟在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低

无精疯·2023-04-09 08:17

数据开发流程及规范

一、背景在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加成本与风险。数据研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，赋能企业

无精疯·2023-04-09 08:16

面经5：美团：22年实习生大数据开发面试

本人是一个双非硕士在读地研二狗，非科班出身，最近也是参加了大数据开发地面试，已拿到了哔哩哔哩和顺丰的大数据开发岗实习offer，现在把自己的面试经历分拨记录下来，记录了面试各个公司的问题和心经，给正在面试的你做一些适当的参考如果这篇文章对你有所帮助

牧码文·2023-04-09 01:08

python大数据开发学习路线

5个月，精通大数据的必备干货【技术点标记重点】，下方含全套自学视频+源码资料，如果零基础入门数据开发行业的小伙伴从Python语言入手。

测试小扎·2023-04-09 00:02

干货｜数据仓库工具hive面试题集锦

与此同时大数据开发工程师的薪资也成为行业内高薪的代表。想从事大数据开发需要掌握多种核心技术：Hadoop、Hive、Storm、Spark、Scala等等。

传智播客·2023-04-09 00:31

大数据开发面试题必备20题

问答题:HDFS的组织架构？由HDFSClient、NameNode、DataNode和ScondaryNameNode四部分组成一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。NameNode是一个中心服务器，负责管理文件系统的名字空间(Namespace)及客户端对文件的访问HDFS读写流程?客户端向NameNode发出文件请求检查是否存在文件，检查权限。通过检查直

㫪旧·2023-04-09 00:01

推荐频道

04--数据开发