003-数据开发第18页

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

然而，随着系统的复杂性增加，用户在日常使用中往往需要面临诸如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等疑难问题。然而，由于错误日志分析透出和全链路异常诊断能力方面存在一定的不足。

·2023-06-08 15:43

初学者如何快速入门大数据？程序员小哥提点建议

大数据开发，真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，带领学生一站式搞定匪夷所思的大数据开发技术。想要学习大数据的小伙伴可以按照这个路线走，大家可以放心学习，共

juan333·2023-06-08 04:46

亲身经历告诉你，0基础转行学Python，毕业就能15000

学科|Python+大数据开发薪资|15000时间总是在你回忆往事时才会觉得短暂，来黑马之前觉得六个月将是一段很漫长的煎熬，总是怀疑自己是否能够坚持。

骨灰级收藏家·2023-06-07 20:37

视频教程-Oracle RMAN备份与恢复视频教程篇-Oracle

OracleRMAN备份与恢复视频教程篇OracleOCM顶级认证,PMP项目管理师,10余年工作经验,先后担任过OracleDBA,JAVA软件工程师,大数据开发工程师等岗位。

学院导师-黄知茂·2023-06-07 20:00

附下载 | 354个数据开发利用机构名单来了

数字中国建设正在驶入发展快车道。2023年2月，中共中央、国务院印发的《数字中国建设整体布局规划》提出，到2025年，基本形成横向打通、纵向贯通、协调有力的一体化推进格局，数字中国建设取得重要进展。到2035年，数字化发展水平进入世界前列，数字中国建设取得重大成就。建设数字中国是数字时代推进中国式现代化的重要引擎，是构筑国家竞争新优势的有力支撑。目前，我国已经形成以国家数据局宏观统筹，省级大数据管

炼石网络·2023-06-07 12:49

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。

·2023-06-07 11:29

Day04 01-MySQL存储过程入门

参数第十章存储过程10.1什么是存储过程MySQL从1.5版本开始支持存储过程(PROCEDURE)存储过程将复杂的业务实现(增删改查、变量、数组、分支、循环、方法调用、事务提交、回滚等等)搬到数据库实现，作为大数据开发者

Aidon-东哥博客·2023-06-07 08:30

大数据架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大数据架构师的岗位工作职责及应具备的能力。如下图所示

皮皮杂谈·2023-06-07 07:18

乐姐·2023-06-07 05:52

揭开神秘面纱，会stream流就会大数据

如果你会任意一门语言的stream流，没道理不会大数据开发。俗话说男追女隔座山，女追男隔层纱。

·2023-06-06 21:50

大数据面试核心101问【大厂超级喜欢这些题】

之前出过《史上最全的大数据开发八股文》这篇文章，同学们都觉得还不错，但是有些同学觉得那个背起来还是有些吃力，于是我再次回顾了自己之前面试所有大厂的一些面试题以及牛客上面的一些面经，然后总结了频率问的最高的

三石大数据·2023-04-21 20:16

大数据开发面试重点【2023届秋招总结】

我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到了10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂。

三石大数据·2023-04-21 20:16

史上最全的大数据开发八股文【自己的吐血总结】

自我介绍我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂（岗位都是大数据开发

三石大数据·2023-04-21 20:15

Leetcode SQL会员题【吐血总结~~】第三天

.用户购买平台1132.报告的记录II1142.过去30天的用户活动II1149.文章浏览II1159.市场分析II1164.指定日期的产品价格1097.游戏玩法分析V**注：2022年阿里春招实习大数据开发岗位笔试第一题就是留存率源代码

三石大数据·2023-04-21 20:14

【大数据开发必看】可视化BI神器---FineBI

数据可视化分析平台FineBI1.可视化的应用1.1数据可视化可视化分析平台：不用写代码，直接对原始数据通过图形化操作实现分析和构建报表平台主要用于提供给业务人员快速上手实现数据分析构建可视化报表通过图的形式来展示对应的数据，实现信息的传递传递信息的方式文字：不太适合表达数据的信息结果图片：简单直观体现数据走势体现数据大小体现数据比例声音：不太适合数据的表达视频：太笨重，不太方便1.2目的通过图片

三石大数据·2023-04-21 20:43

史上最全的2023最新大数据面试笔记【200+页，10w+字】

简介：我本硕都是双非计算机专业，研二开始学习大数据开发的相关知识，从找实习到秋招，投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂，现在已经签约蚂蚁数据研发工程师

三石大数据·2023-04-21 20:39

我们为什么需要数据血缘

1、日益庞大的数据开发导致表间关系混乱，管理成本与使用成本激增数据血缘产生最本质的需求。大数据开发作为数据汇集与数据服务提供方，庞大的数据与混乱的数据依赖导致管理成本与使用成本飙升。

jane9872·2023-04-21 16:52

大数据实战 --- 世界新冠疫情数据分析

目录开发环境数据描述功能需求数据准备统计计算HbaseHive分析数据开发环境Hadoop+Hive+Spark+HBase启动Hadoop：start-all.sh启动zookeeper：zkServer.shstart

你∈我·2023-04-21 16:04

一文带你彻底搞懂i++和++i的区别，谁的效率更高？

作者简介：Codebowl靓仔，学妹的工具人，C++开发误入数据开发，梦想30岁退休的靓仔就是我啦。

CodeBowl·2023-04-21 12:06

【数据中台商业化】数据中台微前端实践

作者：京东科技陈云飞一，需求背景1业务背景在以往的业务场景中，用户进入五花八门的菜单体系中，往往会产生迷茫情绪，难以理解平台名称及具体作用，导致数据开发与管理学习成本较高，降低工作效率。

·2023-04-21 10:35

（2018干货系列七）最新大数据学习路线整合

互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发。

weixin_30457881·2023-04-21 10:04

中国“数字经济”有望持续领跑

从具体实践来看，数字经济的活力表现在诸多方面：数字基础设施高速泛在化，天地空一体化网络融合发展；数据要素的价值日益凸显，数据开发利用水平不断加深；数字产业化保持快速增长，疫情

一睁眼看世界·2023-04-20 15:28

DawnSql在数据治理中的优势

数据治理的流程数据治理的主要流程：数据集成数据开发数据质量数据服务1.数据集成数据集成主要包括两块：数据采集和清洗。2.数据开发数据开发包括编码研发和规范建模。

·2023-04-20 10:57

数据系统架构-9.统一查询服务one-service

统一查询服务one-service1.背景在日常的数据开发过程中，我们会把数据结果存储在各类数据库中或者导入到OLAP查询引擎中供上层应用使用。

叶之城·2023-04-20 10:51

大宝大话大数据（一）大数据的骨架

学习和使用大数据工具已经一年多了，经历了看书自学，实习实践，理解原理这几个重要阶段的铺垫后，自我感觉算是对大数据开发初步入门了。也想借此机会对所学内容做一个总结和归纳。

北邮郭大宝·2023-04-19 21:59

基于 Flink 流计算实现的股票交易实时资产应用

1.1成员简介陆冠兴：数据开发工程师，目前在互联网券商大数据部门工作，主要负责业务数据开发、数据平台建设、数据资产建设等相关工作，对流计算应用开发有一定经

·2023-04-19 11:45

网易数帆数据治理体系、工具、流程、制度与管理概述

文章将围绕以下三点展开：1.数据治理解决了什么问题2.数据治理体系3.浅谈数据治理的实现01数据治理解决了什么问题首先看一下数据治理解决了什么问题，可以总结为六个方面：1.数据开发与数据治理脱节在许多企业中存在这样一个现象

wangyishufan·2023-04-19 11:35

给初心者的数据仓库元数据系统开发指南

加过一些数据开发的社群，经常会有人问元数据系统怎么开发，大概网上很难搜到相关的好文章。什么是元数据首先，元数据的概念，通常解释为数据的数据，这个太难看懂了，需要换个角度解释。

爆头精·2023-04-19 04:37

大数据开发必备面试题Flume篇合集

大数据开发必备面试题Flume篇合集1、详细介绍Flume有哪些组件？2、你是如何实现Flume数据传输的监控的？3、Flume参数怎么调优？4、简述下Flume的事务机制。

技术人小柒·2023-04-18 22:53

精通MySQL之架构篇

今天给大家分享的是大数据开发基础部分MySQL的第一篇，老刘讲点和别人不一样的内容！

IT老王博客·2023-04-18 21:30

元数据系统的产品形态

这是个生产力工具，可以提升数据开发者的生产效率。多从数据开发者的使用角度思考，让他们用的爽，元数据门户的用户数自然而然就会提升。这个门户可以

爆头精·2023-04-18 13:19

邀您参赛！DCIC 2023「科技金融欺诈风险识别」算法赛正在报名中

为进一步打击外部欺诈违法犯罪行为，建立完善符合电信网络诈骗活动特征的异常账户和可疑交易的监测机制，兴业银行股份有限公司联合2023数字中国创新大赛·数据开发赛道设置算法赛题「科技金融应用：欺诈风险识别」

DataFountain数据科学·2023-04-18 10:46

217页企业大数据能力平台建设技术方案（word可编辑）

1.1.1.1 建设方案架构数据治理平台覆盖了从标准、设计、采集、开发到使用，再到交付的全数据治理流程，为组织提供了一站式数据治理运营平台，可满足数据共享交换、数据开发、数据运营多种应用场景，

数字化动态·2023-04-18 07:14

【库学科技资讯】最厉害的大数据工程师是哪个？这4个岗位入职前一定要区分好！

大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师、有什么区别？都要做什么工作？哪个功能最强大？今天我们来看一位大神如何解释！

库学科技·2023-04-17 22:43

了解Hbase吗？说下Hbase的架构原理

说下Hbase的架构原理我是精神抖擞王大鹏，不卑不亢，和蔼可亲~计算机硕士，目前小米大数据开发。日常会分享总结一些自己面试实际问题的回答，欢迎一起讨论。

精神抖擞王大鹏·2023-04-17 17:21

关于大数据获客你需要了解的知识

1、SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob

MegaDADT·2023-04-17 13:52

数据开发常用工具---查询结果邮件定时发送

目前数据开发的任务有很多工具(dataworks,schedulerx,crontab)大部分都可以实现定时依赖运行。

R_记忆犹新·2023-04-17 05:47

echarts经验总结

使用echarts将尽五个年头，发现很多之前遇到的问题回头又遇到了却忘记了当初解决问题的方法，因为公司是做大数据开发，对数据可视化使用频繁且需(fei)求(chang)各(bian)异(tai)，所以echarts

晚饭总吃撑·2023-04-16 19:55

数据开发如何巧妙解决业务问题

|0x00数据研发的技能栈“你的价值是什么？”这可能是做数据的同学，最经常被问到的问题。早期数据从业者是比较开心的，能够应用Hadoop框架做工具，就已经能够解决mysql时代面临的海量数据问题了，价值不言而喻。有道是：“会写MR，月薪过万”。但是如今，随着工具的不断发展和完善，尤其是商业化方案的高度完善，会使用大数据工具，来处理海量数据，已经是从业新人的标配了，甚至很多非专业的人士都能够轻松驾驭

晓阳的数据小站·2023-04-16 15:11

（大数据开发随笔9）Hadoop 3.3.x分布式环境部署——全分布式模式

索引完全分布式模式守护进程布局集群搭建准备总纲配置文件格式化集群启动集群集群控制命令集群启停进程查看启动日志查看集群常见问题案例演示：WordCount完全分布式模式分布式文件系统中，HDFS相关的守护进程也分布在不同的机器上，如：NameNode守护进程，尽可能单独部署在一台硬件性能较好的机器中其他的每台机器上都会部署一个DataNode进程，一般的硬件环境即可SecondaryNameNode

脑汁·2023-04-16 13:58

（大数据开发随笔6）Hadoop 3.3.x分布式环境部署——本地模式

本地模式材料准备Linux虚拟机-CentOS7hadoop-3.3.1.tar.gzIndexof/hadoop/common(apache.org)jdk-8u321-linux-x64.tar.gzJavaArchive|OracleCentos7虚拟机部署准备材料：VMware17CentOS-7-x86_64-Minimal-2009.isocentos-7-isos-x86_64安装包

脑汁·2023-04-16 13:28

（大数据开发随笔7）Hadoop 3.3.x分布式环境部署——伪分布式模式

伪分布式模式前戏jdk和hadoop环境变量配置确保防火墙关闭：systemctlstatusfirewalld；返回inactive；关闭命令systemctlstopfirewalld；防止自启动命令systemctldisablefirewalld报错：-bash:/usr/bin/systemctl:Permissiondenied解决：sudochmod-R750/usr/bin/sys

脑汁·2023-04-16 13:58

（大数据开发随笔8）Hadoop 3.3.x分布式环境部署——补充知识

索引克隆虚拟机SSH免密登录ssh简介免密登录scp命令时间同步克隆虚拟机克隆：注意要分开放置三个虚拟机的位置修改克隆机的ip地址vi/etc/sysconfig/network-scripts/ifcfg-ens33——IPADDR重启网络systemctlrestartnetworkipaddr查看ip地址修改克隆机的主机名hostname主机名2hostnamectlset-hostname

脑汁·2023-04-16 13:27

DAMA、DCMM等数据管理框架各个能力域的划分是否合理？有内在逻辑吗？

《DAMA》针对数据管理体系给出了自己的框架，如下图：《DAMA》确定了10个数据管理职能，也就是10个能力域，分别是数据架构管理、数据开发、数据操作管理、数据安

hzp666·2023-04-16 08:33

大数据开发：OLAP开源数据分析引擎简介

今天的大数据开发分享，我们就主要来讲讲主流的几个OLAP开源数据分析引擎。

成都加米谷大数据·2023-04-16 01:55

Flink 优化 (五) --------- Job 优化

DataGen造数据1.DataStream的DataGenerator2.SQL的DataGenerator二、算子指定UUID三、链路延迟测量四、开启对象重用五、细粒度滑动窗口优化一、使用DataGen造数据开发完

在森林中麋了鹿·2023-04-15 21:11

大数据开发：消息队列如何处理消息积压

今天的大数据开发学习分享，我们就来聊聊，消息队列如何处理消息积压？一般来说，消息积压的直接原因一定是系统中的某个部分出现了性能问题，来不及处理上游发送的消息，才会导致消息积压。

成都加米谷大数据·2023-04-15 20:40

程序员也有年龄限制？3个真实的程序员年龄故事告诉你

今天举3个真实的程序员年龄的例子故事如下第一位：丁军大数据开发工程师35岁择业丁军是一名大数据开发工程师曾在小米工作多年，后兑现股票还了房贷，跳槽去做在线教育。

51Aspx源码服务专家·2023-04-15 20:01

东软跨境电商数仓开发进度

我们学校开始了为期两个月（2022.05.23-2022.07.22）的实训，在本次实训当中，我们将围绕着东软跨境电商主题，开发一个东软睿购跨境电商项目，项目小组三人，一人做前端，一人做后端，一人进行大数据开发

Mmj666·2023-04-15 13:26

大数据开发必备面试题Kafka篇合集

1、简述下使用Kafka的原因。（1）缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。（2）解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要遵守约定，针对数据编程即可获取扩展能力。（3）冗余：可以采

技术人小柒·2023-04-15 13:47

推荐频道

003-数据开发