003-数据开发第15页

003-依赖注入、属性赋值源码分析

目录引入作用代码分析InstantiationAwareBeanPostProcessor#postProcessProperties()AutowiredAnnotationBeanPostProcessor查找注入点元数据给注入点注入属性引入之前我们了解到BeanDefinition到Bean，经历了实例化属性赋值初始化3个步骤现在详细分析下属性赋值：populateBean(beanName

SunriseYin·2023-08-03 23:07

大数据可视化BI工具：Visualis

Visualis支持拖拽式报表定义、图表联动、钻取、全局筛选、多维分析、实时查询等数据开发探索的分析模式，并提供水印、数据质量校验等金

小水滴2014·2023-08-03 23:30

Spark2.x精通：Master端循环消息处理源码剖析（一）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。

大数据开发运维架构·2023-08-03 12:57

如何方便的维护postgresql中的数据字典？

1.场景描述在日常的数据开发过程中，如果是任务紧急，或者是任务量大的时候，我们往往没有足够的时间来专程进行数据字典的维护。

theskylife·2023-08-02 23:19

伴鱼基于 Flink 构建数据集成平台的设计与实现

将数据集成过程平台化，将极大提升数据开发人员的效率，本文主要内容为：数据集成VS数据同步集成需求数据集成V1数据集成V2线上效果总结Tips：FFA大会以及Hackath

Apache Flink·2023-08-02 21:14

“三问五步”落地医疗行业数据安全建设体系|盾见

2021年6月10日，我国《数据安全法》颁布，并于2021年9月1日正式施行，作为数据领域的纲领性和基础性法律，以准确定义数据、数据处理、数据安全为出发点，提出解决数据全生命周期中的数据安全问题，达到数据开发利用

极盾科技·2023-08-02 20:47

偶数科技发布实时湖仓数据平台Skylab 5.3版本

Skylab包含七大产品，分别为云原生分布式数据库OushuDB、数据分析与应用平台Kepler、数据资产管理平台Orbit、自动化机器学习平台LittleBoy、数据工厂Wasp、数据开发与调度平台Flow

偶数科技·2023-08-02 16:44

IT行业发展新趋势，大数据开发应该如何从“零”学起？

大数据大数据可能是目前IT行业中被炒的最热的一个词了，尤其是国家在前几年提出大力发展大数据产业的时候，更是一层激起千层浪。不管是小白还是有开发经验的都想从中分得一杯羹。那么相对于有开发经验的，小白应该如何学习大数据呢？第一、小白在学习大数据的时候一定要搞清楚什么是大数据、并且了解大数据在我们的生活中和工作中可以应用到哪些方面。搞清楚这个，就可以培养学习的兴趣。俗话说的好“兴趣是最好的老师”。第二、

尚学先生·2023-08-02 11:35

Hive中的行转列，列转行

一、背景在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。

LiuPineapple·2023-08-02 04:07

大数据开发：Flink API编程初级入门

Flink编程，一个重要的思想就是API编程，今天的大数据开发学习分享，我们就来讲讲FlinkAPI编程初级入门。

成都加米谷大数据·2023-08-02 00:49

大数据培训毕业的学生，到底能拿多少薪资？

大数据开发岗位的工资，能拿到多少？

码农星球·2023-08-01 20:03

《大数据开发》Hive

Hive是基于Hadoop的一个数据仓库工具；提供Sql（hiveSql）查询功能；数据是存储在hdfs上，hive本身不存储数据，构建表的逻辑存在指定数据库（mysql）。本质是将SQL语句转换为MapReduce任务执行。离线大数据计算。可以将结构化的数据文件映射成为一张数据库表。官方文档流程图HiveSql与Sql相比Hive字段类型1.建表三种方式直接建表法：createtablemovi

Steve_Abelieve·2023-08-01 12:40

《大数据开发》环境安装

Hadoop环境安装（HDFS-MapReduce）Storm环境安装（Storm）Zookeeper环境安装（Zookeeper）Hbase环境安装（HBase）Hive环境安装（Hive）Kafka环境安装（Kafka）Flume环境安装（Flume）Hadoop2.0环境安装（Yarn）Spark环境安装（Spark）

Steve_Abelieve·2023-08-01 12:10

《大数据开发》数据类型+常用数据处理

数据类型从结构划分常见数据操作均值操作：作用衡量这个系统的平均值，可以做两个系统的比较。缺点:对异常数据敏感标准差操作：衡量这个系统的波动程度，可以做两个系统的比较。缺点:对异常数据敏感变异系数操作：均值/方差，可以用于不同系统的比较。切尾均值操作：作用衡量这个系统的平均值，可以做两个系统的比较,一定程度上解决数据异常。异常检测什么是异常(离群点)：异常就是显著不同于这个系统的值，不属于该系统的范

Steve_Abelieve·2023-08-01 12:09

大数据开发学习笔记——HA简介

单点故障---解决hahadoop2.x之后，Cloudera提出了QJM/QuromJournalManager，这是一个基于Paxos算法实现的HDFSHA方案，它给出了一种较好的解决思路和方案,示意图如下：基本原理就是用2N+1台JN存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉

卿卿老祖·2023-08-01 02:11

Day01-作业（HTML&CSS）

文字素材如下：企业简介传智教育(股票代码003032)，隶属江苏传智播客教育科技股份有限公司，注册资本4亿元，是第一个实现A股IPO的教育企业，公司致力于培养高精尖数字化人才，主要培养人工智能、python+大数据开发

穿城大饼·2023-07-31 18:24

阿里云大数据开发三面面经，已过，面试题已配答案

一面：阿里云大数据开发一面面经，已过，面试题已配答案_蓦然_的博客-CSDN博客二面：阿里云大数据开发二面面经，已过，面试题已配答案_蓦然_的博客-CSDN博客1、SQL题自由发挥2、实习经历根据自己的来就行

蓦然_·2023-07-31 11:11

30岁前的每一天003-热热闹闹，纷乱繁琐

上午忙审计，下午听培训。一天的时间安排满满。审计依旧是老流程，但也有值得改进的地方。培训的内容，自己也算是熟悉，倒是投资尽职调查里的一种理念，引发了一点兴趣。作为被投资企业，想要获得投资，既要实力过硬，也要包装到位。领导说，公司如此，人也一样。我总是想着实力才是硬道理，但我的概念里，那些实力都是硬实力，软实力似乎一直未被重视。想说一个人，想靠自己在工作中，生活里，如鱼得水，真是艰难。仿佛要一路点亮

无名子·2023-07-31 00:22

《黑马程序员2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目》学习笔记总目录

本文是对《黑马程序员新版大数据入门到实战教程》所有知识点的笔记进行总结分类。学习视频：黑马程序员新版大数据学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。前言：配置三台虚拟机，为集群做准备（该篇章请到原视频进行观看，不在文章内详细展开）1．设置三台Linux虚拟机的主机名和固定IP2．在Linux系统以及本机系统中配置了主机名映射3．配置了三台服务器之间root用户的SSH免密互通4．安

放下华子我只抽RuiKe5·2023-07-30 11:47

数仓建模—宽表的设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发

大数据技术派·2023-07-30 10:48

rt-thread+stm32 使用串口dma空闲中断接收不定长数据

rt-thread+stm32使用串口dma空闲中断接收不定长数据开发环境一、工程配置二、添加代码并测试三、解决问题开发环境IDE:RT-ThreadStudiov2.1.0系统版本：v4.0.2芯片:

郑州-刘明鑫·2023-07-30 09:52

助力秋招-独孤九剑荡剑式 | Java语言&基础面试题

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！

王知无(import_bigdata)·2023-07-30 05:36

加强信用信息共享应用促进中小微企业融资

各地区、各部门要认真贯彻落实党中央、国务院关于加强社会信用体系建设、促进中小微企业融资的决策部署，围绕保市场主体、应对新的经济下行压力，加快信用信息共享步伐，深化数据开发利用，创新优化融资模式，加强信息安全和市场主体权益保护

授渔亭·2023-07-29 19:05

Google Bard初体验 - 感觉并不是很能打

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。

一头小山猪·2023-07-29 04:19

Dinky简介与部署(Docker形式)

沉浸式FlinkSQL数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore

HuaWei&&WeiHua·2023-07-29 03:02

关于数据中台的思考与总结

关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与实时数仓从0建设离线数仓区别数据中台解决方案零售行业原文地址

akenseren·2023-07-28 21:50

这 3 类程序员成长最慢！踩坑最多！

这个题我会啊，我觉得是以下这三类程序员，文章不长，请耐心看完～1、哪个技术火就追哪个我有一位朋友大数据火时就转行做了1年大数据开发，后来区块链火了又搞1年区块链，去年web3.0很火又进了一家web3.0

军哥手记·2023-07-28 11:55

003-如果我要写一本书

“先完成，再完美。”既然我已经决定要这样写100天，那我也需要考虑一下“如果我要写一本书”这个问题。我想讲一个玄幻爱情故事，爱情不用占太大的分量，如果可以我还希望结局略有遗憾。用一个半架空的世界，去记录我观察到的有趣的人。如果它要有一个名字，我想叫它《晓冬》。样章：“这里的夏天真热啊。”方晓知拖着大包小包走在学校的林荫道上的时候想。方晓知没有辜负自己在高中的每一次早读迟到和倒头就睡，滑档来了一个离

暮知Lab·2023-07-28 09:42

周六 2020-11-07 23:30 - 06:43 晴 13h06m

2020-11-07完成任务的一天，还去散步了，真棒周六2020-11-0723:30-06:43晴13h06m一时间记录0:006:43休息-睡觉6:436:437:003-日常-学习强国0:177:

么得感情的日更机器·2023-07-28 08:50

[使用DataX采集Mysql数据到Hive]

上安装MySQL4.贷款数据导入MySQL5.安装Hive6.启动Hadoop和Hive7.Hive中建表8.安装DataX9.DataX导入导出文件配置10.启动DataX导入数据及结果检查##需求大数据开发工作中

pblh123·2023-07-28 03:37

实训笔记7.26

实训笔记7.267.26笔记一、Hadoop大数据开发技术1.1Hadoop的安装部署1.2Hadoop的分布式文件存储系统HDFS1.2.1HDFS的组成1.2.2HDFS的操作方式1.2.3HDFS

cai-4·2023-07-27 23:11

大数据开发：Flink SQL快速入门

今天的大数据开发分享，我们就来讲讲基本的FlinkSQL快速入门。FlinkSQL，就是直接可以在代码中写SQL，来实现一些查询（Query）操作。

成都加米谷大数据·2023-07-27 19:23

大数据开发：消息队列如何处理重复消息

今天的大数据开发学习分享，我们主要来讲讲消息队列如何处理重复消息？

成都加米谷大数据·2023-07-27 07:24

年薪80万+的大数据开发【教程】都在这儿！

事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势，不仅仅是前景和薪资等。技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。面对如此光明而诱人的前景，大批JAVA工

木易_1541·2023-07-27 07:15

Flink实战：写入SSL认证的Kafka并自定义序列化类

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。

大数据开发运维架构·2023-07-26 15:25

大数据开发：Hadoop生态的分布式数据库

今天的大数据开发学习分享，我们就主要来讲讲Hadoop生态的分布式数据库。1、什么是分布式数据库？从狭义的理解就是分布式关系型数据库，主要特指目前热门的NewSQL。

成都加米谷大数据·2023-07-26 03:52

周二 2020-11-24 23:20 - 06:37 雨 09h08m

上午超纲完成任务，然后下午直接爆炸崩了个惨周二2020-11-2423:20-06:37雨09h08m一时间记录0:006:37休息-睡觉6:376:376:452-技能-锻炼-冥想0:086:457:003

么得感情的日更机器·2023-07-26 03:28

大数据--浅谈SQL Optimizer 解析

数据开发数据开发层次，主要技术包括Airflow、DAG等，主要工作是集群创建。权限管控权限管控层次，主要技术包括ApacheRanger、GDPR等，主要工作是集群创建。

阿通666·2023-07-26 02:15

会 java 8 stream流就会大数据！

如果你会任意一门语言的stream流，没道理不会大数据开发。俗话说男追女隔座山，女追男隔层纱。

python小小Q·2023-07-25 23:44

003-变量,运算符,位运算

003-变量,运算符,位运算变量赋值,作用域,生命周期利用"="来进行赋值，右值赋给左值，等号左值不能是常量"=“和”=="可能会混淆，因为某些原因漏写例子：if(a=b)错误写法!!!

Three笔记·2023-07-25 22:54

被大厂抢着要，最终拿到20k的高薪offer

咨询黑马程序员老师后，周同学了解到当下大数据领域发展前景广，就业薪资高，便决定选择这一个具有前景的赛道，来黑马程序员学习Python+大数据开发学

骨灰级收藏家·2023-07-25 20:26

从安卓主管转型大数据开发，我经历了什么？

写在最前由于我的学习群已经有上百个同学转型大数据，他们来自各行各业，各种情况，所以我新开了一个转型专栏，会push他们总结一些心得文章或者干货面经，希望能对大家有帮助！当然，我也不会让他们白忙活，我支付赞赏2的稿费(50起步)，所以欢迎大家多多赞赏~*人物介绍许则则(化名)，一位五年安卓经验的开发主管，从去年就在我大数据学习群里，看着我和其他群友慢慢转型大数据，所以于5月份也找了我进行了深度交流，

程序员峰哥·2023-07-25 16:10

Kafka在实时数据开发中的应用

你的python我的心·2023-07-25 11:27

Btron 交易所 API 获取交易对买卖量价 - 区块链数据开发实战

简介：Btron是一个加密货币交易所。他们提供API服务以方便客户查询数据以及进行自动化投资管理。本文整理使用BtronAPI获取交易对买卖量价（price-volume）。Btron是一个加密货币交易所。他们提供API服务以方便客户查询数据以及进行自动化投资管理。本文整理使用BtronAPI获取交易对买卖量价（price-volume）。BtronAPI官方文档：https://www.btro

极客红石·2023-07-24 11:03

Hadoop技术之HDFS分布式文件系统基础

Hadoop离线是大数据生态圈的核心与基石，是整个大数据开发的入门。本次分享内容让初学者能高效、快捷掌握Hadoop必备知识，大大缩短Hadoop离线阶段学习时间，下面一起开始今天的学习！

黑马程序员官方·2023-07-23 14:13

数据仓库建设-数仓分层

一、数据分层的好处1.降低数据开发成本通用的业务逻辑加工好，后续的开发任务可以基于模型快速使用，数据需求的响应速度也会更快。

小中.·2023-07-23 04:47

hadoop 3.1.3单机版安装教程

参考网站1.大数据开发入门之hadoop单机版部署2.hadoop单机安装，小白上手最详细教程-Ali0th3.hadoop3.1.2单机模式安装配置下载地址hadoop-3.1.3正式安装1.java

YukunWen·2023-07-22 20:23

90单身男求脱单

目前在一家互联网公司做大数据开发工作，以后也会一直在这方向发展。工作外也会学习一些IT技能，充实自己。周末会抽出半天时间放松，可以出去闲逛，也可以去看电影，反正释放下所有事想做啥就做啥。

一勺清水·2023-07-22 17:46

使用sqoop将hive数据库导入至mysql

MySQL_厦大数据库实验室操作前准备数据数据放在/usr/local/data/comment.csv数据来源于：AmazonReviews:UnlockedMobilePhones|Kaggle大数据开发环境软件版本

思想在拧紧·2023-07-22 14:55

Spark_SQL性能调优

Spark_SQL性能调优众所周知，正确的参数配置对提升Spark的使用效率具有极大助力，帮助相关数据开发、分析人员更高效地使用Spark进行离线批处理和SQL报表分析等作业。

码上行舟·2023-07-22 14:22

推荐频道

003-数据开发