【大数据开发】

这个时代，毕业生将很难找Java程序员的工作

因为目前信息化时代，计算机专业不仅是挣钱最多的专业，而且还是接触科技最前沿技术的专业，无论是现在的AI人工智能，还是大数据开发以及云计算等等热门的岗位，都跟计算机有着千丝万缕的直接关系。
半圆学社·2023-08-19 13:31

大数据开发之Hive篇6-Hive函数详解

备注:Hive版本2.1.1一.Hive函数概述1.1Hive函数分类函数/UDF输入一行记录，输出一行记录示例：upper/lower/length聚集函数/UDAF输入多行记录，输出一行记录示例：sum/count/avg表生成函数/UDTF输入一行记录，输出多行记录示例：explode1.2查看Hive函数1.2.1showfunctions命令showfunctions命令是查询当前hiv
只是甲·2023-08-19 08:10

饿了么大数据开发凉经

1一个mapreduce进程会启动多少map进程多少reduce进程*1）map数量由处理的数据分成的block数量决定default_num=total_size/split_size;2）reduce数量为job.setNumReduceTasks(x)中x的大小。不设置的话默认为1。2讲下shuffle的过程shuffle分为map端和reduce端的工作。MapTask工作机制（1）Rea
TIM33470348·2023-08-18 20:39

❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】

在这里插入图片描述manor学习大数据开发满打满算也有一年了,其中也发现不少好用的大数据开发提升效率的软件,推荐给刚入门/入行的你:适用windows系统，mac用户可根据名称自行查找~~在这里插入图片描述文末可一键获取
咸鱼在简书·2023-08-18 19:15

零基础学习大数据分析难吗？

在这里列一下：（来源是《2021年互联网人才招聘白皮书》）无论是DBA还是大数据分析师，和java前端后端相比，都不算是最卷的，甚至还算是挺好的，你看下面这张图，一年以下的Java工程师139竞争1个岗位，大数据开发工程师只有
我想去吃ya·2023-08-18 18:02

大数据开发：数仓建模常见数据模型

今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。目前来说，市场上主流的数据建模，主要是四种类型：维度模型、范式模型、DataVault模型，以及Anchor模型。
加米谷大数据张老师·2023-08-17 12:22

携程应用系统整体架构学习

5.hive只能说是一个数据仓库工具，反而归类到数据源层这样的架构水平，要么携程不想透露太多真实实力，要么就是携程派了一个大数据开发工程
warrah·2023-08-17 10:03

【hadoop】windows上hadoop环境的搭建步骤

文章目录前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量Hadoophdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfsnamenode启动hdfs前言在大数据开发领域中
小沈同学呀·2023-08-17 03:01

想在DataGrip里写SQL般丝滑的写FlinkSQL？安装它就完事儿了

版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:https://juejin.cn/user/1468603264665335“FlinkSQL对于大数据开发者们来说是一个很常见的API
·2023-08-15 16:08

字节电商大数据开发一面，已过，面试题已配答案

面试题答案参考大数据面试题V3.0，523道题，679页，46w字1、实习经历这点不多说了，根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题，根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则1、数据质量保障原则阿里对数据仓库主要从四个方面评估数据质量1）完整性确保数据不存在缺失2）准确性确保数据不存在异常或错误3）一致性体现在从业务仓库加工到数据仓库，
蓦然_·2023-08-15 01:36

大数据开发基础-环境配置篇-Hadoop集群安装

鼠鼠接下来将更新一系列自己在学习大数据开发过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。
葡萄成熟时_·2023-08-14 01:19

Kettle构建Hadoop ETL实践（一）：ETL与Kettle

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！‍‍‍‍‍‍‍‍‍‍‍‍‍
王知无(import_bigdata)·2023-08-12 13:51

如何学习大数据

前言大数据依然是当下热门的技术之一，就犹如之前的移动开发刚开始火的时候一样，之前写了一系列的大数据开发所需的组件安装，但还从来没想
想你依然心痛·2023-08-12 12:19

Spark2.x精通：Master端循环消息处理源码剖析（二）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-08-11 02:05

滴滴数据服务体系建设实践

什么是数据服务化大数据开发的主要流程分为数据集成、数据开发、数据生产和数据回流四个阶段。
滴滴技术·2023-08-10 20:45

大数据开发：Hive列式存储ORC、Parquet的优点

今天的大数据开发学习分享，我们就主要来讲讲，Hive列式存储ORC、Parquet的优点。
成都加米谷大数据·2023-08-10 10:12

大数据开发：Flink如何设计容错

前面我们讲了Hadoop和spark的容错设计，今天的大数据开发学习分享，我们继续来讲Flink又是如何设计容错的？
成都加米谷大数据·2023-08-10 07:57

一站式Flink&Spark平台解决方案——StreamX

随着Flink&Spark生态的不断完善，越来越多的企业选择这两款组件，或者其中之一作为离线&实时的大数据开发工具，但是在使用他们进行大数据的开发中我们会遇到一些问题，比如：任务运行监控怎么处理？
产品经理自我修养·2023-08-10 06:00

大数据开发教程——Apache Hive实战

Hive建表高阶语句CTASandCTE（重点）CTAS–CreateTableAsSelectCREATETABLEctas_employeeasSELECT*FROMemployee（基于select查询的结果生成表）CTASCANNOTcreateapartition,external,orbuckettable（不能生成分区表，外部表，桶表）Createtablelikeothertabl
比屋大数据·2023-08-09 23:26

案例 | 看某国有大行如何构建内部数据安全风险管控核心能力

某国有大行省分行近年来不断加大信息化业务发展力度，提高大数据开发利用程度，随着数据使用部门的扩大化，以及
数据库安全·2023-08-09 21:41

大数据开发：Oozie调度框架简介

今天的大数据开发分享，我们就先来讲讲这个Oozie调度框架的一些基础知识。ApacheOozie是一个用来管理Hadoop任务的工作流调度系统，基于有向无环图的模型（DAG）。
成都加米谷大数据·2023-08-06 19:26

[最新安全稳定，自带haddop生态]Hadoop伪分布式ubuntu虚拟镜像

网上现有的教学用的大数据开发环境镜像主要有林子雨老
yasuo626·2023-08-05 01:34

大数据开发的前景怎么样？该怎么学习？

猎聘大数据研究院发布了《2022未来人才就业趋势报告》从排名来看，2022年1-4月各行业中高端人才平均年薪来看，人工智能行业中高端人才平均年薪最高，为31.04万元；金融行业中高端人才以27.69万元的平均年薪位居第二；通信、大数据行业中高端人才平均年薪分别为27.51万元、25.23万元，位列第三、第四；IT/互联网行业中高端人才平均年薪23.02万元，位列第七。图表来源：《2022未来人才就
我想去吃ya·2023-08-04 17:17

大数据开发的学习路线是什么样的

大数据技术的体系庞大且复杂，每年都会涌现出大量新的技术，目前大数据行业所涉及到的核心技术主要就是：数据采集、数据存储、数据清洗、数据查询分析和数据可视化。学习大数据需要掌握什么语言基础？1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。数据的操作语言
我想去吃ya·2023-08-04 17:47

大数据开发：数据仓库建模方法与模型

今天的大数据开发分享，我们主要来讲讲数据仓库建模方法与模型。数仓建模方法数据仓库中几种经典的数据模型，包括关系建模、维度建模、DataVault模型。
成都加米谷大数据·2023-08-04 13:24

什么是大数据开发？

♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
yoku酱·2023-08-04 13:19

3、大数据技术架构：核心原理与应用实践（下）

4、大数据的开发实践这一章节，主要是描述了大数据开发的几个场景和优化的技巧。
朗如行玉山_5b30·2023-08-04 06:27

Spark2.x精通：Master端循环消息处理源码剖析（一）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-08-03 12:57

IT行业发展新趋势，大数据开发应该如何从“零”学起？

大数据大数据可能是目前IT行业中被炒的最热的一个词了，尤其是国家在前几年提出大力发展大数据产业的时候，更是一层激起千层浪。不管是小白还是有开发经验的都想从中分得一杯羹。那么相对于有开发经验的，小白应该如何学习大数据呢？第一、小白在学习大数据的时候一定要搞清楚什么是大数据、并且了解大数据在我们的生活中和工作中可以应用到哪些方面。搞清楚这个，就可以培养学习的兴趣。俗话说的好“兴趣是最好的老师”。第二、
尚学先生·2023-08-02 11:35

大数据开发：Flink API编程初级入门

Flink编程，一个重要的思想就是API编程，今天的大数据开发学习分享，我们就来讲讲FlinkAPI编程初级入门。
成都加米谷大数据·2023-08-02 00:49

大数据培训毕业的学生，到底能拿多少薪资？

大数据开发岗位的工资，能拿到多少？
码农星球·2023-08-01 20:03

《大数据开发》Hive

Hive是基于Hadoop的一个数据仓库工具；提供Sql（hiveSql）查询功能；数据是存储在hdfs上，hive本身不存储数据，构建表的逻辑存在指定数据库（mysql）。本质是将SQL语句转换为MapReduce任务执行。离线大数据计算。可以将结构化的数据文件映射成为一张数据库表。官方文档流程图HiveSql与Sql相比Hive字段类型1.建表三种方式直接建表法：createtablemovi
Steve_Abelieve·2023-08-01 12:40

《大数据开发》环境安装

Hadoop环境安装（HDFS-MapReduce）Storm环境安装（Storm）Zookeeper环境安装（Zookeeper）Hbase环境安装（HBase）Hive环境安装（Hive）Kafka环境安装（Kafka）Flume环境安装（Flume）Hadoop2.0环境安装（Yarn）Spark环境安装（Spark）
Steve_Abelieve·2023-08-01 12:10

《大数据开发》数据类型+常用数据处理

数据类型从结构划分常见数据操作均值操作：作用衡量这个系统的平均值，可以做两个系统的比较。缺点:对异常数据敏感标准差操作：衡量这个系统的波动程度，可以做两个系统的比较。缺点:对异常数据敏感变异系数操作：均值/方差，可以用于不同系统的比较。切尾均值操作：作用衡量这个系统的平均值，可以做两个系统的比较,一定程度上解决数据异常。异常检测什么是异常(离群点)：异常就是显著不同于这个系统的值，不属于该系统的范
Steve_Abelieve·2023-08-01 12:09

大数据开发学习笔记——HA简介

单点故障---解决hahadoop2.x之后，Cloudera提出了QJM/QuromJournalManager，这是一个基于Paxos算法实现的HDFSHA方案，它给出了一种较好的解决思路和方案,示意图如下：基本原理就是用2N+1台JN存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉
卿卿老祖·2023-08-01 02:11

Day01-作业（HTML&CSS）

文字素材如下：企业简介传智教育(股票代码003032)，隶属江苏传智播客教育科技股份有限公司，注册资本4亿元，是第一个实现A股IPO的教育企业，公司致力于培养高精尖数字化人才，主要培养人工智能、python+大数据开发
穿城大饼·2023-07-31 18:24

阿里云大数据开发三面面经，已过，面试题已配答案

一面：阿里云大数据开发一面面经，已过，面试题已配答案_蓦然_的博客-CSDN博客二面：阿里云大数据开发二面面经，已过，面试题已配答案_蓦然_的博客-CSDN博客1、SQL题自由发挥2、实习经历根据自己的来就行
蓦然_·2023-07-31 11:11

《黑马程序员2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目》学习笔记总目录

本文是对《黑马程序员新版大数据入门到实战教程》所有知识点的笔记进行总结分类。学习视频：黑马程序员新版大数据学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。前言：配置三台虚拟机，为集群做准备（该篇章请到原视频进行观看，不在文章内详细展开）1．设置三台Linux虚拟机的主机名和固定IP2．在Linux系统以及本机系统中配置了主机名映射3．配置了三台服务器之间root用户的SSH免密互通4．安
放下华子我只抽RuiKe5·2023-07-30 11:47

助力秋招-独孤九剑荡剑式 | Java语言&基础面试题

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-07-30 05:36

Google Bard初体验 - 感觉并不是很能打

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-07-29 04:19

这 3 类程序员成长最慢！踩坑最多！

这个题我会啊，我觉得是以下这三类程序员，文章不长，请耐心看完～1、哪个技术火就追哪个我有一位朋友大数据火时就转行做了1年大数据开发，后来区块链火了又搞1年区块链，去年web3.0很火又进了一家web3.0
军哥手记·2023-07-28 11:55

[使用DataX采集Mysql数据到Hive]

上安装MySQL4.贷款数据导入MySQL5.安装Hive6.启动Hadoop和Hive7.Hive中建表8.安装DataX9.DataX导入导出文件配置10.启动DataX导入数据及结果检查##需求大数据开发工作中
pblh123·2023-07-28 03:37

实训笔记7.26

实训笔记7.267.26笔记一、Hadoop大数据开发技术1.1Hadoop的安装部署1.2Hadoop的分布式文件存储系统HDFS1.2.1HDFS的组成1.2.2HDFS的操作方式1.2.3HDFS
cai-4·2023-07-27 23:11

大数据开发：Flink SQL快速入门

今天的大数据开发分享，我们就来讲讲基本的FlinkSQL快速入门。FlinkSQL，就是直接可以在代码中写SQL，来实现一些查询（Query）操作。
成都加米谷大数据·2023-07-27 19:23

大数据开发：消息队列如何处理重复消息

今天的大数据开发学习分享，我们主要来讲讲消息队列如何处理重复消息？
成都加米谷大数据·2023-07-27 07:24

年薪80万+的大数据开发【教程】都在这儿！

事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势，不仅仅是前景和薪资等。技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。面对如此光明而诱人的前景，大批JAVA工
木易_1541·2023-07-27 07:15

Flink实战：写入SSL认证的Kafka并自定义序列化类

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-07-26 15:25

大数据开发：Hadoop生态的分布式数据库

今天的大数据开发学习分享，我们就主要来讲讲Hadoop生态的分布式数据库。1、什么是分布式数据库？从狭义的理解就是分布式关系型数据库，主要特指目前热门的NewSQL。
成都加米谷大数据·2023-07-26 03:52

会 java 8 stream流就会大数据！

如果你会任意一门语言的stream流，没道理不会大数据开发。俗话说男追女隔座山，女追男隔层纱。
python小小Q·2023-07-25 23:44

被大厂抢着要，最终拿到20k的高薪offer

咨询黑马程序员老师后，周同学了解到当下大数据领域发展前景广，就业薪资高，便决定选择这一个具有前景的赛道，来黑马程序员学习Python+大数据开发学
骨灰级收藏家·2023-07-25 20:26
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他