【大数据开发】

大数据开发-Spark-一文理解Spark中的Stage,Executor,Driver...

1.引言吧阿西吧，对于Spark新手来说，首先对于Spark的运行机制不了解，往往跟你交流的时候，互相都不知道在说什么，比如部署模式和运行模式，可能都混为一谈，对于有一定开发经验的老手，即使知道运行机制，可能在表述上，对Spark的各种术语也不是很懂，因此理解Spark术语，是Spark开发者之间沟通的必要之路，本文从Spark的运行机制开始，到WordCount案例来理解Spark中的各种术语。
Hoult丶吴邪·2020-12-28 12:31

Spark项目落地实战以及日常大数据开发注意事项

Spark简介基于内存的分布式集群计算平台可适配Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的API，支持Java，Scala，Python代码量小与Hadoop集成读写HDFS、Hbase、Hive和Yarn集成与Oracle存过的对比数据仓库机器学习海量数据离线分析实时数据流
Eric·2020-12-28 12:58

Spark项目落地实战以及日常大数据开发注意事项

Spark简介基于内存的分布式集群计算平台可适配Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的API，支持Java，Scala，Python代码量小与Hadoop集成读写HDFS、Hbase、Hive和Yarn集成与Oracle存过的对比数据仓库机器学习海量数据离线分析实时数据流
Eric·2020-12-28 11:33

Java开发工程师与大数据开发工程师有何区别？

最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？
东风散步·2020-12-25 23:31

Java开发工程师与大数据开发工程师有何区别？

最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？
东风散步·2020-12-25 22:34

c语言 去掉双引号_C语言自学入门最全基础知识总结！

记得先点蓝字关注我哦～今日课程菜单Java全栈开发|Web前端+H5大数据开发|数据分析人工智能+Python|人工智能+物联网来源：小职(z_zhizuobiao)找我：✅解锁高薪工作✅免费获取干货教程未完待续
超凡越圣·2020-12-24 05:12

python 大数据开发工程师_大数据系列之大数据开发工程师

继续介绍大数据系列岗位的要求，今天是“最热门”的岗位大数据开发工程师，之所以说热门主要是基于2个原因，一是因为很多应届生或者想转入大数据行业的同学，都是期望从事“大数据开发”这一定位不是很清晰的岗位；二是因为至少有
weixin_39601743·2020-12-22 05:36

数据仓库缓慢变化维度SCD？你想知道的都在这里

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2020-12-21 13:21

大数据开发-Scala-类型检查与模式匹配详解

0.前言类型检查和类型转换在每个语言里面都有对应实现，比如Java中的instanceof和isInstance，当然Scala语言也有，但是相对于其他语言，Scala为了简化开发，产生了强大的模式匹配，其原理和Java中的switch-case很类似，但是其匹配能力更强，不仅仅可以匹配值，匹配类型，也可以进行类匹配，还可以进行前缀类匹配，而且在Spark源码中大量使用了模式匹配，另外的就是隐式转
Hoult丶吴邪·2020-12-21 11:19

大数据开发-Spark调优常用手段

Spark调优spark调优常见手段，在生产中常常会遇到各种各样的问题，有事前原因，有事中原因，也有不规范原因，spark调优总结下来可以从下面几个点来调优。1.分配更多的资源分配更多的资源：它是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候，首先第
Hoult丶吴邪·2020-12-21 11:19

大数据开发-Scala 下划线的多种场景

1.简述Scala的下划线在各种语法中几乎都要插一脚，其目的是代表某些特殊场合或者简化代码，不必去想命名该怎么取。下面介绍几种下划线的使用场合2._有哪些使用方式2.1初始化变量跟Java类似，成员变量未初始化会给一个默认值，Scala中也一样，只可以初始化成员变量，但是需要利用_来特别说明，要注意的是_如果初始化为null要特别指明变量的类型，否则变量类型就是Null,初始化只针对var而不能是
Hoult丶吴邪·2020-12-21 11:19

hive增量表和全量表_大数据开发数仓拉链表概述，以及如何迭代或者回滚

1.背景拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。SCD的常用处理方式有以下几种：保留原值直接覆盖增加新属性列快照表拉链表本文主要讲解拉链表来处理SCD的问题，其特点归纳以下，有以下几种场景时候，可以使用拉链表。1.表数据量较大，用全
weixin_39578197·2020-12-19 11:49

python大数据工程师薪资待遇_大数据开发工程师薪资待遇及招聘要求？

目录：大数据开发是干什么的？大数据开发需要掌握哪些技术？学习路线如何？大数据开发需要掌握数学知识吗？大数据开发就业前景如何？大数据开发工程师薪资待遇及招聘要求？大数据开发是干什么的？
weixin_39794734·2020-12-18 12:57

python工程师干什么的_大数据开发工程师薪资待遇及招聘要求？

目录：大数据开发是干什么的？大数据开发需要掌握哪些技术？学习路线如何？大数据开发需要掌握数学知识吗？大数据开发就业前景如何？大数据开发工程师薪资待遇及招聘要求？大数据开发是干什么的？
weixin_39968266·2020-12-18 08:02

python做大数据开发是做什么的_大数据开发是干什么的?如何去学？就业前景如何？...

♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
weixin_39593718·2020-12-17 09:06

[码仔的java笔记]Java全栈学习路线(参考狂神java学习路线)

Java打怪升级路线第一关：JavaSE阶段第二关：JavaWeb阶段第三关：SSM框架第四关：Linux运维第五关：微服务和分布式第六关：大数据开发第七关：持续学习第一关：JavaSE阶段1、计算机基础
怕秃头的码仔·2020-12-16 11:24

python 软件开发 哔哩哔哩_介绍Python爬取哔哩哔哩视频

栏目介绍如何爬取视频相关免费学习推荐：本篇文章主要给大家讲解下如实使用python爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。
weixin_39778003·2020-12-15 14:52

大数据开发-数仓ads层指标计算

ads层数据往往是最终的结果指标数据，在大屏展示，或者实时流处理时候使用，通过下面两个例子来练习业务大屏展示sql该怎么写。1.会员分析案例1.1数据准备表结构如下，其中此表是dws层以天为维度的会员表，比如每天的会员信息汇总，usedws;droptableifexistsdws.dws_member_start_day;createtabledws.dws_member_start_day(`
Hoult丶吴邪·2020-12-14 03:47

大数据开发---数仓拉链表概述，以及如何迭代或者回滚

1.背景拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。SCD的常用处理方式有以下几种：保留原值直接覆盖增加新属性列快照表拉链表本文主要讲解拉链表来处理SCD的问题，其特点归纳以下，有以下几种场景时候，可以使用拉链表。1.表数据量较大，用全
Hoult丶吴邪·2020-12-14 03:47

大数据开发-表数据波动、码值分布波动监控

经历一番推理演算，每个字段逐字分析，接着https://blog.csdn.net/hu_lichao/article/details/110358607前面的理论，本篇对前面的监控做了更进一步的设计产出，看完绝对不会浪费您的时间。设计摘要：任务执行、监控和报警从设计上是可以完全分开的，分开可以让任务执行尽可能只做任务执行的事情，监控可以根据多种监控规则来进行数据统计，数据分布，而报警则专注于如何
Hoult丶吴邪·2020-12-14 03:14

大数据开发---数仓拉链表概述，以及如何迭代或者回滚

1.背景拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。SCD的常用处理方式有以下几种：保留原值直接覆盖增加新属性列快照表拉链表本文主要讲解拉链表来处理SCD的问题，其特点归纳以下，有以下几种场景时候，可以使用拉链表。1.表数据量较大，用全
Hoult丶吴邪·2020-12-14 03:11

大数据开发-数仓ads层指标计算

ads层数据往往是最终的结果指标数据，在大屏展示，或者实时流处理时候使用，通过下面两个例子来练习业务大屏展示sql该怎么写。1.会员分析案例1.1数据准备表结构如下，其中此表是dws层以天为维度的会员表，比如每天的会员信息汇总，usedws;droptableifexistsdws.dws_member_start_day;createtabledws.dws_member_start_day(`
Hoult丶吴邪·2020-12-14 03:11

20200919 平安大数据开发工作总结

在平安工作已接近半载,为了夯实工作能力,丰富面试内容,做以下软实力总结.1.清晰描述开发流程,并理解每个过程的利害关系1.0需求池->就绪->数据探索->文档落地->脚本开发->前端开发->自测->业务验收->验收完成->上线->配置需求池:需求方不懂数据,甚至对自身的业务都不算了解,所有提出的需求很多是探索性,或者是抽象,或者是无法预测开发过程中会遇到的很多问题.产品经理就是要不断与之明确开发需
Jeady_e191·2020-12-12 14:01

oracle 数据立方_玩转大数据开发工具--上下全篇

为了降低大数据应用开发的门槛，简化开发过程，星环随TranswarpDataHub5.0开发出了大数据开发套件TranswarpStudio。
weixin_39736547·2020-12-10 22:59

如何用python爬取视频_介绍Python爬取哔哩哔哩视频

python视频教程栏目介绍如何爬取视频本篇文章主要给大家讲解下如实使用python爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。
weixin_39831039·2020-12-09 18:19

大数据开发-表数据波动、码值分布波动监控

经历一番推理演算，每个字段逐字分析，接着https://blog.csdn.net/hu_lichao/article/details/110358607前面的理论，本篇对前面的监控做了更进一步的设计产出，看完绝对不会浪费您的时间。设计摘要：任务执行、监控和报警从设计上是可以完全分开的，分开可以让任务执行尽可能只做任务执行的事情，监控可以根据多种监控规则来进行数据统计，数据分布，而报警则专注于如何
Hoult丶吴邪·2020-12-09 15:13

Python爬取哔哩哔哩（bilibili）视频

本篇文章主要给大家讲解下如实使用python爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。
大数据老哥·2020-12-08 15:36

大数据开发-Flume-频繁产生小文件原因和处理

1.问题背景通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在生产环境参数大小也不同1.flume滚动配置为何不起作用？2.通过源码分析得出什么原因？3.该如何解决flume小文件？2.过程分析接着上一篇，https://blog.csdn.net/hu_lichao/article/details/110358689本人在测试hdfs的sink，发现
Hoult丶吴邪·2020-12-06 18:54

大数据开发-Hive-常用日期函数&&日期连续题sql套路

前面是常用日期函数总结，后面是一道连续日期的sql题目及其解法套路。1.当前日期和时间selectcurrent_timestamp--2020-12-0519:16:29.2842.获取当前日期，当前是2020-12-05SELECTcurrent_date;##ORSELECTcurrent_date();--2020-12-053.获取unix系统下的时间戳SELECTUNIX_TIMEST
Hoult丶吴邪·2020-12-06 18:53

大数据开发-Flume-频繁产生小文件原因和处理

1.问题背景通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在生产环境参数大小也不同1.flume滚动配置为何不起作用？2.通过源码分析得出什么原因？3.该如何解决flume小文件？2.过程分析接着上一篇，https://blog.csdn.net/hu_lichao/article/details/110358689本人在测试hdfs的sink，发现
Hoult丶吴邪·2020-12-06 18:37

大数据开发-Hive-常用日期函数&&日期连续题sql套路

前面是常用日期函数总结，后面是一道连续日期的sql题目及其解法套路。1.当前日期和时间selectcurrent_timestamp--2020-12-0519:16:29.2842.获取当前日期，当前是2020-12-05SELECTcurrent_date;##ORSELECTcurrent_date();--2020-12-053.获取unix系统下的时间戳SELECTUNIX_TIMEST
Hoult丶吴邪·2020-12-06 18:37

大数据开发环境搭建之Flink安装部署

一、Standalone模式安装1、下载Flink官网官网提供的压缩包下载地址flink-1.10.1-bin-scala_2.11.gz2、解压Flink在bigdata03服务器cd/home/bigdata/soft/tar-zxvfflink-1.10.1-bin-scala_2.11.gzmvflink-1.10.1//home/bigdata/apps/3、修改环境变量命令：vim~/
羋学僧·2020-12-06 11:46

华为云MVP高浩：打破AI开发瓶颈，解决数据、算法、算力三大难题

先后从事大数据开发与数据挖掘工作，擅长机器学习和数据分析。现任江苏知途教育科技有限公司人工智能课程研发负责人，“1+
华为云开发者社区·2020-11-30 16:49

云计算和python学哪个_大数据、云计算该如何学习？

大数据之Linux+大数据开发篇阶段一、大数据、云计算-Hadoop大数据开发技术课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，
weixin_39968592·2020-11-25 01:42

忆染的复盘文

听起来是不是有点诗人的气质，事实上忆染是一个做大数据开发的程序猿，笔下的诗词是我内心的一份欢喜。
秋忆染·2020-11-20 17:41

2020年零基础大数据在线就业班 【2020升级版】 百度网盘 视频教程

1X0RBk0GbxnCpIDDs_RnwBQ密码:bd41--来自百度网盘超级会员V2的分享链接失效的话VX：itit11223344本课程为学习对象0基础或者0经验的小白人员学员而准备,整个课程体系从java基础开始,内容精准聚焦大数据开发过
IT资源itit11223344·2020-11-20 11:32

你好，WeDataSphere！

应用场景由于公司大数据起步较晚，目前还没有成熟的大数据开发平台，开发还停留在传统阶段，通过传统开发工具IntelliJIDEA、PyCharm等来进行相应的业务开发，通过一些协议上传服务器，然后通过一些开源工具
ocean_zhc·2020-11-17 16:45

Hadoop从入门到入土（一）------------java知识复习+大数据开发简介

知识复习序列化和反序列化序列化：将java程序中的对象写入持久化到硬盘当中，转变为二进制的数据，这个过程称为序列化，也叫钝化。反序列化：而将硬盘中二进制的数据读取到java程序中转化为对象，这个过程称为反序列化，也叫活化。应用场景：将内存中的对象数据持久化到硬盘当中；将硬盘中的数据反序列化到内存当中；在网络中传输对象，都需要使用到序列化和反序列化。代码示例见上篇文章序列化与反序列化优化jdk序列化
菜鸟周星星·2020-11-16 21:09

hadoop大数据开发技术学习笔记第三天：（前序）MySQL数据库进阶

hadoop大数据开发技术学习笔记第三天：（前序）MySQL数据库进阶一、回顾知识1.myschool数据库和数据表的创建（1）创建数据库（2）数据库模型图（3）创建数据表grand（4）创建数据表student
悦下听风·2020-11-14 00:50

大数据学习路线

本文已收录于Github开源项目：github.com/hansonwang99/JavaCollection，里面有各大方向编程的详细自学路线、面试题和面经、编程资料及系列技术文章等，资源持续更新中大数据开发基
CodeSheep·2020-11-13 17:01

大数据学习路线

本文已收录于Github开源项目：github.com/hansonwang99/JavaCollection，里面有各大方向编程的详细自学路线、面试题和面经、编程资料及系列技术文章等，资源持续更新中大数据开发基
CodeSheep·2020-11-13 17:09

【大数据开发】Presto——Presto安装部署、核心数据结构、Java集成Presto、自定义UDF、UDAF函数

Presto快速入门点我点我点我！Presto只支持Java操作，不能使用Scala必备知识：一个字节是8位，一个中文汉字占用3个字节的长度，byte类型数据是1个字节（presto需要自己手动计算字节数和存储位置）Presto目录一、安装部署二、Presto核心数据结构2.1Slice2.2Block2.3Page2.4总结三、Java集成Presto四、Presto编写UDF函数4.1导入依赖
这个妹妹我见过·2020-11-09 21:34

【大数据开发】Hudi——Hudi快速入门

Hudi快速入门Hudi中文文档Hudi介绍（含有测试代码，见博客github）spark2.4版本以上才能整合Hudi文章目录一、设计原则二、表类型三、kafka数据落地Hudi一、设计原则流式读/写Hudi应用于大型数据集记录流的输入和输出Hudi通过其特殊列添加并跟踪记录级的元数据自管理如果任务失败会自动回滚，并且再次尝试万物皆日志内部存储是以日志的形式保存键-值数据模型Hudi表被建模为键
这个妹妹我见过·2020-11-09 10:01

【大数据开发】Java基础——UTC时间格式（2020-10-31T08:04:34+08:00）格式化方法

方法一（推荐）packageTest4importjava.text.SimpleDateFormatimportjava.util.Dateimportorg.joda.time.DateTimeobjectTest4{defmain(args:Array[String]):Unit={valtime="2020-10-31T08:04:34+08:00"valsdf=newSimpleDate
这个妹妹我见过·2020-11-02 23:45

Java基础练习项目——英雄小游戏

Java日报部门：**大数据开发六部姓名：cqmfx日期：2020.10.27练习——打怪小游戏/***2020/10/27**@authorcqmfx(阡陌飞絮)*/importjava.util.
cqmfx·2020-10-28 15:28

Redis 到底是怎么实现“附近的人”这个功能的呢？

目前主攻大数据开发。喜欢骑行、爬山。前言：针对“附近的人”这一位置服务领域的应用场景，常见的可使用PG、MySQL和MongoDB等多种DB的空间索引进行实现。
程序员乔戈里·2020-10-17 23:29

震精，京东T8工程师每天熬夜到天明，竟只是为一套编程实战文档

开篇扯皮大数据开发工程师系列共六本，包括Java面向对象编程、Java核心API编程、JavaWeb开发实战、MySQL数据库开发实战、SSM企业级框架实战、Hadoop&Spark大数据开发实战，一套比较全面的开发工程师书籍
只会全栈·2020-10-10 18:33

java大数据开发训练营--Java Web 后端技术基础（下）之SpringMVC基本应用

一SpringMVC简介1.1MVC模式MVC是软件工程中的一种软件架构模式，它是一种分离业务逻辑与显示界面的开发思想。*M（model）模型：处理业务逻辑，封装实体*V（view）视图：展示内容*C（controller）控制器：负责调度分发（1.接收请求、2.调用模型、3.转发到视图）1.2SpringMVC概述SpringMVC是一种基于Java的实现MVC设计模式的轻量级Web框架，属于S
Laozizuiku·2020-09-30 15:05

2020.9.29课堂笔记(Sqoop介绍及数据迁移)

官网链接将数据从RDBMS导入到HDFS、Hive、HBase-从HDFS导出数据到RDBMS-使用MapReduce导入和导出数据，提供并行操作和容错目标用户系统管理员、数据库管理员-大数据分析师、大数据开发工程师等
超可爱慕之·2020-09-29 19:56

大数据开发环境搭建之Spark集群搭建

大数据开发环境搭建之Spark集群搭建需要四台机器spark-2.1.0下载地址1.集群规划:Spark没有对内存进行管理，内存的管理交给应用程序管理，容易出现：OOM（内存溢出）Worker的默认行为
羋学僧·2020-09-21 18:37
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他