A大数据开发

带你了解分布式系统的数据一致性问题

老刘是一名即将找工作的研二学生，写博客一方面是复习总结大数据开发的知识点，一方面是希望能够帮助和自己一样自学编程的伙伴。
努力的老刘·2021-01-10 20:36

大数据技术核心框架最强知识体系总结||（2021版）（含面试题）

hadoop框架Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储
张心情·2021-01-09 23:28

大数据开发环境搭建番外及总结：Redis和Anaconda环境的安装搭建

采用的阿里天池赛的一个电商数据集，然后基于大数据的Lambda架构，实现离线和在线相结合的实时推荐系统)，这样可以熟悉一下真实环境中的推荐系统流程，但是这里面需要大数据的开发环境，所以这里的这个系列是记录自己搭建大数据开发环境的整个过程
Miracle8070·2021-01-09 11:57

大数据开发环境搭建系列六：Kafka和flume的安装和环境搭建

采用的阿里天池赛的一个电商数据集，然后基于大数据的Lambda架构，实现离线和在线相结合的实时推荐系统)，这样可以熟悉一下真实环境中的推荐系统流程，但是这里面需要大数据的开发环境，所以这里的这个系列是记录自己搭建大数据开发环境的整个过程
Miracle8070·2021-01-08 17:08

大数据开发之Hive篇15-Hive之hpl/sql编程

备注:Hive版本2.1.1文章目录一.HPL/SQL概述二.HPL/SQL测试案例2.1测试执行简单sql2.2测试函数和循环2.3测试include套用存储过程2.4测试package2.4测试游标2.5测试游标2参考一.HPL/SQL概述Hive2.0版本开始，已经有了Hive存储过程的解决方案（HPL/SQL–ProceduralSQLonhadoop）。该解决方案不仅支持Hive，还支持
只是甲·2021-01-08 09:44

SpringCloud学习笔记(八)----消息驱动Stream、链路追踪Sleuth

如果后端开发使用消息中间件RabbitMQ，而大数据开发使用Kafka，那么一个项目中就存在多个消息中间件，对于程序员来说，不好进行切换、维护、开发。
冬瓜闯世界·2021-01-07 00:01

大数据开发环境搭建系列二：Hadoop集群环境搭建

采用的阿里天池赛的一个电商数据集，然后基于大数据的Lambda架构，实现离线和在线相结合的实时推荐系统)，这样可以熟悉一下真实环境中的推荐系统流程，但是这里面需要大数据的开发环境，所以这里的这个系列是记录自己搭建大数据开发环境的整个过程
Miracle8070·2021-01-06 22:44

慕课网大数据开发工程师课程

download:大数据开发工程师【完结】本套大数据课程中的技术体系包含目前主流的Hadoop、Spark、Flink三大技术生态圈，涵盖了企业中最常见的技术组件，可以满足大家在公司中的工作需求Q:这套课程要学多久
sdfdsfdsfasd·2021-01-05 02:19

大数据开发和大数据分析师到底有何区别？怎么分辨？

大数据开发和大数据分析师到底有何区别？数据工程师建设和优化系统，专注于解决分析方面的问题；大数据分析师从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测。两只之间有着本质的差别。
学Python的安娴·2021-01-04 22:05

初始java

java程序的注释java编码规范java可以做什么客户端ClientC/Sserver银行软件，商场结算软件浏览器BrowserB/S京东商城，淘宝网，易趣网移动端M/SAndroidAPP高速运算和存储大数据开发
pgwwq007·2021-01-04 13:08

Java Web后端技术 (下) - 3.MyBatis 复杂映射&配置文件深入

前言：这段时间在拉勾学大数据开发，现在学到JavaWeb后端技术，收获颇深。之前没记笔记，学习效率低很多。
朱李寒水·2021-01-02 18:58

SparkStreaming推测机制：面试被问遇到什么问题，说这个显水平！

背景老刘最近晚上会刷刷牛客网的大数据开发面经，总是会看到一个高频的面试题，那就是你在学习过程中遇到过什么问题吗？
努力的老刘·2021-01-02 15:28

3t studio 导出数据_玩转大数据开发工具--上下全篇

为了降低大数据应用开发的门槛，简化开发过程，星环随TranswarpDataHub5.0开发出了大数据开发套件TranswarpStudio。
罅天·2021-01-02 09:16

突破性能瓶颈！ElasticSearch百亿级数据检索优化案例

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无-大数据技术与架构·2021-01-01 17:52

数据湖VS数据仓库？湖仓一体了解一下

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2020-12-31 23:17

大数据面试3分钟自我介绍_大数据开发工程师面试主要面试内容

大数据近年来，发展如火如荼，很多人都选择学习大数据专业或者转行大数据，大数据里又包含很多就业岗位，那么，我们在面试大数据开发工程师时，需要面试哪些内容呢。一起来看看！
诗和远方越远越脏·2020-12-31 12:27

python开发岗位职责_大数据系列之大数据开发工程师

 继续介绍大数据系列岗位的要求，今天是“最热门”的岗位大数据开发工程师，之所以说热门主要是基于2个原因，一是因为很多应届生或者想转入大数据行业的同学，都是期望从事“大数据开发”这一定位不是很清晰的岗位；
weixin_39569076·2020-12-30 15:59

我与CSDN的2020

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
小山猪的沙塔·2020-12-28 14:59

浅谈大数据任务调度平台

谈到大数据，避免不了hadoop,hive,spark这些基础套件，但是在整个大数据开发的时候，我们面对的基本上都是数据开发平台和任务调度系统。
北 方~·2020-12-28 13:35

大数据开发-从Scala到Akka并发编程

1.递归实现瓶盖，瓶子换酒瓶的算法1.1需求描述每瓶啤酒2元，3个空酒瓶或者5个瓶盖可换1瓶啤酒。100元最多可喝多少瓶啤酒？（不允许借啤酒）思路：利用递归算法，一次性买完，然后递归算出瓶盖和空瓶能换的啤酒数1.2代码实现defextralPeer(bot:Int,cap:Int):Int={valcount=bot/3+cap/5if(count{println("masterrunning..
Hoult丶吴邪·2020-12-28 12:02

大数据开发-Spark-一文理解Spark中的Stage,Executor,Driver...

1.引言吧阿西吧，对于Spark新手来说，首先对于Spark的运行机制不了解，往往跟你交流的时候，互相都不知道在说什么，比如部署模式和运行模式，可能都混为一谈，对于有一定开发经验的老手，即使知道运行机制，可能在表述上，对Spark的各种术语也不是很懂，因此理解Spark术语，是Spark开发者之间沟通的必要之路，本文从Spark的运行机制开始，到WordCount案例来理解Spark中的各种术语。
Hoult丶吴邪·2020-12-28 12:31

Spark项目落地实战以及日常大数据开发注意事项

Spark简介基于内存的分布式集群计算平台可适配Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的API，支持Java，Scala，Python代码量小与Hadoop集成读写HDFS、Hbase、Hive和Yarn集成与Oracle存过的对比数据仓库机器学习海量数据离线分析实时数据流
Eric·2020-12-28 12:58

Spark项目落地实战以及日常大数据开发注意事项

Spark简介基于内存的分布式集群计算平台可适配Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的API，支持Java，Scala，Python代码量小与Hadoop集成读写HDFS、Hbase、Hive和Yarn集成与Oracle存过的对比数据仓库机器学习海量数据离线分析实时数据流
Eric·2020-12-28 11:33

Java开发工程师与大数据开发工程师有何区别？

最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？
东风散步·2020-12-25 23:31

Java开发工程师与大数据开发工程师有何区别？

最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？
东风散步·2020-12-25 22:34

c语言 去掉双引号_C语言自学入门最全基础知识总结！

记得先点蓝字关注我哦～今日课程菜单Java全栈开发|Web前端+H5大数据开发|数据分析人工智能+Python|人工智能+物联网来源：小职(z_zhizuobiao)找我：✅解锁高薪工作✅免费获取干货教程未完待续
超凡越圣·2020-12-24 05:12

python 大数据开发工程师_大数据系列之大数据开发工程师

继续介绍大数据系列岗位的要求，今天是“最热门”的岗位大数据开发工程师，之所以说热门主要是基于2个原因，一是因为很多应届生或者想转入大数据行业的同学，都是期望从事“大数据开发”这一定位不是很清晰的岗位；二是因为至少有
weixin_39601743·2020-12-22 05:36

数据仓库缓慢变化维度SCD？你想知道的都在这里

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2020-12-21 13:21

大数据开发-Scala-类型检查与模式匹配详解

0.前言类型检查和类型转换在每个语言里面都有对应实现，比如Java中的instanceof和isInstance，当然Scala语言也有，但是相对于其他语言，Scala为了简化开发，产生了强大的模式匹配，其原理和Java中的switch-case很类似，但是其匹配能力更强，不仅仅可以匹配值，匹配类型，也可以进行类匹配，还可以进行前缀类匹配，而且在Spark源码中大量使用了模式匹配，另外的就是隐式转
Hoult丶吴邪·2020-12-21 11:19

大数据开发-Spark调优常用手段

Spark调优spark调优常见手段，在生产中常常会遇到各种各样的问题，有事前原因，有事中原因，也有不规范原因，spark调优总结下来可以从下面几个点来调优。1.分配更多的资源分配更多的资源：它是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候，首先第
Hoult丶吴邪·2020-12-21 11:19

大数据开发-Scala 下划线的多种场景

1.简述Scala的下划线在各种语法中几乎都要插一脚，其目的是代表某些特殊场合或者简化代码，不必去想命名该怎么取。下面介绍几种下划线的使用场合2._有哪些使用方式2.1初始化变量跟Java类似，成员变量未初始化会给一个默认值，Scala中也一样，只可以初始化成员变量，但是需要利用_来特别说明，要注意的是_如果初始化为null要特别指明变量的类型，否则变量类型就是Null,初始化只针对var而不能是
Hoult丶吴邪·2020-12-21 11:19

hive增量表和全量表_大数据开发数仓拉链表概述，以及如何迭代或者回滚

1.背景拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。SCD的常用处理方式有以下几种：保留原值直接覆盖增加新属性列快照表拉链表本文主要讲解拉链表来处理SCD的问题，其特点归纳以下，有以下几种场景时候，可以使用拉链表。1.表数据量较大，用全
weixin_39578197·2020-12-19 11:49

python大数据工程师薪资待遇_大数据开发工程师薪资待遇及招聘要求？

目录：大数据开发是干什么的？大数据开发需要掌握哪些技术？学习路线如何？大数据开发需要掌握数学知识吗？大数据开发就业前景如何？大数据开发工程师薪资待遇及招聘要求？大数据开发是干什么的？
weixin_39794734·2020-12-18 12:57

python工程师干什么的_大数据开发工程师薪资待遇及招聘要求？

目录：大数据开发是干什么的？大数据开发需要掌握哪些技术？学习路线如何？大数据开发需要掌握数学知识吗？大数据开发就业前景如何？大数据开发工程师薪资待遇及招聘要求？大数据开发是干什么的？
weixin_39968266·2020-12-18 08:02

python做大数据开发是做什么的_大数据开发是干什么的?如何去学？就业前景如何？...

♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
weixin_39593718·2020-12-17 09:06

[码仔的java笔记]Java全栈学习路线(参考狂神java学习路线)

Java打怪升级路线第一关：JavaSE阶段第二关：JavaWeb阶段第三关：SSM框架第四关：Linux运维第五关：微服务和分布式第六关：大数据开发第七关：持续学习第一关：JavaSE阶段1、计算机基础
怕秃头的码仔·2020-12-16 11:24

python 软件开发 哔哩哔哩_介绍Python爬取哔哩哔哩视频

栏目介绍如何爬取视频相关免费学习推荐：本篇文章主要给大家讲解下如实使用python爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。
weixin_39778003·2020-12-15 14:52

大数据开发-数仓ads层指标计算

ads层数据往往是最终的结果指标数据，在大屏展示，或者实时流处理时候使用，通过下面两个例子来练习业务大屏展示sql该怎么写。1.会员分析案例1.1数据准备表结构如下，其中此表是dws层以天为维度的会员表，比如每天的会员信息汇总，usedws;droptableifexistsdws.dws_member_start_day;createtabledws.dws_member_start_day(`
Hoult丶吴邪·2020-12-14 03:47

大数据开发---数仓拉链表概述，以及如何迭代或者回滚

1.背景拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。SCD的常用处理方式有以下几种：保留原值直接覆盖增加新属性列快照表拉链表本文主要讲解拉链表来处理SCD的问题，其特点归纳以下，有以下几种场景时候，可以使用拉链表。1.表数据量较大，用全
Hoult丶吴邪·2020-12-14 03:47

大数据开发-表数据波动、码值分布波动监控

经历一番推理演算，每个字段逐字分析，接着https://blog.csdn.net/hu_lichao/article/details/110358607前面的理论，本篇对前面的监控做了更进一步的设计产出，看完绝对不会浪费您的时间。设计摘要：任务执行、监控和报警从设计上是可以完全分开的，分开可以让任务执行尽可能只做任务执行的事情，监控可以根据多种监控规则来进行数据统计，数据分布，而报警则专注于如何
Hoult丶吴邪·2020-12-14 03:14

大数据开发---数仓拉链表概述，以及如何迭代或者回滚

1.背景拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。SCD的常用处理方式有以下几种：保留原值直接覆盖增加新属性列快照表拉链表本文主要讲解拉链表来处理SCD的问题，其特点归纳以下，有以下几种场景时候，可以使用拉链表。1.表数据量较大，用全
Hoult丶吴邪·2020-12-14 03:11

大数据开发-数仓ads层指标计算

ads层数据往往是最终的结果指标数据，在大屏展示，或者实时流处理时候使用，通过下面两个例子来练习业务大屏展示sql该怎么写。1.会员分析案例1.1数据准备表结构如下，其中此表是dws层以天为维度的会员表，比如每天的会员信息汇总，usedws;droptableifexistsdws.dws_member_start_day;createtabledws.dws_member_start_day(`
Hoult丶吴邪·2020-12-14 03:11

20200919 平安大数据开发工作总结

在平安工作已接近半载,为了夯实工作能力,丰富面试内容,做以下软实力总结.1.清晰描述开发流程,并理解每个过程的利害关系1.0需求池->就绪->数据探索->文档落地->脚本开发->前端开发->自测->业务验收->验收完成->上线->配置需求池:需求方不懂数据,甚至对自身的业务都不算了解,所有提出的需求很多是探索性,或者是抽象,或者是无法预测开发过程中会遇到的很多问题.产品经理就是要不断与之明确开发需
Jeady_e191·2020-12-12 14:01

oracle 数据立方_玩转大数据开发工具--上下全篇

为了降低大数据应用开发的门槛，简化开发过程，星环随TranswarpDataHub5.0开发出了大数据开发套件TranswarpStudio。
weixin_39736547·2020-12-10 22:59

如何用python爬取视频_介绍Python爬取哔哩哔哩视频

python视频教程栏目介绍如何爬取视频本篇文章主要给大家讲解下如实使用python爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。
weixin_39831039·2020-12-09 18:19

大数据开发-表数据波动、码值分布波动监控

经历一番推理演算，每个字段逐字分析，接着https://blog.csdn.net/hu_lichao/article/details/110358607前面的理论，本篇对前面的监控做了更进一步的设计产出，看完绝对不会浪费您的时间。设计摘要：任务执行、监控和报警从设计上是可以完全分开的，分开可以让任务执行尽可能只做任务执行的事情，监控可以根据多种监控规则来进行数据统计，数据分布，而报警则专注于如何
Hoult丶吴邪·2020-12-09 15:13

Python爬取哔哩哔哩（bilibili）视频

本篇文章主要给大家讲解下如实使用python爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。
大数据老哥·2020-12-08 15:36

大数据开发-Flume-频繁产生小文件原因和处理

1.问题背景通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在生产环境参数大小也不同1.flume滚动配置为何不起作用？2.通过源码分析得出什么原因？3.该如何解决flume小文件？2.过程分析接着上一篇，https://blog.csdn.net/hu_lichao/article/details/110358689本人在测试hdfs的sink，发现
Hoult丶吴邪·2020-12-06 18:54

大数据开发-Hive-常用日期函数&&日期连续题sql套路

前面是常用日期函数总结，后面是一道连续日期的sql题目及其解法套路。1.当前日期和时间selectcurrent_timestamp--2020-12-0519:16:29.2842.获取当前日期，当前是2020-12-05SELECTcurrent_date;##ORSELECTcurrent_date();--2020-12-053.获取unix系统下的时间戳SELECTUNIX_TIMEST
Hoult丶吴邪·2020-12-06 18:53

大数据开发-Flume-频繁产生小文件原因和处理

1.问题背景通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在生产环境参数大小也不同1.flume滚动配置为何不起作用？2.通过源码分析得出什么原因？3.该如何解决flume小文件？2.过程分析接着上一篇，https://blog.csdn.net/hu_lichao/article/details/110358689本人在测试hdfs的sink，发现
Hoult丶吴邪·2020-12-06 18:37
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他