大数据开发

大数据开发：hadoop系统搭建以及spark编程

相关文章已上传至github，可以移步至GitHub查看。csdn这个坑先留着…传送门：https://github.com/louxinyao/Hadoop-spark
墨染枫·2024-01-31 06:47

开发接单群及网站

单子有：Python、java、爬虫、数据分析、大数据开发、matlab等等~有的让工程师自己谈！有的发单人员直接报价！因为有的单子客户心里没有预算！甚至有的客户只有一个题目！
「已注销」·2024-01-30 15:19

高薪大数据开发工程师是怎样炼成的！！！

云栖大会有阿里巴巴集团主办的全球顶级科技大会，汇聚时代最强大脑，描绘新技术发展趋势和蓝图，展现云计算、大数据、人工智能等蓬勃发展的科技生态全景。2018阿里云栖大会，超过12万人参加这场顶级科技盛会，优秀的人都在拥抱这个世界最新的技术。国家推动大数据战略人工智能的发展让大家的生活变得更美好。潭州教育历届在云栖大会上不负重任分享历史之最强干货，因为最棒的VIP同学就是我们前进的动力，因为相信所以看见
yoku酱·2024-01-30 14:05

【美团】无人机-大数据开发工程师

更新时间：2024/01/29工作地点：北京市事业群：到家事业群工作经验：3年部门介绍为了更好地提升城市即时配送的效率与体验，美团于2017年启动了无人机配送服务的探索，通过科技创新推动履约工具变革，加快建设空地协同的本地即时配送网络，致力于为用户提供3公里、15分钟的标准配送服务。通过发展飞行器、导航控制、AI算法、航线管理、通讯系统五大自研技术能力，并适应社区、商场、写字楼等多种场景，让无人机
探小虎·2024-01-30 13:57

flink sql 知其所以然（十六）：flink sql 开发企业级利器之 Dlink

搞大数据开发的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢？
大数据羊说·2024-01-30 11:06

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。它由几个关键的组件组成，其中最核心的是Hadoop分布式文件系统（HDFS）和MapReduce计算模型。Hadoop的整体架构经过了这么多年的开发与演进，Hadoop早已成为一个庞大的系统，它的内部工作机制非常复杂，是一个结合了分布式理论与具体的工程开发
love6a6·2024-01-26 21:03

带你了解分布式系统的数据一致性问题

老刘是一名即将找工作的研二学生，写博客一方面是复习总结大数据开发的知识点，一方面是希望能够帮助和自己一样自学编程的伙伴。
努力的老刘·2024-01-26 14:50

大数据开发之Spark（spark streaming）

第1章：SparkStreaming概述1.1sparkstreaming是什么sparkstreaming用于流式数据的处理。sparkstreaming支持的数据源很多，例如：kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如：map、reduce、join、window等进行计算。而结果也能保存在很多地方，如hdfs、数据库等。1.2sparkstreaming框
Key-Key·2024-01-25 21:07

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2hadoop与spark历史hadoop的yarn框架比spark框架诞生的晚，所以spark自己也涉及了一套资源调度框架。区别：1、mr是基于磁盘的，spark是基于内存2、mr的task是进程3、spark的task
Key-Key·2024-01-25 21:05

Java第一阶段学习（初级）笔记

Java能做什么桌面应用开发、企业级用用开发、移动应用开发、科学计算、大数据开发、游戏开发一、Java入门1、下载安装IDEA：快捷键Ctrl+alt+l调整格式Ctrl+alt+M自动抽取代码shift
m0_xiaoxiaoqian·2024-01-25 11:57

天津大数据培训班推荐，数据分析过程的常见错误

大数据就业方向大数据开发方向：掌握Java、Python、Scala等开发语言，以及关系型与非关系
qq_38453958·2024-01-25 06:57

大数据开发之Spark（累加器、广播变量、Top10热门品类实战）

第3章：累加器累加器：分布式共享只写变量。（executor和executor之间不能读数据）累加器用来把executor端变量信息聚合到driver端。在driver中定义的一个变量，在executor端的每个task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回driver端进行合并计算。1、累加器使用1）累加器定义（sparkcontext.accumulator(in
Key-Key·2024-01-25 00:25

大数据开发之SparkSQL

第1章：sparksql概述1.1什么是sparksql1、sparksql是spark用于结构化数据处理的spark模块1）半结构化数据（日志数据）2）结构化数据（数据库数据）1.2为什么要有sparksqlhiveonspark：hive既作为存储元数据又负责sql的解析优化，语法是hql语法，执行引擎编程了spark，spark负责采用rdd执行。sparkonhive：hive只作为存储元
Key-Key·2024-01-25 00:24

大数据开发之Spark（RDD弹性分布式数据集）

第1章：rdd概述1.1什么是rddrdd（resilientdistributeddataset）叫做弹性分布式数据集，是spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。1.1.1rdd类比工厂生产1.1.2wordcount工作流程1.2rdd五大特性1、一组分区（partition），即是数据集的基本组成单位，标记数据是哪个分区
Key-Key·2024-01-24 07:17

Apache DolphinScheduler社区新晋Committer：伏长海的开源之旅

文章作者：**伏长海**文章整理：曾辉个人介绍大家好，我是伏长海，目前在珍岛集团担任大数据开发工程师职位!
DolphinScheduler社区·2024-01-23 12:17

大数据开发之Scala

第1章：scala入门1.1概述scala将面向对象和函数式编程结合成一种简洁的高级语言特点1、scala和java一样属于jvm语言，使用时都需要先编译为class字节码文件，并且scala能够直接调用java的类库2、scala支持两种编程范式面向对象和函数式编程3、scala语言更加简洁高效第2章：变量和数据类型2.1注释Scala注释使用和Java完全一样。注释是一个程序员必须要具有的良好
Key-Key·2024-01-23 11:00

大数据开发之Spark（入门）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2hadoop与spark历史hadoop的yarn框架比spark框架诞生的晚，所以spark自己也涉及了一套资源调度框架。区别：1、mr是基于磁盘的，spark是基于内存2、mr的task是进程3、spark的task
Key-Key·2024-01-23 09:45

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

02-黑马程序员大数据开发：分布式计算和分布式资源调度

1.分布式计算概述目标：了解什么是计算？什么是分布式计算？计算是对数据进行处理，使用统计分析等手段得到需要的结果；分布式计算是多台服务器协同工作，共同完成一个计算任务。分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop中的分布式计算组件，
S1406793·2024-01-21 08:52

03-黑马程序员大数据开发：Apache Hive

一、ApacheHive概述1.目的：了解什么是分布式SQL计算；了解什么是ApacheHive2.使用Hive处理数据的好处操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手)底层执行MapReduce，可以完成分布式海量数据的SQL处理3.什么是分布式SQL计算？以分布式的形式，执行SQL语句，进行数据统计分析。4.ApacheHive是做什么的？很简单，是一款分布式SQL计算
S1406793·2024-01-21 08:21

大数据开发之kafka（完整版）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。1.2消息队列目前企业中比较常见的消息队列产品主要有Kafka、ActiveMQ、RabbitMQ、RocketMQ等。在大多数场景主要采用Kafka作为消息队列在Ja
Key-Key·2024-01-21 07:19

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

第4章：KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[[email protected]]$bin/zkCli.sh通过ls命令列出kafka节点内容[zk:localhost:2181(CONNECTED)2]ls/ka
Key-Key·2024-01-21 07:18

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

大数据开发之Kafka（概述、快速入门、生产者）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。1.2消息队列目前企业中比较常见的消息队列产品主要有Kafka、ActiveMQ、RabbitMQ、RocketMQ等。在大多数场景主要采用Kafka作为消息队列在Ja
Key-Key·2024-01-20 10:39

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。3、Hadoop通常是指一个更广泛的概念-Hadoop生态圈1.2Hadoop优势（4高）1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2、高扩展性：再集群
Key-Key·2024-01-20 10:36

经历十九家企业大数据开发工程师面试复盘（二）

背景引入我个人计划是5月中旬争取拿到offer，但是个人技术太菜了，所以经历了一个多月的面试才有两家企业的offer，全是外包。我本人是应届毕业生，校招学历这块不起眼，选择权很少。至于大厂就基本没面。在面试中小企业我可以给大家一个借鉴。认知篇问题1：我是应届小白，求职比不上工作年限的技术人才，我是不是在一线城市很难找到工作？答：不是的，其实应届小白是可以在秋招或者春招找到实习的，如果企业招应届毕业
南潇如梦·2024-01-19 16:36

面试初体验：经历七场面试大数据开发工程师岗位总结（一）

我只想总结一下这周面试大数据开发岗位的精彩表现。希望可以给需要求职的同学一个好的体验。1招聘信息的收集网上投简历一般进入互联网还是使用boss直聘和拉勾网。
南潇如梦·2024-01-19 16:36

某小外包公司线上面试-大数据开发

1.数仓和数据库的区别2.数仓建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量？6.java，scala会用吗？7.期望薪资多少？（感觉说出来就无了）面的初级岗附上hr问的问题？1.公司开发人员占比？公司规模？
劝学-大数据·2024-01-19 16:03

德拓外包-大数据开发面试

1.面试官要是要看以前写过的代码，要共享屏幕怎么办？都在公司的库里，银行金融项目谁让你把代码带出去的，就是公司业务保密1.自我介绍2.数据采集相关，怎么把kafka中的数据采集到mysql中？忘了3.hive，两张表的重复数据，怎么去重？回答distinct,groupby，开窗取第一条，开窗函数是哪个？没回答上来4.udf函数写过吗，flink消费kafka中的数据写过代码吗，需要看代码？5.使
劝学-大数据·2024-01-19 16:03

某汽车外包-大数据开发-面试

1.自我介绍2.hivesql的执行流程3.mapreduce的原理。4.spark的提交参数有那些命令5.sparkrdd,dataframe,dataSe解释一下。6.clickhouse怎么建表的，什么是分表7.搭建采集过程遇到的问题，关于组件信息8.分桶表和分区表的区别，分桶表的设计未来解决什么问题。9.datax用来干什么的，datax是用什么语言编写的。10.redis用过吗，在项目中
劝学-大数据·2024-01-19 16:28

大数据工作岗位分析

本文从基础大数据开发岗开始分析，思考大数据工作细分有哪些岗位，分别需要什么能力，以此来提供大数据能力发展方向参考
i7杨·2024-01-19 13:37

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。1.1集群安全模块1、安全模式：文件系统只接收读数据请求，而不接收删除、修改等变更请求2、进入安全模式场景1）NameNode在加载镜像文件和编辑日志期间处于安全模式2）NameNode再接收DataNode注册时，处于安全模式3）退出安全模式条件dfs.namenode.safemode.min.datanode
Key-Key·2024-01-19 10:50

大数据开发之Hadoop（MapReduce）

第1章：MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2MapReduce优缺点1.2.1优点1、MapReduce易于编程它简单的实现一些接口，就可以完
Key-Key·2024-01-19 06:40

大数据开发之Hadoop（Yarn）

第1章：Yarn资源调度器思考：1、如何管理集群资源？2、如何给任务合理分配资源？Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
Key-Key·2024-01-19 06:09

Dinky为大数据框架Flink提供交互式平台，让你学习 FlinkSQL 更加轻松，并且掌握Flink技能！

介绍：Dinky，原名Dlink，于2022年1月17日更名，英译为“小巧而精致的”，体现了其轻量级和复杂大数据开发能力的特征。
知识分享小能手·2024-01-18 17:59

字节跳动大数据架构面经（超详细答案总结）

我叫xxx,xxxx年x月毕业于xxx学校，xx学历，目前就职于xxx公司xxx部门，职位为：大数据开发工程师，主要从事于xxx组件、平台的开发工作。
Python栈机·2024-01-18 12:39

大数据开发之Hadoop（HDFS）

第1章：HDFS概述1.1HDFS产出背景及定义1、HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2、HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文
Key-Key·2024-01-17 10:22

大数据开发之Hadoop（入门）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。3、Hadoop通常是指一个更广泛的概念-Hadoop生态圈1.2Hadoop优势（4高）1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2、高扩展性：再集群
Key-Key·2024-01-17 09:19

工作十年总结的六条面试技巧，助力你拿到理想的offer

大数据开发的领域不同，面试的锚定点也不同，从我过往的经验来说，可以大致来将大数据领域的开发分为如下几种：离线开发：数据仓库、离线计算、ETL开发实时开发：流计算开发基础架构：组件二次开发，底层组件稳定性维护大数据运维方向数据平台开发一
KubeData·2024-01-17 02:12

只知道HDFS和GFS？你其实并不懂分布式文件系统

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2024-01-16 13:14

大数据开发之Flume

第1章：Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。1.2Flume基础架构1.2.1Agent1、Agent：Flume的部署单元，本质是一个JVM进程，Agent内部是以事件的形式将数据从源头送至目的。2、组成：Agent主要有3个部分组成，Source、Channel、Sink。1.2.2Source1、S
Key-Key·2024-01-15 12:35

大数据开发之Hive（压缩和存储）

第9章：压缩和存储Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormatAPI可以从不同数据源读取数据，使用OutputFormatAPI可以将数据写成不同的格式输出。对数据进行压缩虽然会增加额外的CPU开销，但是会节约客观的磁盘空间，并且通过减少内存的数据量而提高I/O吞吐量会更加提高网络传输性能。原则上Hadoop的job时I/O密集型的话就可以采用压缩可
Key-Key·2024-01-15 12:34

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable
Key-Key·2024-01-15 12:34

大数据开发之Hive（统计影音视频网站的常规指标）

第11章：Hive实战11.1数据结构1、视频表字段备注详细描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄(int)视频在平台上的整天数category视频类别(Array)上传视频指定的视频分类length视频长度(Int)整形数字标识的视频长度views观看次数(Int)视频被浏览的次数rate视频
Key-Key·2024-01-15 12:34

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基
Key-Key·2024-01-15 12:04

大数据开发之Hive(查询、分区表和分桶表、函数)

第6章：查询6.1基本语法及执行顺序1、查询语句语法select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYcol_list][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBYcol_list]][LIMITnumber]2
Key-Key·2024-01-15 12:04

大数据开发之HA

第1章：HadoopHA高可用1.1HA概述所谓HA（HighAvailablity），即高可用（7*24小时不间断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。NameNode机器需要升级，包括软件、硬件升
Key-Key·2024-01-15 12:03

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基
Key-Key·2024-01-15 12:29

大数据开发之Zookeeper

第1章：Zookeeper入门1.1概述它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知这些已经在Zookeeper上注册的那些观察者做出相应的反应。1.2特点一个领导者（Leader）,多个跟随者（Follower）组成的集群。集群中只要有半数以上的节点存活，Zookeeper集群就能正常工作。所以Zookeeper适合安装奇数台
Key-Key·2024-01-15 09:25

某大公司-大数据开发-二面

自我介绍1.来了公司，你知道这个岗位需要做什么吗。2.你之前休息的几个月，你都干了什么。这里我回答：自己刷题，加整理简历。然后对方领导反问我一直在找工作，我说是。觉得有点傻。3.假如我是刚来的，如果我做的任务不是很好，领导和下级觉得我做的不是很满意，我该怎么办。-------------以后打死一天至多面试两场。可能是没有休息好。我觉得我思考问题的时候都慢了半拍。然后一天面试三场真的很累。发现甲方
劝学-大数据·2024-01-13 19:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他