Scala-大数据开发

大数据开发之HA

第1章：HadoopHA高可用1.1HA概述所谓HA（HighAvailablity），即高可用（7*24小时不间断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。NameNode机器需要升级，包括软件、硬件升
Key-Key·2024-01-15 12:03

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基
Key-Key·2024-01-15 12:29

大数据开发之Zookeeper

第1章：Zookeeper入门1.1概述它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知这些已经在Zookeeper上注册的那些观察者做出相应的反应。1.2特点一个领导者（Leader）,多个跟随者（Follower）组成的集群。集群中只要有半数以上的节点存活，Zookeeper集群就能正常工作。所以Zookeeper适合安装奇数台
Key-Key·2024-01-15 09:25

某大公司-大数据开发-二面

自我介绍1.来了公司，你知道这个岗位需要做什么吗。2.你之前休息的几个月，你都干了什么。这里我回答：自己刷题，加整理简历。然后对方领导反问我一直在找工作，我说是。觉得有点傻。3.假如我是刚来的，如果我做的任务不是很好，领导和下级觉得我做的不是很满意，我该怎么办。-------------以后打死一天至多面试两场。可能是没有休息好。我觉得我思考问题的时候都慢了半拍。然后一天面试三场真的很累。发现甲方
劝学-大数据·2024-01-13 19:23

普通程序员转型大数据开发需要考虑哪些因素？

大数据工程师平均年薪达20万，在中国顶尖的互联网公司里，大数据开发人员的薪酬比同级别的其他职位高出30%以上，这也是很多程序员纷纷选择转型大数据开发的原因。
你的社交帐号昵·2024-01-13 17:57

大数据开发工程师需要具备哪些技能？

在回答这个问题之前，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：1、数仓开发工程师2、算法挖掘工程师
郑小柒是西索啊·2024-01-12 21:58

外包-某行大数据开发-一面

估计是因为见到过我这种简历太多了，然后面试官直接问了问题1.clickhouse熟悉吗？2.shell熟悉吗，问了两个问题。1.如何获取文件的第一行？2.shell中怎么拼接两个字符串？3.传统数据库用的多吗？然后问了薪资多少，就没有再问了，合适再聊，就直接挂了我电话。整个过程没有超过5分钟。我回答了自己有写过相关脚本，但是其实当时都是照着抄的，面试官问两个问题我就露馅了，惭愧。从以上情况可以看出
劝学-大数据·2024-01-10 07:47

大数据开发：Hive基础知识点介绍

今天的大数据开发分享，我们来讲讲Hive的基础知识点。Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。
加米谷大数据张老师·2024-01-09 13:52

某外包～大数据开发～项目经理二面

一面通过后，hr开始谈工资，以为外包一面就能拿下，没想到还是要我来公司聊一聊。1.介绍之前的项目2.公司是做什么业务的3.对加班的看法4.两道sql题，直接问的1.对于交易明细表中，求每个用户最大的日期的交易记录2.求学生表中，学生的最大成绩，成绩是varchar类型。答案如下：首先进行转换，然后在排序，之所以进行转换，原因是因为varchar类型比较大小时，按照的是位与位进行比较，若2与11va
劝学-大数据·2024-01-09 06:12

某大厂大数据开发-外包面试

1.自我介绍2.具体问项目流程，如项目怎么实现的3.印象最深的问题，怎么发现的，怎么解决的？4.spark用过吗，用到的开发工具5.数据量多少，服务器台数6.数仓每层做了什么事，为什么这样做？笔试题：hive-sql一个表tbl:c_idu_idscore用SQL计算每个班级top5学生的平均分表A（uid,bid)，uid代表：用户idbid代表：uid关注的用户id表数据示例：uidbid12
劝学-大数据·2024-01-09 06:42

大数据开发-某外包公司

1.用过那些组件2.说下HDFS读写流程3.说下varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下hadoop有那些组件面试体会：因为岗位jd上有明确的表示面试可能会问到的问题，比如数据湖，但是我几乎没有复习，所以很遗憾，说的也很糟糕。然后面试官说，
劝学-大数据·2024-01-09 06:10

idea中创建scala项目

2.IDEA的方式创建点击newproject选择Scala->IDEA。点击next后，选择环境，这里注意jdk的选择已经ScalaSDK的选择。第一次时候，我们没有
蓝色格子·2024-01-08 21:36

大数据开发学习笔记——hbase的rowkey设计

写在最前面：今日都是纯文字的笔记，希望朋友们能耐心看rowkey长度原则rowkey是一个二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：目前操作系统都是64位系统，内存8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。rowkey散列原则如果rowkey
卿卿老祖·2024-01-08 21:38

pandas应用和学习

一.pandas的基本内容1.Python在数据处理上有代码灵活,开发快速的特点.尤其是Python的Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python
MSJ3917·2024-01-08 16:33

Spark Core进阶知识

小知识:大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!!
MSJ3917·2024-01-08 07:52

有用的技术分享主题

SQLServer数据库和AgentJob集成化监控工具Airflow调度工具的安装和使用Tableau报表开发网络爬虫技术开发PythonGUI应用开发基于S3的数据湖架构设计和大数据开发Hive大数据仓库超大数据集去重解决方案
weixin_30777913·2024-01-07 10:42

Linux常见面试题

题目说明：LINUX类的面试题适合传统行业实施，运维以及大数据开发，运维等岗位，在以上提到的岗位面试中均会有所涉及，初级岗位大部分为基础命令考核，难度丌大，但需要准确不熟练,会编写SHELL脚本会成为此类岗位求职优势
莓是草莓的莓·2024-01-06 01:17

Hadoop面试题与python基础

python基础（面向大数据开发）如果你是面向python开发，那么我的这些应该是不够用的，我的这些只够大数据开发人员使用；每一个岗位它对一门语言的要求掌握程度是不一样的；但是我写的这些你必须要会，它是基础中的基础
中长跑路上crush·2024-01-05 23:02

数据分析求职-入职必备-工具篇

通常所说的数据分析岗位这个大类，细分的话还可以分为3个细类：数据研发/大数据开发：专注于数据的清洗和预处理，为后续消费数据的服务（比如数据分析
阿清陪你聊聊数据分析·2024-01-05 18:56

大数据开发-Hive-常用日期函数&&日期连续题sql套路

前面是常用日期函数总结，后面是一道连续日期的sql题目及其解法套路。1.当前日期和时间selectcurrent_timestamp--2020-12-0519:16:29.2842.获取当前日期，当前是2020-12-05SELECTcurrent_date;##ORSELECTcurrent_date();--2020-12-053.获取unix系统下的时间戳SELECTUNIX_TIMEST
Hoult-吴邪·2024-01-05 17:37

【亚马逊云科技】自家的AI助手 - Amazon Q

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2024-01-05 14:00

大数据开发个人简历范本（2024最新版-附模板）

大数据开发工程师个人简历范本>男22本科张三计算机科学与技术1234567890个人概述具备深入的Hadoop大数据运维工程师背景，熟悉相关技术和工具具备良好的团队合作能力，善于沟通和协作具有快速学习新知识和解决问题的能力对于数据科学和分析充满热情
itLeeyw·2024-01-05 13:53

JS实现多线程数据分片下载

在大数据开发过程中，为了提高大文件的上传速度，往往需要将大文件切割为小的数据分片，这样小分片数据可以充分利用有限的带宽，加快上传速度。
码说AI·2024-01-05 10:22

大数据开发者应该知道的分布式系统 CAP 理论

无论你是一个系统架构师，还是一个普通开发，当你开发或者设计一个分布式系统的时候，CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题。CAP理论概述CAP理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partitiontolerance）这三项中的两项。读者需要注意的
Hadoop技术博文·2024-01-05 09:51

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop技术内幕：深入解析MapReduce架构设计与实现原理Hadoop技术内幕：深入解析YARN架构设计与实现原理HadoopYARN权威指南Hadoop奶妈级基础入门视频课：Linux嵌入式Lin
比屋大数据·2024-01-05 08:44

大数据开发与低代码：加速数据处理与解决方案开发

随着数据量的爆炸式增长，大数据开发变得愈发重要。然而，传统的大数据开发方法往往需要复杂的编码和开发过程，消耗时间和资源。而低代码开发平台的出现为大数据开发带来了全新的解决方案。
液态不合群·2024-01-05 08:25

Scala-模式匹配、样例类、Option类

1、匹配模式Scala有一个十分强大的模式匹配机制，可以应用到很多场合：如switch语句、类型检查等。并且Scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配1、匹配字符串/***匹配模式(match的使用)：字符串匹配*Createdby12706on2017/11/27.*/classMatchDemo{valarr=Array("a","b","c")valindex=arr(
小猪Harry·2024-01-05 00:49

大数据开发的专业术语

作者主页：青花锁简介：Java领域优质创作者、Java微服务架构公号作者简历模板、学习资料、面试题库、技术互助文末获取联系方式系列专栏目录[Java项目实战]介绍Java组件安装、使用；手写框架等[Aws服务器实战]AwsLinux服务器上操作nginx、git、JDK、Vue等[Java微服务实战]Java微服务实战，SpringCloudNetflix套件、SpringCloudAlibaba
青花锁·2024-01-04 23:21

大数据项目

项目说明：利用scrapy爬取中华英才网和前程无忧上面有关’数据分析师’,‘大数据开发工程师’,'数据采集’的数据并保存到mongodb。
for_syq·2024-01-03 16:05

年薪80万+的大数据开发【教程】都在这儿！

事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势，不仅仅是前景和薪资等。技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。面对如此光明而诱人的前景，大批JAVA工
yoku酱·2024-01-03 13:36

Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较

大数据开发离不开各种框架，我们通过学习ApacheHadoop、Spark和Flink之间的特征比较，可以从侧面了解要学习的内容。
之乎者也··2024-01-01 05:52

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云大数据AI技术·2023-12-31 19:36

【亚马逊云科技】使用Amazon Lightsail快速建站

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-12-31 17:57

大数据开发【3】 -- hadoop的云集群配置

首先要配置好一台机器的伪分布式，这样方便后面的配置。关于伪分布式的：请看伪分布式搭建文章目录1.配置yarn2.各个主机配置3.集群的配置4.一些问题5.强烈推荐的参考文章1.配置yarn配置yarn-env.sh,对于3版本的就不用配置了，因为已经默认从hadoop-env.sh读取了。配置yarn-site.xml文件。yarn.nodemanager.aux-servicesmapreduc
天下一般·2023-12-31 10:25

你需要懂一点ClickHouse的基础知识

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-12-30 09:39

爬虫现在还有那么吃香嘛？

Python作为一种广泛应用的编程语言，在Web开发、大数据开发、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。
会python的小孩·2023-12-28 17:40

Scala-模式匹配、样例类、Option类

1、匹配模式Scala有一个十分强大的模式匹配机制，可以应用到很多场合：如switch语句、类型检查等。并且Scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配1、匹配字符串/***匹配模式(match的使用)：字符串匹配*Createdby12706on2017/11/27.*/classMatchDemo{valarr=Array("a","b","c")valindex=arr(
piziyang12138·2023-12-28 09:21

大数据开发之Sqoop详细介绍

测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Hadoop
lcz-2000·2023-12-27 23:31

米哈游大数据云原生实践

作者：米哈游大数据开发近年来，容器、微服务、Kubernetes等各项云原生技术的日渐成熟，越来越多的公司开始选择拥抱云原生，并开始将AI、大数据等类型的企业应用部署运行在云原生之上。
阿里云云原生·2023-12-27 06:31

Hadoop2.x安全：hadoop集群之kerberos认证（三、常用命令、有效期）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-12-25 15:34

Java技术专题-Lombok插件开发实践必知必会操作！

前言在目前众多编程语言中，Java语言的表现还是抢眼，不论是企业级服务端开发，还是Andorid客户端开发，都是作为开发语言的首选，甚至在大数据开发领域，Java语言也能占有一席之地，如Hadoop，Spark
洛神灬殇·2023-12-24 23:17

大数据开发都要学习什么？什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。
金光闪闪耶·2023-12-24 14:49

hadoop 3.3.3集群安装部署

前言大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节
以茉萱·2023-12-24 02:18

大数据开发介绍

...........................................................................................................................................................1.你的专业是什么，你是如何确定自己的求职方向的首先要明确自己学的专业具体是干啥的，比如我
Guff_hys·2023-12-23 17:30

01-黑马程序员大数据开发

一.Hadoop概述1.什么是大数据狭义上：对海量数据进行处理的软件技术体系广义上：数字化、信息化时代的基础支撑，以数据为生活赋2.大数据的核心工作：存储：妥善保存海量待处理数据；ApacheKUDU、云平台存储：阿里云OSS、UCloud的US3、AWS的S3、金山云的KS3等等计算：完成海量数据的价值挖掘；ApacheHadoop-MapReduce；ApacheHive是一款以SQL
S1406793·2023-12-22 08:06

天津大数据培训机构品牌 数据分析师的发展方向

大数据专业还是有一定难度的，毕竟大数据开发技术所包含的编程技术知识是比较杂且多的如果是计算机专业的学生或者自身有一定基础的人学，相对来说会比较容易，但对于零基础小伙伴学习来说，想要学习大数据，难度还是很高的
qq_38453958·2023-12-22 03:49

来看！天津靠谱Java培训机构哪家更好一点？

包括Java基础、JavaWeb、JavaEE、大数据开发、人工智能等多方面的技术领域。参加Java培训可以帮助我们掌握计算机编程语言的基础知识，掌握Java语言编程技巧，快速提高编程水平。
qq_38453958·2023-12-22 03:49

学习大数据开发的前提是什么？

1.数学知识数学知识是数据分析师的基础知识。对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。对于高级数据分析师，统计模型相关知识是必备能力，线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。2.分析工具对于初级数据分析师，玩转Excel是必须的，数据透
yoku酱·2023-12-19 14:56

双非大数据

双非本秋招上岸总结个人简介学历：双非；专业：软件工程；求职岗位：大数据开发工程师；状态：已上岸翻车经历学校以Java后端开发为主流，我从大二开始学习Java，直到大四都会学习与Java开发相关的技术栈。
Guff_hys·2023-12-19 04:35

活动预告｜ 字节跳动基于DataLeap的DataOps最佳实践

随着数字化转型的推进以及业务数仓建设不断完善，大数据开发体量及复杂性逐步上升，如何保证数据稳定、正确、持续产出成为数据开发者核心诉求，也成为平台建设面临的挑战之一。
字节数据平台·2023-12-18 14:40
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他