【大数据开发】第5页

阿里云认证 | 2023年ACP认证考试大揭秘

阿里云大数据工程师ACP认证是面向大数据开发工程师的专业技术认证。它涵盖了大数据计算服务、大数据开发与治理平台、实时计算、实时数据仓库、检索分析服务、数据湖、大数据分析与可视化等多个方面的内容。

HCIE考证研究所·2023-11-08 16:24

【Spark】基础知识点

大数据开发复习课程-Spark11、spark11.1、spark介绍11.2、spark与Hadoop的区别11.3、spark的特点11.4、spark的运行模式1.local本地模式(单机)--开发测试使用

浪里小飞侠·2023-11-07 05:03

Centos8安装Hadoop框架并运行示例程序（伪分布式）

大数据开发入门：二、Centos8安装Hadoop框架并运行示例程序（伪分布式）一、新建WinSCP连接二、安装jdk三、安装Hadoop框架四、执行Hadoop示例程序上一篇：大数据开发入门：一、VMware15.5Pro

达娃里氏·2023-11-05 23:42

大数据开发面试问题总结（很多都是问的chatgpt，望指正）

题解|#链表相加(二)#packagemainimport."nc_tools"/**typeListNodestruct{*Valint小白月赛80C/D题求助基本思路是二分答案，自认为写的没问题，我的问题是本地vscode和在线对样例的评测结果不同。#include#include题解|#运动会双人项目#importsyss=[input(),input()]s=tuple(s)print(s

2301_79125642·2023-11-05 16:17

大数据开发笔记（四）：Hive分区详解

GoAI·2023-11-05 16:08

你的大数据开发学习路线【自己定制的】

要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI+BigData+Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据这个方向。大数据，即BigData，关于它的定义很多，我这里不再赘述了。最权威的莫属IBM的定义，读者可以自行查阅。既然本文关注如何学习大数据，那么我们首先就要定义大数据领域内的不同角色设定。这样各位才能根据自身

qq_43958076·2023-11-05 12:01

Elasticsearch 实战应用系列

曾负责大数据平台日TB级实时高并发数据流架构，曾人工智能创业团队大数据开发组负责人，万方搜索引擎负责人，近几年专注Elasticsearch底层技术，高级Elasticsearch工程师。

啊桑桑·2023-11-05 02:24

网易Impala集群优化和高可用负载均衡配置和虚拟数仓

②文章原作者是网易资深大数据开发工程师，拜读他的文章后深受启发。③关于impala优化从四大痛点出发，依次给出分析和解决方案。④impala集群的内存是否设置的越大越好？并发数是否越大越好？

岁月的眸·2023-11-04 14:28

吐血整理的Hadoop最全开发指南【完全分布式集群部署篇】（开发重点）

陶人超有料·2023-11-04 11:26

Kafka实战:集群SSL加密认证和配置（最新版kafka-2.4.0）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。

大数据开发运维架构·2023-11-04 01:22

双非电子专业，大二京东实习，大三上岸字节大数据开发实习岗，分享一波面经...

点击上方"大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新|950个转型案例分享-大数据交流群今天分享学习群同学的求职经历，他是双非电子专业，大一就加了我好友，大二开始学习大数据的内容，并在大二暑期进行了一波面试，拿了一些日常实习offer，最终去京东实习。今年过完年就开始面大厂的春季实习，如今已经拿了字节实习offer。背景介绍双非电子信息工程本科，有Java、计算机网

无精疯·2023-11-03 16:16

秋招面经第十三弹：58同城一面-大数据开发工程师

秋招第十三弹：58同城一面-大数据开发工程师写在最前：秋招以来一直在冲，因为事情比较多，对于笔试面试一直没有复盘，现在靠仅存的记忆把面试的一些问题记录下来，尽可能记录出能回忆到的问题，但可能记的不是很全

牧码文·2023-11-03 02:21

idea好用插件整理

1、AlibabaJavaCodingGuidelines阿里巴巴编码格式规范2、BigDataTools大数据开发工具，是一个集成Spark且支持编辑和运行ZeppelinNotebooks的IntelliJIDEA

静心得意，天下迎春·2023-11-02 19:27

HDFS架构介绍

数新网络可提供大数据开发管理、安全合规、建模分析、价值流通等多种服务，让大数据、AI和数据价

数新网络·2023-11-02 05:50

使用IDEA和Maven打包Jar包的详细方法

使用IDEA和Maven打包Jar包的详细方法在大数据开发中，使用IDEA和Maven进行项目管理和打包是常见的做法。本文将详细介绍如何使用IDEA和Maven打包Jar包，并提供相应的源代码。

JieLun_C·2023-10-31 20:58

外企面试，哪有你想象的那么难!（已收埃森哲、NTTDATA等8家外企offer）

最后选了一家西班牙公司做大数据开发，全英工作环境，写这篇文章更多是分享一些关于外企的理念以及面试经验。2.朋友眼里：很牛逼，连外企都进得去，英语很好吧。3.外人眼里：外企

程序员峰哥·2023-10-31 14:13

从0到1搭建大数据平台之监控

它时刻关乎大数据开发人员的幸福感。试想如果半夜三更，被电话吵醒解决集群故障问题，那是多么的痛苦！！！

数据指北Ai·2023-10-31 12:37

ES在十几亿的数量级下如何提升查询效率？

公众号,一线技术资料不迷路,博主6年大数据开发经验,目前就职于一线互联网企业,可以敏锐的嗅到未来技术的发展方向。

小晨说数据·2023-10-31 11:53

大宝大话大数据(二)——大数据的学习路径和方法

本文将对自己学习大数据的路径和方法做一个回顾，有意入门大数据开发的同学可以参阅我的学习过程，结合自己的实际情况，做一些优化和调整。以下内容都是我的一家之言，仅供参考。首先说下学习方法的问题。

北邮郭大宝·2023-10-30 08:48

【DevChat】智能编程助手 - 使用评测

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。

一头小山猪·2023-10-30 05:29

【大数据开发运维解决方案】超级详细的VMware16安装Redhat8&挂载镜像配置本地yum源&安装unixODBC教程

文章目录前言一、安装配置VMware1、虚拟网络配置2、修改windows网卡配置二、安装RedHat8.61、虚拟机安装1.1、新建虚拟机1.2、接下来选择稍候安装操作系统，下一步1.3、选择安装操作系统类型LinuxRedHat864位1.4、命名虚拟机&虚拟机保存路径1.5、指定CPU数量，我分的多了点1.6、指定内存，至少2G1.7、网络类型选择仅主机模式1.8、磁盘类型&磁盘大小设置40

赵延东的一亩三分地·2023-10-30 03:25

Kafka实战：JavaApi连接Kerberos认证的Kafka集群

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。

大数据开发运维架构·2023-10-29 12:13

java如何快速入门Hadoop大数据技术？

xyzkenan·2023-10-28 21:01

教你如何入门【大数据开发】？

伴随着大数据时代的来临，大数据开发技术应运而生，从事大数据开发的技术人员也逐渐成为业内的“香饽饽”。如今，尽管大数据开发技术已趋于成熟，但想要做到【入门】，难度还是不小的。

CDP充电瓶·2023-10-28 21:54

2024秋招阿里云存储-存储基础技术-女娲&；工程效能团队

外卖骑手一面面经网易校招开始啦~芯原一面字节跳动大数据开发面经答案汇总之Spark篇上集美团一面校招经验教训请接收一份来自大厂的保姆级面试稿！

han_xue_feng·2023-10-28 13:33

比MySQL快801倍，实践证明，这两款OLAP···

2021年4月程序员薪资水平，大数据开发工程师：月薪低至5K，高达45K，差距相当大在信息化时代，数据即价值。

Java基基·2023-10-28 08:59

Kylin、Druid、ClickHouse核心技术对比

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-10-28 08:28

从 Airflow 到 Apache DolphinScheduler，有赞大数据开发平台的调度系统演进

点击上方蓝字关注我们作者|宋哲琦✎编者按在不久前的ApacheDolphinSchedulerMeetup2021上，有赞大数据开发平台负责人宋哲琦带来了平台调度系统从Airflow迁移到ApacheDolphinScheduler

DolphinScheduler社区·2023-10-28 07:47

名企“关你什么事儿”？

大数据开发工程师，音视频工程师

简后·2023-10-27 02:21

【kafka技术篇】kafka数据到底会不会丢失？

博主介绍‍博主主页：淼淼_喵的博客_CSDN博客-Zookeeper,Hadoop,大数据技术领域博主✨主攻领域：【大数据开发】【数据仓库】【ETL】【数据分析】【面试分析】点赞➕评论➕收藏==养成习惯

chad__chang·2023-10-27 01:49

MaxCompute 自定义 Java UDF

公司大数据开发使用的是阿里云的MaxCompute，MaxCompute自身提供了很多HiveSQL函数，能够满足大部分需求，但是总有一些HiveSQL函数无法满足的需求，比如base64编解码等等，目前

Q以梦为马·2023-10-26 01:47

Scala 语言

领域模型设计--------------面向对象开发设计的核心数据集计算模型----------大数据开发的核心Scala是一门多范式的编程语言,同时支持面向对象和面向函数编程风格。

纯净天空7·2023-10-24 01:27

大数据开发语言Scala（一）——scala入门

累了，基础配置不想写了，直接抄了→Scala的环境搭建这里需要注意的是，创建新项目时，不要用默认的Class类，用Object，原因看→scala中的object为什么可以直接运行一、Scala简介1.1图解Scala和Java的关系1.2关键字说明package：包，等同于java中的packageobject：关键字，声明一个单例对象（伴生对象）main方法：从外部可以直接调用执行的方法def

five小点心·2023-10-24 01:54

经验分享：大数据时代，如何让数据成为资产

作者从从大数据开发的角度，到大数据治理的必要性，再到图形化建模的畅想，最后在数据质量的把关，然后到大数据可视化的应用，总结他的所见所闻以及他的学习的成果，分享给大家。

数据小仙女·2023-10-23 16:32

到底什么才是大数据开发？

♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

金光闪闪耶·2023-10-22 04:47

Python算法：八大排序算法以及速度比较

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。

秋无之地·2023-10-21 07:06

Python爬虫：ad广告引擎的模拟登录

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。

秋无之地·2023-10-21 07:00

认识大数据

大数据开发需要了解的几种语言HadoopSparkStorm大数据平台应用六大知识点一、大数据中的数据仓库和Mpp数据库如何选型?

三思而后行，慎承诺·2023-10-21 07:42

大数据开发平台(Data Platform)在有赞的最佳实践

在统一的大数据开发平台产生之前，面临一系列的问题：多个开发和调度入口，不同的业务部门之间的项目或组件很难复用，同时带来繁

李旭me·2023-10-20 08:43

大数据开发复习Spark篇

11、spark11.1、spark介绍ApacheSpark是用于大规模数据处理的统一分析计算引擎Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。11.2、spark与Hadoop的区别尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop，Spark主要用于替代Ha

落幕7·2023-10-20 08:29

举个栗く·2023-10-20 08:58

【Spark】黑马-大数据开发2

Scala+Spark-大数据开发复习课程10、scala10.1、scala介绍10.2、scala解释器10.3、scala的基本语法10.3.1、声明变量10.3.2、字符串10.3.3、数据类型

浪里小飞侠·2023-10-20 08:26

大数据开发实战教程目录

大数据开发实战教程目录一、课程性质、目的和任务本课程目的是让学生了解并掌握四个领域（1）大数据系统的起源及系统特征（2）大数据系统的架构设计及功能目标设计（3）大数据系统程序开发、企业大数据案例分析的内容利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力

AI_Bao·2023-10-20 08:51

【大数据开发技术】实验06-SequenceFile、元数据操作与MapReduce单词计数

文章目录SequenceFile、元数据操作与MapReduce单词计数一、实验目标二、实验要求三、实验内容四、实验步骤附：系列文章SequenceFile、元数据操作与MapReduce单词计数一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFSSequenceFile读写操作掌握MapReduce单词计数操作熟练掌握查询文件状态信息和目录下所有文件的元数据信息的方法二、实验

Want595·2023-10-20 08:48

大数据开发之Hive篇4-Hive数据操作语言

备注:Hive版本2.1.1文章目录一.Hive的DML(数据操作语言)概述二.Load命令2.1数据准备2.2将服务器文件加载到hive表2.3将HDFS文件加载到hive表三.INSERTINTOTABLEFROMQuery3.1Insertintoselect语句3.2Insertoverwriteselect语句3.3multipleinserts3.4动态分区插入四.CTAS五.Writ

只是甲·2023-10-20 01:22

大数据开发中的秘密武器：探索Hadoop纠删码的奇妙世界

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性，HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。因此，在保证可靠性的前提下如何提高存储利用率已成为当前HDFS面对的主要问题之一。Hadoop3.0引入了纠删码技术（ErasureCoding），它可以提高50%以

技术琐事·2023-10-19 22:46

日常学习记录随笔-zabix实战

使用zabix结合实现一套监控报警装置不管是web开发还是大数据开发我们的离线项目还是实时项目也好，都需要把我们的应用提交到我们服务器或者容器中去执行整个应用过程中怎么保证线上整体环境的稳定运行监控很重要现在比较主流的就是普罗米修斯以及

一个诺诺前行的后端程序员·2023-10-19 20:06

伸手党看过来从入门到精通的大数据课程视频你确定要错过？

大数据开发工

千锋大数据·2023-10-18 18:27

python面试知识图谱_全网首发！零基础大数据方向学习面试知识图谱，包含教程+面试题...

大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪些技能。

weixin_39655689·2023-10-18 01:51

跟着Datawhale打一场时序比赛（SEED新能源赛道-电动汽车充电站充电需求预测）之打卡笔记一

又开始组织打比赛的培训学习了，很早就认识了这个专业的学习组织，跟着他们也学过不少竞赛知识，但是还没完全打完过一场赛事；所以这次打算跟着Datawhale打这场时序的比赛—>2023“SEED”第四届江苏大数据开发与应用大赛

小白掌柜·2023-10-17 15:04

推荐频道

【大数据开发】