大数据开发常用技术第11页

大数据开发要学习什么？学完又能做什么

学习大数据需要掌握什么语言基础？1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。数据的操作语言是SQL，因此很多工具的开发目标就是能够在Hadoop上使用SQL。3、Linux系统大数据的框架都是安装在Linux操作系统上，因此熟练掌握Linux相

我想去吃ya·2023-08-26 12:07

大数据领域都有什么发展方向

大数据开发做什么？大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、

我想去吃ya·2023-08-26 12:36

【ByteEdu】课程总体更新列表(2019-03-21)

点击访问从零开始搭建游戏服务器第二期（更新完）点击访问贪吃蛇实战项目（更新完）点击访问Go语言基础、提高（更新完）点击访问正在更新课程列表：**ByteEdu十分编程--算法**（更新中，已更新1节）点击访问游戏开发常用技术讲解

Golang语言社区·2023-08-26 01:35

Flink集成Iceberg在同程艺龙的实践

简介：本文由同城艺龙大数据开发工程师张军分享，主要介绍同城艺龙Flink集成Iceberg的生产实践。本文由同城艺龙大数据开发工程师张军分享，主要介绍同城艺龙Flink集成Iiceberg的生产实践。

阿里开发者·2023-08-25 07:37

Java常用技术

世界各地的每个人仍然对Java在Web和移动开发中的惊人力量感到惊讶。当然，您也可能会被Java在软件开发中的流行和垄断所吸引，并且您可能希望在您的下一个Web开发解决方案中使用Java编程语言。Java编程语言的优点有很多，大家以后就会慢慢了解。Java让您可以处理复杂的应用程序解决方案，例如计票投票、航班预订API、酒店预订、预订系统等。但是，您不知道开发复杂或简单的Web应用程序需要哪些Ja

程序媛_小白·2023-08-24 13:37

索引设计规范

索引是加速查询的常用技术手段。在设计索引时，要遵循索引设计规范，避免不必要的踩坑。

夜雨风云·2023-08-23 19:30

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

旨在降低ETL开发成本，提高大数据平台稳定性，让大数据开发人员可以在Taier直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。

袋鼠云数栈·2023-08-23 17:10

RxJava3 实战知识梳理(1) - 后台执行耗时操作，实时通知 UI 更新

转载自https://www.jianshu.com/p/c935d08601861、前言一年多一直在做Android电视开发，很少做网络编程，对于互联网常用技术都跟不上了，在这记录一下RxJava3的使用

张俊峰0613·2023-08-23 17:20

程序员：大数据培训分享Spark基础都有哪些

作为大数据主流框架之一的Spark，也是大数据开发人员必须要掌握的重要技术框架，在企业招聘当中，掌握Spark框架的大数据人才，也更加具备竞争优势。那么Spark需要什么基础？

程序猿分享·2023-08-23 05:49

GIS大数据开发框架一张图

文章目录1前言2一张图3参考资料1前言由于自己经验并不丰富，理解也不深刻，但是被hadoop、spark、flink、geospark、sedona之间的关系搞得头晕，于是搜集了网络资料。因为并非亲自体验，不对之处，欢迎指正！！！HadoopEcosystem2一张图所有的资料汇集成一张图如下3参考资料各自辨别吧https://baike.baidu.com/item/Hadoop/3526507

leemraz·2023-08-23 05:45

哪些人适合参加大数据培训班？

大数据培训班有大数据分析培训班、大数据开发培训班，JAVA培训班大数据班适学人群：大三大四应届学生、零基础的社会人员、有基础的在职人员、有计划转行的人员大数据培训班特色：1、完成全真项目案例学习，相当于

泰迪智能科技·2023-08-22 21:04

详解单体架构微服务微服务架构分布式结构集群负载均衡服务监听服务降级服务通信 session共享 docker技术

这里写目录标题单体架构什么是单体架构表示层（controller层）业务逻辑层（service层）数据访问层（dao层）单体架构的好处单体架构的坏处单体架构常用技术栈微服务使用微服务的原因springboot

互联网全栈开发实战·2023-08-22 13:33

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

支持EMR新版数据湖DataLake集群（onECS）、自定义集群（onECS）、Spark集群（onACK）三种形态，对接阿里云一站式大数据开发治理平台DataWorks，沉淀

·2023-08-22 10:13

大数据背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。

2301_77342543·2023-08-22 00:29

Hive的计算引擎，你知道哪几种？

作为大数据开发工程师来说，Hive数据库的开发还是比较重要的，所以我们需要知道hive数据库的计算引擎有哪些，这样在做hive调优的时候，也是有一定的辅助作用。

晓之以理的喵~~·2023-08-21 21:45

化妆品的使用功效

有弹性毛发是否易于梳理清爽、油腻感等用后有无紧绷感特殊功效：烫发、脱毛、育发、染发、防晒、除臭、健美、丰乳、美白祛斑普通功效：清洁、保湿、控油、阻汗、舒敏、紧肤、嫩肤、除皱、抗头屑等各类功效化妆品临床安全/功效评价常用技术美白类化

xiangkuuan·2023-08-21 18:13

揭开神秘面纱，会stream流就会大数据

如果你会任意一门语言的stream流，没道理不会大数据开发。俗话说男追女隔座山，女追男隔层纱。

2301_76429513·2023-08-20 15:44

【100天精通python】Day41：python网络爬虫开发_爬虫基础入门

目录专栏导读1网络爬虫概述1.1工作原理1.2应用场景1.3爬虫策略1.4爬虫的挑战2网络爬虫开发2.1通用的网络爬虫基本流程2.2网络爬虫的常用技术2.3网络爬虫常用的第三方库3简单爬虫示例专栏导读专栏订阅地址

LeapMay·2023-08-20 06:58

nginx-4 负载均衡

介绍负载平衡是优化资源利用率、最大化吞吐量、减少延迟和确保容错配置的常用技术。

苍老的小孩_a1fe·2023-08-20 01:35

关于开发微信个人号机器人/ 微信机器人开发指南

该文章介绍了微信机器人的基本概念、开发流程、常用技术和开发工具等内容，对初学者非常友好。微信机器人是一种可以自动执行特定任务的程序，可以在微信平台上进行交互。

本人手速666+·2023-08-19 17:42

这个时代，毕业生将很难找Java程序员的工作

因为目前信息化时代，计算机专业不仅是挣钱最多的专业，而且还是接触科技最前沿技术的专业，无论是现在的AI人工智能，还是大数据开发以及云计算等等热门的岗位，都跟计算机有着千丝万缕的直接关系。

半圆学社·2023-08-19 13:31

大数据开发之Hive篇6-Hive函数详解

备注:Hive版本2.1.1一.Hive函数概述1.1Hive函数分类函数/UDF输入一行记录，输出一行记录示例：upper/lower/length聚集函数/UDAF输入多行记录，输出一行记录示例：sum/count/avg表生成函数/UDTF输入一行记录，输出多行记录示例：explode1.2查看Hive函数1.2.1showfunctions命令showfunctions命令是查询当前hiv

只是甲·2023-08-19 08:10

饿了么大数据开发凉经

1一个mapreduce进程会启动多少map进程多少reduce进程*1）map数量由处理的数据分成的block数量决定default_num=total_size/split_size;2）reduce数量为job.setNumReduceTasks(x)中x的大小。不设置的话默认为1。2讲下shuffle的过程shuffle分为map端和reduce端的工作。MapTask工作机制（1）Rea

TIM33470348·2023-08-18 20:39

❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】

在这里插入图片描述manor学习大数据开发满打满算也有一年了,其中也发现不少好用的大数据开发提升效率的软件,推荐给刚入门/入行的你:适用windows系统，mac用户可根据名称自行查找~~在这里插入图片描述文末可一键获取

咸鱼在简书·2023-08-18 19:15

零基础学习大数据分析难吗？

在这里列一下：（来源是《2021年互联网人才招聘白皮书》）无论是DBA还是大数据分析师，和java前端后端相比，都不算是最卷的，甚至还算是挺好的，你看下面这张图，一年以下的Java工程师139竞争1个岗位，大数据开发工程师只有

我想去吃ya·2023-08-18 18:02

mysql分区分库常用技术sharding-jdbc和mycat的区别

一、Mycat和Sharding-jdbc的区别1）mycat是一个中间件的第三方应用，sharding-jdbc是一个jar包2）使用mycat时不需要改代码，而使用sharding-jdbc时需要修改代码Mycat(proxy中间件层):Sharding-jdbc(TDDL为代表的应用层):二、Mycat分片join在前面的文章Mysql系列四：数据库分库分表基础理论中，已经说过分库分表需要应

liuwj的ing·2023-08-18 17:39

大数据开发：数仓建模常见数据模型

今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。目前来说，市场上主流的数据建模，主要是四种类型：维度模型、范式模型、DataVault模型，以及Anchor模型。

加米谷大数据张老师·2023-08-17 12:22

携程应用系统整体架构学习

5.hive只能说是一个数据仓库工具，反而归类到数据源层这样的架构水平，要么携程不想透露太多真实实力，要么就是携程派了一个大数据开发工程

warrah·2023-08-17 10:03

【hadoop】windows上hadoop环境的搭建步骤

文章目录前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量Hadoophdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfsnamenode启动hdfs前言在大数据开发领域中

小沈同学呀·2023-08-17 03:01

分布式 - 服务器Nginx：一小时入门系列之负载均衡

文章目录1.负载均衡2.负载均衡策略1.轮询策略2.最小连接策略3.IP哈希策略4.哈希策略5.加权轮询策略1.负载均衡跨多个应用程序实例的负载平衡是一种常用技术，用于优化资源利用率、最大化吞吐量、减少延迟和确保容错配置

我一直在流浪·2023-08-16 15:05

[C++]预处理器和头文件保护符

预处理器：确保头文件在多次包含之后仍能安全工作的常用技术。

想开发游戏的Wang·2023-08-16 12:08

【区块链工具百宝箱35】如何使用趋势线和艾略特波浪理论(Elliott Wave)？(下) _竹三七

今天竹三七继续介绍TradingView常用技术指标——趋势线（TrendLine）的例子和在TradingView中的设置。1.艾略特波浪中的斐波那契比率斐波纳契比率是艾略特波浪理论的重要组成部分。

竹三七·2023-08-16 05:22

想在DataGrip里写SQL般丝滑的写FlinkSQL？安装它就完事儿了

版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:https://juejin.cn/user/1468603264665335“FlinkSQL对于大数据开发者们来说是一个很常见的API

·2023-08-15 16:08

字节电商大数据开发一面，已过，面试题已配答案

面试题答案参考大数据面试题V3.0，523道题，679页，46w字1、实习经历这点不多说了，根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题，根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则1、数据质量保障原则阿里对数据仓库主要从四个方面评估数据质量1）完整性确保数据不存在缺失2）准确性确保数据不存在异常或错误3）一致性体现在从业务仓库加工到数据仓库，

蓦然_·2023-08-15 01:36

微服务全栈技术学习开源项目，涵盖Java及前端主流技术点

vblog：分布式个人博客管理系统一、目的本项目旨在总结前后端分离常用技术点，形成集前端+后端+小程序+移动端一整套的个人技术博客解决方案。

做全栈攻城狮·2023-08-14 20:03

计算机视觉中的特征检测和描述

在其中，我们探讨了它们的定义、常用技术、简单的python实现和一些限制。二、什么是特征检测和描述？

无水先生·2023-08-14 11:11

大数据开发基础-环境配置篇-Hadoop集群安装

鼠鼠接下来将更新一系列自己在学习大数据开发过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。

葡萄成熟时_·2023-08-14 01:19

常用技术

移动产品：了解动态静态语言的区别，了解什么叫SDK、封装；了解什么是MVC结构模型；了解在纯技术上前端和后端如何区分；了解什么是API；了解常用的数据库类型及其优缺点；看得懂每年的WWDC和GoogleI/O。pc端产品：了解基本的Box模型概念了解DOM概念了解同步/异步的概念了解前端常用的框架，知道它们各自的优缺点和适用环境了解移动环境和PC环境的区别对前端开发的影响项目侧：了解什么叫构建集成

voiletic·2023-08-13 01:56

Kettle构建Hadoop ETL实践（一）：ETL与Kettle

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！‍‍‍‍‍‍‍‍‍‍‍‍‍

王知无(import_bigdata)·2023-08-12 13:51

如何学习大数据

想你依然心痛·2023-08-12 12:19

Spark2.x精通：Master端循环消息处理源码剖析（二）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。

大数据开发运维架构·2023-08-11 02:05

滴滴数据服务体系建设实践

什么是数据服务化大数据开发的主要流程分为数据集成、数据开发、数据生产和数据回流四个阶段。

滴滴技术·2023-08-10 20:45

系统架构设计师笔记第35期：表现层框架设计

下面是表现层框架设计的一般步骤和常用技术：确定需求和功能：首先，明确系统的需求和功能，确定用户界面需要展示的内容和交互逻辑。这包括界面元素、用户操作、数据展示和输入等方面的要求。

Evaporator Core·2023-08-10 16:57

大数据开发：Hive列式存储ORC、Parquet的优点

今天的大数据开发学习分享，我们就主要来讲讲，Hive列式存储ORC、Parquet的优点。

成都加米谷大数据·2023-08-10 10:12

大数据开发：Flink如何设计容错

前面我们讲了Hadoop和spark的容错设计，今天的大数据开发学习分享，我们继续来讲Flink又是如何设计容错的？

成都加米谷大数据·2023-08-10 07:57

一站式Flink&Spark平台解决方案——StreamX

随着Flink&Spark生态的不断完善，越来越多的企业选择这两款组件，或者其中之一作为离线&实时的大数据开发工具，但是在使用他们进行大数据的开发中我们会遇到一些问题，比如：任务运行监控怎么处理？

产品经理自我修养·2023-08-10 06:00

《Write-Ahead Log》中文翻译

文章主要写了「预写日志」这一在现代分布式数据库中的常用技术。预写日志通过将每个状态更改以命令的形式持久化到日志中，而无需将数据结构刷新到磁盘，来提供持久性保证。也就是：操作日志。

阳光洒落你窗前·2023-08-10 00:59

大数据开发教程——Apache Hive实战

Hive建表高阶语句CTASandCTE（重点）CTAS–CreateTableAsSelectCREATETABLEctas_employeeasSELECT*FROMemployee（基于select查询的结果生成表）CTASCANNOTcreateapartition,external,orbuckettable（不能生成分区表，外部表，桶表）Createtablelikeothertabl

比屋大数据·2023-08-09 23:26

案例 | 看某国有大行如何构建内部数据安全风险管控核心能力

某国有大行省分行近年来不断加大信息化业务发展力度，提高大数据开发利用程度，随着数据使用部门的扩大化，以及

数据库安全·2023-08-09 21:41

JavaScript设计模式--代理模式

二、图片预加载（最常见的虚拟代理应用场景）图片预加载是一种常用技术，如果直接给某个img标签节点设置src属性，由于图片过大或者网络不佳，图片的位置往往有段时间会有空白。常见的做

前端_周瑾·2023-08-09 19:01

推荐频道

大数据开发常用技术