E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
【大数据开发】
数据分析求职-入职必备-工具篇
通常所说的数据分析岗位这个大类,细分的话还可以分为3个细类:数据研发/
大数据开发
:专注于数据的清洗和预处理,为后续消费数据的服务(比如数据分析
阿清陪你聊聊数据分析
·
2024-01-05 18:56
求职辅导
数据分析
数据挖掘
求职招聘
就业辅导
大数据开发
-Hive-常用日期函数&&日期连续题sql套路
前面是常用日期函数总结,后面是一道连续日期的sql题目及其解法套路。1.当前日期和时间selectcurrent_timestamp--2020-12-0519:16:29.2842.获取当前日期,当前是2020-12-05SELECTcurrent_date;##ORSELECTcurrent_date();--2020-12-053.获取unix系统下的时间戳SELECTUNIX_TIMEST
Hoult-吴邪
·
2024-01-05 17:37
大数据开发-系列
Hive
日期函数
【亚马逊云科技】自家的AI助手 - Amazon Q
本人的技术路线从Java全栈工程师一路奔向
大数据开发
、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。
一头小山猪
·
2024-01-05 14:00
征文联动
#
亚马逊云
亚马逊
Amazon
AI
Amazon
Q
人工智能
大数据开发
个人简历范本(2024最新版-附模板)
大数据开发
工程师个人简历范本>男22本科张三计算机科学与技术1234567890个人概述具备深入的Hadoop大数据运维工程师背景,熟悉相关技术和工具具备良好的团队合作能力,善于沟通和协作具有快速学习新知识和解决问题的能力对于数据科学和分析充满热情
itLeeyw
·
2024-01-05 13:53
简历怎么写
大数据
简历
简历工具
个人简历
简历模板
JS实现多线程数据分片下载
在
大数据开发
过程中,为了提高大文件的上传速度,往往需要将大文件切割为小的数据分片,这样小分片数据可以充分利用有限的带宽,加快上传速度。
码说AI
·
2024-01-05 10:22
web前端技术
大数据
区块链技术
javascript
node.js
vue.js
大数据开发
者应该知道的分布式系统 CAP 理论
无论你是一个系统架构师,还是一个普通开发,当你开发或者设计一个分布式系统的时候,CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论,如何证明CAP理论,以及CAP的权衡问题。CAP理论概述CAP理论:一个分布式系统最多只能同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partitiontolerance)这三项中的两项。读者需要注意的
Hadoop技术博文
·
2024-01-05 09:51
大数据开发
学习资料汇总
目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统:Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop技术内幕:深入解析MapReduce架构设计与实现原理Hadoop技术内幕:深入解析YARN架构设计与实现原理HadoopYARN权威指南Hadoop奶妈级基础入门视频课:Linux嵌入式Lin
比屋大数据
·
2024-01-05 08:44
大数据架构师源码零基础教程
大数据
linux
运维
大数据开发
与低代码:加速数据处理与解决方案开发
随着数据量的爆炸式增长,
大数据开发
变得愈发重要。然而,传统的
大数据开发
方法往往需要复杂的编码和开发过程,消耗时间和资源。而低代码开发平台的出现为
大数据开发
带来了全新的解决方案。
液态不合群
·
2024-01-05 08:25
大数据
低代码
大数据开发
的专业术语
作者主页:青花锁简介:Java领域优质创作者、Java微服务架构公号作者简历模板、学习资料、面试题库、技术互助文末获取联系方式系列专栏目录[Java项目实战]介绍Java组件安装、使用;手写框架等[Aws服务器实战]AwsLinux服务器上操作nginx、git、JDK、Vue等[Java微服务实战]Java微服务实战,SpringCloudNetflix套件、SpringCloudAlibaba
青花锁
·
2024-01-04 23:21
大数据
大数据项目
项目说明:利用scrapy爬取中华英才网和前程无忧上面有关’数据分析师’,‘
大数据开发
工程师’,'数据采集’的数据并保存到mongodb。
for_syq
·
2024-01-03 16:05
个人感悟
大数据
年薪80万+的
大数据开发
【教程】都在这儿!
事实上,大数据工作者可以施展拳脚的领域非常广泛,从国防部、互联网创业公司到金融机构,到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势,不仅仅是前景和薪资等。技术层面来说,大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础,即使你没有学过JAVAEE上手Hadoop也是可以的。面对如此光明而诱人的前景,大批JAVA工
yoku酱
·
2024-01-03 13:36
Flink 内容分享(二十七):Hadoop vs Spark vs Flink——大数据框架比较
大数据开发
离不开各种框架,我们通过学习ApacheHadoop、Spark和Flink之间的特征比较,可以从侧面了解要学习的内容。
之乎者也·
·
2024-01-01 05:52
Flink
内容分享
大数据(Hadoop)内容分享
大数据
flink
hadoop
Maxcompute数据上云一致性比对
注:这里对数的场景就是指在阿里云平台使用dataworks等
大数据开发
工具集成业务系统数据库(oracle等)数据上云到maxcompute的场景,所以,示例的SQL也是针对maxcompute。
阿里云大数据AI技术
·
2023-12-31 19:36
【亚马逊云科技】使用Amazon Lightsail快速建站
本人的技术路线从Java全栈工程师一路奔向
大数据开发
、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。
一头小山猪
·
2023-12-31 17:57
征文联动
#
亚马逊云
aws
亚马逊云
快速建站
大数据开发
【3】 -- hadoop的云集群配置
首先要配置好一台机器的伪分布式,这样方便后面的配置。关于伪分布式的:请看伪分布式搭建文章目录1.配置yarn2.各个主机配置3.集群的配置4.一些问题5.强烈推荐的参考文章1.配置yarn配置yarn-env.sh,对于3版本的就不用配置了,因为已经默认从hadoop-env.sh读取了。配置yarn-site.xml文件。yarn.nodemanager.aux-servicesmapreduc
天下一般
·
2023-12-31 10:25
后台
大数据
你需要懂一点ClickHouse的基础知识
大数据技术与架构点击右侧关注,
大数据开发
领域最强公众号!暴走大数据点击右侧关注,暴走大数据!
王知无(import_bigdata)
·
2023-12-30 09:39
爬虫现在还有那么吃香嘛?
Python作为一种广泛应用的编程语言,在Web开发、
大数据开发
、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。
会python的小孩
·
2023-12-28 17:40
爬虫
python
Python入门
开发语言
Python教程
大数据开发
之Sqoop详细介绍
测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop(SQL-to-Hadoop)项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下,轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中;同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Hadoop
lcz-2000
·
2023-12-27 23:31
大数据
sqoop
hadoop
米哈游大数据云原生实践
作者:米哈游
大数据开发
近年来,容器、微服务、Kubernetes等各项云原生技术的日渐成熟,越来越多的公司开始选择拥抱云原生,并开始将AI、大数据等类型的企业应用部署运行在云原生之上。
阿里云云原生
·
2023-12-27 06:31
大数据
云原生
Hadoop2.x安全:hadoop集群之kerberos认证(三、常用命令、有效期)
微信公众号:
大数据开发
运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构
·
2023-12-25 15:34
Java技术专题-Lombok插件开发实践必知必会操作!
前言在目前众多编程语言中,Java语言的表现还是抢眼,不论是企业级服务端开发,还是Andorid客户端开发,都是作为开发语言的首选,甚至在
大数据开发
领域,Java语言也能占有一席之地,如Hadoop,Spark
洛神灬殇
·
2023-12-24 23:17
大数据开发
都要学习什么?什么是大数据平台?
大数据开发
培训
大数据开发
专业需要学习的内容包括三大部分,分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识:有三个主要部分,分别是数学、统计学和计算机等学科。
金光闪闪耶
·
2023-12-24 14:49
hadoop 3.3.3集群安装部署
前言
大数据开发
涉及的组件和方向比较多,由于之前项目使用的都是成熟的大数据产品CDH或者HDP,里面封装了多个大数据组件,对于企业而言,无论是体验还是维护都比较友好,但对于开发人员来说,太过于集成,反而不太好了解各个组件具体的配置细节
以茉萱
·
2023-12-24 02:18
hadoop
大数据
分布式
大数据开发
介绍
...........................................................................................................................................................1.你的专业是什么,你是如何确定自己的求职方向的首先要明确自己学的专业具体是干啥的,比如我
Guff_hys
·
2023-12-23 17:30
大数据
程序人生
01-黑马程序员
大数据开发
一.Hadoop概述1.什么是大数据狭义上:对海量数据进行处理的软件技术体系广义上:数字化、信息化时代的基础支撑,以数据为生活赋2.大数据的核心工作:存储:妥善保存海量待处理数据;ApacheKUDU、云平台存储:阿里云OSS、UCloud的US3、AWS的S3、金山云的KS3等等计算:完成海量数据的价值挖掘;ApacheHadoop-MapReduce;ApacheHive是一款以SQL
S1406793
·
2023-12-22 08:06
大数据开发
大数据
天津大数据培训机构品牌 数据分析师的发展方向
大数据专业还是有一定难度的,毕竟
大数据开发
技术所包含的编程技术知识是比较杂且多的如果是计算机专业的学生或者自身有一定基础的人学,相对来说会比较容易,但对于零基础小伙伴学习来说,想要学习大数据,难度还是很高的
qq_38453958
·
2023-12-22 03:49
大数据培训
天津大数据培训
天津大数据培训班
天津大数据培训机构
天津大数据培训学校
大数据培训
来看!天津靠谱Java培训机构哪家更好一点?
包括Java基础、JavaWeb、JavaEE、
大数据开发
、人工智能等多方面的技术领域。参加Java培训可以帮助我们掌握计算机编程语言的基础知识,掌握Java语言编程技巧,快速提高编程水平。
qq_38453958
·
2023-12-22 03:49
Java培训
java
天津Java培训
天津Java培训机构
天津Java培训学校
Java培训
学习
大数据开发
的前提是什么?
1.数学知识数学知识是数据分析师的基础知识。对于初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分。对于高级数据分析师,统计模型相关知识是必备能力,线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于数据挖掘工程师,除了统计学以外,各类算法也需要熟练使用,对数学的要求是最高的。2.分析工具对于初级数据分析师,玩转Excel是必须的,数据透
yoku酱
·
2023-12-19 14:56
双非大数据
双非本秋招上岸总结个人简介学历:双非;专业:软件工程;求职岗位:
大数据开发
工程师;状态:已上岸翻车经历学校以Java后端开发为主流,我从大二开始学习Java,直到大四都会学习与Java开发相关的技术栈。
Guff_hys
·
2023-12-19 04:35
大数据
java
学习
活动预告| 字节跳动基于DataLeap的DataOps最佳实践
随着数字化转型的推进以及业务数仓建设不断完善,
大数据开发
体量及复杂性逐步上升,如何保证数据稳定、正确、持续产出成为数据开发者核心诉求,也成为平台建设面临的挑战之一。
字节数据平台
·
2023-12-18 14:40
大数据
数据库
数据安全
数据研发
大数据架构(一)背景和概念
一、背景1.岗位现状大数据在一线互联网已经爆发了好多年,2015年-2020年(国内互联网爆发期)那时候的
大数据开发
,刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
野生的狒狒
·
2023-12-18 02:50
大数据
数据仓库
hive
Win10下安装
大数据开发
环境 spark+hadoop+hive(实测可用)
Win10下安装
大数据开发
环境spark+hadoop+hive(实测可用)基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先,我们需要搭建软件的运行环境,本文中所使用的软件均需要运行在
YannAdams
·
2023-12-17 06:30
Spark
Hadoop
Hive
大数据环境
Windows
spark
hadoop
hive
华为
大数据开发
者教程知识点提纲
一、线下处理1.离线处理方案数据支持:HDFS调度:YARN收入:Flume,sqoop,loader处理:Mapreduce,SparkSql,spark,hive(,Flink)2.HadoopNamenode(metadata),client(备份block),datanode(blocks结构)core-site.xml3.Hive数仓软件,分布式数据管理查询特性:ETL/支持mapred
qq_1418269732
·
2023-12-16 06:08
大数据
新工科:数据科学与大数据技术实验中心解决方案,赋能高校新工科数智人才培养
据人瑞人才与德勤调研显示,未来3年,数字产业化企业最需要运营人员和开发人员(包括
大数据开发
工程师、数据建模开发工程师等),其次是数据分析人员、算法研究人员、数据管理人员、销售人员和产品经理,说明技术革新与商业模式创新是助推数字企业发展的两大动力
美林数据Tempodata
·
2023-12-15 10:08
大数据
数据科学与大数据技术
产教融合
大数据人才培养
大数据开发
:Kafka 异步发送消息可靠性策略
今天的
大数据开发
学习分享,我们就主要来讲讲Kafka异步发送消息的可靠性策略。
成都加米谷大数据
·
2023-12-06 09:59
大数据开发
:Hive表的基本操作
今天的
大数据开发
分享,我们就来讲讲Hive表的基本操作。Hive创建表createtable语句遵从sql语法习惯,只不过Hive的语法更灵活。例如,可以定义表的数据文件存储位置,使用的存储格式等。
成都加米谷大数据
·
2023-12-05 20:41
Java
大数据开发
入门教程:使用Hadoop处理海量数据
本文将为大家介绍Java
大数据开发
的基本概念和Hadoop的使用方法,帮助读者入门
大数据开发
。一、什么是
大数据开发
?
大数据开发
是指通过使用分布式计算框架和相关技术,对海量数据
C红毛丹
·
2023-12-05 19:29
大数据
java
hadoop
大数据开发
:Hive on Spark设计原则及架构
今天的
大数据开发
分享,我们来讲讲HiveonSpark设计原则及架构。
成都加米谷大数据
·
2023-12-05 01:44
大数据开发
:Kafka消息存储到Broker的流程
今天的
大数据开发
学习分享,我们就主要来讲讲Kafka消息存储到Broker的流程。
成都加米谷大数据
·
2023-12-04 23:34
大数据开发
:HDFS Erasure Coding机制
今天的
大数据开发
分享,我们就来讲讲HDFSErasureCoding机制。1、HDFS备份机制的问题为了提供容错,HDFS根据复制因子的大小在不同的DataNodes节点复制文件块数据。
成都加米谷大数据
·
2023-12-03 14:29
Mysql基本概念和Sql基本语法
数据库的基本概念DB:表视图索引存储过程触发器EventsDB可以想象成为一个文件夹,表就是文件夹里面的excel文件一般作为
大数据开发
来说只需要掌握前面三个就可以了字段类型1.数值类型int整数long
吃货大米饭
·
2023-12-02 17:19
大数据开发
:Hbase集群安装配置入门
今天的
大数据开发
学习分享,我们就主要来讲讲Hbase集群安装配置入门。
成都加米谷大数据
·
2023-12-01 22:39
零基础学习大数据的方向和路线
大数据三大学习方向:
大数据开发
师、大数据架构师、大数据运维师互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个
weixin_44386638
·
2023-11-30 18:50
大数据
大数据
大数据学习
大数据开发
大数据入门
如何高效优雅的完成一次机器学习服务部署?一文详解部署难点以及实战案例...
本篇作者fanstuck世界五百强私企大数据工程师,工作与研究方向为
大数据开发
和数据分析,个人喜欢研究技术和算法。数据分析领域优质创
亚马逊云开发者
·
2023-11-30 18:02
机器学习
人工智能
python
大数据
计算机视觉
学Java有什么用?Java就业前景怎么样?
Java语言经过多年的使用和发展建立起了一个庞大的生态体系,在Web开发、Android开发、
大数据开发
、后端开发等领域都有广泛的应用。
程序媛小白
·
2023-11-30 14:49
使用Java+SSM(Spring+SpringMVC+Mybatis)实现在线电影推荐网 电影推荐系统 豆瓣电影爬虫 基于用户、物品的协同过滤推荐算法 机器学习、人工智能、
大数据开发
使用Java+SSM(Spring+SpringMVC+Mybatis)实现在线电影推荐网电影推荐系统豆瓣电影爬虫基于用户、物品的协同过滤推荐算法机器学习、人工智能、
大数据开发
MovieRecommendWeb
linge511873822
·
2023-11-30 05:05
网站模板
基于项目的协同过滤推荐算法
基于用户的协同过滤推荐算法
java
推荐算法
协同过滤
大数据
人工智能
Hadoop
大数据开发
__Spark on YARN模式分布式集群安装部署
1、下载解压sparkcd/home/hadoop/apptar-zxvfspark-3.3.0-bin-hadoop3.tgzrmspark-3.3.0-bin-hadoop3.tgzln-sspark-3.3.0-bin-hadoop3spark2、修改spark-env.shcd/home/hadoop/app/spark/confvispark-env.sh#追加下面的路径HADOOP_C
姚华军
·
2023-11-30 02:32
大数据
大数据
hadoop
spark
Spark
on
YARN
YARN
大数据开发
:Flink容错机制Task Failover策略
那么Flink是怎么处理的呢,今天的
大数据开发
分享,我们就来讲讲这个TaskFailover策略。
成都加米谷大数据
·
2023-11-29 12:37
大数据开发
:实时数仓架构层次设计
今天的
大数据开发
学习分享,我们就主要来讲讲大数据实时数仓架构设计的问题。大数据实时数仓架构,通常来说,分为数据接入、数据计算、数据存储三个大的层次。
成都加米谷大数据
·
2023-11-28 16:52
大数据开发
学习笔记linux java hadoop环境变量配置
linux下配置环境变量javahadoopvim/etc/profile在文件最下方加入以下代码exportJAVA_HOME=java目录exportHADOOP_HOME=hadoop目录exportPATH=HADOOP_HOME/bin:PATHexportCLASSPATH=.:JAVA_HOME/lib/tools.jarexportJAVA_HOMEexportHADOOP_HOM
我还不够强
·
2023-11-27 20:39
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他