E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
04--数据开发
大
数据开发
中的秘密武器:探索Hadoop纠删码的奇妙世界
随着大数据技术的发展,HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性,HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本,这也使得存储利用率仅为1/3,每TB数据都需要占用3TB的存储空间。因此,在保证可靠性的前提下如何提高存储利用率已成为当前HDFS面对的主要问题之一。Hadoop3.0引入了纠删码技术(ErasureCoding),它可以提高50%以
技术琐事
·
2023-10-19 22:46
hadoop
java
java-ee
后端
spring
日常学习记录随笔-zabix实战
使用zabix结合实现一套监控报警装置不管是web开发还是大
数据开发
我们的离线项目还是实时项目也好,都需要把我们的应用提交到我们服务器或者容器中去执行整个应用过程中怎么保证线上整体环境的稳定运行监控很重要现在比较主流的就是普罗米修斯以及
一个诺诺前行的后端程序员
·
2023-10-19 20:06
学习
一文带你入门go语言
目前Go语言已经⼴泛应用于人工智能、云计算开发、容器虚拟化、⼤
数据开发
、数据分析及科学计算、运维开发、爬虫开发、游戏开发等领域。相信大家都听说过大名鼎鼎Docker就是用go语言所开发的。
The Era
·
2023-10-19 02:27
go语言
golang
go
伸手党看过来 从入门到精通的大数据课程视频你确定要错过?
大
数据开发
工
千锋大数据
·
2023-10-18 18:27
袋鼠云代码检查服务,揭秘高质量代码背后的秘密
在袋鼠云产品中也存在这个问题,由于离线
数据开发
人员SQL水平不一,导致代码书写混乱、SQL代码运行问题较多。
袋鼠云数栈
·
2023-10-18 13:25
大数据
python面试知识图谱_全网首发!零基础大数据方向学习面试知识图谱,包含教程+面试题...
大纲本系列主题是大
数据开发
面试指南,旨在为大家提供一个大数据学习的基本路线,完善
数据开发
的技术栈,以及我们面试一个大
数据开发
岗位的时候,哪些东西是重点考察的,这些公司更希望面试者具备哪些技能。
weixin_39655689
·
2023-10-18 01:51
python面试知识图谱
跟着Datawhale打一场时序比赛(SEED新能源赛道-电动汽车充电站充电需求预测)之打卡笔记一
又开始组织打比赛的培训学习了,很早就认识了这个专业的学习组织,跟着他们也学过不少竞赛知识,但是还没完全打完过一场赛事;所以这次打算跟着Datawhale打这场时序的比赛—>2023“SEED”第四届江苏大
数据开发
与应用大赛
小白掌柜
·
2023-10-17 15:04
时间序列分析
机器学习
深度学习
时间序列
机器学习
lightGBM
五折交叉验证
新能源
时序
RabbitMQ 安装和使用Demo
RabbitMQ、RocketMQ、KafkaRocketMQ是阿里的应用层开发使用RabbitMQ大
数据开发
KafkaMQ是不是微服务都可以用RabbitMQ是什么?
征途漫漫,唯有奋斗
·
2023-10-17 12:45
rabbitmq
分布式
大
数据开发
复习(1)
大
数据开发
复习课程课程安排day01就业岗位介绍面试流程最重要的是简历基础复习JavamysqlLinuxday02HDFSMapReducehive(sqlboy)HBASEday03kafkaredisesday04scalasparkflinkday05etl
小码上线
·
2023-10-17 09:55
JavaSE
java
一个神奇的bug:OOM?优雅终止线程?系统内存占用较高?
摘要:该项目是DAYU平台的
数据开发
(DLF),
数据开发
中一个重要的功能就是ETL(数据清洗)。
码上入坟
·
2023-10-17 02:09
数字化时代,数据仓库究竟是干什么的?
无论你是否专门从事大
数据开发
,作为一个开发人员,应该都听说过数据仓库的概念,那你知道为什么会出现数据仓库?数据仓库究竟是干嘛的吗?有什么价值和意义呢?那么本文就带到入门,揭开数据仓库的面纱。
派可数据BI可视化
·
2023-10-17 00:16
数据可视化
商业智能
数据仓库
数据仓库
商业智能BI
数据分析
信息可视化
大数据
25届日常实习面试 -
数据开发
&; 后端开发
题解|#小乐乐与欧几里得##includeintmain(){longlonginta=0;longlongintb=题解|#单词倒排#importjava.util.*;publicclassMain{publicstaticvoidmain(String[]args){题解|#明明的随机数##include#include#include#include&题解|#牛牛学说话之-浮点数##inc
2301_79125431
·
2023-10-16 20:49
java
数仓建设规范说明书
⾯向
数据开发
团队、数据产品团队、前后端团队等与数仓数据有关⼈员。
贾斯汀玛尔斯
·
2023-10-16 18:39
hadoop
数据湖
大数据
分布式
hadoop
Python爬虫:某书平台的Authorization参数js逆向
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-16 16:43
爬虫JS逆向
python
爬虫
js逆向
对工作还有Bar Raiser的一些感想
最近更新博客的频率降低了,很大一个原因是工作内容发生了变化,之前工作内容大
数据开发
占比较高。而现在的工作内容后端开发占比会更加多一点,比如Spring全家桶、DDD。
淡定一生2333
·
2023-10-16 13:13
随便聊聊
随便聊聊
中华人民共和国数据安全法
第一章总则第一条为了规范数据处理活动,保障数据安全,促进
数据开发
利用,保护个人、组织的合法权益,维护国家主权、安全和发展利益,制定本法。
xianKOG
·
2023-10-15 22:38
网络安全
网络安全
Java大数据:全文搜索引擎Elasticsearch入门
在之前的《Java大数据:大
数据开发
必须掌握的四种数据库》一文中,我们提到了MongoDB、Redis、ElasticSearch、Hbase,系列文也对MongoDB、Redis、Hbase都做了简单的入门介绍
成都加米谷大数据
·
2023-10-15 19:05
大数据入门之zookeeper的功能及工作原理,未完待续……
如果大家对大
数据开发
感兴趣,可以点击文章“了解更多”,了解和报名大数据免费学习交流课程!!!1.Zookeeper是什么?
尚学先生
·
2023-10-15 07:57
Flink On K8S终极实现方案
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注,大
数据开发
领域最强公众号!大数据真好玩点击右侧关注,大数据真好玩!
王知无(import_bigdata)
·
2023-10-14 00:53
docker
kubernetes
java
大数据
hadoop
一个屌丝靠阿里云逆袭的故事
.数字银行.银联.最后在外资公司待着.一路走来多亏有好心人的帮忙.最近有意转行.直到有一天听说了阿里云大学才知道原来云计算还可以这么玩.立马就报名学习了阿里云大学的四门专业课程.云计算.大数据分析,大
数据开发
tymyq
·
2023-10-13 10:10
SQL和Python,哪个更容易自学?哪个更适合数据工作的编程新手?
如果你想从事数据工作,比如数据分析、
数据开发
、数据科学等,你可能会遇到这样的问题:SQL和Python哪个更容易自学?哪个更有用?哪个更有前途?
冲浪中台
·
2023-10-13 10:31
sql
python
数据库
深度学习简述
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-12 21:56
数据分析
深度学习
人工智能
深度学习实战:用Keras搭建深度学习网络做手写数字识别
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-12 21:56
数据分析
深度学习
keras
数据分析
数据挖掘实战(2):信用卡诈骗分析
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-12 21:26
数据分析
数据挖掘
人工智能
数据分析
数据挖掘实战(3):如何对比特币走势进行预测?
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-12 21:21
数据分析
数据挖掘
人工智能
万字长文!深度剖析《数据安全法》下多方数据协同应用和隐私计算发展趋势
《数据安全法》强调数据安全与开发利用平衡,保障数据安全与促进
数据开发
利用并重,在规范数据安全监管与治理的同时,也给多方数据协同应用带来了新的发展机遇。
腾讯大数据
·
2023-10-12 11:53
数据安全
腾讯
大数据
oracle、mysql、postgresql数据库的几种表关联方法
简介在
数据开发
过程中,常常需要判断几个表直接的数据包含关系,便需要使用到一些特定的关键词进行处理。
necessary653
·
2023-10-11 15:40
数据库
postgresql
mysql
dba
oracle
为何需要重新编译过的hive
3.安装好后可按如下命令查看hive兼容的spark总结前言大数据生态各个组件之间存在兼容性问题,假如您想从事大
数据开发
相关工作,那么后续很有可能会做离线数仓的项目,而在搭建数仓环境时会用到spark,
博嘁东
·
2023-10-11 14:18
hive
spark
big
data
大
数据开发
-Flink-数据流DataStream和DataSet
Api1.1DataSource1.2Transformation1.3Sink二、DataSet的常用Api2.1DataSource2.2Transformation2.3SinkFlink主要用来处理数据流,所以从抽象上来看就是对数据流的处理,正如前面大
数据开发
往事随风_h
·
2023-10-11 14:01
Flink
flink
大
数据开发
:Hadoop分布式架构简介
今天的大
数据开发
分享,我们来对Hadoop分布式架构做一个具体的讲解。
加米谷大数据张老师
·
2023-10-11 00:26
大数据
分布式
大数据
hadoop
大
数据开发
学习Hadoop路线图(详细篇)
Hadoop发展到今天家族产品已经非常丰富,能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术,市场上很多公司的大数据业务都是基于Hadoop开展,而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术,就是进入大数据领域的必经之路。下面详细介绍一下,学习Hadoop开发技术的路线图。Hadoop本身是用java开发的,所以对java的支持性非常
qq_43713878
·
2023-10-11 00:24
大数据
大数据分析
Linux
spark
数据挖掘
Hadoop
大数据开发
大数据学习
大数据
大数据学习
Hadoop
Linux
大数据开发
数据可视化实战:如何给毛*易的歌曲做词云展示?
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-10 21:59
数据分析
信息可视化
python
数据分析
数据采集实战:如何自动化运营微博?
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-10 19:25
数据分析
自动化
python
数据分析
Linux学习笔记(五):文本处理及shell编程
欢迎关注公众号,一起从天坑专业转行大
数据开发
。文本处理三剑客:awk,grep,sedawk:AWK是一种处理文本文件的语言,是一个强大的文本分析工具。
Python大视觉
·
2023-10-10 13:03
linux
linux
运维
服务器
Hive SQL的窗口函数及特殊函数回顾
HiveSQL中有很多窗口函数值得我们在平时的
数据开发
处理中好好使用。通常包含排序类、聚合类、累计计算,等。在
数据开发
的此篇就简单罗列一些窗口函数的SQL例子,做一个复习回顾。
AaronWong12
·
2023-10-09 16:44
数据处理
编程语言
大数据
秋招面经第六弹:理想一面-大
数据开发
工程师
秋招第六弹:理想一面-大
数据开发
工程师写在最前:秋招以来一直在冲,因为事情比较多,对于笔试面试一直没有复盘,现在靠仅存的记忆把面试的一些问题记录下来,尽可能记录出能回忆到的问题,但可能记的不是很全。
牧码文
·
2023-10-08 20:41
数据仓库
大数据
java
开发语言
大
数据开发
和java的前景_2019,Java码农还有必要转型大
数据开发
吗?
没有什么是亘古不变的,就像手机软件的不断更新迭代一样,陈旧的事物终将会被取代。相比于十年前程序员“高需求、高薪资、高难度”的三高状态,到如今,也开始逐渐被打破。虽然在科技时代,码农几乎永远不会失业,但随着新技术的产生,如果不去提升自己,那么你将会被取代。从去年开始,相信很多的码农,都看到了各类关于大数据的信息。新闻、自媒体、科技媒体等都在对它进行解读。各个大型的互联网公司,像BAT也已经快速的实施
摩尔精英
·
2023-10-08 20:10
大数据开发和java的前景
Hadoop2.x安全:hadoop集群之kerberos认证(一、原理+安装配置)
微信公众号:大
数据开发
运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构
·
2023-10-08 15:16
AdaBoost(下):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-08 11:20
数据分析
数据挖掘
数据分析
算法
AdaBoost(上):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-08 11:49
数据分析
数据挖掘
数据分析
算法
2020-05-13关于数据需求的分类
从应用场景划分:监控场景报表场景分析场景决策场景从产出时效划分:实时准实时离线从研发角度划分:数据接入需求:业务接入、日志接入、埋点接入
数据开发
需求:数仓建模、统计开发、算法开发数据输出需求:离线报表、
Simple701
·
2023-10-08 09:37
大数据Hadoop原理:大数据Hadoop技术原理简介
在大数据技术体系当中,Hadoop技术框架无疑是重点当中的重点,目前主流的大
数据开发
任务,都是基于Hadoop来进行的。
加米谷大数据张老师
·
2023-10-08 06:05
大数据
大数据
hadoop
分布式
转行为什么选择大
数据开发
昨晚睡眼朦胧的小编拼命的想睁开小眼睛补补课,怎奈两眼皮太过亲热,痴迷于彼此的缠绵,不过坚强的意志力还是在不断促使小手顺势划着屏幕。无意间从眼睛的眯缝中看到“房价、万科”几个字,小编瞬间从床上弹坐起来。先说好,小编并不是要买房,而是被醒目的[“活下去”——万科是在真哭还是假哭?]和[“活下去”!中原地产:万科都喊了我们降薪不丢人]的标题惊醒了。这几年炒的火热的房价是真降了,有人欢喜有人愁!记得前几年
weixin_34360651
·
2023-10-07 17:48
转行为什么选择大
数据开发
?
昨晚睡眼朦胧的小编拼命的想睁开小眼睛补补课,怎奈两眼皮太过亲热,痴迷于彼此的缠绵,不过坚强的意志力还是在不断促使小手顺势划着屏幕。无意间从眼睛的眯缝中看到“房价、万科”几个字,小编瞬间从床上弹坐起来。先说好,小编并不是要买房,而是被醒目的[“活下去”——万科是在真哭还是假哭?]和[“活下去”!中原地产:万科都喊了我们降薪不丢人]的标题惊醒了。这几年炒的火热的房价是真降了,有人欢喜有人愁!记得前几年
小迪和夫人
·
2023-10-07 17:44
大数据
大数据
转行大数据
PageRank(下):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-07 14:03
数据分析
数据挖掘
数据分析
算法
关于华为FusionInsight Manager安全模式下执行spark任务的一个坑--记录
我们公司在客户那里做spark大
数据开发
服务,但是客户那面使用FI集群是安全模式,并且版本还跟我们开发的项目版本不一致。版本不一致这个好解决,,但是安全模式这一块确实给我卡主了,整了大概半个月才整好。
焱行软件科技计算机毕设
·
2023-10-07 13:45
大数据学习线路以及面试知识图谱
大纲本系列主题是大
数据开发
面试指南,旨在为大家提供一个大数据学习的基本路线,完善
数据开发
的技术栈,以及我们面试一个大
数据开发
岗位的时候,哪些东西是重点考察的,这些公司更希望面试者具备哪些技能。
yoku酱
·
2023-10-07 13:56
PageRank(上):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-07 09:39
数据分析
数据挖掘
数据分析
算法
数据中台实战(06)-数据模型无法复用,归根结底还是设计问题
由于他们非技术出身,SQL较差,多层嵌套,不择手段,资源消耗大,造成队列阻塞,影响其他数仓任务,引起
数据开发
不满。
数据开发
要求收回分析师的原始数据读取权限
JavaEdge.
·
2023-10-06 20:19
数据中台
数据库
关联规则挖掘(下):数据分析 | 数据挖掘 | 十大算法之一
目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大
数据开发
、数据分析等。
秋无之地
·
2023-10-06 12:56
数据分析
数据挖掘
数据分析
算法
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他