E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据处理系统
大数据理论篇 - 通俗易懂,揭秘谷歌《The Dataflow Model》的核心思想(一)
前言这是分布式
数据处理系统
系列的第一篇,也是当下实时流计算引擎实现的奠基石,为了帮助大家从理论到实现形成一个完整的知识体系,计划分为理论篇(剖析分布式
数据处理系统
的核心思想)和实现篇(详解当下实时流计算引擎如何实现核心思想
justmine
·
2019-11-05 08:00
关于流式大数据实时处理技术、平台及应用
根据数据处理的时效性,大
数据处理系统
可分为批式(batch)大数据和流式(streaming)大数据两类。其中,批式大数据又被称为历史大数据,流式大数据又被称为实时大数据。
LeiLv
·
2019-11-02 22:10
U盘专利即将过期 中国朗科公司发明
很多人不知道的是U盘这个东西是国内公司发明的,深圳朗科公司是U盘专利的持有者,他们的“用于
数据处理系统
的快闪电子式外储存方法及其装置”的专利于1999年11月14日申请,专利号为ZL99117225.6
itwriter
·
2019-10-24 16:00
vc调用surfer开发
接口技术调用surfer3、4、实例通过vb创建一个activex控件**“UserControl1**”,如下图示:生成ocx文件注册ocxregsvr32“D:\学习研究\V8数据研究\九天电磁法
数据处理系统
haodawei123
·
2019-10-13 19:35
vc编程
【个推CTO谈数据智能】之本质及技术体系要求
曾任MSN中国首席架构师,拥有十余年资深技术开发与项目管理经验,在大
数据处理系统
、大规模并发平台、分布搜索系统、手机应用开发、无线通信领域和智慧金融系统等领域拥有丰富实践经验。
个推
·
2019-09-28 00:00
大数据
大
数据处理系统
,分布式存储系统和分布式计算框架介绍
整个大数据处理的体系,按我的理解可以分为两个部分,一个是分布式存储系统、另一个是分布式计算框架。分布式存储系统主流是HadoopDFS,其他还有Ceph和Swift。分布式计算框架主流是MapReduce,Storm和Spark。首先说分布式存储系统HadoopDFS。它是一种本地文件系统之上的更高的抽象,把跨节点的组成的文件系统看成一个逻辑上的整体。它存储的思路是,把文件分成一个个block,每
duozhishidai
·
2019-09-26 19:03
大数据
如何穿越大数据深水区,曙光大数据有话说
时光回到2009年,曙光正式组建了大数据团队,并且发布海量
数据处理系统
DRAC,踏上了大数据的征程。而仅仅在这一年之前,Hadoop才正式成为Apache基金会的顶级项目,标志着全球大数据浪潮的开启。
大数据在线
·
2019-09-12 15:52
中科曙光
大数据
大数据平台
如何穿越大数据深水区,曙光大数据有话说
时光回到2009年,曙光正式组建了大数据团队,并且发布海量
数据处理系统
DRAC,踏上了大数据的征程。而仅仅在这一年之前,Hadoop才正式成为Apache基金会的顶级项目,标志着全球大数据浪潮的开启。
大数据在线
·
2019-09-12 15:49
2019年8月21日 星期三(陈晧的个人简历)
如果你能黑进来年薪随你开1、20年软件开发相关工作经验,10年以上项目和团队管理经验2、擅长底层技术架构,团队建设,软件工程,软件研发咨询,以及全球软件团队协作管理3、对高性能,高可用性,分布式,高并发,以及大规模
数据处理系统
有一些经验和心得
Ataraxia_LIANG
·
2019-08-21 18:14
「小程序JAVA实战」java的聚合项目搭建(30)
小程序后台springboot的搭建单结构工程使用Java技术开发的工程项目,无论是
数据处理系统
还是Web网站,随着项目的不断发展,需求的不断细化与添加,工程项
IT人故事
·
2019-08-11 10:48
微信小程序
小程序开发
springboot
storm简介(大数据技术)
ApacheStorm是一个分布式实时大
数据处理系统
。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。
你知道歌谣吗?
·
2019-08-09 18:27
大数据
巨杉TechDay回顾 | WARNING!您参加的数据库沙龙热度已爆表……
但随着业务规模的不断扩大,各式各样的数据正呈现指数级增长,传统
数据处理系统
已不堪重负,数据库性能问题成为了系统稳定运行的主要瓶颈。那么,如何有效解决海量数据引发的数据库压力问题
OliverFinn
·
2019-08-09 17:08
巨杉数据库
数据库
Storm精华问答 | storm与Hadoop区别?
ApacheStorm是一个分布式实时大
数据处理系统
。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。今天,我们就挑一些Storm的安装配置问题来看看吧。
csdn业界要闻
·
2019-08-09 09:38
Storm精华问答 | storm与Hadoop区别?
ApacheStorm是一个分布式实时大
数据处理系统
。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。今天,我们就挑一些Storm的安装配置问题来看看吧。
csdn业界要闻
·
2019-08-09 09:38
巨杉TechDay回顾 | WARNING!您参加的数据库沙龙热度已爆表……
但随着业务规模的不断扩大,各式各样的数据正呈现指数级增长,传统
数据处理系统
已不堪重负,数据库性能问题成为了系统稳定运行的主要瓶颈。那么,如何有效解决海量数据引发的数据库压力问题
SequoiaDB巨杉数据库
·
2019-08-09 00:00
数据库
巨杉数据库
CTO爆料:2019程序员最需要了解的行业前沿技术是什么?
曾任MSN中国首席架构师,拥有十余年资深技术开发与项目管理经验,在大
数据处理系统
、大规模并发平台、分布搜索系统、手机应用开发、无线通信领域和智慧金融系统等领域拥有丰富实践经验。
weixin_30753873
·
2019-08-08 09:00
大数据
人工智能
运维
CTO爆料:程序员不得不了解的行业前沿技术
曾任MSN中国首席架构师,拥有十余年资深技术开发与项目管理经验,在大
数据处理系统
、大规模并发平台、分布搜索系统、手机应用开发、无线通信领域和智慧金融系统等领域拥有丰富实践经验。
个推
·
2019-08-07 22:29
数据智能
[个推 CTO 谈数据智能] 之本质及技术体系要求
曾任MSN中国首席架构师,拥有十余年资深技术开发与项目管理经验,在大
数据处理系统
、大规模并发平台、分布搜索系统、手机应用开发、无线通信领域和智慧金融系统等领域拥有丰富实践经验。
jack
·
2019-08-07 01:00
cto
数据
智能
CTO爆料:当前程序员最需要了解的行业前沿技术是什么?
曾任MSN中国首席架构师,拥有十余年资深技术开发与项目管理经验,在大
数据处理系统
、大规模并发平台、分布搜索系统、手机应用开发、无线通信领域和智慧金融系统等领域拥有丰富实践经验。
个推技术
·
2019-08-06 21:08
大数据
数据智能
人工智能
大数据
架构师修炼之道(二)——架构?设计?架构师?
如我们现在常说的大数据平台,其系统内部由很多子系统组成,如权限系统、数据采集系统、
数据处理系统
、数据分析系
姚毛毛
·
2019-07-22 11:00
ubuntu之路——day11.7 end-to-end deep learning
在传统的
数据处理系统
或学习系统中,有一些工作需要多个步骤进行,但是端到端的学习就是用一个神经网络来代替中间所有的过程。
NWNU-LHY
·
2019-07-19 16:00
apache storm基本原理及使用总结
什么是ApacheStormApacheStorm是一个分布式实时大
数据处理系统
。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。
阿凡卢
·
2019-07-07 13:00
Flume日志采集框架的使用
article/2019062701.htmlFlume日志采集框架安装和部署Flume运行机制采集静态文件到hdfs采集动态日志文件到hdfs两个agent级联Flume日志采集框架在一个完整的离线大
数据处理系统
中
foochane
·
2019-06-30 00:00
apache
大数据开发是干什么的?
大数据开发其实分两种,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大
数据处理系统
本身进行开发。第一类工作感觉更适用于dataanalyst这种职位吧,而且现在HiveSpark-
a大数据
·
2019-06-26 16:13
java
数据挖掘
数据分析
揭秘|每秒千万级的实时数据处理是怎么实现的?
线上出现问题时常常需要十多分钟,甚至更长时间才能找到问题原因,因此一个能够快速进行自动诊断的系统需求就应用而生,而快速诊断的基础是一个高性能的实时
数据处理系统
。这个实时
数据处理系统
需要具备如下的能力
阿里云云栖社区
·
2019-06-21 00:00
流计算-storm
性能
日志
数据处理
监控
Storm精华问答 | 为什么要用Storm?不用Spark?
ApacheStorm是一个分布式实时大
数据处理系统
。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。今天,我们就挑一些Storm的安装配置问题来看看吧。
CSDN云计算
·
2019-06-20 10:00
命令行的艺术
转载声明:https://github.com/jlevy/the-art-of-command-line/blob/master/README-zh.md命令行的艺术前言基础日常使用文件及
数据处理系统
调试单行脚本冷门但有用仅限
极客点儿
·
2019-05-17 17:31
Linux
命令行
#
Linux
CISP学习——信息安全概念
广义上的信息安全概念(3)信息安全问题的根源信息安全概念(一)信息安全定义~~~~国际化标准组织(InternationOrganziationforStandardization,ISO)对信息安全的定义为:“为
数据处理系统
建立和采取技术
Budtit
·
2019-05-12 17:35
CISP
信息安全
CISP学习
大数据分布式
数据处理系统
,主要分为哪两种?
大数据的处理模式分为流处理和批处理两种。流处理是直接处理,批处理采用先存储再处理。流处理将数据视为流,源源不断的数据形成数据流。当新的数据到来即立即处理并返回所需的结果。大数据的实时处理是一个极具挑战性的工作,数据具有大规模、持续到达的特点。因此,如果要求实时的处理大数据,必然要求采用分布式的方式,在这种情况下,除了应该考虑分布式系统的一致性问题,还将涉及到分布式系统网络时延的影响,这都增加了大数
duozhishidai
·
2019-04-18 11:32
大数据
腾讯Oceanus实时计算平台架构设计---学习总结
例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流
数据处理系统
将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。
LUK流
·
2019-04-16 13:23
科技前沿
【华为网络技术大赛】FusionInsight HD
产品定位华为FusionInsightHD是一个分布式
数据处理系统
,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。
Mjolnir1107
·
2019-02-28 16:42
深度解析大
数据处理系统
关键层次架构
原文链接:https://my.oschina.net/u/4055005/blog/3011090在数据存储层,还有很多类似的系统和某些系统的变种,这里,仅仅列出较为出名的几个。一、数据存储层宽泛地讲,据对一致性(consistency)要求的强弱不同,分布式数据存储策略,可分为ACID和BASE两大阵营。ACID是指数据库事务具有的四个特性:原子性(Atomicity)、一致性(Consist
chisuijie5678
·
2019-02-17 15:00
大数据教程(12.5)日志采集框架Flume
在一个完整的大
数据处理系统
中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架
weixin_34292402
·
2019-02-12 23:00
java
运维
python
深度学习:What is End To End Learning(端到端学习) ?
简而言之,以前有一些
数据处理系统
或者学习系统,它们需要多个阶段的处理。过去解决一个人工智能问题(以图像识别为例)往往通过分治法将其分解为
SunshineSki
·
2018-11-04 03:29
深度学习
分布式storm-1.2.2
分布式storm-1.2.2Storm是一个开源的分布式实时大
数据处理系统
,可以处理海量数据,具有高可靠,高容错,高扩展的特点,适用于数据实时处理而非批处理.修改配置文件storm.yaml#配置zk地址
林与夕
·
2018-11-01 22:00
Storm
为什么你要使用这么强大的分布式消息中间件——kafka
上面我们知道我们有必要在
数据处理系统
中使用一个消息系统,但是我们为什么一定要选kafka呢?现在的消息系统可不只有kafka。
鹿‘s
·
2018-10-25 14:16
Java
Java
kafka
消息中间件
降级降薪去 Amazon ——左耳朵
19年软件开发相关工作经验,10年团队管理经验,对高性能,高可用性,分布式,高并发,以及大规模
数据处理系统
有一些经验和心得。一、什么叫做正确的事?为什么要做正确的事?
GitChat技术杂谈
·
2018-09-29 16:56
程序人生
The
Coder
Vol.1
:
向上生长
大数据处理技术的总结和分析
数据分析处理需求分类1事务型处理在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型
数据处理系统
。
guxiaodou002
·
2018-09-27 15:50
大数据技术
大数据分析
大数据解决方案
大数据处理技术的总结和分析
数据分析处理需求分类1事务型处理在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型
数据处理系统
。
qq_36435538
·
2018-09-27 15:39
大数据解决方案
FusionInsight HD V100R002C80SPC200安装手册
FusionInsightHD是华为开发的完全开放的大数据计算平台,是一个分布式
数据处理系统
。
candon123
·
2018-09-19 16:32
大数据
HD
V100
大数据
阿里如何实现秒级百万TPS?搜索离线大数据平台架构解读
一个典型的商品搜索架构如下图所示,本文将要重点介绍的就是下图中的离线
数据处理系统
(OfflineSystem)。何谓离线?在阿里搜
·
2018-09-17 20:00
如何将maven项目划分为多个模块
多模块拆分的必要性使用Java技术开发的工程项目,无论是
数据处理系统
还是Web网站,随着项目的不断发展,需求的不断细化与添加,工程项目中的代码越来越多,包结构也越来越复杂这时候工程的进展就会遇到各种问题
卓璋
·
2018-09-07 13:24
SparkSQL-Parquet文件
Parquet是一种支持多种
数据处理系统
的柱状的数据格式,Parquet文件中保留了原始数据的模式。SparkSQL提供了Parquet文件的读写功能。列式存储和行式存储相比有哪些优势呢?
Anbang713
·
2018-08-21 22:07
大数据/Spark/Spark
SQL
Apache Storm简介
ApacheStorm是一个分布式实时大
数据处理系统
。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。
raincoffee
·
2018-08-09 19:32
异构数据源海量数据交换工具-Taobao DataX 下载和使用
异构数据源海量数据交换工具-TaobaoDataX下载和使用DataX介绍DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的
数据处理系统
(RDBMS/Hdfs/Localfilesystem
羽翼天宇
·
2018-07-29 15:14
大数据平台
hive优化之调整mapreduce数目
TextInputformat对任务的切片机制是按文件规划切片,不管文件多小,都会是一个单独的切片,都会交给maptaskz这样,如果有大量小文件,就会产生大量的maptask,处理效率及其低下2.优化方法:最好的办法:在
数据处理系统
的最前端
吃鱼的羊
·
2018-07-26 09:22
Hadoop
HIVE
Hadoop学习(十六)——flume原理及案例
我的公众号为:livandata在一个完整的大
数据处理系统
中,除了hdfs+mapreduce+hive组成分析系统的核心之
livan1234
·
2018-07-14 22:49
hadoop
信息安全概论期末复习知识点
信息安全定义1信息安全的定义:在技术上和管理上为
数据处理系统
建立的安全保护,保护信息系统的硬件、软件及相关数据不因偶然或者恶意的原因遭到破坏、更改及泄露。
dyw_666666
·
2018-06-30 16:27
Security
Flume笔记
1.日志采集框架Flume概述在一个完整的大
数据处理系统
中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在
CoderLean
·
2018-06-22 16:12
大数据应用
大数据
流式数据、批式数据、实时数据、历史数据的区别
阅读更多大
数据处理系统
可分为批式(batch)大数据和流式(streaming)大数据两类。其中,批式大数据又被称为历史大数据,流式大数据又被称为实时大数据。
独孤不求败
·
2018-05-31 17:00
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他