数据处理系统

Hadoop学习（十六）——flume原理及案例

我的公众号为：livandata在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之
livan1234·2018-07-14 22:49

信息安全概论期末复习知识点

信息安全定义1信息安全的定义：在技术上和管理上为数据处理系统建立的安全保护，保护信息系统的硬件、软件及相关数据不因偶然或者恶意的原因遭到破坏、更改及泄露。
dyw_666666·2018-06-30 16:27

Flume笔记

1.日志采集框架Flume概述在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在
CoderLean·2018-06-22 16:12

流式数据、批式数据、实时数据、历史数据的区别

阅读更多大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
独孤不求败·2018-05-31 17:00

Flume介绍以及实战应用

1.1Flume介绍前言：在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop
l1212xiao·2018-05-24 15:28

3.2.5 端到端的学习

简而言之，以前有一些数据处理系统或者学习系统，它们需要多个阶段的处理。那么端到端深度学习就是忽略所有这些不同的阶段，用单个神经网络代替它。如图所示，以语音识别为例，传统上，语音识别需要很多阶段的处理。
Einstellung·2018-05-06 11:32

3.2.5 端到端的学习

简而言之，以前有一些数据处理系统或者学习系统，它们需要多个阶段的处理。那么端到端深度学习就是忽略所有这些不同的阶段，用单个神经网络代替它。如图所示，以语音识别为例，传统上，语音识别需要很多阶段的处理。
Einstellung·2018-05-06 11:32

离线计算辅助系统--Flume详解

在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架
贫僧洗头爱飘柔·2018-03-24 19:16

CDN对流媒体和应用分发的支持及优化 | 高可用CDN架构详解

马涛，前迅雷网络CDN系统研发工程师，也曾任EMC/Pivotal大数据处理系统Hawq研发工程师。从事CDN之前主要做数据库内核，平时关注大数据处理、并行系统容错和优化、后台服务性能优化。
JackLiu16·2018-03-10 22:27

Flume 使用总结

前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架
21989939·2018-03-10 09:00

Waterdrop：构建在Spark之上的简单高效数据处理系统

本文来自Gary和RickyHuo，他们是Waterdrop开发者，从事大数据相关工作多年，熟悉Hadoop技术体系，参与过多个大数据开源项目，目前分别供职于一下科技和新浪。Databricks开源的ApacheSpark对于分布式数据处理来说是一个伟大的进步。我们在使用Spark时发现了很多可圈可点之处，我们在此与大家分享一下我们在简化Spark使用和编程以及加快Spark在生产环境落地上做的一
Hadoop技术博文·2018-03-01 00:00

异构数据源海量数据交换工具-Taobao DataX 下载和使用

阅读更多DataX介绍DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Localfilesystem）之间的数据交换。
weitao1026·2018-02-22 09:00

流式数据、批式数据、实时数据、历史数据的区别

大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
HeatDeath·2018-01-05 23:06

flume基本介绍

配置只支持配置文件的方式，无法嵌入逻辑，如采集某个字段，将日志进行逐条过滤等；②偶尔出现丢失数据的情况，尤其是在对接kafka的场景下；针对第一种，可以采用logstash的技术，可以完成写逻辑，过滤等需求；在一个完整的大数据处理系统中
Java_Soldier·2017-12-30 15:38

spark SQL （四）数据源 Data Source----Parquet 文件的读取与加载

sparkSQLParquet文件的读取与加载是由许多其他数据处理系统支持的柱状格式。SparkSQL支持阅读和编写自动保留原始数据模式的Parquet文件。
junzhou134·2017-12-30 12:00

Apache Storm简介

ApacheStorm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。
ItStar_·2017-12-06 00:00

Java方面分享的职位信息

2.负责质量相关数据体系及应用平台的设计与开发，如线上监控、问题定位、稳定性风险分析、策略分析等数据处理系统及应用平台。
持续成长的mage·2017-11-09 10:42

[干货]大规模数据处理的演变(2003-2017)

是谷歌内部流计算数据处理系统（如MillWheel、Beam）的技术带头人，在过去的五年里开
Hadoop技术博文·2017-10-25 00:00

数据库知识点梳理

c数据库系统（DBS）：为适应数据处理的需要而发展起来的一种较为理想的数据处理系统，是一个为实际可运行
fight_girl·2017-09-30 21:04

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统王龙2015年7月27日发布引言在很多领域，如股市走向分析,气象数据测控，网站用户行为分析等，由于数据产生快，实时性强
·2017-09-28 16:00

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统王龙2015年7月27日发布引言在很多领域，如股市走向分析,气象数据测控，网站用户行为分析等，由于数据产生快，实时性强
·2017-09-28 16:00

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统王龙2015年7月27日发布引言在很多领域，如股市走向分析,气象数据测控，网站用户行为分析等，由于数据产生快，实时性强
·2017-09-28 16:00

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统王龙2015年7月27日发布引言在很多领域，如股市走向分析,气象数据测控，网站用户行为分析等，由于数据产生快，实时性强
·2017-09-28 16:00

maven 项目 多模块拆分

转自：http://blog.csdn.net/liupin_2011/article/details/400178371.多模块拆分的必要性使用Java技术开发的工程项目，无论是数据处理系统还是Web
icecoola_·2017-08-30 15:17

4个你未必知道的内存小知识

基本成为分布式系统标配的缓存中间件、高性能的数据处理系统及当前流行的大数据平台，都离不开对计算机内存的深入理解与巧妙使用。本文将探索这个让人感到熟悉又复杂的领域。
爱哭的小魔女·2017-07-25 14:00

4个你未必知道的内存小知识

基本成为分布式系统标配的缓存中间件、高性能的数据处理系统及当前流行的大数据平台，都离不开对计算机内存的深入理解与巧妙使用。本文将探索这个让人感到熟悉又复杂的领域。
爱哭的小魔女·2017-07-25 14:00

实时数据处理简单分析

今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。
空着这扇窗·2017-06-01 10:53

赵强老师免费公开课第三季：大数据实时计算

相对于传统的离线数据处理系统，实时系统能够更加准确的得到处理的结果数据。
collen7788·2017-04-15 09:17

ETL工具--DataX3.0实战

ETL工具--DataX3.0实战DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Localfilesystem）之间的数据交换，由淘宝数据平台部门完成
yikayi·2017-03-03 18:49

Storm五之分布式消息系统

Storm实时处理的数据流通常来自消息队列系统，外部独立的分布式消息系统将为实时数据处理系统提供输入流。
琳琳庚主LoveU·2017-01-16 13:54

storm一之storm是什么

Apache storm是一个分布式实时大数据处理系统。storm的目的是提供容错和水平可伸缩扩展的方式处理大量数据。storm是一个高吞吐率流数据处理框架。
琳琳庚主LoveU·2017-01-14 00:00

关于hadoop中maptask运行切片前，运行的文件有大量小文件问题

（2）优化策略：最好的方式：在数据处理系统的最前端（预处理/采集），就将文件先合并成大文件，再上传到hdfs做后续分析补救措施：如果已经是大量小文件在hdfs中了，可
cool__007·2017-01-09 22:21

spring batch 学习笔记

1.springbatch轻量级的，完全面向spring的批处理框架，可以应用于企业级大量的数据处理系统。2.数据量大、系统根据配置自动完成，无需人工干预、定期执行。
丶開始·2016-12-28 13:00

使用 Kafka 和 Spark Streaming 构建实时数据处理系统

使用Kafka和SparkStreaming构建实时数据处理系统来源：https://www.ibm.com/developerworks，这篇文章转载自微信里文章，正好解决了我项目中的技术问题，非常感谢
追梦不止,静心致远·2016-10-31 14:31

使用 Kafka 和 Spark Streaming 构建实时数据处理系统

使用Kafka和SparkStreaming构建实时数据处理系统来源：https://www.ibm.com/developerworks，这篇文章转载自微信里文章，正好解决了我项目中的技术问题，非常感谢
BD_Jiang·2016-10-31 14:00

大数据分析技术研究报告(一)

作者：朱赛凡一数据分析处理需求分类1事务型处理在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。
njpjsoftdev·2016-08-05 15:21

开源大数据处理系统/工具大全

原文链接：https://my.oschina.net/shenhuajie/blog/700487查询引擎一、Phoenix贡献者：：Salesforce简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBa
chuichou2194·2016-06-24 16:00

kafka学习六：kafka集成第三方

Storm是开源的分布式实时数据处理系统。
oO归去来兮Oo·2016-06-15 14:57

starrydb使用手册(草稿)

我的目标是可以开发分布式的大型数据处理系统，也可以处理单机的复杂数据的系统。数据和数据的处理在这个数据库内被融合在一体。starrydb是融合类似erlang的多线程技术，处理的数据，每个数据对象都有
gantleman·2016-05-30 17:00

信息安全中的安全服务问题

  安全服务主要用于提高组织的数据处理系统和信息传输的安全性，能够有意识地抵御安全攻击。 其中包括以下5项：  1.认证     确保通信实体正是声称的那一方实体。 
suwu150·2016-05-07 12:00

实时计算，流数据处理系统简介与简单分析

http://www.csdn.net/article/2014-06-12/2820196-Storm一． 实时计算的概念实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。主要应用的场景：1)数据源是实时的不间断的，要求用户的响应时间也是实时的（比如对于大型网站的流式数据：网站的访问PV/UV、用户访问了什么内容、搜索了什么内容等，实时的数
bluejoe2000·2016-05-06 09:00

Hadoop contrib介绍

它具备评测大规模数据处理系统所需的各个功能模块，包括：产生数据，生成并提交作业，统计作业完成
baolibin528·2016-03-23 10:00

超实用Linux命令操作分享

命令行的艺术前言基础日常使用文件及数据处理系统调试单行脚本冷门但有用仅限OSX系统仅限Windows系统更多资源免责声明熟练使用命令行是一种常常被忽视，或被认为难以掌握的技能，但实际上，它会提高你作为工程师的灵活性以及生产力
进击的诺基亚·2016-03-16 09:02

Hadoop中的YARN

MRv1是目前使用的标准的大数据处理系统。但是，这
iwantknowwhat·2016-03-08 15:00

LinkedIn 开源其数据中心工具 WhereHows

WhereHows是LinkedIn构建的数据发现和大数据宗系工具，集成了所有主要的数据处理系统，可以进行目录收集和元数据操作。
那个流沙·2016-03-05 17:20

[系统与升级]扫描之星升级设计方案

     扫描之星的脉冲信号，每隔一段时间都会接触到空间中的目标物体，现在的升级要求是，当脉冲信号接触到这些物体之后，扫描之星的信号接收装置要能够立即产生该目标物体的脉冲回波信号，并利用新的数据处理系统
comsci·2016-02-27 10:00

大数据系统和分析技术综述【程学旗】

 本文结构1大数据处理与系统1.1批量数据处理系统1.1.1批量数据的特征与典型应用1.1.2代表性的处理系统1.2流式数据处理系统1.2.1流式数据的特征及典型应用1.2.2代表性的处理系统1.3交互式数据处理
慧可·2016-02-26 12:00

[Apache Kafka]Kafka集成

Storm是开源的分布式实时数据处理系统。它可用于很多场景，如实时分析（real-timeanalytics）、在线机器学习（o
zdy0_2004·2016-01-26 00:00

[Apache Kafka]Kafka集成

Storm是开源的分布式实时数据处理系统。
#WU·2016-01-25 22:00

嵌入式实时操作系统-VxWorks（基础）

还可以根据应用领域的不同，将实时系统分为实时信息数据处理系统和实时控制系统。实时信息数据处理系统一般为软实时系统，一般不需要用嵌入式系统实现；实时控制系统，一般属于硬实时系统。大部分硬实时系统是嵌
abcflyer·2016-01-08 09:48
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他