数据处理系统

【初学】Spring源码笔记之零：阅读源码

笔记要求了解Java语言了解SpringFramework的基础会使用Maven关于本笔记起因本职数据分析，为公司内部人员开发数据处理系统，使用了Python/Django+Bootstrap的选型，完成后不甚满意
鸣黎·2020-07-10 14:00

根据物联网提纲提炼的知识点（2）——第三章：自动识别技术

自动识别技术的概念【定义】：一种机器自动数据采集技术用机器来实现类似人对各种事物或现象的检测和分析，并做出辨别的过程通过被识别物品和识别装置之间的接近活动，自动地获取被识别物品地相关信息，并通过特殊设备传送给后续数据处理系统来完成相关处理
双圣树下的阿尔达·2020-07-10 11:14

揭秘|每秒千万级的实时数据处理是怎么实现的？

线上出现问题时常常需要十多分钟，甚至更长时间才能找到问题原因，因此一个能够快速进行自动诊断的系统需求就应用而生，而快速诊断的基础是一个高性能的实时数据处理系统。
weixin_34249678·2020-07-10 08:35

架构之路：大规模数据处理系统的最新技术与实践

自从上世纪60年代开始，人们便发现数据与代码分离的重要，由此在70年代催生出关系数据库。传统关系数据库（RDBMS）发展至今，面对海量数据处理的AP场景时，显得捉襟见肘。由此又诞生了以Hadoop/Spark等为首的分布式数据存储或计算引擎，NoSQL的概念也被提出。人们对NoSQL在不同阶段具有不同的认知。从notSQL到notonlySQL再到如今的No,SQL！Hadoop生态的传统大数据解
GitChat的博客·2020-07-10 05:20

SparkML（二） 设计机器学习系统

大数据处理系统必备的特性必须能与其他系统组件整合，数据收集系统、数据存储系统、前段web服务等等必须易于扩展且与其它组建独立，理想情况下要兼具水平和垂直可扩展性支持高校完成所需类型的计算，包含机器学习和迭代式分析应用最好能同时支持批处理
一日两点水·2020-07-09 12:53

Datax安装及使用文档

Datax安装及使用文档1.Datax介绍DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Localfilesystem）之间的数据交换
HF_Admin·2020-07-06 22:59

图灵访谈之三十二：我的精神家园——陈皓（@左耳朵耗子）专访

对高性能，高可用性，分布式，高并发，以及大规模数据处理系统有一些经验和心得。喜欢关注底层技术平台
weixin_33755557·2020-07-06 19:06

使用 Kafka 和 Spark Streaming 构建实时数据处理系统（转）

原文链接：http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/index.html?ca=drs-&utm_source=tuicool引言在很多领域，如股市走向分析,气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需
weixin_34055787·2020-07-06 00:30

日志采集框架Flume

在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架
缘定三石·2020-07-05 14:11

10分钟科普：人工智能是什么？它又是如何工作的呢？(下)

同时，人工智能的核心就是一个高效的数据处理系统，所以很多行业都可以进行应用。比如：医疗保健管理：人工智能系统帮助完成日常的管理任务，以最大限度地减少人为错误和提高效率。
deephub·2020-07-04 23:09

InfoWorld的2019年度技术奖获奖者

在这个2019年的奖项中，您可能会偶然猜到容器，云原生应用程序堆栈，分布式数据处理系统和机器学习是主要主题。
cxt70571·2020-07-04 14:18

Fusion Insight

1.概述华为FusionInsight是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分析能力。
bingoabin·2020-07-04 12:14

HADOOP辅助工具、HA部署

HADOOP辅助工具、HA部署前言在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在
weixin_44090237·2020-07-04 03:08

无人机地形测量初探

数据处理系统软件名称为TrimbleBusinessCenter。2、验收测量A）申请空域验收测量前，已按规定向有关部门申请了
xiaokcehui·2020-07-04 02:59

Hadoop大数据教程（一）

Hadoop简介归功于大数据处理系统的发展，以Hadoop为代表的解决方案和工具逐渐成熟，进行大数据应用开发的门槛正在逐渐降低。本书就是学习如何使用Hadoop完成大数据解决方案。
qq_33890533·2020-07-04 01:56

Apache Flink 简介和编程模型

ApacheFlink是一个同时支持分布式数据流处理和数据批处理的大数据处理系统。
MasterT-J·2020-07-02 16:18

[Flink课程]---- 1.2 Flink 和 Spark 的对比

introduction-to-flink-for-spark-developers-flink-vs-spark/面向Spark开发人员的ApacheFlink简介：FlinkvsSpark世界还需要另一个大数据处理系统吗
highfei2011·2020-07-02 02:44

Flume+kafka+flink+es 构建大数据实时处理

如何构建我们自己的实时数据处理系统我们选用flume+kafka+flink+es来作为我们实时数据处理工具。
Nryana0·2020-07-01 12:08

flume 1.8 详解

的安装部署flume的企业案例三、目标掌握flume的应用场景掌握flume中常用的source、channel、sink使用掌握flume的企业案例四、知识要点1.Flume是什么在一个完整的离线大数据处理系统中
cherish-zp·2020-06-30 19:20

CISP 信息安全保障

1知识域：信息安全保障1.1知识子域：信息安全保障基础1.1.1信息安全概念1、信息安全的定义ISO：为数据处理系统建立和采取技术、管理和安全的防护，保护计算机硬件、软件、数据不因偶然或恶意的原因而受到破坏
TMAC严敏·2020-06-30 11:40

大数据处理技术的总结与分析

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。
阿里十年程序员生活·2020-06-30 11:04

什么是大数据开发？

大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于dataanalyst这种职位吧，而
非科班大数据工程师·2020-06-30 10:27

springBoot 多模块的必要性

使用Java技术开发的工程项目，无论是数据处理系统还是Web网站，随着项目的不断发展，需求的不断细化与添加，工程项目中的代码越来越多，包结构也越来越复杂这时候工程的进展就会遇到各种问题：（1）不同方面的代码之间相互耦合
wuzhenwei0419·2020-06-29 21:42

面向政府治理大数据的高性能计算系统

面向政府治理大数据的高性能计算系统吴维刚1,常亮2,任江涛1,古天龙21中山大学数据科学与计算机学院，广东广州5100062桂林电子科技大学计算机与信息安全学院，广西桂林541004摘要：大数据处理系统是未来社会的基础设施之一
唐名威·2020-06-29 16:00

揭秘|每秒千万级的实时数据处理是怎么实现的？

线上出现问题时常常需要十多分钟，甚至更长时间才能找到问题原因，因此一个能够快速进行自动诊断的系统需求就应用而生，而快速诊断的基础是一个高性能的实时数据处理系统。
闲鱼技术·2020-06-28 21:57

数据中心内独享与共享技术

数据中心里部署有各种各样的系统，其中数据处理系统是最为重要的部分，主要由服务器、网络、存储等设备组成，这里有各种资源，比如：带宽、计算能力、存储空间等，这些资源可以是共享的，也可以是独享的，具体要看是怎样的应用
weixin_34240657·2020-06-28 14:58

Spark比拼Flink：下一代大数据计算引擎之争，谁主沉浮？

下一代大数据计算引擎\\自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop等各种基于MapReduce的海量数据处理系统应运而生。
weixin_34149796·2020-06-28 12:02

深入理解Flink核心技术

注：本文假设读者对MapReduce，Spark及Storm等大数据处理系统有基本了解，同时熟悉流处理与批处理的基本概念。36大数据(http:/
weixin_34123613·2020-06-28 11:06

CIO关注：浅析计算机网络安全问题及对策

国际标准化组织(ISO)将“计算机安全”定义为：“为数据处理系统建立和采取的技术和管理的安全保护，保护计算机硬件、软件数据不因偶然和恶意的原因而遭到破坏、更改和泄漏”。
weixin_33752045·2020-06-28 04:00

Hadoop之MapReduce

Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大数据处理系统，即MapReduc
陆勤·2020-06-27 13:21

SpringBoot 多模块的优点与必要性

使用Java技术开发的工程项目，无论是数据处理系统还是Web网站，随着项目的不断发展，需求的不断细化与添加，工程项目中的代码越来越多，包结构也越来越复杂这时候工程的进展就会遇到各种问题：（1）不同方面的代码之间相互耦合
马大头·2020-06-27 12:31

最详细的Storm入门教程（一）

Storm简介ApacheStorm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。
IM魂影·2020-06-27 10:07

流式大数据实时处理技术、平台及应用

根据数据处理的时效性，大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
戎码一生·2020-06-26 23:55

基于kafka和sparkstreaming的实时数据处理系统

目前处理的数据主要是文本数据，挖掘处理也是nlp和一些统计分析的处理，但是采用的流处理的系统框架应该是通用的。体统分为实时部分和H/T+1部分，数据流架构图如下：实时部分开发时考虑的几个主要问题sparkstreaming和sparkstructuredstreaming的选择手动实现sparkstreaming和zk之间的offset同步和交互，保证exactly-onceprocess和流处理
songhk0209·2020-06-26 13:34

IDEA创建springboot聚合项目（多模块开发）

一.为什么要创建聚合项目使用Java技术开发的工程项目，无论是数据处理系统还是Web网站，随着项目的不断发展，需求的不断细化与添加，工程项目中的代码越来越多，包结构也越来越复杂这时候工程的进展就会遇到各种问题
qq_37174383·2020-06-25 12:57

智连链：智慧连接 链接世界

区块链是作为全球信用认证和价值互联网基础协议，被认为是当前最有可能带来颠覆性改变的技术，自诞生以来便受到人们的广泛关注，智连链正是基于区块链强大的优势，打造的新型人工智能数据处理系统。
简讯传媒·2020-06-25 02:01

Deep Leaning 学习笔记之组织机器学习项目（2.4）——端对端学习

1端对端学习1.1概念简单地说，我们有一些数据处理系统，或者是由多个阶段组成的学习系统，端到端的深度学习做的，就是它可以捕获所有的阶段，并且，通常可以将其替代为单个神经网络，也就是说运行速度更快。
Aperact·2020-06-24 11:28

信息率失真函数

失真函数：假若一个数据处理系统，输入样值为xi，xi∈{a1,...,an}，输出yj，yj∈{b1,...,bm}。
KXY_tech·2020-06-24 01:06

Flume快速入门

前言在一个完整的离线大数据处理系统中，除了HDFS+MapReduce+Hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在Hadoop生态体系中都有便捷的开源框架
itcats_cn·2020-06-23 18:38

系统分析与设计方法---结构化分析与设计

结构化分析与设计结构化分析与设计方法是一种面向数据流的需求分析和设计方法，它适用于分析和设计大型数据处理系统，是一种简单、实用的方法，曾获得广泛的应用。
hu19930613·2020-06-23 15:37

基于Hadoop的大数据处理系统

基于Hadoop的大数据处理系统[email protected]/11/100.前言伴随Internet和Web技术的飞速发展，网络日志、互联网搜索索引、电子商务、社交网站等技术的广泛使用带来了数据量的急剧增长
hijack00·2020-06-23 14:40

[flow]Kafka+Spark Streaming+Redis实时计算整合

Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2
葡萄喃喃呓语·2020-06-23 14:48

Hadoop软件栈(生态系统)

图片发自AppHadoop是Apache开源项目，是一个分布式大数据处理系统。Hadoop由DougCutting和MikeCafarella在2005年创造。
苟雨·2020-06-23 09:45

安翰科技被迫退出IPO 原因到底是什么？

这6项被“全部无效”的专利分别是：专利号201820275046.8，名称为“无线胶囊内窥镜”的实用新型专利权；专利号201720947925.6，名称为“一种消化道诊断仪及其胶囊内窥镜图像数据处理系统
天使奇迹·2020-06-23 07:46

大数据专业有前景吗？学习大数据开发能做什么？

大数据开发其实分两种：第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第
李旭me·2020-06-23 03:30

2018年最好的软件开发、云计算、大数据分析和机器学习工具

在这个2019年版的奖项中，你可能会猜出有容器，云原生应用程序栈，分布式数据处理系统和机器学习是主要的主题。想要在大数据这个领域汲取养分，让自己壮大成长。
数据工程师大牛·2020-06-23 00:29

2019最新计算机毕业设计-题目汇总大全-系列1

技术的智能语音分析工具-负责语义分析部分（论文替代）基于SpringBoot的用户音乐平台家装设计公司客户关系系统基于机器学习的文本语义分析工具基于微信小程序的私教预约系统标准化轮胎仓库管理系统公务机典型试飞科目数据处理系统基于图像的结构化数值识别系统的设计与实现基于
alsrk·2020-06-22 13:52

《软件工程导论》第五版 张海藩 编著 总结

v包含与数据处理系统操作有关的程序、规程、规则以及相关文档的智力创作称为软件。文档是描述程序开发过程的，
Rachel-Zhang·2020-06-22 12:16

Flume快速入门系列(1) | Flume的简单介绍

  在一个完整的离线大数据处理系统中，除了HDFS+MapReduce+Hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架
不温卜火·2020-06-21 04:12

入侵检测流程

系统运行状态信息系统记帐信息系统日志（Syslog）C2级安全性审计信息基于网络的数据源SNMP信息网络通信包其他来源应用程序日志文件其他入侵检测系统的报警信息其他网络设备和安全产品的信息入侵分析的概念入侵检测系统是一个复杂的数据处理系统
listone_sec·2020-06-21 00:15
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他