大数据系统

视频教程-【真题解析】2016年下半年信息系统项目管理师（综合知识）-软考

从事网络、信息系统管理，有很深的项目开发、运维和管理的实战经验，如预算执行系统、政府采购系统、预算编制系统、一卡通系统、财报系统、内外网交互平台、财政大数据系统。
weixin_30097439·2020-09-16 16:56

《机器人操作系统ROS原理与应用》——2.3　大数据制度和流程规范

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.3节，作者：吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_33691817·2020-09-16 10:57

大数据系统学习笔记

大数据系统综述大数据的特征（fiveV）:1.体量大(volume)2.速度快(velocity)3.模态多(variety)4.难辨识(veracity)5.价值大密度低(value)大数据难点：1.
he_world·2020-09-16 09:35

Linux基础：配置ntp时间服务器

大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。
MasterT-J·2020-09-15 23:18

2020精准营销：APP抓取精准大数据系统

为此，APP抢占精准大数据系统，以智能精准大数据技术为核心驱动力，为全网引入高效便捷的一站式整合解决方案，引入全网精准信息采集
wx_cc857233·2020-09-15 06:24

运营商大数据的利器：抓取精准数据系统

例如你是做贷款的，你是有抓取精准运营商大数据系统，只需要提供几个关键词1.平台（XXAPP）2.地点（XX市）3.时间（X年X月X日）等包括通话的时间长短，都可以，根据你提供的这些关键词信息，在手机抓取会获得对应你输入的关键词信息得到一个电话号码
wx_cc857233·2020-09-15 06:06

学习大数据都有哪些就业方向?

1、大数据系统研发工程师这一专业人才负责大数据系统研发，包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等，同时，还要负责数据集群的日常运作和系统的监测等，
金罗老师·2020-09-15 03:32

mac下使用VirtualBox搭建Ubuntu集群

背景系统：macOS10.15.3软件：VirtualBox6.1目标：搭建一个虚拟集群(5个节点，2个master，3个slave)，为后面搭建高可用(HA)的大数据系统的学习做准备步骤1.Linux
canyue2811·2020-09-14 23:12

专访阿里云MVP王俊杰：开发者的超能力是用技术让世界更美好 ...

8年以上互联网从业经验，曾从事军工相关仿真分析软件研发与集成、4年以上大数据系统开发经验。目前正与天水市秦州区政府配合建设智慧安监、智慧环保、智慧党建、智慧妇联等智慧城市相关配套服务平台。】
weixin_33824363·2020-09-14 16:14

数仓建模的四种方法

一般主要从下面四点考虑访问性能：能够快速查询所需的数据，减少数据I/O数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本使用效率：改善用户应用体验，提高使用数据的效率数据质量
清平の乐·2020-09-14 03:38

Lambda架构 vs Kappa架构

Lambda架构Lambda架构由Storm的作者NathanMarz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。
post_yuan·2020-09-13 21:48

阿里巴巴大数据实践：大数据建设方法论OneData

来源：数智化转型俱乐部面对爆炸式增长的数据，如何建设高效的数据模型和体系，对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性，一直是大数据系统建设不断追求的方向。
阿里云云栖号·2020-09-13 14:27

Akka Actor 模型云计算架构以及 Remote Actor的简单示例

用于构建高性能、高可靠以及分布式的Java和Scala应用程序，再加上Play2等web应用框架以及大数据系统很容易形成功能强大的云计算服务。
明东·2020-09-13 04:15

大数据系统和分析技术综述【程学旗】

本文结构1大数据处理与系统1.1批量数据处理系统1.1.1批量数据的特征与典型应用1.1.2代表性的处理系统1.2流式数据处理系统1.2.1流式数据的特征及典型应用1.2.2代表性的处理系统1.3交互式数据处理1.3.1交互式数据处理的特征与典型应用1.3.2代表性的处理系统1.4图数据处理系统1.4.1图数据的特征及典型应用1.4.2代表性图数据处理系统1.5小结2大数据分析2.1深度学习2.2
weixin_33704234·2020-09-12 07:26

抖音快手矩阵式操作 精准YL

将视频推送给喜欢你产品的用户看到③利用大数据系统去分析筛选提取精准客户抖音groupcontrol大数据系统，电脑集中管理上百台手机，可以控制抖音几百个账号，做到矩阵抖音。
Az1418957·2020-09-12 05:50

用WheatA获取农业大数据

WheatA农业大数据系统使用方法界面介绍生产数据调用市场数据调用气象数据调用土壤数据调用学习小结界面介绍农业数据可以用WheatA来获取，WheatA大数据系统覆盖了近六十年来各国农业生产数据，二十年全球每日气象数据
猴子！·2020-09-11 18:32

定位云原生数据中台，「智领云」获数千万元A轮融资

智领云成立于2016年，是一家数据中台服务商，专注于利用云原生技术将企业大数据系统各项组件容器化和服务化，打通企业内部数据孤岛，为企业提供全局、标准化的数据基础架构，帮助企业快速落地数据中台，使企业可以
CSDN云计算·2020-09-11 13:16

中国高校首个Apache开源项目 清华数为物联网时序数据库IoTDB 及可自由组装的大数据软件栈系列组件发布...

在活动的最后环节发布了大数据系统软件国家工程实验室清华团队研发的“清华数为”大数据软件栈产品。大数据系统软件国家工程实验室主任、软件学院创始人孙家广院士，实验室执行主任、软件学院院长王建民
数据派THU·2020-09-11 13:41

近50年数据库技术发展史

关系数据库的体系架构与实现就研究第二阶段：2001-2008针对不同应用设计开发出一系列新型数据库系统的体系架构如：流数据库auraro列存储数据仓库：C_store高性能OLTP系统H-Store等等第三阶段：2009-今天大数据系统的体系架构设计与实践这
_筱羽·2020-09-11 03:39

HDFS详解

******HDFS基本概念篇******1.HDFS前言l设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；l在大数据系统中作用：为各类分布式运算框架
贫僧洗头爱飘柔·2020-09-10 11:54

从技术上解读大数据的应用现状和开源未来！ | 技术头条

作者|韩锐、LizyKurianJohn、詹剑锋责编|胡巍巍近年来，随着大数据系统的快速发展，各式各样的开源基准测试集被开发出来，以评测和分析大数据系统并促进其技术改进。
CSDN资讯·2020-08-26 16:19

大数据系统软件创新平台与生态建设

大数据系统软件创新平台与生态建设王建民，王晨，刘英博，刘璘清华大学软件学院，北京100084大数据系统软件国家工程实验室，北京100084摘要：针对大数据系统软件开源生态发展现状、大数据系统软件技术与领域应用发展的迫切需求与工程化瓶颈
唐名威·2020-08-26 15:42

解读大数据应用价值发现的三大方法

关于大数据的讨论，一方面人们需要理清大数据的概念，开发适用的大数据系统和工具，探索大数据的应用模式等，另一方面人们更关心如何将大数据的价值变现。
weixin_34292287·2020-08-26 15:26

浅谈公安大数据的建设

因此，在现阶段建设新的能够匹配公安业务场景的大数据系统是公安部门的迫切需求。新建设的公安大数据系统，将成为面向各警种的大数据管理和分析平台，通过对海量数据的收集、整理、归档、分析、
weixin_34033624·2020-08-26 15:32

白话大数据--Hash分片

引言大数据系统其中一个典型的特点就是集群化，方便节点横向扩展，也就是所说的弹性扩容。之所以进行横向扩展，是因为纵向扩展难以处理庞大的数据量。将大数据进行切分，是实现数据集群化存储和计算的一种常用手段。
WotChin·2020-08-24 23:39

公安警务指挥一张图三维电子沙盘可视化地理信息大数据系统

公安警务指挥一张图三维电子沙盘可视化地理信息大数据系统以“情报大数据、指挥扁平化、勤务可视化、情指勤一体化”为设计思想，整合三台合一、有无线通讯、12110短信平台、天网、交通平台、治安卡口、情报平台、
QQ_2801061513·2020-08-24 19:56

大数据系统-图数据分析

图数据分析技术流派：用于联机事务图的持久化技术（通常直接实时地从应用程序中访问）。这类技术被称为图数据库，它们和“通常的”关系型数据库世界中的联机事务处理（OnlineTransactionalProcessing，OLTP）数据库是一样的。（TraversalBasedOnlineQueries）用于离线图分析的技术（通常都是按照一系列步骤执行）。也就是常见的图机器学习技术。（VertexCen
gao8658·2020-08-24 18:36

实用大数据系统设计

大数据一般人听着比较复杂，觉得可能需要很大成本来部署和实施。幸运地是市面上已经有一些云服务来帮助我们让大数据变得更简单。另外，如果你选择合适的开源工具，也往往会使你的大数据之路起到事半功倍的效果。下面会列出实用并且较低成本的大数据实施系统，供参考。请注意本文不讨论实时或者流数据处理，如果你在寻找那些方面的解决方案，为了节省你的时间，我们建议你忽略本文。在选择据具体大数据工具之前，你最好回答两个问题
BoYang·2020-08-24 13:03

浅谈移动应用分析平台中的开源系统实践

原文作者：友盟数据平台架构师吴磊数据是移动互联网的主旋律，面对海量的数据，友盟平台的开源大数据系统是如何实践的？日前，友盟数据平台架构师磊叔在2015年DTCC数据库技术大会上分享了他的一些感想。
友盟全域数据·2020-08-24 13:41

一、Kafka概念入门

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
仰望星空的尘埃·2020-08-24 02:10

网贷行业第4次“暴雷潮”之下 投资者需提高风险意识！

第一网贷大数据系统显示，6月份以来的40天，P2P网贷已经爆雷（问题平台）133家，涉及资金数千亿元。上周末（7月14日），累计成交额
P2P理财专家·2020-08-24 01:39

深入浅出学习大数据：最权威的数据存储技术！

阶段III:数据存储大数据系统中的数据存储子系统将收集的信息以适当的格式存放以待分析和价值提取。为了实现这个目标,数据存储子系统应该具有如下两个特征:•存储基础设施应能持久和可靠地容纳
Herbert今日看科技·2020-08-24 00:18

从大数据到快数据 数据智创未来——2019 CCF大数据与计算智能大赛正式开赛!

CCFBDCI大赛是由中国计算机学会大数据专家委员会于2013年创办的国际化智能算法、创新应用和大数据系统大型挑战赛事。
chikuai9995·2020-08-23 22:11

kafka low-level consumer详解

www.fanlegefan.com文章地址:http://www.fanlegefan.com/archives/kafka-low-level-consumerkafkaKafka是一种高吞吐量的分布式发布订阅消息系统，作为大数据系统中重要的一环
woloqun·2020-08-23 00:25

Shark——SparkSQL的前身-作者JerryLead

大数据系统中最核心的莫过于分布式处理框架，因为框架负责job执行的方方面面
Albert陈凯·2020-08-23 00:29

ZooKeeper--大数据系统的僚机

复杂的软件集群系统从来绕不开高可用、负载均衡等问题，大数据系统更是如此。高可用：计算机系统的可用性定义为系统保持正常运行时间的百分比，具体手段有自动检测，自动切换，自动恢复等。
weixin_30618985·2020-08-22 23:11

Kafka最佳实践

kakfa是大数据系统架构中不可或缺的一部分，因其高效的性能、高可靠的数据与服务、提供准确一次的语义、优秀的在线水平扩展等特性，常用作为流式计算系统的数据源来
xiaohei.info·2020-08-22 17:10

Flink最佳实践（一）流式计算系统概述

随着大数据系统的不断发展，传统的批处理已然无法全部满足对时效性要求愈加严苛的业务需求。
xiaohei.info·2020-08-22 17:10

Zookeeper概览

在大数据系统中，
xiaohei.info·2020-08-22 17:10

flume

一、What数据采集是完整大数据系统不可或缺的步骤日志文件：flume/logstash业务数据：sqoop外部数据：爬虫抓取基本介绍flume是一个分布式、高可靠的海量数据（1T/天）采集系统运行机制每个
墨小雨的猫·2020-08-22 12:59

大数据系统-图数据查询与存储

图数据管理即需要上层查询API的支持，也需要底层数据存储的支撑。图数据库查询语言Gremlin(Thinkerpop,Titan)Cypher(Neo4j)SQL…图查询Gremlin实例：图数据存储在处理图数据时，其内部存储结构往往采用邻接矩阵或邻接表的方式图分布式存储图数据分布式存储有两种分区形式，按vertex进行划分或者按edge进行划分。很多图度分布遵循Power-Law分布，可以采用v
gao8658·2020-08-22 09:25

信用就是你的财富

首先无论是我们的大数据系统中还是征信上，都会详细的体现我们个人信息，家庭居住情况，单位情况。如果征信上显示您经常换单位，说明您工作不稳定，收入也就不稳定，如果借贷给您会存在高风险。
lamanda·2020-08-21 23:46

flume

一、What数据采集是完整大数据系统不可或缺的步骤日志文件：flume/logstash业务数据：sqoop外部数据：爬虫抓取基本介绍flume是一个分布式、高可靠的海量数据（1T/天）采集系统运行机制每个
墨小雨的猫·2020-08-21 19:13

一文深度解读阿里云CDN实时日志的前世今生：挖掘实时数据的无限价值

12月26日，阿里云CDN实时日志服务举办线上直播发布会，全网首次深度解读阿里云CDN大数据系统技术演进、产品特性、应用场景与业务实操。CDN实时日志源起何处？阿里云CDN从2014年正式商业
阿里云云栖号·2020-08-21 11:47

从事“大数据”工作的三大方向 十大职位

目前，大数据方面的工作人员主要有三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大
shao_lixin·2020-08-18 21:56

大数据系统常用文件存储格式File format

在大数据系统中，列式存储和混合式存储更常见。对于HDFS这样的文件存储系统来说，其实并不关心存储的是什么形式的存储文件。只是在解析数据时，需要知道是什么类型的文件。
OnlyQi·2020-08-18 14:03

产品经理学大数据——大数据软件框架：框架的选择

大数据系统架构有两种组成部分，实时流处理和批量数据处理。我们根据具体的需求选择适当的数据处理框架。一些框架适合于批量数据处理，而另外一些适用于实时数据处理。
简城峰·2020-08-18 12:37

数据倾斜解决方案

什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？
qq_33580952·2020-08-18 11:29

YARN与Zookeeper区别及联系

YARN和Zookpeer都是为了解决什么问题而产生的，应用场景分别是什么，如何结合使用等等问题，估计很多人和我以前一样，有着比较深的困惑，而这些困惑，也许你自己花那么一些时间去搭建目前流行的大数据系统
Chain .·2020-08-18 11:10

大数据系统-SparkSQL基于内存的大数据分析引擎

[1]参考文章：高彦杰，陈冠诚SparkSQL:基于内存的大数据分析引擎《程序员》2014.8AMPLab将大数据分析负载分为三大类型：批量数据处理、交互式查询、实时流处理。而其中很重要的一环便是交互式查询。大数据分析栈中需要满足用户ad-hoc、reporting、iterative等类型的查询需求，也需要提供SQL接口来兼容原有数据库用户的使用习惯，同时也需要SQL能够进行关系模式的重组。完成
gao8658·2020-08-18 11:02
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他