大数据系统

产品经理学大数据——大数据软件框架：框架的选择

大数据系统架构有两种组成部分，实时流处理和批量数据处理。我们根据具体的需求选择适当的数据处理框架。一些框架适合于批量数据处理，而另外一些适用于实时数据处理。
简城峰·2020-08-18 12:37

数据倾斜解决方案

什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？
qq_33580952·2020-08-18 11:29

YARN与Zookeeper区别及联系

YARN和Zookpeer都是为了解决什么问题而产生的，应用场景分别是什么，如何结合使用等等问题，估计很多人和我以前一样，有着比较深的困惑，而这些困惑，也许你自己花那么一些时间去搭建目前流行的大数据系统
Chain .·2020-08-18 11:10

大数据系统-SparkSQL基于内存的大数据分析引擎

[1]参考文章：高彦杰，陈冠诚SparkSQL:基于内存的大数据分析引擎《程序员》2014.8AMPLab将大数据分析负载分为三大类型：批量数据处理、交互式查询、实时流处理。而其中很重要的一环便是交互式查询。大数据分析栈中需要满足用户ad-hoc、reporting、iterative等类型的查询需求，也需要提供SQL接口来兼容原有数据库用户的使用习惯，同时也需要SQL能够进行关系模式的重组。完成
gao8658·2020-08-18 11:02

安装Metron

1.Metron简介Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，最早由Cisco公司的开源大数据系统安全框架项目OpenSOC迁移为Metron项目，现已晋升为Apache顶级项目
如临大敌·2020-08-16 21:49

大数据的流处理和批处理及其框架

在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术语，本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理
LaZY_apple·2020-08-16 05:18

大数据给企业带来的好处有哪些

以下将介绍企业可以从使用大数据系统中
中琛源科技·2020-08-15 07:39

大数据系统-Spark生态系统

目前，Spark已经发展成为包含众多子项目的大数据计算平台。BDAS是伯克利大学提出的基于Spark的数据分析栈（BDAS）。其核心框架是Spark，同时涵盖支持结构化数据SQL查询与分析的查询引擎SparkSQL，提供机器学习功能的系统MLBase及底层的分布式机器学习库MLlib，并行图计算框架GraphX，流计算框架SparkStreaming，近似查询引擎BlinkDB，内存分布式文件系统
gao8658·2020-08-15 07:09

大数据工程师的日常工作内容

1写SQL（很多入职一两年的大数据工程师主要的工作就是写SQL）2为集群搭大数据环境（一般公司招大数据工程师环境都已经搭好了，公司内部会有现成的大数据平台，但我这边会私下搞一套测试环境，毕竟公司内部的大数据系统权限限制很多
北京小辉·2020-08-14 19:56

SparkSQL优化器系统Catalyst

传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有一席之地
灵佑666·2020-08-13 16:07

智慧公安解决方案 智慧公安大数据系统开发

智慧公安解决方案智慧公安大数据系统开发社会治安建设是人们一直所关注的重点之一，随着信息化技术的发展，城市化建设进程的加快，经济的发展，人们生活要求的不断提升。
yzr13828808271·2020-08-13 14:31

Spark Streaming 一文读懂

SparkStreaming：流计算框架以往，批处理和流计算被看作大数据系统的两个方面。
小晓酱手记·2020-08-13 10:34

安全博览会

智慧城市系统作为一种智能化运行体系传感技术、信息处理技术、网络传输等一系列技术为身，利用大数据系统/lot技术对城市体系内交通、商业、公安、医疗等各领域的信息做出实时捕获、智能处理，极大的提高的生活品质
brid_fly·2020-08-11 21:31

HDFS基本概念和特性

1.HDFS前言l设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；l在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark
peng_0129·2020-08-11 03:53

MetricsSystem

Metrics，我们听到的太多了，熟悉大数据系统的不可能没听说过metrics，当我们需要为某个系统某个服务做监控、做统计，就需要用到Metrics。
继续微笑lsj·2020-08-10 21:24

metrics小常识

Metrics，我们听到的太多了，熟悉大数据系统的不可能没听说过metrics，当我们需要为某个系统某个服务做监控、做统计，就需要用到Metrics。
年轻的海员·2020-08-10 21:40

批量数据的聚合以及groupby实现

大家一定对sql非常熟悉，关系型数据库自不必说，现在越来越多的大数据系统也都支持sql，比如hive，odps,presto，phoenix（hbase），galaxy以及cep（esper）等都支持sql
年轻的海员·2020-08-10 13:41

《机器人操作系统ROS原理与应用》——2.1　大数据组织架构体系

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.2节，作者：吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_34315665·2020-08-10 07:19

从0开始学大数据-数据仓库建模

成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大的降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，
lgfeng218·2020-08-09 22:02

盘点 | 有哪些大数据处理工具？

导读：近几年里，大数据行业发展势头迅猛，故而相应的分布式产品和架构层出不穷，本文分享作者在大数据系统实践过程中接触过的一些工具及使用感受，抛砖引玉，和同学们一起构建一个分布式产品的全景图。
amap_tech·2020-08-07 23:02

大数据基础知识

Hadoop:大数据系统HDFS:分布式文件系统MapReduce:分布式计算框架YARN:资源管理框架HBase:分布式列存储数据库Hive:数据仓库Mahout:数据分析与挖掘第二章.大数据关键技术
CUG48·2020-08-04 12:54

druid简要介绍

什么是druiddruid是一个为OLAP查询需求而设计的开源大数据系统，druid提供低延时的数据插入，实时的数据查询druid使用Java开发，基于Jetty提供httprest服务，也提供了Java
罡斩·2020-08-04 03:20

大数据系统常用缩写

PV：PageView，页面访问量。UV：UniqueVisitor，独立访客数，同一个访问多次访问也只算1个访客（去重）。通常情况下是依靠浏览器的cookies来确定访客是否是独立访客（之前是否访问过该页面），在同一台电脑上使用不同的浏览器访问或清除浏览器缓存后重新访问相同的页面，也相当于不同的访客在访问，会导致UV量增加。UIP：UniqueIP，独立IP，和UV类似，正常情况下，同一个IP可
刘静咩·2020-08-03 11:06

运营商提取访问手机号----云网获客系统

通过云网获客系统—抓取精准大数据系统获取精准的手机号！例如你是做金融的，你需要一批意向客户，你需提供一些同行的网址、网站或某app给我，我可以将里面最近几天实时访问或来电者的信息收集到提供给你。
m0_46561442·2020-08-03 01:34

2019最新大数据前沿，大数据技术服务

随着互联网的发展，传统的营销模式已经被慢慢淘汰，企业销售获客也变得愈发困难，中小企业如果想要提升成交率必须做出新的尝试，利用运营商大数据系统进行裂变拓客，帮助企业提升销售效率。
V：wxkj1501·2020-08-02 23:48

Spring Boot入门样例-380-hadoop整合hadoop大数据系统

SpringBoot入门样例-380-hadoop整合hadoop大数据系统hadoop一个大数据开源框架,允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。
huashenghn·2020-08-02 20:12

云网获客系统—精准大数据系统是怎么获取访客手机号的呢？

APP手机号抓取软件不仅可以为营销打下大数据基石，还能为营销推广提供自动化的发布，即APP手机号抓取软件的多站群web发布功能。使用此功能可以通过配置站群后，一键发送到多个目标网站，比如论坛、QQ空间、博客、微博等，有了APP手机号抓取软件不再需要繁琐的登录复制和粘贴了，营销省时省力，才能提升运营水平和工作效率。大数据所呈现出的信息十分丰富，引领的营销方式也是多种多样，为了我们能够利用大数据更好的
a15147349734·2020-08-02 20:55

大数据凉了？No，流式计算浪潮才刚刚开始！

翻译｜巴真编辑｜DebraAI前线导读：本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃说明文。
weixin_33713707·2020-07-31 12:36

基于LNMP的zabbix4.4源码编译安装

之前在某市GA担任大数据系统维护工作，服务器1000台左右，系统与数据量都比较庞大，导致经常出现故障，维护时间、人力成本都大大增加，接手时竟没有一套完整的监控系统，每天做的就是手动各个数据流的情况，并用表格记录
小先2·2020-07-30 16:53

HDFS的基本概念

hdfs的设计思想：分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析hdfs在大数据系统中的作用：为各类分布式运算框架（如mapreduce、spark
wendy0101·2020-07-30 15:32

大数据协作框架之kafka

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了同时搞定在线应
象在舞·2020-07-30 15:52

专题导读：大数据异构并行系统

点击上方蓝字关注我们随着大数据处理从粗放走向集约，性能、成本、功耗等多方面的约束为大数据系统设计提供了新的机遇与挑战。
唐名威·2020-07-30 10:47

人工智能，数据先行——浅谈人工智能时代数据治理的必要性

在国家政策支持和行业实际需求增长的情况下，政府部门、军队军工和大型企业通过搭建一系列的大数据系统、大数据平台，来提高自身的组织管理能力。
qq_35063663·2020-07-30 09:10

【容器系统】之 大数据容器化-基于Kubernetes构建现代大数据系统

ApacheSpark在大数据处理与分析领域，ApacheSpark无疑占据着重要地位。它的特点是基于内存计算，支持各类资源管理平台，其中以YARN最为常见，同时又与Hadoop平台集成，在集群节点以HDFS作为分布式文件存储系统。我们可以先看一下搭建一个常见的ApacheSpark大数据平台需要哪些步骤：1.安装Hadoop集群2.配置HDFS3.配置YARN4.安装Spark5.配置Spark
Link GAIA·2020-07-30 08:14

第一章 分布式计算概述

分布式作为分布式系统里最重要的一个能力和目标，也是大数据系统的关技术之一。经过多年的发展与演进，目前业界已经存在很多成熟的分布式计算相关的开源编程框架和平台供我们选择。分
weixin_42449639·2020-07-30 04:46

大数据系统与大规模数据分析 之 作业三

大数据系统与大规模数据分析之作业三问题描述SSSP编程同步图计算程序源码大数据系统与大规模数据分析之作业三问题描述作业三：同步图运算编程总体任务实现SSSP的图运算输入：图，v0输出：顶点ID，最短路长度
a550461053·2020-07-29 16:40

大数据的基础架构：云计算

云计算的核心设计理念并行化规模经济虚拟化（抽象）大数据系统的软硬件架构并行化并行化理念存在于计算机的方方面面-并行请求：分配给多个计算机-并行线程：分配给多个处理器核心-并行指令：同一时刻有多
SeanC52111·2020-07-29 13:32

CDA数据分析师与同衡城士通用中台达成战略合作

近期，CDA数据分析师和同衡城士通用中台就数据产品联合运营、数据资源接入服务、信息体系建设、行（产）大数据系统、信息咨询、科研合作、专业共建、联合实验、相关技能联合培训等项目及产品研发和市场开拓等方面达成了长期
CDA·数据分析师·2020-07-29 02:36

趣头条 大数据部 技术专栏

2.大数据团队主要职责：大数据系统运维，大数据系统平台开发。3.大数据集群规模：2000台高配机器，数据量～50PB。
weixin_44678266·2020-07-28 22:53

《机器人操作系统ROS原理与应用》——3.2　如何选择解决方案

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第3章，第3.2节，作者：吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_34206899·2020-07-28 19:45

zookeeper轻松入门

zookeeper的必要性开源的大数据系统，如Hadoop、HIVE等等，类似于动物园，难以管理。zookeeper扮演动物管理员的角色出现，对分布式系统进行协调。
爱吃黄瓜拉皮的小妞·2020-07-28 13:57

干货 | 国家信息中心杜平谈关于数字化的几点思考

[导读]清华大学109周年校庆之际，清华校友总会软件学院分会、大数据系统软件国家工程实验室和清华大学大数据研究中心共同主办了以“软件定义新基建，数据驱动新未来”为主题的系列线上讲座活动。
数据派THU·2020-07-28 12:02

大数据系统与大规模数据分析——关系型数据管理系统

数据库系统架构几个概念：DBMS:数据库管理系统（英语：databasemanagementsystem，缩写：DBMS）是一种针对对象数据库，为管理数据库而设计的大型计算机软件管理系统。具有代表性的数据管理系统有：Oracle、MicrosoftSQLServer、Access、MySQL及PostgreSQL等。通常数据库管理师会使用数据库管理系统来创建数据库系统。RDBMS:专门管理关系型数
Icoding_F2014·2020-07-28 01:32

大数据开发步骤和流程

第一步：需求：数据的输入和数据的产出；第二步：数据量、处理效率、可靠性、可维护性、简洁性；第三步：数据建模；第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构；第五步：再次思考大数据系统和企业
李旭me·2020-07-27 21:19

apache arrow_Apache Arrow和Java：闪电般的大数据传输速度

apachearrow重要要点Arrow为分析应用程序提供零拷贝数据传输Arrow启用内存，列格式和数据处理Arrow是跨平台，跨语言可互操作的数据交换Arrow是大数据系统的骨干从本质上讲，大数据太大
cunfu6353·2020-07-27 21:26

有哪些大数据处理工具？

简介：近几年里，大数据行业发展势头迅猛，故而相应的分布式产品和架构层出不穷，本文分享作者在大数据系统实践过程中接触过的一些工具及使用感受，抛砖引玉，和同学们一起构建一个分布式产品的全景图。
阿里技术官方号·2020-07-27 18:40

大数据测试要点

功能性测试大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的
a575223·2020-07-27 18:18

大数据系统与大规模数据分析 之 作业二

大数据系统与大规模数据分析之作业二问题描述Hadoop编程程序源码大数据系统与大规模数据分析之作业二问题描述作业二：Hadoop编程总体任务输入文件：文本文件sourcedestinationtime这
a550461053·2020-07-27 18:17

有哪些大数据处理工具？

简介：近几年里，大数据行业发展势头迅猛，故而相应的分布式产品和架构层出不穷，本文分享作者在大数据系统实践过程中接触过的一些工具及使用感受，抛砖引玉，和同学们一起构建一个分布式产品的全景图。
阿里技术·2020-07-27 17:17

基于BDOS大数据实验平台框架 – 5分钟玩转大数据课程

而现在，通过智领云科技自主研发的BDOS大数据系统，这一切会变得非常简单；BDOS以”让大数据使用变得简
LinkTime_Cloud·2020-07-27 16:33
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他