大数据系统

金融机构大数据平台架构设计的 10 个考量点

作业自主研发能力有限的企业，在大数据系统建设中首要是合理的选择技术组件，如果科技力量更强可以考虑参与开源社区对组件的优化完善等工作中。
bingdata123·2018-03-22 14:14

HDFS基本概念及基本操作

在大数据系统中作用:为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务。
Gethin_H·2018-03-17 12:24

什么是大数据系统架构

大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等；与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决
adnb34g·2018-03-16 14:19

阿里巴巴-计算平台事业部-大数据SRE-实习生招聘

阿里巴巴-计算平台事业部-大数据SRE团队是一只系统研发型团队，专注于大数据系统的性能提升&自动化、运营平台建设，大数据用户产品开发等。
王华_7dff·2018-03-12 13:17

大数据概述

1.大数据时代的到来，为提升机器思维由自然思维向智能思维转变带来了大好契机，特别是随着物联网、云计算、社会计算、可视化技术的突破发展，使得大数据系统也能类似人脑一样，自动搜索所有相关的数据信息，进而主动
086刘伟锋·2018-03-05 09:00

大型网站与大数据系统的架构

记录一下个人看了一些大型网站架构文章后的理解，目录如下，0.Overview1.大型网站系统的特点-高并发，大流量-高可用-海量数据-用户分布广泛、网络情况复杂-安全环境恶劣-需求快速变更，发布频繁-渐进式发展2.大型网站架构技术一览-前端架构-应用层架构-服务层架构-存储层架构-后台架构-数据采集与监控-网站安全架构-数据中心机房架构3.大型网站架构的演进-单机网站架构-应用与数据服务器分离架构
chenfh5·2018-03-03 14:21

批处理和流处理

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
大诗兄_zl·2018-02-23 14:52

大数据系统管理必备技能

大数据系统管理必备技能讲师介绍：陈松鑫，CTO/CIO/技术副总裁/总工程师，Adobe知名讲师Adobe教育专家委员会委员（国家级）Adobe教育专家委员会副主任委员（省级）Adobe全国十大金牌讲师
CSDN学院·2018-02-09 14:11

大数据系统管理必备技能

大数据系统管理必备技能讲师介绍：陈松鑫，CTO/CIO/技术副总裁/总工程师，Adobe知名讲师Adobe教育专家委员会委员（国家级）Adobe教育专家委员会副主任委员（省级）Adobe全国十大金牌讲师
CSDN学院·2018-02-09 14:11

【大数据】自己动手做大数据系统（第一章 为什么要自己动手做大数据系统 第二章 项目背景及准备）

目录第一章为什么要自己动手做大数据系统第二章项目背景及准备目录第一章为什么要自己动手做大数据系统本书主要内容：第一章我们为什么我们要自己动手做大数据系统第二章介绍动手做大数据系统的项目背景、项目架构及相关基础知识第三章介绍大数据系统环境的搭建和配置
vmClaire·2018-01-06 14:39

NO

NoSQL适合大数据系统，因为大规模的非结构化数据库需要NoSQL的这种灵活性和分布式优先的特点。
Albert陈凯·2017-12-10 07:56

【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础005--flink特性：flink的生态系统和Hadoop生态系统

flink支持YARN,HDFS,Kafka,hbase,alluxio等其他大数据系统的集成。
云星数据-大数据团队·2017-11-12 15:35

大数据系统基础导论

大数据系统基础导论1、从数据到大数据当输入数据x大到超出了一定的计算能力c或可容忍的时间t，即成为大数据问题amplab最火的实验室在大数据的背景下，紧密结合算法(Algorithms)、分布式系统(Machines
Cristina__jing·2017-10-28 23:56

阿里全域大数据系统深度解读

2016年，阿里巴巴集团提出中台概念，阿里巴巴数据技术及产品部作为中台战略中的组成部分，承载了集团数据中台的工作，其核心就是建设全域大数据。究竟全域数据到底是什么？又该如何建设？在云栖大会阿里大数据分论坛，阿里巴巴高级技术专家张磊给出了详细的回答。以下为分享全文实录：阿里巴巴高级技术专家张磊数据中台阿里巴巴数据技术及产品部定位2016年阿里巴巴集团提出中台概念，阿里巴巴数据技术及产品部承载了集团数
阿里技术_·2017-10-23 00:00

【大数据系统架构师】学习目录

0.大数据相关预备课程0.1Java编程基础0.2Linux基础0.3MySQL基础1.Hadoop开发技术基础1.1.Linux基础1.2大数据基础Hadoop2.X1.3大数据仓库Hive1.4大数据协作框架1.5分布式数据库HBase2.Hadoop大数据开发高级技术2.1Storm流计算入门到精通之技术篇2.2Scala语言从入门到精通2.3内存计算框架Spark2.4Spark深入剖析2
沙漏哟·2017-10-07 13:00

如何利用大数据实现精准扶贫？

放眼全国，扶贫问题一直是舆论关注的热点，清博大数据系统分析显示，在“扶贫”“脱贫”等问题上，甘肃、四川等省份被提及的次数较多，西北地区的话题热度最高；而以“精准扶贫+大数据”为关键词进行搜索可见，除北京外
enohtzvqijxo00atz3y8·2017-10-07 00:00

干货 | 王海峰首谈百度AI战略布局（附PPT下载）

论坛邀请了政府、学术界和产业界与大数据有关的嘉宾齐聚一堂，通过大数据系统软件技术的跨界合作与国际交流，建立和完善大数据领域的技术创新平台，集聚整合创新资源，加
机器学习算法与Python学习·2017-09-21 00:00

浅谈公安大数据的建设

因此，在现阶段建设新的能够匹配公安业务场景的大数据系统是公安部门的迫切需求。新建设的公安大数据系统，将成为面向各警种的大数据管理和分析平台，通过对海量数据的收集、整理、
Mc顽固份子·2017-09-13 14:53

一文读懂数据分析平台的架构与设计

以服装行业为例，大型企业如波司登，本身的大数据系统架构已经完善，数据分析平台（报表/商业智能软件）在整个系统架构下的角色定位为“工具”更合适，发挥工具易用、高效开发、交互性强，稳定等优点。
千金换宝刀·2017-09-11 21:09

一文读懂数据分析平台的架构与设计

以服装行业为例，大型企业如波司登，本身的大数据系统架构已经完善，数据分析平台（报表/商业智能软件）在整个系统架构下的角色定位为“工具”更合适，发挥工具易用、高效开发、交互性强，稳定等优点。
千金换宝刀·2017-09-11 21:09

爬虫那些事儿－任务调度系统设计

一、任务调度系统设计的重要性分布式系统中比如Hadoop、MapReduce编程模型、还有其它大数据系统都会设计到任务调度。搜索引擎爬虫、新
zhanghouse1·2017-07-31 15:19

大数据系统基础 | 绪论

1什么是大数据1、Bigdataisanall-encompassingtermforanycollectionofdatasetssolargeandcomplexthatitbecomesdifficulttoprocessusingtraditionaldataprocessingapllications.-http://en.wikipedia.org/wiki/Big_data2、如果一
JinbaoSite·2017-07-30 19:15

《企业大数据系统构建实战：技术、架构、实施与应用》——2.2　大数据职位构建体系...

本节书摘来自华章计算机《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.2节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
powerx_yc·2017-07-04 11:00

2017-06-27

白风工作室系列课程:“与命运有约”《诺亚方舟》生命力大数据系统研究者生命能量导师玛雅生命蓝图应用第一人玛雅印记应用第一人灵魂意识绘画图应用第一人微信群授课:价格:666/人授课时间：2017.7.1，（
李素玲_9c4a·2017-06-27 14:43

linux如何快速入门

最近二年基本上都以使用linux为主，原因主要是hadoop、spark等大数据系统都是跑在linux上的，还有很多优秀的开源组件或产品如zookeeper、nginx、lvs等一般也是部署在linux
RocChenKing·2017-06-24 22:09

分布式大数据系统巧实现_全局数据调度管理不再难

原文链接5月17日云栖精选夜读：分布式大数据系统巧实现，全局数据调度管理不再难yq传送门2017-05-1817:47:10浏览64评论0linux深度学习分布式大数据java阿里云集群分布式计算云市场分布式文件系统数据中心摘要
bystarlight·2017-05-22 13:03

Lambda架构 vs Kappa架构

Lambda架构Lambda架构由Storm的作者NathanMarz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。
hryyx·2017-05-11 09:50

《企业大数据系统构建实战：技术、架构、实施与应用》一2.2　大数据职位构建体系...

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.2节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看本节书摘来自华章出版社
weixin_34404393·2017-05-02 15:00

分布式消息系统：Kafka

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
qq58edeba279279·2017-04-27 11:35

实用教程|Spark性能优化之道——解决Spark数据倾斜

实用教程|Spark性能优化之道——解决Spark数据倾斜   2017-03-1611:31  浏览次数：108 为何要处理数据倾斜（DataSkew） 什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲
·2017-03-23 00:00

HADOOP初探（一）

而在这学期的一门大数据系统和大规模数据分析的课程，让我有机会接触到了一部分目前广泛应用于业界的开源项目，这篇文章就是关于第一次课程作业的，也是我的第一篇博文。
莫彩·2017-03-22 22:37

大数据实时处理实战

作者：武智晖，北京移动网络运行维护中心大数据系统架构师，北京邮电大学软件工程硕士，高级工程师。多年从事系统架构设计，软件开发，运营商大数据分析挖掘工作。
csdn郭芮·2017-03-07 13:05

基于Spark之上的基础环境设置

1.Ulimit配置操作系统默认只能打开1024个文件，打开的文件超过这个数发现程序会有“toomanyopenfiles”的错误，1024对于大数据系统来说显然是不够的，如果不设置，基本上整个大数据系统是
Coding_Cao·2017-03-06 10:47

Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势

为何要处理数据倾斜（DataSkew）什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？数据倾斜指的是，并行处理的数据集中
·2017-03-06 08:00

Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势

为何要处理数据倾斜（DataSkew）什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？数据倾斜指的是，并行处理的数据集中
·2017-03-06 00:00

考场百态

今日上午监考一堂叫大数据系统基础的考试，只知道是关于MapReduce，Hadoop，HDFS什么的，至于具体是什么我也不懂，反正是大数据系统就对了。
至善福·2016-12-28 15:46

【分布式】分布式架构

【分布式】分布式架构http://www.cnblogs.com/leesf456/p/5992377.html一、前言在大数据系统中，分布式系统已经成为一个无法避免的组件，如zookeeper已经成为了工业届的标准
jinfeng_wang·2016-12-23 22:00

【分布式】分布式架构

一、前言在大数据系统中，分布式系统已经成为一个无法避免的组件，如zookeeper已经成为了工业届的标准。所以对于大数据的研究，也必须要研究分布式系统的特点。
xleesf·2016-10-28 11:40

【分布式】分布式架构

《分布式》系列是读《从Paxos到Zookeeper》一书的读书笔记一、前言在大数据系统中，分布式系统已经成为一个无法避免的组件，如zookeeper已经成为了工业届的标准。
leesf·2016-10-24 16:00

这5种必知的大数据处理框架技术，你的项目到底应该使用其中的哪几种

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
寒-寒·2016-10-24 15:44

通过调研开源基准测试集，解读大数据的应用现状和开源未来

论文导读:这篇综述论文解读了2006大数据系统兴起以来代表性应用和开源基准测试集。近年来，随着大数据系统的快速发展，各式各样的开源基准测试集被开发出来，以评测和分析大数据系统并促进其技术改进。
cpongo2·2016-10-09 08:16

开发人员异地git clone 导致阿里云报警情况分析

阿里云根据他自己的大数据系统，如果发现某台服务器突然在不常出现的地方登录，就会自动发短信告警。国庆期间，突然同事在工作组里发消息说阿里云提示gitlab在江西登录过一次，运维人员立马进行排查。
我的二狗呢·2016-10-03 22:10

第50课 Spark 2.0项目概述

数据输入相当于例如苹果、柠檬等，然后通过榨汁机产出果汁；第二步：数据量、处理效率、可靠性、维护性、简洁性第三步：数据建模第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出的架构；第五步：我会再次思考大数据系统和企业
chinsun_1·2016-09-20 21:48

一篇文章看懂TPCx-BB(大数据基准测试工具）源码

TPCx-BB是大数据基准测试工具,它通过模拟零售商的30个应用场景，执行30个查询来衡量基于Hadoop的大数据系统的包括硬件和软件的性能。其中一些场景还用到了机器学习算法（聚类、线性回归等）。
Jeffbond·2016-09-20 09:48

如何打造100亿SDK累计覆盖量的大数据系统

作为推送行业领导者，截止目前个推SDK累计安装覆盖量达100亿（含海外），接入应用超过43万，独立终端覆盖超过10亿（含海外）。个推系统每天会产生大量的日志和数据，面临许多数据处理方面的挑战。首先数据存储方面，个推每天产生10TB以上的数据，并且累积数据已在PB级别。其次，作为推送技术服务商，个推有很多来自客户和公司各部门的数据分析和统计需求，例如：消息推送和数据报表。虽然部分数据分析工作是离线模
个推·2016-08-05 00:00

后市场|车险费改新政实施，迎合新生代消费者

而风险和费率的确定，则将基于各类大数据系统，这些数据将不仅帮助保险公司精准定价，同时也将成为改变汽车后市场
头条汽车·2016-07-20 00:00

在营销的风口上，众引传播做无边界的先行者

有肤白貌美大长腿的美女主播，也有勾起人们胜负心的欧洲杯、世界杯等体育赛事，而经过算法搭建的大数据系统能精准帮你找到对的受众。看起来，做营销要比以前更容易了，但事实并非如此。
界面·2016-07-16 00:00

2016年第10本：用系统来工作

从amazon上选书时，大数据系统推荐了此书。这本书适合一名小公司的老板来读，当自己整天忙乱到处救火时，肯定是公司的经营系统出了问题。道理很简单，却足以让人思考一番。
申龙斌的程序人生·2016-07-10 09:00

大数据系统的Lambda架构

http://www.tuicool.com/articles/uiyYFfNathanMarz的大作BigData:Principlesandbestpracticesofscalablereal-timedatasystems介绍了LabmdaArchitecture的概念，用于在大数据架构中，如何让real-time与batchjob更好地结合起来，以达成对大数据的实时处理。传统系统的问题在
Baple·2016-07-06 14:37

你应该知道的大数据领域12大动向

行业观察人士表示，许多企业拿来试点阶段的大数据系统(尤其是那些整合Hadoop平台的系统)后，将它们部署到更广泛的生产环境。本文介绍的新闻主要旨在帮助公司进行这种转型。
u012562943·2016-07-06 09:00
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他