大数据架构

大数据学什么，学习路线是怎样的？

大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。大数据实时计算阶段：Mahout、Spa
假的鱼·2018-05-31 20:37

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)特点：i.一站式：一个技术堆栈解决大数据领域的计算问题ii.基于内存d)Spark2009年诞生于伯克利大学的AMPLab实验室2010年正式开源了Spark项目2013年Spark成为Apache
假的鱼·2018-05-28 17:44

基于 Alluxio 的 HDFS 多集群统一入口的实现

在大数据架构方面拥有多年的实战经验，曾在Intel从事Spark的仿真模型的开发和利用。始终专注于分布式计算架构、大规模存储方面的学习和研究。1简介随着苏宁大数据平台的规模越来越大
Hadoop技术博文·2018-05-15 00:00

centos7(linux)使用心得

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。
数据架构师·2018-05-14 22:31

hive中sql优化解决策略

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！
宁哥说·2018-05-13 12:50

hive数据倾斜优化策略

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！
宁哥说·2018-05-13 12:47

hivejob中map的优化

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！
宁哥说·2018-05-13 12:29

微服务的接入层设计与动静资源隔离

作者：刘超，毕业于上海交通大学，15年云计算领域研发及架构经验，先后在EMC，CCTV证券资讯频道，HP，华为，网易从事云计算和大数据架构工作。
架构师小秘圈·2018-05-13 00:00

CentOS最常用命令及快捷键整理

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。
数据架构师·2018-05-11 14:07

win10中安装centos7双系统

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。
数据架构师·2018-05-11 09:45

cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！
宁哥说·2018-05-10 23:44

cdh版本的hive安装以及配置

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！
宁哥说·2018-05-09 10:21

大数据数据仓库——hive学习权威指南

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！
宁哥说·2018-05-09 10:48

Gartner连续五年唱衰Hadoop,厂商不以为然!

前不久，笔者调研了国内一线互联网公司的大数据架构(《Hadoop生态系统应用状况大调查：互联网篇！》)
coqonmdrr954803650·2018-05-07 15:58

替代品不少,大家坚持用Hadoop的原因是什么?

前不久，笔者整理了部分一线互联网公司的大数据平台架构图(感兴趣可自行查看《摸底10余家一线互联网公司大数据架构图：Hadoop渗透力太强!》)，引来不少用户的关注。
coqonmdrr954803650·2018-05-07 15:59

Hive Hbase之间的区别和应用场景

Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。一、区别：Hbase：Hadoopdatabase的简称
惹不起的程咬金·2018-04-30 12:14

大数据分析的下一代架构--IOTA架构[上]

你是否为下一代大数据架构做好准备？
代立冬·2018-04-22 07:51

大数据架构师从入门到精通 学习必看宝典

https://blog.csdn.net/songhait/article/details/76944436先扯一下大数据的4V特征：数据量大，TB->PB数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；处理时效性高，海量数据的处理需求不再局限在离线计算当中。现如今，正式为了应对大数据的这几个特
GreatStep·2018-04-17 13:19

hbase和hive的差别是什么，各自适用在什么场景中？

先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。一、区别：Hbase：Hadoopdataba
xpleaf·2018-03-23 08:01

大数据架构师之Flume学习

系统环境：CentOS7平台：Hadoop2.9JAVA：JAVA1.8在正式开始学习Flume之前，我相信各位都已经清楚了解HDFS到底是个什么了。在这里我们将HDFS简单地视为一个大硬盘，容量非常大的大硬盘，那么如何实现自动化地往这个硬盘中定期存入数据呢？Flume的功能就在于此。Flume就是这样一个工具。下面我将介绍在如何在HDFS的基础上应用Flume来达到日志文件的自动收集目的。第一步
hiddpy·2018-03-22 10:00

python测试系列教程——python+Selenium自动化测试框架

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。
数据架构师·2018-03-10 09:42

大数据架构:Kafka

Kafka是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PCServer上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费KAFKA：分布式的发布-订阅消息系统，主要用于处理活跃的数据特点：高吞吐量：每秒百万级别的生产消费----生产消费持久性：由完善的消息存储机制，确保数据的高效安全的持久化----中间
一只土肥圆的猿·2018-03-06 14:01

ELK和beats

由于扩展成分布式，容量和性能得到极大的提升，使得Elasticsearch得以成为目前许多大数据产品和大数据架构的核心组件。Logstash:一个灵活的数据传输和处理系统，在beats出来
P_Chou水冗·2018-02-24 00:00

携程AI和推荐系统的云化实践

2012年在苏黎世联邦理工大学访学，师从ACMfellow,Dr.DonaldKossman，从事高并发大数据架构研究。
Go中国·2018-02-08 00:00

开源大数据周刊-第24期

摘要：本周关注：意图搜索、hadoop3.0、大数据架构BI、大数据农业应用阿里云E-Mapreduce动态E-Mapreduce团队1.5.0版本（已经发布）emr控制台增加可概览页面emr控制台增加用户查看集群进程状态功能
aliyun32183·2018-02-02 17:30

hadoop+hive+spark+zookeeper+hbase大数据环境构建

本文适用于大数据架构基础环境测试，至于大数据理论请自行百度学习了解，本文为环境实操，配置内容用于测通环境，实际生产应用需要添加更详细更具体的配置项，建议小伙伴们动手操作下1，机器与系统准备centos7
super李导·2018-01-20 12:03

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)特点：i.一站式：一个技术堆栈解决大数据领域的计算问题ii.基于内存d)Spark2009年诞生于伯克利大学的AMPLab实验室2010年正式开源了Spark项目2013年Spark成为Apache
三万_chenbing·2018-01-16 14:05

【大数据架构】基于大数据的消费信贷平台

金融的核心是风控，而好的风控依托于数据。作为依托于大数据驱动的信用消费金融平台的量化派，为了给信贷用户更准确的信用评级，对于每个信贷用户都会从多个渠道获取大量的有效数据，这些数据聚合起来也是海量数据规模。量化派对用户的信息整合不光包含了用户的画像(性别、职业、爱好等等)，也包含了用户之间的关系。旅游消费信贷业务简介在线旅游场景贷款旅游消费信贷平台介绍平台介绍业务系统业务系统模型体系模型体系模型系统
产业智能官·2018-01-13 00:00

中小企业采用混合云处理大数据的三个最佳实践

这对于那些正在部署这些技术的中小型企业来说是一个好消息，他们一直在努力为他们的公司定义一个大数据架构。如今，大数据和分析正在进入更加成熟的部署阶段。
LinuxProbe2016·2017-12-13 09:36

【技术帖】Cognos连接KAP的入门指导

在大数据架构中，企业对OLAP分析的数据量、实效性、并发能力等方面提出了更高的要求，迫切需要面向下一代的可扩展的高性能OLAP分析平台，而Cognos在查询性能、并发能力、权
Kyligence·2017-12-10 14:36

ELK和beats

由于扩展成分布式，容量和性能得到极大的提升，使得Elasticsearch得以成为目前许多大数据产品和大数据架构的核心组件。Logstash:一个灵活的数据传输和处理系统，
P_Chou·2017-12-10 11:38

架构设计和技术选型的思路总结

一、顶层架构Linux/Windows平台、CS/BS架构、大数据架构、应用领域（游戏、互联网、传统行业等）二、CS中的Client的技术选型1、GUI开发技术（1）微软技术体系MFC、WinForm、
Andrewniu·2017-12-01 16:22

厦大会计系大数据课程(六)：唯你网传授大数据实战技艺

本期课程由唯你网大数据研发中心大数据架构师翁安栋主讲，继续介绍“大数据应用工具”，为会计系学生实战使用大数据布道，传授实战的技艺；本次课程边讲解边实践，由于学科的差异，学生理解起来有些吃力，但仍然认真学习与练习
南乎乎·2017-11-22 14:52

从小白到大数据架构师的学习历程 - 送100G学习资料

从小白到大数据架构师的学习历程-送100G学习资料最近有很多人问我，大数据是怎么学？需要学什么技术以及这些技术的学习顺序是什么?今天我把个问题总结成文章分享给大家。大数据处理技术怎么学习呢？
huangshulang1234·2017-11-22 09:00

Spark大数据计算引擎介绍

本文内容参考《Spark与Hadoop大数据分析》[美]文卡特·安卡姆著；《大数据架构详解从数据获取到深度学习》朱洁罗华霖著。大数据生态的两个主要部分是Hadoop软件框架和Spark内存级计算引擎。
Young_win·2017-11-08 21:12

大数据架构师从入门到精通 学习必看宝典

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是
帐前卒·2017-10-25 17:34

pythhon实战系列--控制结构

本文首发于个人微信公众号:大数据架构师专家(xinsz08)学编程,最重要的不是多看多听,而是多敲,第一遍看着代码敲.第二遍不看代码敲,第三遍不看代码在限定的时间内敲完.敲不出来怎么办?
维度2018·2017-10-19 09:55

大数据架构流程

阅读更多数据处理分为三大类：第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。第二类是从技术的角度，细分为Batch、SQL、流式处理、machinelearning、Deeplearning。第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。结合前文讲述的数据源特点、分类、采集方式、存储选型、数据分析、数据处理，我在这里给出一
yypiao·2017-09-26 01:00

大数据架构师必读的NoSQL建模技术

1.前言为了适应大数据应用场景的要求，Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命必将影响上层建筑：数据模型和算法。简单地将传统基于第四范式结构化关系型数据库的模型拷贝到新的引擎上，无异于削足适履，不仅增加了大数据应用开发的难度和复杂度，又无法发释放新框架的潜能。该如何构建基于NoSQL的数据模型?现在能供参考的公开知识积累要么是空虚简单的一句“去规
LeiLv·2017-09-23 21:09

大数据架构详解：从数据获取到深度学习（内含福利）

↑点击上方蓝字关注我们，和小伙伴一起聊技术！机器学习（MachineLearning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。其专门研究计算机是怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，使之不断改善自身的性能。此外，数据挖掘和机器学习有很大的交集。本文将从架构和应用角度去解读这两个领域。机器学习和数据挖掘的联系与区
csdn大数据·2017-09-22 00:00

Teradata大数据新动作：通过统一数据架构拥抱开源

我们知道Teradata的大数据架构中最引以为傲的就是将数据仓库、Aster以及Ha
Mc顽固份子·2017-09-14 14:30

大数据架构hadoop初体验一

前言hadoop已经不算新技术了，只是我在实际项目中一直没有太好的机会应用，主要受限于数据量不够大、团队资源紧张、公司成本控制等原因。对此我一直觉得很遗(落)憾(伍)，一个不熟悉大数据的厨子不是一个好的裁缝，于是乎抽时间近期实际操练了下hadoop的基本功能。技能学习方法论学习一套新技能时我喜欢先了解其用途，再学习其用法并在项目中应用(动手操练)，然后再探究其原理。了解用途关于hadoop的用途网
山东大葱哥·2017-09-06 23:11

干货 | 携程机票大数据架构最佳实践

本文转载自携程技术中心（ctriptech）公众号，本文PPT请点击下面阅读原文获取作者简介许鹏，携程机票大数据基础平台Leader，负责平台的构建和运维。深度掌握各种大数据开源产品，如Spark、Presto及Elasticsearch。著有《ApacheSpark源码剖析》一书。本文来自许鹏在〖DAMS2017中国数据资产管理峰会〗上的分享，首发DBAplus社群（ID：dbaplus）。现如
Hadoop技术博文·2017-08-29 00:00

大数据实践总结－－－一点思考

1，大数据架构师，产品经理需要写代码吗？需要，只不过写代码的程度不同。大数据架构师要详细了解大数据的各个模块功能，相关的接口参数。可以说，架构师要对代码有很详细的了解。
bingyang87628·2017-08-25 17:45

大数据计算架构Hadoop、Spark和Storm 三者技术比较

今天大数据架构最火热的莫过于Hadoop，Spark和Storm这三种，而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头，也让网上逐渐开始有一种声音说Hadoop的日
oldbalck·2017-08-01 14:00

如何“打败”CAP定理~Twitter首席工程师

后Hadoop时代的大数据架构-系统运维|Linux.中国-开源社区https://linux.cn/article-5324-1.htmlNathan写了文章《如何去打败CAP理论》HowtobeattheCAPtheorem
葡萄喃喃呓语·2017-07-26 06:37

[云框架]SMACK大数据架构

Github地址：https://github.com/cloudframe...SMACK是一种数据处理的技术组合，S代表Spark（引擎）、M代表Mesos（容器）、A代表Akka（模型）、C代表Cassandra（存储）、K代表Kafka（消息队列）。面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战，SMACK可以解决Hadoop等熟知技术无法
好雨科技·2017-07-21 00:00

经典大数据架构案例：酷狗音乐的大数据平台重构

图片发自App本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。
北京大数据苏焕之·2017-06-15 18:25

后Hadoop时代的大数据架构

阅读更多全文连接http://click.aliyun.com/m/22902/0?wx_fmt=jpeg提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL（NotOnlySQL）那样，有其他的选型补充。我在知乎上也写
liangyan9966·2017-06-09 14:00

后Hadoop时代的大数据架构

阅读更多全文连接http://click.aliyun.com/m/22902/0?wx_fmt=jpeg提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL（NotOnlySQL）那样，有其他的选型补充。我在知乎上也写
liangyan9966·2017-06-09 14:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他