大数据系统第9页

SaltStack之数据系统

1.SaltStack数据系统SaltStack有两大数据系统，分别是：GrainsPillar2.SaltStack数据系统组件2.1SaltStack组件之GrainsGrains是SaltStack

你的阿万·2020-07-26 16:41

SparkSQL – 从0到1认识Catalyst

传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有一席

有梦想的人不睡觉121·2020-07-16 06:20

你必知的Java大数据技术的“12大发展动向”！

行业观察人士表示，许多企业拿来试点阶段的大数据系统(尤其是那些整合Hadoop平台的系统)后，将它们部署到更广泛的生产环境。

芜湖达内科技·2020-07-15 20:00

Kafka学习(一)：Kafka背景及架构介绍

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统

架构师夏老师·2020-07-15 19:28

Lambda架构

背景2.为什么要用LambdaArchitecture3.组成3.1BatchLayer3.2SpeedLayer3.3ServingLayer4.LambdaArchitecture的收益1.背景Q:大数据系统的关键问题

yjgithub·2020-07-15 11:30

数据同步之问题与解决办法

分表分库的处理1）传统数据库的分表分库处理：2）在大数据系统中的做法是构建分布式数据库访问引擎（中间层），将分布在不同数据库中的表集成为一张表，业务系统像单表一样使用3）分布式数据库访问引擎位于数据持久层与

xu704928452·2020-07-15 10:51

理论篇~第一章大数据数据仓库架构

大数据系统体系分为数据采集层、数据计算层、数据服务层和数据应用层。

wer0735·2020-07-15 09:27

Spark 数据倾斜及其解决方案

一、什么是数据倾斜对Spark/Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。

乔治大哥·2020-07-14 20:27

大数据系统-在硬盘上需要注意的事情

逻辑卷的问题一般很多linux的默认安装，会将磁盘直接以逻辑卷的方式挂载，逻辑卷的优点是后期的扩容以及调整磁盘非常的方便，看着比raid好用多了，但是默认的逻辑卷配置方式是只有一块盘在工作，其他几块盘都闲着，发挥不出来多块盘的性能，也就是说如果在逻辑卷里面挂了10块盘，那么默认的逻辑卷的配置，只能发挥出一块盘的性能。所以对于YDB系统来说，大家不要使用逻辑卷。关于RAID有些客户比较担心数据丢失，

qq_33160722·2020-07-14 18:34

Spark基准测试平台BigDataBench使用教程

wordcount词频统计Spark基础知识学习Spark单机版环境搭建Spark源码学习Spark分布式环境搭建Spark基准测试平台BigDataBench使用教程1.BigDataBench简介大数据系统的蓬勃发展催生了大数据基准测试的研究

五环旗·2020-07-14 17:45

爱个购生态圈 O2O+商城+聚合支付+同城配送+智能硬件+第三方生态

建立大数据系统，全面解决订单量大，发货慢、库存不足、分销商囤货、价格混乱等问题。二：商城1．专注移

小芒果_675b·2020-07-14 12:58

学大数据为什么要先学Java

从当前大数据职业来看，总的分为两大类：一是大数据应用类，二是大数据系统类。从未来的职业成长路径来看，大数据系统类发展前景好，技术含量高。大数据系统类主要偏

嘿嘿海海·2020-07-13 21:34

Hadoop、Spark等5种大数据框架对比

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信

tao_wei162·2020-07-13 14:50

metrics入门：API性能监控

**1、常识**Metrics，我们听到的太多了，熟悉大数据系统的不可能没听说过metrics，当我们需要为某个系统某个服务做监控、做统计，就需要用到Metrics。

梦里梦见醒不来丶·2020-07-12 17:18

大数据知识点之点对点消息传递模式与发布订阅消息传递模式

大数据系统面临的首要困难是海量数据之间该如何进行传输。为了解决大数据集的传输困难，就必须要构建一个消息系统。

xiaomanong2·2020-07-12 16:25

深夜细雨带风

许久以来记忆中细微的细节在这个时候都会被放进大数据系统中启动查找功能，然后被不断放大，清晰。一下子出现在眼前，清清楚楚的再还原一遍。

会飞的茄子·2020-07-12 16:54

大数据系统之任务调度[1]

什么是任务调度系统?Ajobschedulerisacomputerapplicationforcontrollingunattendedbackgroundprogramexecutionofjobs(fromwikipedia)简单来说就是你有很多任务,彼此之间执行必须有一定顺序构成一个DAG.如下图所示:一个简单的DAG示意图为什么需要任务调度系统数据终究是要拿来计算的.假设我们从小白开始搭

haitaoyao·2020-07-12 06:02

hadoop学习笔记——NO.5_HADOOP分布式文件系统HDFS

Hadoop分布式文件系统HDFSHDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析在大数据系统中作用为各类分布式运算框架（如：

蔡茂昌·2020-07-12 04:04

深入理解 Spark Sql

传统型数据库强势在于其久经考验的sql优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有一席之地

稚枭天卓·2020-07-12 03:44

分布式系统互斥性与幂等性问题的分析与解决

的内容原则，本次大会共设置了12大专题、近百位的演讲嘉宾，并邀请业内顶尖的CTO、架构师和技术专家，与参会嘉宾共同探讨电商架构、高可用架构、编程语言、架构师进阶、微信开发、前端、平台架构演进、基于Spark的大数据系统设计

钱曙光·2020-07-10 15:19

《大数据之路阿里巴巴大数据实践》笔记

此书下载传送门http://www.java1234.com/a/javabook/yun/2018/0308/10578.html第1章总述阿里巴巴大数据系统体系主要分为，数据采集、数据计算、数据服务和数据应用四大层次

不知星期二·2020-07-10 09:42

数据可视化分析软件开发_大数据系统建设解决方案

2019年越来越多的人认识到数据分析的重要性，而国家也为了促进大数据信息建设的发展，对各地建设大数据出台相关政策。大数据技术能够将海量数据中隐藏的信息和知识挖掘出来，为人类社会、经济活动等方面提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。大数据分析的过程包括：大数据采集——预处理——大数据存储管理——大数据建模——大数据可视化分析。1.大数据采集：大数据的采集主要有4种来源，管理

weixin_33973609·2020-07-10 08:33

【白皮书】2020中国MCN行业发展研究白皮书.pdf（附下载链接）

本白皮书涵盖国内不同规模和不同类型的MCN机构代表，报告主要采用定量市场调查和定性行业访谈相结合的方法，通过克劳锐大数据系统分析、典型MCN机构案例剖析，对2019年MCN行业发展现状、典型变化以及行业趋势进行全方位

m0_37586850·2020-07-09 20:32

分布式消息系统 Kafka 简介

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合

weixin_34032827·2020-07-09 09:04

数据同步之数据同步基础

数据同步技术即不同系统间数据流转，如：同类型不同集群间同步：①主数据库与备份数据库之间数据同步②主系统与子系统之间数据同步大数据系统数据同步：①业务系统到数据仓库系统②数据仓库系统到数据服务数据源分类：

xu704928452·2020-07-09 02:21

Linux配置ntp时间服务器（全）

大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。

vic_qxz·2020-07-08 12:57

大数据基础处理框架

本文将介绍大数据系统一个最基本的组件：处理框架。1.处理框架处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算

zafer·2020-07-08 07:20

S Q O O P

角度是hdfs导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；从关系型数据库中把数据导入到大数据系统中。

Root-Brain·2020-07-08 00:00

HDFS的简介及基本操作（常用的命令参数介绍）

在大数据系统中作用：为各类分布式运算框架（如：mapreduce

Magician~·2020-07-07 19:09

欢迎加入 Apache IoTDB ！

官方简介我们来自：清华大学软件学院，大数据系统软件国家工程实验室IoTDB是一款聚焦工业物联网、高性能轻量级的时序数据管理系统，具备低存储

铁头乔·2020-07-07 19:09

Atitit 物联网之道艾龙著 attilax著 1. 理论基础（控制理论信息理论） 2 2. 1.5 物联网的关键技术12 2 2.1. 1.5.1 网络与通信技术12 1.5.2 无线传感

物联网的关键技术1222.1.1.5.1网络与通信技术121.5.2无线传感器网络（WSN）技术131.5.3RFID技术141.5.4M2M技术151.5.5GPS技术161.5.6云计算技术171.5.7大数据系统

attilax·2020-07-07 03:19

《阿里巴巴大数据实践》读书笔记1——总述

人类正在从IT时代走向DT时代——By马云目录阿里巴巴大数据系统体系架构1.数据采集层2.数据计算层3.数据服务层4.数据应用层阿里巴巴大数据系统体系架构1.数据采集层数据采集为阿里巴巴大数据系统体系的第一环节

时光飞扬·2020-07-06 12:00

“代码变更覆盖率”在后端测试中的实践

这篇文章是我近期基于代码变更风险（CR）平台（http://cr.qa.netease.com/）对猛犸大数据系统的后台调度组件Azakban的一个小版本的测试实践。

网易云社区·2020-07-06 08:16

外贸大数据助力“一带一路”建设

由国家信息中心“一带一路”外贸大数据研究所研发完成的贸易大数据系统——《全球贸易观察》（简称GTF）1月18日正式上线运行。

weixin_34406796·2020-07-06 01:37

主流大数据系统在后台的层次角色及数据流向

最近有不少质疑大数据的声音，这些质疑有一定的道理，但结论有些以偏概全，应该具体问题具体分析。对大数据的疑问和抗拒往往是因为对其不了解，需要真正了解之后才能得出比较客观的结论。大数据是一个比较宽泛的概念，它包含大数据存储和大数据计算，其中大数据计算可大致分为计算逻辑相对简单的大数据统计，以及计算逻辑相对复杂的大数据预测。下面分别就以上三个领域简要分析一下：第一，大数据存储解决了大数据技术中的首要问题

Msro·2020-07-06 00:07

hadoop命令行客户端支持的命令参数

HDFS前言l设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；l在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark

NickYS·2020-07-05 23:57

哪些大数据岗位最有前途？

1、大数据系统研发工程师大数据系统研发工程师是负责大数据系统研发，包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等，同时，还要

西线学院·2020-07-05 10:47

spark-sql流程解析

传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有一席之地

壹禅·2020-07-05 10:49

大数据时代，如何从技术上防范金融系统风险

数据备份在很多大数据系统中，已经自带了数据备份功能。例如Hadoop中就自带了冗余备份功能。在HDFS中，系统

大董酷评·2020-07-04 13:02

大数据系统及分析

IDC将大数据技术定义为：“为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代架构和技术。”大数据的关键在于种类繁多、数量庞大、使用传统的数据分析工具无法在可容忍的时间内处理相应的数据。大数据分析主要涉及两个不同的领域：一是如何将海量的数据存储起来，二是如何在短时间内处理大量不同类型的数据，即解决大数据存储与大数据处理等问题大数据概览大数据的主要特征大量化(Volume)

Sues·2020-07-04 08:17

day07.HDFS学习【大数据教程】

HDFS学习【大数据教程】******HDFS基本概念篇******1.HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用

Java帮帮·2020-07-04 01:58

超级账本HyperLedger：为Fabric的Peer节点配置CouchDB，带视频演示

LevelDB是Google实现的高效kv数据库，可以应用于很多平台，是很多大数据系统的底层存储方案。

李佶澳·2020-07-02 08:29

【大数据课程作业记录】学习HDFS和HBase的基本编程使用和Hash join的实现

本学期选修了《大数据系统与大规模数据分析》，本博文介绍第一次作业的内容和相关情况，但是最终得分并不高，所以代码仅供参考吧。

jocelynxyq·2020-07-02 06:40

第34课： Stage划分和Task最佳位置算法源码彻底解密

Spark算子的构建是链式的，涉及到怎么进行计算，首先是划分Stage，Stage划分以后才是计算的本身；分布式大数据系统追求最大化的数据

段智华·2020-07-01 23:50

阿里巴巴大数据实践-读书笔记

7月份，阿里的数据技术及产品部的同学们出了一本书，大数据之路-阿里巴巴大数据实践，号称全面系统的介绍了阿里巴巴的大数据系统架构。

彩色蚂蚁·2020-07-01 20:00

“大数据”服务政府决策

作为市民参政议政重要手段的12345热线开发了大数据系统，通过大数据这一高科技手段，使12345热线在受理市民诉求的同时，分析诉求背后的共性、倾向性等问题，更加科学、敏锐地为政府决策提供参考。

cigang4063·2020-07-01 20:22

明星衣橱: 1500平方米的“衣帽间”你值得拥有

充满了时尚生活气息与互动，配着专业的私人专用服装造型师（时尚大数据系统），一年四季随时提供最新款式美衣的明星衣橱线下店！明星衣橱正在各地陆续推出线下店，主力店铺面积在1500平以上

杂谈老者·2020-07-01 20:58

AIoT平台的组成以及作用

AIoT在传统IoT平台上发展起来，但是不止于AI技术，他们更像是珠联璧合的关系，AIoT平台同时支持视频云、大数据系统，AIoT平台是真正将物联网技术发挥价值的赋能平台。

haifengid·2020-07-01 02:53

2018-2020综艺植入年度报告

（有需求可点我头像查看我个人简介和资料）2018年，引力植入大数据系统监测综艺节目210档，植入品牌共计588个，植入的产品型号超817个。其中，电视综艺143档，总计686个品牌植入（累加计算

你好明天168·2020-06-30 23:51

Parquet的那些事（三）嵌套数据模型

在大数据系统中，我们总是不可避免的会遇到嵌套结构的数据。这是因为，在很多场景下，嵌套数据结构能更好的表达数据内容与层级关系，因此很多数据源会采用这样的结构来输出数据。

Mr-Bruce·2020-06-30 19:39

推荐频道

大数据系统