大数据系统

Spark最佳实践之如何有效分配资源

一个企业的大数据系统通常由三层构成：底层基础设施、大数据平台、数据智能化应用。随着云计算的发展，大多数中小型企业越来越依赖云厂商提供的服务来构建自己的大数据平台，而不再自己维护底层基础设施。
Mr-Bruce·2020-06-30 19:39

地理信息可视化大数据系统分析

1、前言伴随着IT技术的飞速发展，人类社会已步入信息化时期，人类活动和社会经济发展所累积的专业知识和工作经验依靠智能化技术积累成大量的数据资源。步入二十一世纪，随着互联网技术、移动互联和物联网技术的盛行，数据资源正展现为类型和经营规模的迅速扩大，比如中国电商企业淘宝公司每日均值约有6000万账号登录和20亿PV，沪深两市每日4个钟头的交易时间会产生三亿条以上逐笔成交数据，腾讯企业各种数据储存量（经
ztmap2020·2020-06-30 19:15

大数据薪资报告出炉：你的工资拖后腿了吗？

主要数据就业三大方向大数据的三大就业方向：大数据系统研发人员、大数据
tea_year·2020-06-30 13:55

学习笔记TF065:TensorFlowOnSpark

Hadoop生态大数据系统分为Yam、HDFS、MapReduce计算框架。TensorFlow分布式相当于MapReduce计算框架，Kubernetes相当于Yam调度系统。
利炳根·2020-06-30 13:16

云计算与大数据基础之大数据

大数据系统需要满足以下三个特性。（1）规模性（Volume）：需要采集、处理、传输的数据容量大；
非科班大数据工程师·2020-06-30 10:27

大数据系统计算的概念全面解析

1引言大数据是新一代信息技术的核心方面和竞争前沿，也是制约大数据产业快速发展的关键瓶颈。大数据技术创新能力已经成为后信息时代衡量国家竞争力的重要指标。与传统信息产业的发展过程相似，大数据必将逐渐形成一个相对独立、体系完善的产业形态，完成传统信息产业的升级换代。互联网和云计算的发展过程与趋势已经证明，大数据未来的产业形态将是以服务为核心的新型产业形态，大数据产业体系的各个环节将提供极为丰富的服务。大
非科班大数据工程师·2020-06-30 10:26

走进大数据 | 深入理解Apache Flink核心技术

本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。
此id已存在·2020-06-30 05:56

数据仓库：过去、现在和未来

数据仓库：过去、现在和未来我经常接触数据仓库建设的需求，而现有的大数据系统也希望基于大数据建设数据仓库，然而Hadoop为核心发展起来的软件适用于OLAP的数据分析需求，OLTP这样的分布式数据库系统也如火如荼的发展
Alex许恒·2020-06-30 03:27

【无中生有】---16---大数据系统搭建

目标构建大批量数据的存储集群实现大批量数据的分布式快速查询提供基于大数据的模型离线或者在线分析抽取实现方案基于hadoop的大数据平台搭建地址hadoop的安装目前已经极为简易化，以上地址的安装过程比较古老。由于hadoop本身的计算机制决定了实时分析不是擅长的长项，对于数据仓库的应用，基于hive基础的Impala从速度和数据质量方面还是能够比较让人满意的。而Greenplum也可以尝试下。如果
无人境域·2020-06-30 03:24

关系型数据的收集

从另一个角度讲，为了便于与前端的数据可视化系统对接，我们通常需要讲Hadoop大数据系统分析产生的结果（如报表，通常数据量不会太大）导回到关系型数据库中。为了解决上述问题，高效地实现
熙客·2020-06-30 02:22

大数据可以考哪些证书？

大数据领域包括：大数据系统管理、Hadoop、分析、数据科学、大数据存储/安全等，物联网的发展推动了对大数据技能的更多需求，特别是在分析领域，用人需求量之大达到创记录的水平，薪资也水涨船高。
wwdede·2020-06-29 21:47

kylin的cube的原理

一、Kylin简介Kylin的出现就是为了解决大数据系统中TB级别数据的数据分析需求，它提供Hadoop/
woshimeilinda·2020-06-29 20:10

大数据系统发展的技术路线

自从大数据出来后，数据管理界发生了巨大的变化，技术驱动成为大数据管理系统的一个主要变革力量。传统的数据库管理系统以结构化数据为主，因此关系数据库系统（RDBMS）可以一统天下满足各类应用需求。然而，大数据往往是半结构化和非结构化数据为主，结构化数据为辅，而且各种大数据应用通常需要对不同类型的数据内容检索、交叉比对、深度挖掘与综合分析。面对这类应用需求，传统数据库无论在技术上还是功能上都难以为继。因
willtongji·2020-06-29 18:25

格灵深瞳五大核心产品首次集体亮相 数据智能是关键目标

7月28日，格灵深瞳创始人兼CEO赵勇一口气发布了基于人工智能的五大核心产品：智源视觉计算平台、灵犀数据治理平台、战狼公安大数据系统、来客商业智能分析系统、金砖智慧银行系统；同时，格灵深瞳联合华为、英特尔发布了两款人工智能新产品
格灵深瞳·2020-06-29 16:20

大数据系统计算技术展望

大数据系统计算技术展望王海涛1,2,毛睿1,2,明仲1,21.深圳大学计算机与软件学院，广东深圳5180602.大数据系统计算技术国家工程实验室，广东深圳518060摘要：针对大数据系统计算技术现状与问题
唐名威·2020-06-29 16:56

【2017年第4期】专题：大数据标准

然而，大数据系统之间缺乏有效的互操作手段，大数据的开放共享受制于安全与隐私方面的顾虑，大数据推广应用缺乏工程化的指南，这在很大程度上阻碍了大数据的发展。
唐名威·2020-06-29 16:55

“大数据标准”征稿通知

然而，大数据系统之间缺乏有效的互操作手段，大数据的开放共享受制于安全与隐私方面的顾虑，大数据推广应用缺乏工程化的指南，在很大程度上阻碍了大数据的发展。甚至大数据的定义、相关术语、分类、架构等方面也还缺
唐名威·2020-06-29 16:52

hdfs基础使用

在大数据系统架构中的应用：为各类分布式运算框架提供数据存储服务。优缺点:HDFS优点：高容错性：1数据自动保存多个副本.2副本丢失后，自动回复。适合处理超
威威yw·2020-06-29 14:08

Linux配置ntp时间服务器（全）

大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。
Mr.Lu_1·2020-06-29 14:04

SpakStreaming + kafka 使用方法

使用心得背景最近公司在对大数据系统升级，首先就是对ETL这边开始下刀，期初我们使用的阿里的dts和Datax来做数据的ETL过程。并且研发了自己的一个抽取平台。
程序猿的郭鹏飞神奇经历·2020-06-29 11:28

大数据系统基础学习笔记一

注：本文是学习由清华大学徐葳老师教授的公开课大数据系统之云计算的笔记。
盏茶暖阳·2020-06-29 05:17

Flink学习笔记------深入理解Apache Flink核心技术

本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对Ma
PZ~浪味仙·2020-06-29 03:32

大数据时代，政府公共文化服务体系建设

维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”，他的《大数据时代》大数据系统研究的先河之作。
文广通·2020-06-28 22:55

实用大数据系统设计

大数据一般人听着比较复杂，觉得可能需要很大成本来部署和实施。幸运地是市面上已经有一些云服务来帮助我们让大数据变得更简单。另外，如果你选择合适的开源工具，也往往会使你的大数据之路起到事半功倍的效果。下面会列出实用并且较低成本的大数据实施系统，供参考。请注意本文不讨论实时或者流数据处理，如果你在寻找那些方面的解决方案，为了节省你的时间，我们建议你忽略本文。在选择据具体大数据工具之前，你最好回答两个问题
weixin_34378922·2020-06-28 18:59

[Lambda]架构～大数据系统的Lambda架构

打造100亿SDK覆盖量的大数据系统，个推从离线到实时演进的三阶段|36大数据http://www.36dsj.com/archives/58518基础建设阶段个推完成几项工作：采用Lambda架构(BatchLayer
葡萄喃喃呓语·2020-06-28 16:34

BDP大数据系统如何帮助企业的销售跟单

在BDP大数据众多功能当中，帮助企业跟单这一功能也是BDP大数据的一大亮点。而这一功能对企业的销售也具有很大的帮助，企业想要实现跟单进程的话需要对客户的数据进行实时的掌握和了解，对客户的线索进行分析梳理，只有这样在进行销售的时候才可以做到有的放矢，所以销售的跟单对于企业来说是非常重要的，那么今天我们就来看看嘉百伦BDP大数据是如何做到这一点的。在进行企业跟单的时候销售人员可以通过BDP大数据来进行
嘉百伦传媒·2020-06-28 15:14

面对十亿数据量的技术挑战，如何对系统进行性能优化？【石杉的架构笔记】...

个人公众号：石杉的架构笔记（ID:shishan100）“这篇文章，我们来聊一聊在十亿级的大数据量技术挑战下，世界上最优秀的大数据系统之一的Hadoop是如何将系统性能提升数十倍的？
weixin_34162629·2020-06-28 12:35

深入理解Flink核心技术

本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统的开发者也能有所裨益。
weixin_34123613·2020-06-28 11:06

我知道苏宁会玩，但没想到它能把“千人千面”玩到了极致

早在今年3月，苏宁易购与海尔打通彼此的大数据系统，大玩了一把“千人千面超品日”。当日活动刚开
weixin_34116110·2020-06-28 11:26

5种必知的大数据处理框架技术

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据
weixin_34033624·2020-06-28 10:14

大数据系统数据采集产品的架构分析

2019独角兽企业重金招聘Python工程师标准>>>任何完整的大数据平台，一般包括以下的几个过程：数据采集数据存储数据处理数据展现（可视化，报表和监控）其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：数据源多种多样数据量大，变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量我们今天就来看看当前可用的一些数据采集的产品，
weixin_33957648·2020-06-28 08:35

《机器人操作系统ROS原理与应用》——1.1　宏观

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第1章，第1.1节，作者：吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_33881050·2020-06-28 07:36

什么是大数据系统架构

大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等；与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决
weixin_33686714·2020-06-28 03:31

HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）

在搭建完hadoop大数据系统（我是使用CDH5.16.1进行安装）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目使用javaapi接口进行文件了。
独立小桥风满袖·2020-06-28 02:56

HDFS详解

******HDFS基本概念篇******1.HDFS前言l设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；l在大数据系统中作用：为各类分布式运算框架
weixin_30740581·2020-06-28 00:03

Linux配置ntp时间服务器（全）

大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。
weixin_30662849·2020-06-27 23:54

大数据系统之任务调度[2]

接上大数据系统之任务调度[1],记录一下我写的一个最简单的调度系统.系统结构job_server.jpgTrigger依靠Server上的crontab.自带cron表达式解析JobShell模块负责跟
haitaoyao·2020-06-27 21:20

从未如此简单：10分钟带你逆袭 Kafka！

阿里云智能数据库事业部OLAP平台团队现向2021届海内外院校应届毕业生（毕业时间在2020年11月-2021年10月之间）招聘大数据系统工程师，有机会转正，有意请加iteblog微信内推。
过往记忆·2020-06-27 12:56

2019年初Java开发面试经验（南京）

熟悉大数据技术（如Hadoop，kafka，Elasticsearch）的基本使用，掌握相关接口进行大数据系统与前台web的交互。了解go语言，熟悉容
BestYiworld·2020-06-27 09:05

大数据开发步骤和流程

第一步：需求：数据的输入和数据的产出；第二步：数据量、处理效率、可靠性、可维护性、简洁性；第三步：数据建模；第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构；第五步：再次思考大数据系统和企业
回忆美好·2020-06-27 08:30

大数据平台Lambda架构详解

实时大数据系统关键特性的架构，具有高容错、低延时和可扩展等特。
独行夏·2020-06-27 06:38

kafka数据处理框架

在大数据系统中，经常碰到一个问题，整个大数据是由各个子系统组成，且数据需要在各个子系统中高性能，低延时的不停
jeewang·2020-06-27 05:16

大数据测试方法--最近的研究热点之一

功能性测试大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的
不给糖就捣蛋0·2020-06-26 22:22

在Hortonworks HDP 2.2 上安装Hue 3.7.1

Hortonworks的招牌一直是采用全部apache开源方案搭建hadoop大数据系统。HortonworksHDP2.2今年新鲜出炉，里面集成了开源hadoop社区几乎所有最新的内容。
tiimfei·2020-06-26 19:10

BigData - Lambda架构 vs Kappa架构

Lambda架构Lambda架构由Storm的作者NathanMarz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。
天地不仁以万物为刍狗·2020-06-26 19:58

大数据测试方法

功能性测试大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的
test_soy·2020-06-26 18:35

iTerm2配置用于同时打开多个ssh会话（支持多集群，多机器管理）

目前大多数大数据系统都需要部署在很多台机器上，那么如何同时管理多台机器就成了一个问题。一般机器都是在机房，我们需要通过ssh远程连接到机器来进行操作。
skyyws·2020-06-26 13:48

What are the advantages of Lambd architecture

  Lambda架构由Storm的作者NathanMarz提出，旨在设计出一个能满足实时大数据系统关键特性的架构，具有高容错、低延时和可扩展等特性。  
qwfys200·2020-06-26 04:45

“代码变更覆盖率”在后端测试中的实践

这篇文章是我近期基于代码变更风险（CR）平台（http://cr.qa.netease.com/）对猛犸大数据系统的后台调度组件Azakban的一个小版本的测试实践。
yijian2595·2020-06-25 23:07

政务大数据系统共享的难题如何解决

大数据时代的到来给政府管理变革带来了新的契机。2016年12月国务院通过了《“十三五”国家信息化规划》，提出要打破各种信息壁垒和“孤岛”，推动信息跨部门跨层级共享共用。然后在在政务大数据共享的推进过程中，存在着“不愿共享”“不敢共享”“不能共享”三个难题。有些政府部门不愿意将本部门本系统的管理数据拿出来与其他部门共享。有些政府部门基于风险的考虑而不敢将管理数据拿出来与其他部门共享。主要原因是担心共
meng2018520·2020-06-25 22:54
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他