大数据系统

政务大数据系统共享的难题如何解决

大数据时代的到来给政府管理变革带来了新的契机。2016年12月国务院通过了《“十三五”国家信息化规划》，提出要打破各种信息壁垒和“孤岛”，推动信息跨部门跨层级共享共用。然后在在政务大数据共享的推进过程中，存在着“不愿共享”“不敢共享”“不能共享”三个难题。有些政府部门不愿意将本部门本系统的管理数据拿出来与其他部门共享。有些政府部门基于风险的考虑而不敢将管理数据拿出来与其他部门共享。主要原因是担心共
meng2018520·2020-06-25 22:54

大数据行业就业指南：三大方向 十大职位

大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。
柯西带你学编程·2020-06-25 22:34

大数据篇：如何区分流处理和批处理

这几年大规模的物联网（IoT）数据监控系统和视频流系统等的大数据系统出现，已经是必然现象了，我相信在5G的推动下，这类些系统会越来越多。
老肥猪·2020-06-25 20:03

大数据时代，如何从技术上防范金融系统风险

在很多大数据系统中，已经自带了数据备份功能。例如Hadoop中就自带了冗余备份功能。在HDFS中，系统默认re
夏夏0801·2020-06-25 15:47

Flink流处理入门和socket发送数据

Flink流处理入门和socket发送数据Flink初步使用Flink流处理程序运行前提Socket发送数据这块笔记是学习陈世敏老师的大规模数据和大数据系统分析时候做的大作业的一块内容，其中题目是Flink
tiezhuLee·2020-06-25 10:01

大数据之路——阿里巴巴大数据实践：总述

阿里巴巴大数据系统架构图：Aplus.JS是web端日志采集技术UserTask是APP端日志采集技术TimeTunel（TT）是一个实时消息处理平台，类似于kafka+stormDataX是一个数据同步工具
LUK流·2020-06-25 09:31

Elasticsearch 聚合分析详解

功能丰富：提供Bucket、Metric、Pipeline等多种分析方式，可以满足大部分的分析需求实时性高：所有的计算结果都是即时返回的，而hadoop等大数据系统一般都是T+1级别的。
小小猪0904·2020-06-25 08:16

基于flume的日志收集系统配置

大数据系统中通常需要采集的日志有：系统访问日志用户点击日志其他业务日志（比如推荐系统的点击日志）在收集日志的时候，一般分为三层结构：采集层、汇总层和存储层，而不是直接从采集端将数据发送到存储端，这样的好处有
张薄薄·2020-06-25 07:17

大数据系统由哪些核心组件构成

大数据是新一代信息技术的核心方面和竞争前沿，也是制约大数据产业快速发展的关键瓶颈。大数据技术创新能力已经成为后信息时代衡量国家竞争力的重要指标。与传统信息产业的发展过程相似，大数据必将逐渐形成一个相对独立、体系完善的产业形态，完成传统信息产业的升级换代。今天我们就在来了解一下，数据系统的主要业务以及存储方法。数据系统主要对业务数据及其他数据进行汇总和处理，对接BI、推荐或风控等系统。整个系统架构中
中琛源科技·2020-06-25 04:42

用户行为分析大数据系统（实时统计每个分类被点击的次数，实时计算商品销售额，网站动态行为pv，uv ）

https://blog.csdn.net/m0_37739193/article/details/74559826实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示https://blog.csdn.net/ddxygq/article/details/81258643Flume+Kafka+Storm+Redis构建大数据实时处理系统：实时统计网站P
曹雪朋·2020-06-25 01:37

全年盘点：2017最酷的10家大数据初创公司

如今的大数据系统更加自动化、更实时、更关键任务。企业越来越依赖这些系统来整合和分析分散在多个位置的数据，包括本地和云中的数据。
36大数据·2020-06-24 18:12

大数据系统中销售漏斗的功能价值是什么

BDP大数据是现在企业运行中不可缺少的一部分，之所以这样说，是因为现在BDP大数据对企业的重要性可以从企业的管理和销售等等各方面体现出来。根据案例可以看出来，当企业将BDP大数据运用到企业制度和管理流程方面之后，企业的运作都比之前更加的规范和严谨，所以根据这些信息我们就可以知道在大数据时代和互联网时代下，BDP大数据已经不再是可有可无的系统，它已经变成企业运作当中不可或缺的一道程序。BDP的众多功
嘉百伦传媒·2020-06-24 05:24

Hadoop技术生态简介

Hadoop可以说是第一代大数据技术框架的主流选择，很多早期开始搭建大数据系统平台的企业，都是从Hadoop
huifeideyugo123·2020-06-23 16:53

如何做大数据精准营销？

在大数据的诸多应用场景当中，利用大数据来做更精准的营销，无疑是企业存在普遍需求的，以电商行业为例，领头的几大网购平台，早已经布局好了大数据系统平台，抓住了行业先机。
huifeideyugo123·2020-06-23 16:52

Pregel：一个大规模图计算系统

容错能力对大数据系统非常重要。块同步并行(BulkSyn
houzhizhen·2020-06-23 15:53

HDFS基础

HadoopDistributedFileSystem，Hadoop分布式文件系统，主要用来解决海量数据的存储问题设计思想1、分散均匀存储dfs.blocksize=128M2、备份冗余存储dfs.replication=3在大数据系统中作用为各类分布式运算框架
hmxz1024·2020-06-23 14:07

大数据系统-Hive的3种数据存储格式

关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。首先我要讲讲hive的数据类型。Hive支持两种数据类型，一类叫原子数据类型，一类叫复杂数据类型。原子数据类型包括数值型、布尔型和字符串类型，具体如下表所示：基本数据类型类型描述示例TINY
gao8658·2020-06-23 09:15

关于大数据技术的入门综述

偶然的资料查找，看到了《大数据系统和分析技术综述》一文，坐着最《大数据时代》一书做了深刻的分析，总结的三句话让我恍然大悟：大数据时代处理数据理念的三大转变：（1）要全体不要抽样（2）要效率不要绝对精确（
llq0118·2020-06-23 05:25

Spark性能调优之数据倾斜调优一站式解决方案原理与实战

第29章Spark性能调优之数据倾斜调优一站式解决方案原理与实战29.1为什么说数据倾斜是分布式大数据系统的性能噩梦？
段智华·2020-06-23 05:36

大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术语，本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失
机器学习和人工智能·2020-06-23 04:35

大数据中心平台适合用功能点方法估算吗？

答：大数据系统可以用功能点方法计费，功能点是面向用户的，用户可以是终端用户也可以使用它的其它系统，大数据为这些系统或终端用户提供基本的业务价值。
csbmk_com·2020-06-23 00:29

大数据学习如何从入门到精通？这些系统路线你看了吗？

大数据开发，真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，带领学生一站式搞定匪夷所思的大数据开发技术。
数据工程师大牛·2020-06-23 00:30

顶级Hadoop管理员面试的问与答

无数的行业招聘Hadoop管理人员，确保他们的大数据系统可以在最复杂和动态的环境下被选中。在2010年，没有人知道什么是Hadoop，但是今天，房间里的大象这个标志已经成为了大数据的宠儿。
同志快醒醒·2020-06-22 21:09

顶级Hadoop管理员面试的问与答

无数的行业招聘Hadoop管理人员，确保他们的大数据系统可以在最复杂和动态的环境下被选中。在2010年，没有人知道什么是Hadoop，但是今天，房间里的大象这个标志已经成为了大数据的宠儿。
同志快醒醒·2020-06-22 21:09

用于实时大数据处理的Lambda架构

Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。
可口可乐·2020-06-22 19:51

5月书讯丨《联邦学习》带队，10新书给你全方位的技能提升

企业数据化最佳实践》3《SpringCloudAlibaba微服务原理与实战》4《看漫画学Python：有趣、有料、好玩、好用（全彩版）》5《Python极简讲义：一本书入门数据分析与机器学习》6《自己动手做大数据系统
博文视点·2020-06-22 19:24

【推荐】深度解析Apache Flink结构

本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。
大树叶·2020-06-22 18:57

Flume 海量日志收集利器

Flume海量日志收集利器关于日志收集服务器日志收集服务器日志是大数据系统中最主要的数据来源之一服务器日志可能包含的信息访问信息系统信息其他业务信息基于服务器日志的应用业务仪表盘：PV、UV等线上查错：
JeremyJiaming·2020-06-21 22:30

互联网数仓之：Lambda架构 vs Kappa架构

一、Lambda架构Lambda架构由Storm的作者NathanMarz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。
BabyFish13·2020-06-21 17:29

如何建立完整可用的安全大数据平台

如何建立完整可用的安全大数据平台2016-03-07江金陵大数据杂谈“要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台
xiao_jun_0820·2020-06-21 14:39

数据隐私泄露，如何才能保证数据安全？

鉴于大数据基础设施的虚拟化和分布式性质，企业需要将虚拟网络作为底层通信基础设施保护大数据：基础设施准备首先对于利用大数据系统来分析企业内活动的安全工具，企业安全团队必须了解传统安全修复工具和它们之间的基础设施差异
人工智能和大数据时代·2020-06-21 13:49

大数据搭建平台

那么，从业数年的干货来喽~OUTLINE“•大数据系统部署”“•基于SPARK数据处理”“•AZKABAN任务调度平台”“•其他扩展”一、大数据系统部署-HA
Wu 绪青·2020-06-21 13:54

从存储、实时、安全的角度谈如何建立完整可用的企业大数据平台

要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。
weixin_34124651·2020-06-21 11:19

从0开始，设计研发一个全功能通用大数据系统

本Chat讲述这样一个通用大数据系统：系从0开始设计研发，从最底
GitChat的博客·2020-06-21 09:21

大数据—数据收集系统介绍（Flume，Sqoop）

针对结构化数据，导入到大数据系统Hadoop中，有两种导入方式，一种是全量导入，一种是增量导
mapbar_front·2020-06-21 03:45

大数据容器化，头部玩家尝到了甜头？

然而由于大数据系统的复杂性，一度导致业界大数据已死的各种声音不断。尤其是当MapR被HPE收购，Cloudera公司股票持续跌成狗，使得这种声音进一步放大。
华为云开发者社区·2020-06-21 02:04

大数据学习的必备五大核心技术

大数据系统的技术庞大而复杂。基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。
congge0629·2020-06-21 00:43

18级大数据专家，跟大家漫谈大数据平台架构，你能学到多少？上篇

是将互联网产品和后台的大数据系统整合起来，将应用系统产生的数据导入大数据平台，经过计算后导出给应用系统使用。为什么大数据平台在互联网行业非常重要？大数据平台将互联网应用和大数
程序员高级码农1·2020-06-21 00:32

航司电商“运营监控数据体系” - 续

大型航司基本都有自己的大数据系统，平台，或体系，乃至应用架构了。但是如何适应航司电商“运营监控数据体系”的要求。则必须将对其以后体系进行梳理，且明确需求的前提下合理构建数据使用的流向和处理体系。
三硝基甲苯_Leo·2020-06-20 23:43

如何建立一个完整可用的安全大数据平台

要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。
程序猿旺财·2020-06-20 20:29

【华为云技术分享】大数据容器化成趋势，华为云BigData Pro一马当先

然而由于大数据系统的复杂性，一度导致业界大数据已死的各种声音不断。尤其是当MapR被HPE收购，Cloudera公司股票持续跌成狗，使得这种声音进一步放大。
华为云·2020-06-20 20:28

大数据容器化，头部玩家尝到了甜头？

然而由于大数据系统的复杂性，一度导致业界大数据已死的各种声音不断。尤其是当MapR被HPE收购，Cloudera公司股票持续跌成狗，使得这种声音进一步放大。
华为云开发者社区·2020-06-12 15:00

地理信息可视化大数据系统分析

1、前言伴随着IT技术的飞速发展，人类社会已步入信息化时期，人类活动和社会经济发展所累积的专业知识和工作经验依靠智能化技术积累成大量的数据资源。步入二十一世纪，随着互联网技术、移动互联和物联网技术的盛行，数据资源正展现为类型和经营规模的迅速扩大，比如中国电商企业淘宝公司每日均值约有6000万账号登录和20亿PV，沪深两市每日4个钟头的交易时间会产生三亿条以上逐笔成交数据，腾讯企业各种数据储存量（经
ZTMAP·2020-05-29 11:00

大数据导论复习笔记

章大数据概述数据类型、数据组织形式、数据的使用数据类型数据组织形式数据的使用大数据的概念(4V)科学研究四种范式第2章大数据与云计算、物联网、人工智能云计算概念、云计算服务模式和类型五个特征四个部署模型服务模式大数据系统与云安全
503 Rapper·2020-05-24 16:20

大数据系统架构及技术体系介绍详细文档

作者：玩世不恭邮箱：[email protected]一、数据采集1、日志采集系统（1）、Flume：Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。（
lonely玩世不恭·2020-05-06 15:30

Linux配置ntp时间同步服务器（全）No association ID's returned

大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。
狂野小青年·2020-04-16 16:41

数据仓库常见建模方法与建模实例演示

一般主要从下面四点考虑访问性能：能够快速查询所需的数据，减少数据I/O数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本使用效率：改善用户应用体验，提高使用数据的效率数据质量
涤生手记·2020-04-14 15:09

人工智能发展迎来新时代，钱时代金服积极发展金融科技

近日，相关部门发布了关于人工智能的全新规划，而在规划中也提到了智能金融，并表明要建立金融大数据系统，提升金融多媒体数据处理与理解能力；创新智能金融产品和服务，发展金融新业态；鼓励金融行业应用智能客服、智能监控等技术和装备
钱时代金服·2020-04-13 02:05

第一章 总述

大数据系统体系：数据采集、数据计算、数据服务、数据应用一.数据采集层：1）web端日志采集技术方案：Aplus.js2）app端日志采集技术方案:UserTacker3）把数据从生产业务端传输到大数据系统
被爱的天青色·2020-04-12 11:46

BDP大数据系统如何提高线索转化率？

众所周知销售的好坏能直接影响到每个企业的利润，所以嘉百伦BDP大数据对每个企业来说都是至关重要的，但是相比功能比较单一的销售模式，企业应用的BDP大数据系统不仅能对销售团队进行管理，而且能准确快速的进行线索的转化率
嘉百伦传媒·2020-04-12 07:50
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他