大数据系统

Linux配置ntp时间服务器

大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。
天生小包·2020-01-06 06:32

细说Mammut大数据系统测试环境Docker迁移之路

欢迎访问网易云社区，了解更多网易技术产品运营经验。前言最近几个月花了比较多精力在项目的测试环境Docker迁移上，从最初的docker“门外汉”到现在组里的同学（大部分测试及少数的开发）都可以熟练地使用docker环境开展测试工作，中间也积累了一些经验和踩过不少坑，借此2017复盘的机会，总结一下整个环境的搭建过程，希望可以给其他有志于向docker迁移的项目提供些许参考，同时也想跟其他docke
yijian2595·2020-01-05 21:33

津门拾贝系列之二——一句天津俗话引发的食联想

随着我在QQ和淘宝上更改了新地址，背后的各种大数据系统便将我牢牢定位于天津，各种与津门有关的推送便接踵而至。想想无怪。
myron舒·2020-01-05 11:47

##[Kappa]:比Lambda更好更灵活的实时处理架构

博客http://blog.csdn.net/post_yuan/article/details/52241252Lambda架构由Storm的作者NathanMarz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构
葡萄喃喃呓语·2020-01-04 16:06

Flink 原理与实现：深入理解Flink核心技术

本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。
尼小摩·2020-01-03 04:26

2017年“税务稽查风暴”来袭，自我检查少不了

2017年2月13日，国家税务总局稽查局印发了《2017年税务稽查重点工作安排》的通知，国税、地税全面出动，撸胳膊挽袖子对税务违法行为进行严厉的打击，结合“金税三期”大数据系统的强大功能，触碰政策红线的企业在劫难逃
慧算账·2020-01-02 18:58

读书：大数据时代的变革与隐忧

作者：好望角一、维克托·迈尔.舍恩伯格——开大数据系统研究之先河图片发自App《经济学人》说，在大数据领域，他是最受人尊敬的权威发言人之一；《科学》说，若要发起一场关于这个问题的深入探讨，没有比他更好的发起者了
东方辉·2020-01-02 12:24

HDFS概念及常用命令

HDFS基本概念篇HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用：为各类分布式运算框架（如：mapreduce
张鱼猫·2020-01-02 09:47

深入理解Apache Flink核心技术

本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。
Alukar·2019-12-31 20:13

Hadoop、Spark等5种大数据框架对比

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
Kemr·2019-12-31 01:23

分布式消息系统：Kafka（转）

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应
quiterr·2019-12-30 02:15

炫酷科技 主流之约 好程序员大数据1704期盛大起航

12月18日，好程序员大数据+人工智能1704期盛大开班，全栈式课程利剑出鞘，带领学员们开启大数据系统集成工程师进阶之路。不塑庸才，只造精英！
好程序员特训营·2019-12-28 11:52

金税三期严打，80%的企业都在这6个方面认栽，财务人如何是好！

其实税局的很多调整都是基于金税三期大数据系统的（例如开发票需编码），金税三期系统其实早在2013年就已开始陆续上线，它的优化版去年也在全国各地开始运行，我们平时也老在各大媒体上
瀚科会计学校·2019-12-28 07:28

kudu系统介绍

系统背景当前基于hadoop的大数据系统大多数是混合架构，通过hbase做实时更新，数据后台定期转储到hdfs以支持快速分析生成报表。
从此启航·2019-12-27 09:35

用户画像应用

今天参加了CCFTF组织的大数据系统与应用讲座，听了关于小米用户画像的介绍，简要做个笔记。
unbuilt·2019-12-27 04:07

深圳市索芙特成为文化艺术品区块链应用基地一级合作商

与此同时，深圳文化产权交易所与大数据系统计算技术国家工程实验室共同成立大数据国
春蚕化蝶CCEP·2019-12-23 04:33

悟空有钱:借钱难？手机贷款的三个秘诀

而在填写资料这一块，也是最最重要的一块，其实大部分的借款软件都大同小异，而它们后台审核以及接入的第三方大数据系统也都差不多，无非就是从你的个人基本资料入手，看看你这个人的基础信息，从性别、年龄、工作等做一个综合判定
悟空有钱·2019-12-21 11:21

想要成为大数据工程师？你需要掌握以下知识！

要成为大数据工程师，那么就需要循序渐进的掌握整个大数据系统里所包含的知识，你可以一个系列一个系列的学。
帆软·2019-12-21 05:21

阿里大佬十年终成大数据技术体系详解：原理、架构与实践

不仅能让读者从宏观上全面认识整个大数据系统，而且能让读者从微观上深入理解各种大数据技术的细节。
IT程序员·2019-12-20 12:09

长沙牵引力科技网络有限公司的大数据培训后可以做什么呢？

1、大数据系统研发工程师负责
牵引力教育·2019-12-16 20:00

分布式消息系统：Kafka

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
ITsupuerlady·2019-12-16 20:54

Hadoop（一）：大数据 与 Hadoop

数据价值大数据流程：数据采集->数据存储->数据处理／分析／挖掘->可视化大数据的技术架构挑战对现有的数据库管理技术的挑战经典数据库技术并没有考虑数据的多类别实时性的技术挑战网络架构与数据中心、运维的挑战大数据系统瓶颈
林塬·2019-12-15 08:46

大数据系统构建：可扩展实时数据系统构建原理与最佳实践 下载

作为一种新的处理模式，大数据系统应运而生，它使用多台机器并行工作，能够对海量数据进行存储、处理、分析，进而帮助用户从中提取对优化流程、实现高增长率的有用信息，做更为精准有效的决策。
ddddd8·2019-12-07 05:25

070705：当产品跑去和程序员们提需求

为设计师手工制作的UI素材「LetGo」GoIn5Minutes-用5分钟录屏学习Go「从前有只程序猿」产品跑去和程序员们提需求「人傻就要多读书」《Redis开发运维实践指南》本手册是我在一家中国大陆的中型商业银行做大数据系统工程师中进行的总结归纳
知加·2019-12-07 04:35

分布式消息系统：Kafka

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
IT小跑兵·2019-11-29 08:49

Elasticsearch 6.x版本全文检索学习之聚合分析入门

b、实时性高，所有的计算结果都是即时返回的，而hadoop等大数据系统一般都是T+1级别的。2、聚合分析的分类。为了便于理解，es将聚合分析主要分为如下4类。答：a
别先生·2019-11-11 14:00

人工智能的发展历程

就金融行业而言，《规划》指出，要在智能金融方面，建立金融大数据系统，提升金融多媒体数据处理与理解能力；创新智能金融产品和服务，发展金融新
城市中迷途小书童·2019-11-08 14:04

Hadoop运行环境搭建

本文是hadoop的运行环境搭建实际的操作过程的记录和总结，整个文档包括如下内容：概述环境配置创建用户配置SSHhadoop安装hadoop运行模式单机模式一、概述因为hadoop是一个分布式大数据系统
我是老薛·2019-11-08 12:19

分布式消息系统：Kafka

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并
人在码途·2019-11-07 23:38

每天从一百平方米床上醒来…穿什么? 明星衣橱告诉你

充满了时尚生活气息与互动，配着专业的私人专用服装造型师（时尚大数据系统），一年四季随时提供最新款式美衣的明星衣橱线下店！明星衣橱正在各地陆续推出线下店，主力店铺面积在1500平以上
杂谈老者·2019-11-07 17:48

[置顶][Lambda]架构~实时大数据处理的Lambda架构

我们可将数据系统简化为：【数据系统=数据+查询】从而从数据和查询两方面来认识大数据系统的本质。Lambda架构的目标是设计出一个能满足实时大数据系统关键
葡萄喃喃呓语·2019-11-06 16:08

SparkSQL – 从0到1认识Catalyst

传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有一席之地
严国华·2019-11-06 09:52

2018-01-07西安北邮在线大数据学完后可以做哪些工作？

请点击此处输入图片描述大数据学完后可以做哪些工作：(1)大数据系统研发工程师：负责大数据系统研发工作，包括大规模非结构化数据业务模型构建、大数据存储、数据库架构设计以及数据库详细设计、优化数据库
大海_18a0·2019-11-06 08:33

明星衣橱! 你的私人“衣帽间”

充满了时尚生活气息与互动，配着专业的私人专用服装造型师（时尚大数据系统），一年四季随时提供最新款式美衣的明星衣橱线下店！明星衣橱正在各地陆续推出线下店，主力店铺面积在1500平以上
杂谈老者·2019-11-05 08:06

list4-Data Managment

例如一个文件---读取数据就可以了；然后使用一些命令操作将数据直接导入数据系统.或者,我们可以在web端,或者其他可视化界面上输入数据来导入系统.这两种导入数据的方法都是有效的.实际上,这两种方法仅仅对一部分大数据系统有效
多了去的YangXuLei·2019-11-04 10:07

常见大数据系统架构方案

业务流程图业务流程图首先业务流程图镇楼，常见的大数据系统结构如上图所示，主要由这么几个部分构成数据采集-flume收集业务方上报的数据；数据存储层-依赖HDFS提供的强大的分布式数据存储方案，主要是使用
酱油株式会社·2019-11-04 01:54

阿里全域大数据系统深度解读

阿里全域大数据系统深度解读，现代应用架构中的配置管理面临的挑战和应对之道，Bridgetothedigitalworld——AR算法技术分享，【创业在路上】云鸟科技韩毅：未来，物流将是中国最酷行业之一.
肆虐的悲傷·2019-11-04 00:19

蚂蚁金服首席架构师何昌华：开源SQLFlow是牛刀初试，实时大数据系统才是未来基石

开源SQLFlow，反哺业界，同时小小秀出AI肌肉。这就是蚂蚁金服近日开源首个将SQL应用于AI引擎项目SQLFlow后，业界给出的反应。SQLFlow，把艰深的AI与简单的SQL结合起来，大大简化了数据工程师使用AI技术的门槛。而研发出SQLFlow的，正是蚂蚁金服计算存储首席架构师何昌华带领下的AIInfra团队。何昌华斯坦福博士毕业，先在Google总部工作7年，赢得过公司最高技术奖项，其后
蚂蚁金服科技·2019-11-03 16:27

明星衣橱：建筑在时尚大数据之上的购物新体验

在线下店的实际应用场景中，再集成语音搜索、3D人体数据扫描等新技术，针对不同顾客进行个性化的商品推荐，实现精准营销，为消费者提供优质的服务和消费体验……即将在全国铺开的明星衣橱新零售店，搭建在一套独有的时尚大数据系统上
杂谈老者·2019-11-01 15:11

kafka应用之路

kafka是分布式日志存储系统.1）kafka更容易大数据系统结合，例如我们用到的storm。
嘿嘿海海·2019-11-01 01:01

景区大数据系统预防拥挤、踩踏

目前全国大多数景区都有自己的大数据系统，对景区门票、关键区域的客流情况等信息均有统计，但其在景区客流量合理控制上的方式和流程并不完善，尚有待提升，不同景区根据各自不同的环境、风险程度和景区面积，测算出游客承载数量
华天成科技·2019-10-31 19:09

大数据处理中的Lambda架构和Kappa架构

数据采集将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这
XIAO的博客·2019-10-09 16:00

【杂谈】大数据主流技术简介

3、了解最新的大数据系统工具以及大数据处理的基本过程和方法。1）大数据关键技术介绍√分三类：存储（如：分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案,内存数据库等）
CQ_LQJ·2019-10-08 00:00

酒店OTA运营干货分享：飞 猪 M C I 提 升 攻 略

关注飞猪的商家最近都在想着如何提高MCI指数，年前飞猪开放了首批城市酒店测试，目前框架基本稳定，今晚特别详细通俗解读一下如果提高MCI指数的实操攻略；MCI推出的原因：飞猪没有类似人工干扰“挂牌上冠”固定排名的运营模式，全部通过大数据系统进行千人千面展示
智宿荟酒店OTA代运营·2019-10-01 19:25

大数据处理中的Lambda架构和Kappa架构

数据采集将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这
XIAO的博客·2019-09-27 13:00

大数据学习根据应用目标，主要可以划分为哪三个阶段？

要完成大数据基础设施系统建设开发，需要明确数据采集、存储和分析各层核心组件的选型和使用，搭建稳定的大数据集群，或选择私有云方案的服务集群，与生产系统并线运行，使待分析的历史数据和实时数据得以采集并源源不断流入大数据系统
duozhishidai·2019-09-26 19:14

使用Spark 2.2.1 + Kudu 1.5.0 操作Kudu大数据系统

使用Spark2.2.1+Kudu1.5.0操作Kudu大数据系统Kudu的版本查询：（https://www.cloudera.com/documentation/enterprise/release-notes
段智华·2019-09-26 18:15

八小时入门大数据系统学习笔记（一）

从大数据时代开启的第一天起，我们的生活注定被数据灌满了。这是一个人人都需要隐私但又不懂得在乎和保护隐私的时代，几乎所有人都在发布数据，把它们挂在网上或传播到公共平台。人们既向外发散，又向内吸收，自觉或不自觉地收集各种各样的数据信息。——《大数据在中国》在与很多不了解大数据的朋友交流时，果金老师往往会被问到一个问题，那就是大数据究竟是做什么的？事实上，经过了十多年的发展，大数据相关技术的应用已经渗透
大数据群722680258·2019-09-18 23:49

好程序员大数据分享零基础学习Hadoop该如何下手

零基础学习Hadoop该如何下手，很多同学是通过学习hadoop来学习大数据的,学习资料可能是以图书为主要参考方向，《hadoop权威指南》的确是一本很好的入门大数据图书，但大数据系统本身是分布式系统，
wx5d42865f47214·2019-09-11 16:46

近期活动盘点：2019清华大数据系统软件峰会（9.15）

大数点为你整理的近期活动信息在此2019清华大数据系统软件峰会TsinghuaUniversityBigDataSystemSoftwareSummit20192019年9月15日信息技术与经济社会的交汇融合引发了数据迅猛增长
enohtzvqijxo00atz3y8·2019-09-08 07:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他