大数据系统

搞大数据必知的大数据处理框架技术 原

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处
Hjiangxue·2019-01-31 13:53

搞大数据必知的大数据处理框架技术

本文将介绍大数据系统一
chisuijie5678·2019-01-31 11:00

Elastic Stack -- 日志管理

官网：https://www.elastic.co/日志大数据系统的组成日志记录工具：Log4j2、ApacheCommonsLogging等日志采集器：部署在每台服务器上，采集数据到缓冲队列，例如ElasticBeats
saoraozhe3hao·2019-01-25 16:25

第一次有人把Apache Flink说的这么明白！

本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。
假的鱼·2019-01-22 17:30

报警shell脚本浅写

在企业的大数据系统中，会存在许许多多的shell监控脚本对集群的各种指标进行监控和报警。1.编写mysql数据库监控#!
fly先森·2019-01-18 11:31

大数据系统化进程分析

乔尔·杜德利（JoelDudley）对未来医疗的形态充满憧憬。作为美国西奈山伊坎医学研究所所长，他致力于数字健康和人工智能领域，曾通过大数据分析出阿尔茨海默病的可能病因是疱疹病毒。他还在西奈山医学院创立了下一代医疗研究所，并于今年担任西奈山卫生系统精准医疗执行副总裁。在他的未来健康体系蓝图中，数字医疗占据了相当大的板块。在高度信息化的当代社会，数字医疗综合了计算机技术、人工智能，不仅精准服务个人，
程序猿先森·2018-12-27 14:27

一文深度解读阿里云CDN实时日志的前世今生：挖掘实时数据的无限价值

12月26日，阿里云CDN实时日志服务举办线上直播发布会，全网首次深度解读阿里云CDN大数据系统技术演进、产品特性、应用场景与业务实操。CDN实时日志源起何处？阿里云CDN从2014年正式商业
阿里云云栖社区·2018-12-27 00:00

大数据spark

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
qq5c1b4575eb93e·2018-12-20 16:23

通过调研开源基准测试集，解读大数据的应用现状和开源未来

这篇综述论文解读了2006大数据系统兴起以来代表性应用和开源基准测试集。近年来，随着大数据系统的快速发展，各式各样的开源基准测试集被开发出来，以评测和分析大数据系统并促进其技术改进。
首席数据师·2018-12-19 16:11

通过调研开源基准测试集，解读大数据的应用现状和开源未来

\u003cp\u003e\u003cstrong\u003e论文导读\u003c/strong\u003e:这篇综述论文解读了2006大数据系统兴起以来代表性应用和开源基准测试集。
坚持669·2018-12-17 09:21

2018年第49周-dnsmasq的安装(docker方式)

在开发或测试环境,可能有大量服务器,数据库,应用服务器,中间件服务器等.特别大数据系统,涉及的服务器很多的时候,ip很难记,就算修改本机host,但每次新增删除一个ip对于的域名,都是很麻烦的.于是搭建一个
黄小数·2018-12-09 00:00

大数据学习（一）

因此，基于分布式的大数据系统应运而生。那么是大数据呢?大数据是一个广泛的概念，百
七点差两分·2018-12-05 17:50

在数据科学人才教育中不断前行： 《大数据系统基础A、B》课程实践项目中期答辩顺利举行...

为服务国家大数据发展战略，打造多层次、多类型的大数据人才队伍，清华大学大数据能力提升项目之《大数据系统基础A、B》课程实践项目中期答辩于2018年11月14日顺利举行。
enohtzvqijxo00atz3y8·2018-11-30 07:00

细说Mammut大数据系统测试环境Docker迁移之路

欢迎访问网易云社区，了解更多网易技术产品运营经验。前言最近几个月花了比较多精力在项目的测试环境Docker迁移上，从最初的docker“门外汉”到现在组里的同学（大部分测试及少数的开发）都可以熟练地使用docker环境开展测试工作，中间也积累了一些经验和踩过不少坑，借此2017复盘的机会，总结一下整个环境的搭建过程，希望可以给其他有志于向docker迁移的项目提供些许参考，同时也想跟其他docke
网易云社区·2018-11-21 10:16

实战 Python 网络爬虫：美团美食商家信息和用户评论

实战Python网络爬虫美团美食商家信息和用户评论作者简介：Hyx，多年系统研发经验，主要从事机器人流程系统研发、大数据系统研发、网络爬虫研发以及自动化运维系统开发。
GitChat技术杂谈·2018-11-15 19:00

“代码变更覆盖率”在后端测试中的实践

这篇文章是我近期基于代码变更风险（CR）平台（http://cr.qa.netease.com/）对猛犸大数据系统的后台调度组件Azakban的一个小版本的测试实践。
zni.feng·2018-11-12 19:00

大数据之路——阿里巴巴大数据实践（小白笔记）

第一章总述1.阿里巴巴大数据系统体系架构分为三大部分数据采集层、数据计算层、数据服务层2.数据采集层日志采集系统：Aplus.JS是web端日志采集技术方案；UserTrack是APP端日志采集方案数据传输
cainiao22222·2018-11-12 17:23

十大早教机构排名 全国知名早教机构排名

从全国新增人口基数，城市GDP排名，城市早教机构分布及市场利润空间，强大的大数据系统、科学、全面、专业的分析。根据《中国早教蓝皮书》研究显示，2018年我国早教市场规模将有望突破3000亿元。
o滴滴打人o·2018-10-11 16:24

史上最全十大早教品牌分析

从全国新增人口基数，城市GDP排名，城市早教机构分布及市场利润空间，强大的大数据系统、科学、全面、专业的分析。根据《中国早教蓝皮书》研究显示，2018年我国早教市场规模将有望突破3000亿元。
o滴滴打人o·2018-10-11 16:48

国内最受欢迎的十大早教机构有哪些？

从全国新增人口基数，城市GDP排名，城市早教机构分布及市场利润空间，强大的大数据系统、科学、全面、专业的分析。根据《中国早教蓝皮书》研究显示，2018年我国早教市场规模将有望突破3000亿元。
o滴滴打人o·2018-10-11 16:00

一文看懂早教行业十大机构排名情况

从全国新增人口基数，城市GDP排名，城市早教机构分布及市场利润空间，强大的大数据系统、科学、全面、专业的分析。根据《中国早教蓝皮书》研究显示，2018年我国早教市场规模将有望突破3000亿元。
o滴滴打人o·2018-10-11 16:24

Zookeeper——（大数据系统组件学习）

一、什么是ZookeeperZookeeper最早起源于雅虎研究院的一个研究小组。在当时，研究人员发现，在雅虎内部很多大型系统基本都需要依赖一个类似的系统来进行分布式协调，但是这些系统往往都存在分布式单点问题。所以，雅虎的开发人员就试图开发一个通用的无单点问题的分布式协调框架，以便让开发人员将精力集中在处理业务逻辑上。关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之
DengheLiu·2018-09-30 15:23

大数据就业的三大方向和十种岗位

他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、
大数据群722680258·2018-09-09 09:19

人工智能技术在银行客服中心的应用风险-笔记

人工智能技术在银行客服中心的应用风险-笔记一、人工智能在客服中心的应用现状1、人工智能对金融业的影响建立金融大数据系统，提升金融金融多媒体数据处理与理解能力。创新智能金融产品和服务，发展金融新业态。
青青木屋·2018-09-04 17:19

知乎大V迷渡基于Node.js+SunlightDB极速打造企业官网

使用SunlightDB可以基本取代大数据架构师以及后端开发人员，大大降低大数据系统研发成本，企业可以将大部分精力放到与企业利益直接相关的商业逻辑的数据分析上。Sunlight
dreamcode·2018-08-29 23:07

高并发面试必问：分布式消息系统Kafka简介

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。
郭首志·2018-08-18 20:02

PRA币介绍

PRA币项目介绍ProChain是个以太坊上的数字广告精准营销系统，可实现运用区块链的币天销毁机制解决数字广告流量欺诈，运用区块链的TOKEN投票机制罚没广告主欺诈的押金，通过大数据系统将用户的以太坊地址与个人身份绑定
PRA币·2018-08-12 21:38

Hadoop教程

NoSQL大数据系统的设计充分利用已经出现在过去的十年，而让大量的计算，以廉价，高效地运行新的云计算架构的优势。这使得运营大数据工作负载更容易管理，更便宜，更快的实现。一些N
首席数据师·2018-07-27 14:18

超级账本HyperLedger：为Fabric的Peer节点配置CouchDB

LevelDB是Google实现的高效kv数据库，可以应用于很多平台，是很多大数据系统的底层存储方案。Couch
chichitai7025·2018-07-20 07:00

大数据系统搭建Hadoop+HBase+Spark

1.1框架介绍Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。HBase不同于一般的关系数
DogeAndCat·2018-07-15 03:23

电商用户行为分析大数据系统

一、包含的模块1、用户访问session分析模块：会话（session），用户的基础访问行为2、页面单跳转化率模块：页面（page），用户的页面访问和页面跳转行为3、各区域热门商品统计模块：商品（product），用户的商品点击行为4、广告点击流量实时统计模块：广告（ad，advertisement），用户的广告点击行为用户访问session分析模块1.1、对用户访问session进行分析1.2、
chbxw·2018-07-11 08:34

Hadoop vs Storm vs Samza vs Spark vs Flink

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提
x_no_one·2018-07-03 10:33

高并发面试必问：分布式消息系统Kafka简介

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
·2018-07-02 21:00

用Scratch实现足球AI，撞进机器人世界杯

大数据系统助球场严防足球流氓2016年欧洲杯期间，俄足球流氓“一战成名”，也使得球场
jiadabin·2018-06-30 14:12

Hive常用参数配置优化详细记录

保持平衡性是很有必要的，对于Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕,可怕的是数据倾斜，每个节点处理
遐想者csdn·2018-06-27 17:15

Hbase知识点总结（一）

Hbase在常见的大数据系统架构中也是必不可少的一环，作为分布式数据库，hbase中的数据不会被一台单机服务器管理，而是会被划分成若干个region范围，每个region会交给一台regionserver
且听_风吟·2018-06-25 00:36

八一八，我的2018年上半年——成长和聚焦

他们带给我目标管理系统和语音写作的个人大数据系统，以及相关的社群资源。一、三个关键目标2018年年初，我给自己定了三个小目标。目标一：找到另一半（最最重要）。目标二：在健康的情况下变得更美。
朱笋笋·2018-06-17 23:18

互联网系统架构方案

2、大流量对系统的压力的解决方案3、大数据检索难度解决方案4、我们是否需要大数据系统，大数据系统能给我们做什么。接下来的问题我会通过我在工作中实际的情况做一个回答。
yxk790302·2018-06-08 11:00

互联网系统架构方案

2、大流量对系统的压力的解决方案3、大数据检索难度解决方案4、我们是否需要大数据系统，大数据系统能给我们做什么。接下来的问题我会通过我在工作中实际的情况做一个回答。
yxk790302·2018-06-08 11:00

（图文详细）云计算与大数据实训作业答案（之篇二大数据系统及应用-HDFS实训 ）

大数据系统及应用-HDFS实训第1关：HDFSJavaAPI编程——文件读写第2关：HDFSJavaAPI编程——文件上传第3关：HDFSJavaAPI编程——文件下载第4关：HDFSJavaAPI编程
Sunny王维·2018-06-04 15:45

关于分布式计算的一些概念

分布式作为分布式系统里最重要的一个能力和目标，也是大数据系统的关技术之一。经过多年的发展与演进，目前业界已经存在
Snailclimb·2018-06-03 00:00

人工智能的发展历程

就金融行业而言，《规划》指出，要在智能金融方面，建立金融大数据系统，提升金融多媒体数据处理与理解能力；创新智能金融产品和服务，发展金融新
周雄伟·2018-06-02 13:08

saltsatck学习笔记之pillar小技巧

Grains和Pillar作为saltstack两大数据系统，如何灵活使用是重点也是难点。初学上手很头疼。这里写一个小技巧。很多时候写了很多，参考了N多文档，最后一跑，失败。。
这年头起名真难3232·2018-05-28 17:17

day07.HDFS学习【大数据教程】

HDFS学习【大数据教程】******HDFS基本概念篇******1.HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用
Java帮帮·2018-05-16 18:50

Hadoop、Spark等5种大数据框架对比，你的项目该用哪种？

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息
Alukar·2018-04-28 19:58

数据湖是一种方法 数据湖的四个最佳实践

数据湖听起来很简单：把数据或信息汇集到一个结合处理速度和存储空间的大数据系统――Hadoop集群或内存解决方案，那样业务部门就能访问数据，获取新的洞察力。
赵一一·2018-04-17 17:23

大数据科学新发展展望：不得不知的四大趋势

从2016年开始，大数据系统逐步开始在企业中进入部署阶段，大数据的炒作逐渐散去，随之而来的是应用的蓬勃发展期，一些代表成熟技术的标志性IPO在国内外资本市场也不断出现。
个推·2018-04-13 00:00

大数据科学新发展展望：不得不知的四大趋势

从2016年开始，大数据系统逐步开始在企业中进入部署阶段，大数据的炒作逐渐散去，随之而来的是应用的蓬勃发展期，一些代表成熟技术的标志性IPO在国内外资本市场也不断出现。
个推·2018-04-03 11:13

大数据科学新发展展望：不得不知的四大趋势

从2016年开始，大数据系统逐步开始在企业中进入部署阶段，大数据的炒作逐渐散去，随之而来的是应用的蓬勃发展期，一些代表成熟技术的标志性IPO在国内外资本市场也不断出现。
ERIIISED·2018-04-03 11:43

大数据文件格式与压缩算法小结

小结一下Hadoop/Hive的文件格式和压缩算法，目录如下，0.Overview1.文件格式2.压缩算法3.Others4.ReferenceOverview文件格式和压缩算法在大数据系统里面是一个高关注的优化点
chenfh5·2018-03-30 18:36
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他