MongoBD大数据处理

spark的四种模式，spark比MapReduce快的原因

Spark是美国加州大学伯克利分校的AMP实验室（主要创始人lester和Matei）开发的通用的大数据处理框架。
道法—自然·2020-07-12 16:12

Milvus 在流式数据场景下的性能表现-基于 Kafka 的实现

大数据处理可分为批式大数据（又称为“历史大数据”）处理和流式大数据（又称为“实时大数据”）处理两类。在大多数情况下，流数据在处理持续生成的动
ZILLIZ RDS·2020-07-12 14:14

【Flink】基本概念

一.ApacheFlink的定义、架构及原理ApacheFlink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算
__syr__·2020-07-12 10:22

【好书试读】大数据处理之道

开始试读：https://yqfile.alicdn.com/e62f864d518c11f5d19f53d0719de69c.pdf天猫购买链接：大数据处理之道近年来，“大数据”已然成为IT界如火如荼的词
weixin_34319817·2020-07-12 09:51

Greenplum：你不可不知的实施与维护最佳实践

近两年，国内的大数据市场逐渐成熟，有真实的大数据处理需求的企业数量呈现爆炸性的增长，从传统的数据库产品往MPP数据库转型的增长势头十分迅猛。
weixin_33759269·2020-07-12 07:29

视频教程-38集19年Shiro视频教程Springboot教程整合Shiro 权限教程微服务教程-Java

权限教程微服务教程7年的开发架构经验，曾就职于国内一线互联网公司，开发工程师，现在是某创业公司技术负责人，擅长语言有node/java/python，专注于服务端研发，人工智能相关领域,熟悉分布式高可用系统的架构，大数据处理
weixin_33305940·2020-07-12 07:31

hadoop组件及其作用

在HADOOP（hdfs、MAPREDUCE、yarn）大数据处理技术框架，擅长离线数据分析.Zookeeper分布式协调服务基础组件，Hbase分布式海量数据库，离线分析和在线业务处理。
weixin_30384217·2020-07-12 05:55

如何用python遍历文件夹下的所有excel文件

大数据处理经常要用到一堆表格，然后需要把数据导入一个list中进行各种算法分析，简单讲一下自己的做法：1.如何读取excel文件网上的版本很多，在xlrd模块基础上，找到一些源码：importxdrlib
法克大米·2020-07-12 02:37

大数据处理之道（实验方法）

一：交叉验证（crossvalidation）（附实验的三种方法）方法简介（1）定义：交叉验证(Cross-validation)主要用于建模应用中，例如PCR（PrincipalComponentRegression）、PLS（Partialleastsquaresregression）回归建模中。在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本
瞭望天空·2020-07-12 01:28

大数据处理之道（实验方法篇）

（1）做大数据处理，清洗数据结束后，就是现象分析，再建立Model模型，在验证自己模型的有效性（2）大数据试验验证模型有效性的指标：Accuracy（正确率）；Precision（查准率或准确率）；Recall
瞭望天空·2020-07-12 01:28

Spark 一文读懂

前言ApacheSpark是当今最流行的开源大数据处理框架。
小晓酱手记·2020-07-11 23:19

【全栈工程师】前端深度技术 + 后台大数据处理大分析

一、前端技术难点开发：1JPlayer播放器：基于HTML5/Flash的音频、视频播放器。(jPlayer官方网站：jPlayer)^基于JQ开发的jPlayer播放器，深度定制。自定义制作皮肤，达到完美播放器效果，并且支持顺序播放，随机播放，上一曲、下一曲、暂停播放、音量调节功能^支持进度缓冲播放，音乐视频多列表功能^另外jPlayer教程在我博客内，需要的小伙伴可以作为技术帖参考参考：如何使
志远有18CM·2020-07-11 16:51

C语言大数据处理

Contents1.Description2.Input3.Output4.SampleInput5.SampleOutput6.Source7.Code8.note8.1.大数处理Description12345TherearemanystudentsinPHTSchool.Oneday,theheadmasterwhosenameisPigHeaderwantedallstudentsstan
qq_32499387·2020-07-11 16:45

邀您参与 | 阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务？

典型场景包括深度学习任务，高性能计算作业，基因计算工作流，甚至是传统的大数据处理任务。围绕Kubernetes容器平台，统一管理各种异构算力资源，高效
阿里技术·2020-07-11 13:09

邀您参与 | 阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务？

典型场景包括深度学习任务，高性能计算作业，基因计算工作流，甚至是传统的大数据处理任务。
阿里巴巴云原生·2020-07-11 13:23

大数据处理---C++

一个大文件，肯定是内存无法全部读取的，比如1TB，里边很多字段，假设是这样的：111这样一行一个数字，简单点，不统计每个数字的频率了，仅仅统计有多少个1，如何做呢？FILE*p=fopen("test.dat","r");__int64len=0;chara[2]={0};for(inti=0;;i++){fread(a,2,1,p);if(a[0]!='1')break;len=i*1024;}
duhaomin·2020-07-11 05:32

大数据处理流程

大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。
dingqiu6346·2020-07-11 05:30

【C++】—— 大数据处理

前面我们讲过哈希的两个应用哈希应用之位图哈希应用之布隆过滤器今天我们就用这两个应用来解决一些有关大数据处理的问题大数据处理位图的应用1、给定100亿个整数，设计算法找到只出现一次的整数？
CXYhh121·2020-07-11 03:18

OpenCL与异构并行计算

由于人工智能、深度学习和大数据处理随着移动互联的兴起，特别是对于图片、视频、语音等非结构化数据的挖掘、识别等以智能算法为核心的应用的兴起，“异构平台”成为各大互联网厂商追逐数据挖掘平台先进性的标志之一。
changan2001·2020-07-11 03:24

Spark 和 Hadoop MapReduce 对比

小编说：一提到大数据处理，相信很多人第一时间想到的是HadoopMapReduce。没错，HadoopMapReduce为大数据处理技术奠定了基础。
博文视点·2020-07-11 03:18

大数据处理过程的通俗理解

大数据处理过程的通俗理解转载声明：本文系转载自以下文章：原始数据、数据清洗、数据集市、数据处理、数据可视化的通俗理解作者：多智时代转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除
迷路剑客·2020-07-11 02:10

行存储 VS 列存储

在已知的几种大数据处理软件中，Hadoop的HBase采用列存储，MongoDB是文档型的行存储，Lexst是二进制型
Xingxinxinxin·2020-07-11 00:09

云计算学习笔记

亚马逊的平台架构：阿里云平台的架构：google云平台云计算的核心技术：云计算生态：云计算的概念:1.用户角度：由第三方通过互联网提供计算服务2.云计算提供商角度：大规模：计算资源为数据中心级别；可支持数据大数据处理
MaZhenJiang·2020-07-10 22:28

SpringBoot整合MongoBD实现文件的上传下载

文件的上传下载在web项目上经常用到，之前都是用别人写好的代码。工作之余自己也尝试写了上传下载的接口，以后项目中用到的话可以直接拿来用。本实例是在mysql上记录上传的文件信息，所以需要一个实体类。废话不多说，直接上菜：1.开发环境:IDEA+JDK8+SpringBoot2.2.2+MongoDB2.首先在pom文件引入MongoDB的依赖包：org.springframework.bootsp
LQS会飞的鱼·2020-07-10 22:56

HTTPFS: 基于HTTP操作hadoop hdfs文件系统

HTTPFS:基于HTTP操作hadoophdfs文件系统-大数据处理技术研究、使用https://my.oschina.net/cloudcoder/blog/277426摘要:Hadoop提供了一个
葡萄喃喃呓语·2020-07-10 21:24

今日头条

职位要求：1、有扎实的编程能力，有优秀的设计和代码品位，对解决具有挑战性问题充满激情；2、对大数据处理有丰富的经验和广阔的视野；3、熟悉常用的开源组件：Hadoop/Hive/Spark/Storm，并了
TonyLan·2020-07-10 21:16

服务器数据挂载与解挂

前言：在做大数据处理的时候，往往需要对数据做传输，比如你在本地做代码测试，而数据在服务器上，此时如果为了测试本次的数据就需要把大量的数据做传输，这个时候最方便的方法就是把服务器的数据映射到本地进行使用。
放下扳手&拿起键盘·2020-07-10 19:47

我的第一本著作：Spark技术内幕上市！

23776595.html亚马逊：http://www.amazon.cn/SparkInternals前言和目录附上，以便有需要了解的同学：诞生于2005年的Hadoop解决了大数据的存储和计算问题，已经成为大数据处理的事实标准
weixin_34366546·2020-07-10 19:08

大数据处理之道书评

《大数据处理之道》覆盖了最近比较热门的大数据处理技术，其中包括Hadoop，Spark等。本书不仅仅只停留在大数据技术技术的表面。
weixin_34266504·2020-07-10 19:57

node+express+mongodb,登陆代码备份（自用）

index.jsvarexpress=require('express');varrouter=express.Router();varmongodb=require("mongodb").MongoClient;//数据库，用mongobd
黎明初时·2020-07-10 18:53

大数据处理之道 （Gibbs Sampling）

一：简介以及学习的途径（1）吉布斯采样（GibbsSampling)及相关算法（学习向Gibbssampling,EM,MCMC算法等的好地方）1）推荐大家读Bishop的PatternRecognitionandMachineLearning，讲的很清楚，偏理论一些；2）读artificialIntelligence，2、3版，都有；3）如果英语好的话，最方便的就是查wikipedia，这个说的
瞭望天空·2020-07-10 18:13

行式存储和列式存储

在已知的几种大数据处理软件中，Hadoop的HBase采用列存储，MongoDB是文档型的行存储，Lex
李宏健ss·2020-07-10 18:10

一文读懂 Spark 和 Spark Streaming

前言ApacheSpark是当今最流行的开源大数据处理框架。
360linker·2020-07-10 16:49

（转）大数据处理之道（十分钟学会Python）

article/details/42025391，如侵删（0）目录快速学Python和易犯错误（文本处理）Python文本处理和Java/C比对十分钟学会Python的基本类型快速学会Python（实战）大数据处理之道
胡乱出手·2020-07-10 15:31

MapReduce转化为Spark

原文发表于http://www.ibm.com/developerworks/cn/opensource/os-cn-mapreduce-spark/indexMapReduceVSSpark目前的大数据处理可以分为以下三个类型
zmycoco2·2020-07-10 15:46

Apache flink的安装应用-大数据处理1-Flink自己的jar包example运行

1、下载并布置环境jdk环境需要的1.8的。我的环境是D:\Java1.8\jdk1.8.0_74，电脑win7旗舰版安装下载包https://flink.apache.org/downloads.html#apache-flink-180下载得到flink-1.6.2-bin-hadoop28-scala_2.11.tgz文件。这个文件在windows下也可以直接解压的，得到文件夹flink-1
zhyl4669·2020-07-10 15:35

给定a和n，计算a+aa+aaa+a...a(n个a)的和（大数据处理）

题目描述：给定a和n，计算a+aa+aaa+a...a(n个a)的和。输入：测试数据有多组，输入a，n（1#includeusingnamespacestd;intmain(){inta,n;intsum=0;vectorv;vectortemp;vector::iteratorit;inthight=0;//存储进位while(cin>>a>>n){v.clear();temp.clear();
xpp02·2020-07-10 13:59

列储存与行储存

在已知的几种大数据处理
wxliu1989·2020-07-10 12:43

大数据实时流处理场景化解决方案---大数据实时流处理概述

实时数据处理意义•通过大数据处理获取数据的价值，但是数据的价值是恒定不变的吗？显然不是，一些数据在业务发生后不久就有了很高的价值，而且这种价值会随着时间的推移而迅速减
TKE_kolento.·2020-07-10 11:56

Flink-双十一神话的基石

支撑起这个双十一狂欢神话是阿里强悍的数据云上系统，这其中阿里的数据计算云引擎Blink功不可没，而Blink正是由Apache的顶级项目Flink经过"阿里化“而来；四代计算引擎：MapReduce：批处理引擎，为其他计算引擎提供量大数据处理的核心思想
SusurHe·2020-07-10 11:51

EleasticSearch

三者相互配合，取长补短，共同完成分布式大数据处理工作。注意JDk最低1.8官网下载最新Elea
李嘉伟66666·2020-07-10 11:19

Spark基础入门

Spark已成为大数据处理市场的领导者。今天，Spark被亚马逊，eBay和雅虎等主要厂商采用。许多组织在具有数千个节点的集群上运行Spark。MR的这种方式对数据领域两种常见的操作不是很高效。
磨刀大神·2020-07-10 10:58

【转】史上最全的“大数据”学习资源整理

当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法
weixin_34085658·2020-07-10 08:30

阿里推出国内首个锂电池服务器！

阿里工程师一直从事着底层技术的研发，来提升数据处理的能力及信息的可靠性，从而使得承载着如此大数据处理能力的数据中心以及服务器持续优化达到性能最优。
weixin_34007906·2020-07-10 08:21

漫谈分布式计算框架

2019独角兽企业重金招聘Python工程师标准>>>如果问mapreduce和spark什么关系，或者说有什么共同属性，你可能会回答他们都是大数据处理引擎。
weixin_33916256·2020-07-10 07:01

视频教程-深度学习-Pytorch项目实战－垃圾分类-深度学习

从事多年JAVAEE、大数据处理方向的研发，设计和管理工作，擅长分布式开发和实时计算。对Hadoop、Storm、Spark等大数据领域技术框架有一定的实践经验。
weixin_33893455·2020-07-10 07:11

浅谈大数据技术

那么什么是大数据，大数据是如何定义的，大数据处理技术有哪些，大数据能给我们带来什么益处？
weixin_33804990·2020-07-10 07:43

视频教程-SpringBoot2.X版本优惠券实战整合Dubbo+Rocketmq+Redis-其他

Redis7年的开发架构经验，曾就职于国内一线互联网公司，开发工程师，现在是某创业公司技术负责人，擅长语言有node/java/python，专注于服务端研发，人工智能相关领域,熟悉分布式高可用系统的架构，大数据处理
st4r5s5·2020-07-10 07:47

Spark的安装和部署

文章目录1.概述2.安装3.配置系统变量4.进入sparkshell1.概述spark官网：http://spark.apache.orgspark是一个围绕速度，易用性和复杂分析架构的大数据处理框架；
半坡人·2020-07-10 03:55

Java并发编程原理与实战

数据库服务，Web服务，大数据处理框架，分布式服务等等，并发编程往往扮演着极其重要的角色。天下武功，唯快不破。要想提高性
趁你未老·2020-07-10 00:21
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他