MongoBD大数据处理

MaxCompute复杂数据类型

原文：http://click.aliyun.com/m/40034/MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU
zhoushuntian·2020-08-24 20:56

MapReduce计算模型--简单层次Top-Down细化

HadoopMapReduce计算模型分析（一）先简单说一下MapReduce计算模型：首先这是一个分布式对大数据处理的计算模型。在多个节点上并行处理大数据。
RichyTang·2020-08-24 19:29

太多选择——如何挑选合适的大数据或 Hadoop 平台? CDH与原生Hadoop区别？

你有多种选择来安装Hadoop的一个版本并实现大数据处理。本文讨论了
洪文聊架构·2020-08-24 18:22

SpreadJS 纯前端表格控件应用案例：雷鸟365在线文档系统

二、项目背景随着网络信息化的发展，各类业务系统、表单系统、报表系统、分析系统和数据库等相继诞生，大数据处理和高性能要求是这类系统的普遍特征。
葡萄城控件·2020-08-24 17:10

视频教程-20年Nodejs教程零基础入门到项目实战前端视频教程-Node.js

教程零基础入门到项目实战前端视频教程7年的开发架构经验，曾就职于国内一线互联网公司，开发工程师，现在是某创业公司技术负责人，擅长语言有node/java/python，专注于服务端研发，人工智能相关领域,熟悉分布式高可用系统的架构，大数据处理
weixin_34542764·2020-08-24 17:36

健康医疗周报 20180108

“腾讯觅影”由腾讯互联网+合作事业部牵头，聚合腾讯公司包括AILab、优图实验室、架构平台部等多个顶尖人工智能团队，把图像识别、大数据处理、深度学习等领先的技术与医学跨界融合研发而成。
展伟Zack·2020-08-24 14:13

关于数据库MongoBD和MySQL

声明：纯属个人娱乐型玩一玩的，并非十分专业，如有错误，欢迎纠错！LearningforMongoDB本来今年上半年是应该去实习的，因为疫情，把我们老老实实地困在家中，闲的实在无聊便开始各种作妖（当代大学生在家在线发疯的真实写照），SO，我就开始鼓捣网站，上年年底买来了一本全栈开发书，然后浏览学习了一下，里面大多数都是感觉很新鲜的玩意，毕竟之前还是做过关于小程序云开发的项目，所以对MENA(Mong
一颗小糖豆·2020-08-24 11:28

Java集合编程

Java中提供的众多的数据结构具体就表现为Java的集合，例如List、Set、Collection、Map、Iterator、Queue等都是Java中至关重要的内容；3.大数据中到处可见集合的使用，因为大数据处理的是数据集
StriveFarrell·2020-08-24 10:59

2019年最新Hadoop大数据开发学习路线图

大数据框架Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业
金光闪闪耶·2020-08-24 08:36

Mac各种数据库安装和启动【笔记】

MongoBD一个基于分布式文件存储的数据库。
weixin_34234829·2020-08-24 03:10

基于容器的日志管理

1.日志系统简介日志收集是大数据的基础，为了许多公司的业务平台每天都会产生大量的日志数据，为了实现数据分析，需要将生产服务器上的所有日志收集后进行大数据处理分析，高可用性，高可靠性和可扩展性是日志收
YiQinGuo·2020-08-24 02:02

开源大数据处理引擎汇总（一）

查询引擎一、Phoenix贡献者：：Salesforce简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤
imarklei·2020-08-24 00:04

Python - 分治算法

MapReduce（分治算法的应用）是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。它在倒排索引、PageRank计算、网页分析等搜索引擎相关的技术中都有大量的应用。
光烟·2020-08-23 23:33

Spark(一): 基本架构及原理

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm
风语飘摇·2020-08-23 19:29

Python之于大数据的重要性

正文就像只要会JavaScript就可以写出完整的Web应用，只要会Python，就可以实现一个完整的大数据处理平台。
Detroid·2020-08-23 05:02

poi加载xlsx大数据处理！

packageorg.hzjun.hlt.excel;importjava.io.File;importjava.io.IOException;importjava.io.InputStream;importjava.util.ArrayList;importjava.util.List;importjavax.xml.parsers.ParserConfigurationException;im
乐天胡·2020-08-23 05:18

数据算法 Hadoop/Spark大数据处理---第八章

本章为求共同好友主要的方法是先获得好友的列表，一般为:(100，100200300400)之类进行转换变成[(100,200),(100，100200300400)],[(100,300),(100，100200300400)]之类。之后对key进行排序最后寻找合并之后的key中的value中相同的即可本章一共有三种实现方式基于传统mapreduce实现基于传统spark实现基于传统的Scala实
冷梦颜情·2020-08-23 04:05

Spark特点

建立在统一抽象的RDD（分布式内存抽象）之上，使得它可以以基本一致的方式应对不同的大数据处理场景。2、高效提供Cache机制来支持需要反复迭代的计算或者多次数据共享，减少数据读取的IO开销。
飞飞好奇·2020-08-23 04:03

三高时代利器：Netty+Redis+ZooKeeper开源字节跳动内推600页笔记

例如火爆的Kafka、RocketMQ等消息中间件、火热的ElasticSearch开源搜索引擎、大数据处理Hadoop的RPC框架Avro、主流的分布式通信框架Dubbo，它们都使用了Netty。
马小梦·2020-08-23 03:02

Elasticsearch(二) Elasticsearch简介及核心概念倒排索引

作为一个分布式搜索服务1.它可以进行快速进行全文搜索2.可扩展性:支持PB级别数据的存储,以及成百上千的集群3.大数据处理,数十亿行日志的聚合处理4.通过相关度(_scor
晴天小哥哥·2020-08-23 03:08

解析SparkStreaming和Kafka集成的两种方式

在企业实时处理架构中，通常将sparkstreaming和kafka集成作为整个大数据处理架构的核心环节之一。
菲橙·2020-08-23 03:32

Flink Dataset Api（四）迭代操作

大数据处理框架很多，比如spark，mr。实际上这些实现迭代计算都是很困难的。Flink神奇之处就是它直接支持迭代计算。
嘻哈吼嘿呵·2020-08-23 02:48

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
无尽虚空·2020-08-23 01:27

45倍加速Spark的处理效率？！

Spark代表着下一代大数据处理技术，并且，借着开源算法和计算节点集群分布式处理，Spark和Hadoop在执行的方式和速度已经远远的超过传统单节点的技术架构。
cpongo4'"\?;@·2020-08-23 01:46

mongo文件服务器简单实现

2.文件服务器组件mongodb：采用mongobd进行文档存储，mongodb支持多种数据格式，将文档转化为二进制文件保存springboot：快速构建独立运行java项目swagger-ui：快速生成接口文档
cc_xp·2020-08-23 01:59

四种主要的垃圾收集器

并行垃圾回收器（Patallel）多个垃圾收集线程并发工作，用户状态为暂停状态，适用于科学计算、大数据处理首台处理等弱交互场景并发垃圾回收器（CMS）用户线程和垃圾收集线程同时执行（不一定是并行，可能交替执行
@self-discipline·2020-08-23 01:39

python的大数据处理应用与实现

最近看到一篇关于海量数据处理的python实现，具体参（http://blog.csdn.net/quicktest/article/details/7453189#comments）。文章中主要出现的问题是对于海量数据的处理分治这块实现思想不对，改进后采用了直接对文件进行处理会导致内存溢出，在此我将运用hash对原文件进行分割再进行处理（对于海量数据的处理大家可考：http://blog.csd
池塘的蜗牛·2020-08-23 00:46

Spark SQL大数据处理并写入Elasticsearch

SparkSQL大数据处理并写入ElasticsearchSparkSQL(Spark用于处理结构化数据的模块)通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load
Harvard_Fly·2020-08-22 23:55

从芯片到系统：FPGA加速卡的发展历程与展望

除了像微软、亚马逊这样的大型云服务提供商之外，FPGA也逐渐开始进入其他类型和规模的数据中心，并在大数据处理、AI、网络功能加速等领域扮演者重要的角色。(图片来自英特尔)在这些基于大数据浪潮的
喜欢打酱油的老鸟·2020-08-22 20:08

一分钟解读大数据开发工程师都需要学什么大数据课程?

一方面Java是目前使用最为广泛的编程语言，它具有的众多特性，特别适合作为大数据应用的开发语言;另一方面Hadoop以及其他大数据处理技术很多都是用Java开发
金罗老师·2020-08-22 20:36

Flink介绍、特点及和与其他大数据框架对比

目前比较流行的大数据处理引擎ApacheSpark，基本上已经取代了MapReduce成为当前大数据处理的标准。但对实时数据处理
zhangxm_qz·2020-08-22 20:56

Spark 3.0发布啦，改进SQL，弃Python 2，更好的兼容ANSI SQL，性能大幅提升

Spark是一个开源的大数据处理、数据科学、机器学习和数据分析工作负载的统一引擎，自2010年首次发布以来，已经成长为最活跃的开源项目之一；支持Java、Scala、Python、R等语言，并为这些语言提供了相关的
老夫编程说·2020-08-22 15:56

Java8 Stream API 详细使用指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数
码农小胖哥·2020-08-22 14:27

Hadoop学习资源集合

Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储。
weixin_34092455·2020-08-22 14:08

第九弹 - 脚本模式与参数视图

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
阿里云云栖号·2020-08-22 14:27

Spark（Java）统计共同好友

《数据算法HadoopSpark大数据处理技巧》概述数据如下，{personId,好友1,好友2,好友,3……}100,200300400500600200,100300400300,100200400500400,100200300500,100300600,100
千里草竹·2020-08-22 14:29

力扣组队刷题打卡第一次

分治引文MapReduce（分治算法的应用）是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
阿水ashui·2020-08-22 13:36

大数据处理应遵循的原则

信息革命将人类带入一个革命性的“大数据时代”，人们通过电脑网络，利用数据分析、数据集成、数据设计、数据模型、数据决策和数据虚拟化等手段，针对具体的认知对象，对反映其数量、性质、结构、功能、价值、前景等方面的数据，进行全面的收集、整理、分析、综观和萃取，然后作为决策和实践的根据。由此，使人类的认识变得更精确系统、更全面广泛、更快速有效。然而面对各种数据源收集来的海量数据，究竟如何对其进行归类、计算、
cheyan5318·2020-08-22 12:15

视频教程-19年全新JDK8~JDK13全套新特性视频教程java教程lambda函数式编程-Java

函数式编程7年的开发架构经验，曾就职于国内一线互联网公司，开发工程师，现在是某创业公司技术负责人，擅长语言有node/java/python，专注于服务端研发，人工智能相关领域,熟悉分布式高可用系统的架构，大数据处理
weixin_28726511·2020-08-22 03:45

初学Scala,单词计数小案例

Spark分布式大数据处理引擎"前哨兵"Scala,很有打Linux命令行的感觉,对运维来说很舒服.测试数据很简单,就一句英文(InthefaceoftheCommittee'sthreatenedcontemptvote
普天&同庆·2020-08-22 02:47

LeetCode 编程练习（一）：分治算法

LeetCode编程练习（一）：分治算法引言MapReduce（分治算法的应用）是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
jtwmzb·2020-08-22 01:49

Leetcode_分治

Google大数据处理的三驾马车：GFS，Bigtable和MapReduceMapReduce主要思想：将原问题递归地分成若干个子问题，直到子问题满足边界条件，停止递归。
BigCabbageFy·2020-08-22 00:17

Leetcode——分治

分治引文MapReduce（分治算法的应用）是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
甜菇凉·2020-08-22 00:41

LeetCode 分类练习（一）：分治算法

分治算法的实现六、分治的应用七、分治的例子八、分治的实战案例1：169.多数元素案例2：53.最大子序和案例3：50.Pow(x,n)【参考资料】引言  MapReduce（分治算法的应用）是Google大数据处理的三驾马车之一
南有芙蕖·2020-08-22 00:30

个人收集的java精品网站

java进阶网http://www.javady.comiteye牛人dyllove98的个人网站,博客地址(http://jlins.iteye.com/)专注于介绍java高性能|高并发|大数据处理私塾在线
mixer_a·2020-08-21 20:38

人工智能知识体系梳理

本文将从以下几个角度阐述AI的知识体系：基础算法&模型，NLP，机器学习（深度学习），数据挖掘（大数据处理），开发语言选择，主流第三方库（框架）。
宗轩浚兮·2020-08-21 19:04

超详细的Hadoop3.1.2架构单机、伪分布式、完全分布式安装和配置

Hadoop是大数据处理主流框架，如果要学习大数据处理与存储，hadoop是必须掌握的一种框架技术。动手安装是最基础的实践，下面介绍一下单机、伪分布式和完全分布式安装与配置、测试过程，供有需要的参考。
caojianhua2018·2020-08-21 13:01

Hadoop学习笔记：Apache Hadoop生态系统

ApacheHadoopHadoop是一个大数据处理框架，它可用于从单台到数以千计的服务器集群的
gobitan·2020-08-21 12:51

从大数据征信看银行风控创新

在大数据时代，银行所面临的竞争不仅仅来自于同行业内部，外部的挑战也日益严峻，互联网、电子商务等新兴企业在产品创新能力、市场敏感度和大数据处理经验等方面都拥有明显的优势。
weixin_33970449·2020-08-21 11:23

R语言数据分析利器data.table包 —— 数据框结构处理精讲

因此，在对大数据处理上，使用data.table无疑具有极
weixin_33709364·2020-08-21 11:05
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他