大数据计算

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
·2023-06-19 17:38

bigdata.com《大数据计算框架》样题

容量单位从小到大的顺序依次为：TB、PB、EB、ZB。.用于设置环境变量的文件是.bash_profile.将HDFS文件下载到本地的命令是hadoopfs-get。.不需要Java环境的支持是MySQL.通配符是用于模糊匹配的特殊字符，可以在关键字查询中使用。在MySQL中，通配符主要有两种：%和_。其中，%代表匹配任意多个字符（包括0个字符），_则代表匹配单个字符。.HBase、Redis和M
亖嘁·2023-06-18 17:13

阿里云EMR自定义日志投递与使用实践分享

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎
Apache Spark中国社区·2023-06-18 05:42

分布式安装配置spark-3.2.3

Spark是一个基于内存的大数据计算框架，可以与Hadoop集成，提供更快速的数据处理能力。本文将介绍如何在三个Ubuntu系统上搭建一个Spark集群。
runepic·2023-06-17 08:58

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
阿里云大数据AI技术·2023-06-15 19:41

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
·2023-06-15 15:50

大数据概述

大数据概述大数据时代第三次信息化浪潮信息科技为大数据时代提供技术支撑数据产生方式的变革促成大数据时代的来临大数据的发展历程大数据概念数据量大数据类型繁多处理速度快价值密度低大数据的影响大数据的应用大数据关键技术大数据的采集导入/预处理统计与分析大数据挖掘两大核心技术大数据计算模式大数据产业大数据与云计算
so.far_away·2023-06-15 14:34

MaxCompute 发布“物化视图智能推荐”，CU算力节省14%

阿里云MaxCompute在飞天发布时刻推出了“物化视图智能推荐”功能，这一功能的发布将节省CU算力14%，进一步提升了MaxCompute在大数据计算能力方面的领先地位。
·2023-06-13 10:08

Flink 的应用场景和架构模型

一石激起千层浪，Flink开源的消息立刻刷爆朋友圈，整个大数据计算领域一直以来由Spark独领风骚，瞬间成为两强争霸的时代。
鸭梨山大哎·2023-06-12 12:58

腾讯云轻量应用服务器和云服务器区别详细说明

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
gla2018·2023-06-11 18:33

百度离线资源治理

作者|百度MEG离线优化团队导读近些年移动互联网的高速发展驱动了数据爆发式的增长，各大公司之间都在通过竞争获得更大的增长空间，大数据计算的效果直接影响到公司的发展，而这背后其实依赖庞大的算力及数据作为支撑
百度Geek说·2023-06-09 17:59

腾讯云轻量应用服务器是什么？和CVM云服务器有什么区别？

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
运维FUN·2023-06-08 14:01

什么是腾讯云轻量应用服务器？轻量与云服务器对比区别有哪些？

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。腾讯
运维FUN·2023-06-08 14:30

百度离线资源治理

作者|百度MEG离线优化团队导读近些年移动互联网的高速发展驱动了数据爆发式的增长，各大公司之间都在通过竞争获得更大的增长空间，大数据计算的效果直接影响到公司的发展，而这背后其实依赖庞大的算力及数据作为支撑
·2023-06-08 12:32

电力能耗监测系统是如何运作的

电力能耗监测系统数据的采集主要通过多功能仪表、通讯管理机、通讯协议实现能耗数据的采集，能耗数据上传后经大数据计算实现能耗数据的展示，满足用户对能耗监测的需求。
acrelzxz·2023-06-07 18:42

全网最全-探花交友项目-面试总结-简历优化

有好邻”社区社交服务APP、移动短视频社交平台O2O同城社交APP、“曲园社交读书APP、高校留学生社交APP项目简介：本项目是一个在线交友平台，在该平台中可以搜索附近的人，查看好友动态，平台还会通过大数据计算进行智能推荐
Java-You·2023-06-07 07:11

基于 Flink ML 搭建的智能运维算法服务及应用

阿里云大数据平台的智能运维2.智能运维算法服务应用场景3.传统算法工程链路的局限性4.使用FlinkML搭建智能运维算法服务5.总结和开源计划一、阿里云大数据平台的智能运维阿里云计算平台提供了多个非常核心的大数据计算和人工智能相关的产品
·2023-04-21 10:27

大数据Spark、Mr、Impala使用parquet、textfile、snappy等不同数据存储编码和压缩的效率实测对比以及项目选型

整体说明会进行此次检测的背景介绍，通过官方以及自己的学习了解进行一些基础解释；使用具体的线上数据进行压缩比，查询性能的测试；查询性能的不同场景，大数据计算、用户查询性能等，包含Spark以及Impala
Kevin_鹿·2023-04-19 06:25

Spark Dag Scheduler学习记录

简介spark作为实时及离线合为一体的大数据计算框架，由于其出色的批处理能力及高效的流计算能力，因此在大数据中依旧有着不可撼动的地位。这篇文章来记录一下sparkJob作业是如何被调度起来的。
淡泊宁静_3652·2023-04-18 19:13

今日解读：大数据智慧计算之服务器龙头

因为服务器属于大数据计算的关键部件，因此公司的价值尤为明显，而且浪潮在服务器领域发展迅猛，值得关注。之前文章介绍过了大数据的一些其他文章（可查看以往文章），今天主要介绍大数据服务器龙头。
Herbert今日看科技·2023-04-18 18:24

Spark、Flink、CarbonData技术实践最佳案例解析

当前无论是传统企业还是互联网公司对大数据实时分析和处理的要求越来越高，数据越实时价值越大，面向毫秒~秒级的实时大数据计算场景，Spark和Flink各有所长。
weixin_34198797·2023-04-18 07:44

查礼：大数据与企业计算

承担863“中国云”一期和二期的大数据计算技术和系统平台研发等课题。
astonish_9378·2023-04-17 22:50

Mongdb中常用的数据清洗

原因与解决:mongdb_bigdata_error.png原因大数据计算、数据统计时，每个计算任务（job或task）都会使用独立有限的内存空间，mongodb没有提供复杂的内存
晨曦的娃哈哈·2023-04-17 05:20

云原生AI开发平台架构及核心优势

导读：云原生AI开发平台以云原生容器服务为基础架构调用云资源，配合大数据计算、人工智能计算以及分布式计算框架，服务于企业的数据分析、模型训练以及AI应用部署需求。
互联互通社区·2023-04-16 21:25

大数据开发：消息队列如何处理消息积压

实时消息流处理，是当前大数据计算领域面临的常见场景需求之一，而消息队列对实时消息流的处理，常常会遇到的问题之一，就是消息积压。今天的大数据开发学习分享，我们就来聊聊，消息队列如何处理消息积压？
成都加米谷大数据·2023-04-15 20:40

早期阶段的ToB SaaS如何做「数据收集」

大数据计算一般的流程如下：其中「数据收集」包含了「数据采集」「数据加工」「数据存储」三个步骤，通过这些步骤将用户的行为和环境信息转化为结构化数据，从而沉淀为数据资产，为产品设计、运营分析、业务决策提供重要的数据支持
天行者YANG·2023-04-14 18:04

万字详解 Spark Core 开发调优（建议收藏）

1一、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
浪尖聊大数据-浪尖·2023-04-13 00:59

Scala学习（一）——安装与入门

学习scala编程语言是为了更好地掌握spark这个大数据计算框架，spark源码就是用scala写的。不过scala语言最终也是基于JVM环境的。
大数据阶梯之路·2023-04-12 06:19

腾讯云轻量服务器和云服务器区别对比（超详细全方位）

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
运维FUN·2023-04-11 17:39

PySpark简介及详细安装教程

回忆下Spark的简介：Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？
天ヾ道℡酬勤·2023-04-11 03:38

Hadoop和Spark：兼容才是可靠的解决方案

说起大数据计算框架，Hadoop和Spark这两者之间，一直都是存在着争议的，甚至一度还出现了Spark会替代Hadoop的声音，但是随着这两年的发展，事实告诉大家，Hadoop和Spark这两者之间，
加米谷大数据张老师·2023-04-11 03:01

Flink-流/批/OLAP一体得到Flink引擎

大数据的特点：海量化（Volumes）多样化（Variety）快速化（Velocity）价值化（Value）1.1.2大数据计算框架发展历史(1)史前阶段~2006年传统数据仓库，Oracle，单机，黑箱使用
阿通666·2023-04-08 23:30

Spark简介

Spark是一个大数据计算平台，在这个平台上，有我们大家熟悉的SQL式操作组件SparkSQL;功能强大、性能优
GakkiLove·2023-04-08 10:37

探花交友2022最新版-Java微服务实战-社交项目

探花交友2022是一个陌生人的在线交友平台，在该平台中可以搜索附近的人，查看好友动态，平台还会通过大数据计算进行智能推荐，通过智能推荐可以找到更加匹配的好友，这样才能增进用户对产品的喜爱度。
帅杰IT大神·2023-04-07 18:17

Flink初探

WhatIsFlink一个通俗易懂的概念:ApacheFlink是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理.这是对Flink最简单的认识,也最容易引起疑惑,它和storm和spark
活长擅运动·2023-04-06 19:46

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎
阿里云技术·2023-04-06 04:31

Scala

第一章入门0、为什么学ScalaSpark新一代内存及级大数据计算框架，是大数据的重要内容Spark是适用Scala编写的。
asd623444055·2023-04-05 19:40

大数据技术之scala

前提介绍：·scala入门：基本语法（变量和数据类型、运算符、流程控制）·核心特性：函数式编程、面向对象、集合·其他特色：模式匹配、异常处理、隐式转换、泛型scala入门1、概述Spark—新一代内存级大数据计算框架
独创之上·2023-04-05 19:39

大数据计算框架概述

转自个人服务器：http://bbit.vip/service/main.php?version=1&type=article&id=166
~泊舟~·2023-04-05 13:04

Hadoop/Spark 太重，esProc SPL 很轻

很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。
逛逛GitHub·2023-04-04 21:22

手把手教数据仓库建设dataworks（小白版）

到1去搭建整个数据仓库工作量比较大，且对于性价比不高，故我们采用现成的阿里云提供的数据仓库，阿里云技术框架如下：阿里云产品介绍类比DataHub数据总线Kafka+dataxE-MapReduce开源大数据计算框架上面所说的从
菩提树下的呆子·2023-04-04 18:42

仅 1 年 GitHub Star 数翻倍，Flink 做了什么？

作者：王峰（莫问）ApacheFlink是公认的新一代开源大数据计算引擎，其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前，Flink已成为Apache基金会和GitHub社区最为活跃的
Apache Flink·2023-04-04 17:57

仅1年GitHub Star数翻倍，Flink 做了什么？

阿里妹导读：ApacheFlink是公认的新一代开源大数据计算引擎，其流水线运行系统既可以执行批处理程序也可以执行流处理程序。
阿里技术_·2023-04-04 16:22

Flink-Yarn安装及使用

但我们知道，Flink是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其它资源调度框架集成更靠谱。
  ·2023-04-03 17:14

数据同步工具之DataX理论

二、DataX可支持的数据源DataX目前已具备比较全面的插件体系，主流的RDBMS数据库、NoSQL、大数据计算系统都已接入，目前可支持的数据如下图所示：类型数据源Reader(读)Writer(写)
技匠三石弟弟·2023-04-03 05:53

Flink学习笔记：Flink Runtime

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz1.Flink运行时架构
weixin_30347335·2023-04-03 03:33

Java8新特性：流式计算

batchcomputing)流式计算(streamcomputing)交互计算(interactivecomputing)图计算(graphcomputing)等其中，流式计算和批量计算是两种主要的大数据计算模式
要学就学灰太狼·2023-04-03 01:51

阿里云框架大数据

框架总览：DataHub数据总线类比kafka与各种服务接口MaxCompute大数据计算框架类比Hadoop+hive+调度器DataWorks可视化MaxCompute的开发管理平台RDS关系型数据库类比
zhzsdiligence·2023-03-31 18:00

初识MR 初识YARN 初识ZooKeeper

适合于大数据计算MR的执行过程a.当用户输入计算任务时，MR会将任务分成一个个小的任务块，(一般情况下map所处理的文件都在HDFS本地，原因是为了减少网络间的传送)b.将每个任务块分给不同的map任务
A NIHUAN·2023-03-31 17:01

【探花交友DAY 02】项目搭建和用户登录功能的实现

1.项目介绍探花交友是一个陌生人的在线交友平台，在该平台中可以搜索附近的人，查看好友动态，平台还会通过大数据计算进行智能推荐，通过智能推荐可以找到更加匹配的好友，这样才能增进用户对产品的喜爱度。
lyx7762·2023-03-31 16:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他