大数据计算

Spark 图计算ONEID 进阶版

0、环境信息本文采用阿里云maxcompute的spark环境为基础进行的，搭建本地spark环境参考搭建Windows开发环境_云原生大数据计算服务MaxCompute-阿里云帮助中心版本spark2.4.5
大数据00·2023-08-19 05:09

用于100GB+、TB级大型数据集构建【3】--计算包 cupy简介与测试1

引言：并行计算对于工业大数据计算任务来说是及其重要的。cupy提供了一个很好的计算平台用于矩阵数据在GPU上的处理。本博客对GPU上的cupy并行处理做了简要介绍，后续将进一步对相关内容进行详细探讨。
cnjs1994·2023-08-17 00:26

MaxCompute 发布“物化视图智能推荐”，CU算力节省14%

阿里云MaxCompute在飞天发布时刻推出了“物化视图智能推荐”功能，这一功能的发布将节省CU算力14%，进一步提升了MaxCompute在大数据计算能力方面的领先地位。
·2023-08-16 17:51

Apache Paimon 在同程旅行的实践进展

摘要：本文整理自同程旅行大数据计算组负责人吴祥平，在ApachePaimonMeetup的分享。
·2023-08-15 16:35

终于有一篇讲清楚了什么是Spark

使用简练、优雅的Scala语言编写，借鉴了mapreduce“计算向数据靠拢”的大数据计算优点，同时解决了mapreduce表达能力有限（计算都必须转化成map和reduce两个操作）、磁盘I/O开销大
penguin.AAA·2023-08-14 14:38

Apache Paimon 在同程旅行的实践进展

摘要：本文整理自同程旅行大数据计算组负责人吴祥平，在ApachePaimonMeetup的分享。
Apache Flink·2023-08-13 12:57

边缘计算到区块链，从POW机制到POC机制

从大数据到云计算，从云计算到边缘计算，从边缘计算到区块链，前几篇文章已经给大家粗略的讲解过，边缘计算与区块链相结合，能有相当不错的发挥空间，相辅相成之下会改变整个大数据计算的整体环境。
PoCU共识社区·2023-08-13 07:39

随着时代的发展，健康是现在这个社会普遍关注的对象

共享体检小屋还有一套完善的大数据计算系统可以进行实时推送，会根据体检的情况给用户推荐一些饮食和时间安排上的智能方案，其实体检小屋更像自己私人管家！无时无刻的观察自己的身体状况，这一点我个人
北张轩·2023-08-12 07:24

Hive数据倾斜解决方法总结

数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。
膝盖上拔下的箭·2023-08-11 07:57

腾讯云轻量应用服务器和云服务器有什么区别？

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
aliyunbaike·2023-08-11 03:55

《2023年中国企业数字化转型发展白皮书》发布

导读 本报告主要采用市场调查、行业深度访谈、桌面研究等方法，并使用艾媒咨询旗下各大数据计算系统和相关计算模型。
大数据食铁兽·2023-08-10 10:54

Flink

这里目录标题1.简介1.1.大数据计算引擎1.2、Flink特点1.3、流处理框架对比1.4、事件驱动型1.5、Flink技术栈1.6、Flink编程模型2、Flink搭建3、Flink运行架构3.1、
忄凝^·2023-08-10 05:02

四、Yarn

从此Hadoop也从一个单一的大数据计算引擎，成为一个集存储、计算、资源管理为一体的完整大数据平台，进而发展出自己的生态体系，成为大数据的代名
阿文灬·2023-08-04 19:21

奥威BI系统|秒分析，更适合分析大数据

奥威BI系统采用微服务框架，解决因巨大的数据量而拖慢系统，导致系统卡顿、崩溃的问题，同时奥威BI系统也拥有极优秀的大数据计算、分析、可视化展现能力，能够实现亿级数据秒响应
qq_43696218·2023-08-04 17:40

Parquet文件格式解析

介绍Parquet是目前比较流行的大数据文件列存储格式，主流的大数据计算框架都对其有良好的支持，包括spark,hive,impala等。
david'fantasy·2023-08-04 16:27

Parquet文件格式解析

介绍Parquet是目前比较流行的大数据文件列存储格式，主流的大数据计算框架都对其有良好的支持，包括spark,hive,impala等。
javastart·2023-08-04 16:57

大数据中的流计算

流式计算是大数据计算模式之一，之外还有图计算、交互计算，与之常对应出现的批计算，等等…了解流式计算，首先要明确一下数据流的相关背景。
魏小言·2023-08-01 20:15

《大数据开发》Hive

离线大数据计算。可以将结构化的数据文件映射成为一张数据库表。官方文档流程图HiveSql与Sql相比Hive字段类型1.建表三种方式直接建表法：createtablemovi
Steve_Abelieve·2023-08-01 12:40

大数据计算技术架构解析

大数据计算技术大数据计算体系层次1数据应用系统2数据计算处理系统3数据存储系统3.1功能3.1.1数据清洗、抽取和建模3.1.1.1建模3.1.1.1.1概念模型3.1.1.1.2逻辑模型3.1.1.1.3
风吹海洋浪·2023-07-31 17:40

hive存储格式对比

在大数据计算中，一般的行式存储基本不采用3、Rcfile数据按行分块，每块按照列存储，提高查询效率，不允许load方式加载数据，需要insert4、
难得糊涂_不解释·2023-07-31 15:13

Spark系列之Spark的数据倾斜

title:Spark系列第九章Spark的数据倾斜9.1Spark调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。
落叶飘雪2014·2023-07-31 15:42

不会编程也能做数据分析？奥威BI系统就这么任性

BI系统有强大的大数据计算分析能力，能在短时间内完成海量数据智能可视化分析，满足大数据时代企业精细化数据分析要求。
qq_43696218·2023-07-28 11:40

HDFS详解

2)大部分大数据计算引擎支持与HDFS的交互2.设计原则1）硬件故障：HDFS中的硬件故障应该是常态，并不是意外。因为一个HDFS可能包含大量带服务器，每个节点可能会存在硬件故障。
weixin_39767869·2023-07-27 11:57

Flink任务优化分享

2.改进思路及实施现在的大数据计算任务是用flink执行的，因此优化的入手
丿灬逐风·2023-07-26 06:34

32位计算机与64位计算机的区别

这意味着64位计算机在处理大量数据时具有更高的效率，这对于大数据计算、图形处理和视频编辑等需要大量计算的应用非常有利。可访问的内存空间限制：32位计算机的理论上的内存空间上
昊 昊·2023-07-25 10:31

Hadoop (一) Hadoop学习

用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有HadoopHDFS：分布式文件系统大数据存储HadoopYARN：集群的资源管理和任务调度框架集群资源分配HadoopMapReduce：分布式计算框架大数据计算
C0oOder·2023-07-25 07:52

python安装第三方包（三种方法）

科学计算器：numpy数据分析：pandas大数据计算：pyspark、apache-flink图形可视化：matplotlib、pyecharts人工智能：tensorflow方法一：win+R打开命令运行框输入
风起晨曦·2023-07-24 02:24

Spark性能优化：开发调优篇

Spark性能优化：开发调优篇在大数据计算领域，Spark以及成为了越来越流行、越来越受欢迎的计算平台之一。
我还不够强·2023-07-17 19:58

大数据计算分析技术：批处理、流计算、OLAP引擎

目录一、批处理的基石：MapReduce1.工作流程2.实例分析二、流计算的代表：storm、sparkstreaming和flink
青果HA·2023-07-17 02:37

第五章 多范式的编程语言Scala

第五章多范式的编程语言Scala1.Scala入门1.1Scala概述1.1.1为什么学习ScalaSpark—新一代内存级大数据计算框架，是大数据的重要内容Spark就是使用Scala编写的Spark
i豆·2023-07-16 23:35

上手Scala到开发程序

目前Spark是新一代的内存型大数据计算框架，是目前大数据技术生态圈中非常主流的一门技术。
Levi_·2023-07-16 23:30

【云计算与大数据计算】大数据物理、集成、安全架构及阿里云飞天系统架构讲解（超详细）

一、物理架构物理架构-企业大数据系统的各层次系统最终要部署到主机节点中,这些节点通过网络连接成为一个整体,为企业的大数据应用提供物理支撑，企业大数据系统由多个逻辑层组成，多个逻辑层可以映射到一个物理节点上，也可以映射到多个物理节点上在映射时需要考虑三个方面的问题：一是是否容易识别，二是是否足够集约，三是是否能够同构二、集成架构集成架构-企业大数据系统由多个系统集成而成,每个系统都提供了多种协议和接
showswoller·2023-07-14 16:31

Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

作者：张凯@阿里云、陳韋廷@Intel、周渊@Intel简介ApacheCeleborn(Incubating)是阿里云捐赠给Apache的通用RemoteShuffleService，旨在提升大数据计算引擎的性能
阿里云大数据AI技术·2023-07-14 10:31

Dinky0.7.0源码初探

Flink目前是一个使用广泛的基于流计算的流批一体的大数据计算框架，它关注的是流计算的底层实现、集群运行最优化、高效运行的设计等；Dinky是基于Flink的一个应用平台：目前最核心的功能，就是在
武舞悦·2023-07-14 07:22

金蝶云星空财务分析，有奥威BI SaaS平台底气足

但受制于大数据计算、分析技术的发展，智能财务数据分析的推进比较困难。
qq_43696218·2023-07-13 21:17

Scala系列从入门到精通（一）

1、概述1.1、为什么学习ScalaSpark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark,需要掌握Scala这门语言。
后端技术那点事·2023-06-22 19:52

再见以前说再见 大数据计算框架复习

web方式查看hdfs目录结构的地址是：http://主机名:50070.linux下存放公钥信息的是id_rsa.pub文件，放在.ssh目录下.下列可以实现定时任务调度的包括：Crontab、Oozie、Azkaban。Hive不可以实现定时任务调度。.hadoop配置文件（如：core-site.xml、hdfs-site.xml）在${HADOOP_HOME}/etc/hadoop目录下.
亖嘁·2023-06-22 12:02

Apache Flink Meetup 7.10 北京站，Flink x TiDB 专场等你来！

Flink，近年来广受欢迎，是最受认可的大数据计算引擎之一；TiDB作为开源的NewSQL数据库也以其优秀的横向扩展能力和高可用特点，颇受业界的好评。
·2023-06-19 19:18

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
·2023-06-19 17:38

bigdata.com《大数据计算框架》样题

容量单位从小到大的顺序依次为：TB、PB、EB、ZB。.用于设置环境变量的文件是.bash_profile.将HDFS文件下载到本地的命令是hadoopfs-get。.不需要Java环境的支持是MySQL.通配符是用于模糊匹配的特殊字符，可以在关键字查询中使用。在MySQL中，通配符主要有两种：%和_。其中，%代表匹配任意多个字符（包括0个字符），_则代表匹配单个字符。.HBase、Redis和M
亖嘁·2023-06-18 17:13

阿里云EMR自定义日志投递与使用实践分享

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎
Apache Spark中国社区·2023-06-18 05:42

分布式安装配置spark-3.2.3

Spark是一个基于内存的大数据计算框架，可以与Hadoop集成，提供更快速的数据处理能力。本文将介绍如何在三个Ubuntu系统上搭建一个Spark集群。
runepic·2023-06-17 08:58

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
阿里云大数据AI技术·2023-06-15 19:41

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
·2023-06-15 15:50

大数据概述

大数据概述大数据时代第三次信息化浪潮信息科技为大数据时代提供技术支撑数据产生方式的变革促成大数据时代的来临大数据的发展历程大数据概念数据量大数据类型繁多处理速度快价值密度低大数据的影响大数据的应用大数据关键技术大数据的采集导入/预处理统计与分析大数据挖掘两大核心技术大数据计算模式大数据产业大数据与云计算
so.far_away·2023-06-15 14:34

MaxCompute 发布“物化视图智能推荐”，CU算力节省14%

阿里云MaxCompute在飞天发布时刻推出了“物化视图智能推荐”功能，这一功能的发布将节省CU算力14%，进一步提升了MaxCompute在大数据计算能力方面的领先地位。
·2023-06-13 10:08

Flink 的应用场景和架构模型

一石激起千层浪，Flink开源的消息立刻刷爆朋友圈，整个大数据计算领域一直以来由Spark独领风骚，瞬间成为两强争霸的时代。
鸭梨山大哎·2023-06-12 12:58

腾讯云轻量应用服务器和云服务器区别详细说明

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
gla2018·2023-06-11 18:33

百度离线资源治理

作者|百度MEG离线优化团队导读近些年移动互联网的高速发展驱动了数据爆发式的增长，各大公司之间都在通过竞争获得更大的增长空间，大数据计算的效果直接影响到公司的发展，而这背后其实依赖庞大的算力及数据作为支撑
百度Geek说·2023-06-09 17:59

腾讯云轻量应用服务器是什么？和CVM云服务器有什么区别？

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
运维FUN·2023-06-08 14:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他