大数据计算环境管理

大数据计算分析技术：批处理、流计算、OLAP引擎

目录一、批处理的基石：MapReduce1.工作流程2.实例分析二、流计算的代表：storm、sparkstreaming和flink
青果HA·2023-07-17 02:37

自动化测试的建设与应用

（3）断言（4）测试结果展示（5）不同环境管理（6）不同场景测试二、建设1、框架：Junit5+R
DuffyMagic·2023-07-17 01:44

第五章 多范式的编程语言Scala

第五章多范式的编程语言Scala1.Scala入门1.1Scala概述1.1.1为什么学习ScalaSpark—新一代内存级大数据计算框架，是大数据的重要内容Spark就是使用Scala编写的Spark
i豆·2023-07-16 23:35

上手Scala到开发程序

目前Spark是新一代的内存型大数据计算框架，是目前大数据技术生态圈中非常主流的一门技术。
Levi_·2023-07-16 23:30

python之virtualenv多环境管理

在python开发过程中，pycharm里一个项目需要设置一个interpreter（解释器），也就是指定当前项目运行的python.exe路径(如果不指定则会使用默认安装的python.exe)；该工程所有的依赖包都会下载到这个python.exe的Lib/site-packages相对目录下如果所有工程都使用默认安装的python.exe，那么安装路径下的site-package目录就会越来越
万物皆字节·2023-07-15 18:34

Linux_R语言通过RDameng连接DM8

一、下载安装软件anacondapython需要下载很多包，Anaconda集成了几乎常用的包，如果你需要的包要求不同版本的Python，你无需切换到不同的环境，因为conda同样是一个环境管理器。
飞奔的屎壳郎·2023-07-15 02:55

【云计算与大数据计算】大数据物理、集成、安全架构及阿里云飞天系统架构讲解（超详细）

一、物理架构物理架构-企业大数据系统的各层次系统最终要部署到主机节点中,这些节点通过网络连接成为一个整体,为企业的大数据应用提供物理支撑，企业大数据系统由多个逻辑层组成，多个逻辑层可以映射到一个物理节点上，也可以映射到多个物理节点上在映射时需要考虑三个方面的问题：一是是否容易识别，二是是否足够集约，三是是否能够同构二、集成架构集成架构-企业大数据系统由多个系统集成而成,每个系统都提供了多种协议和接
showswoller·2023-07-14 16:31

利用Anaconda完成Python环境安装及配置

1Anaconda1.1配置过程Anaconda是一个开源的Python和R编程语言的软件包管理器和环境管理器，用于数据科学和机器学习的开发。
白三点·2023-07-14 14:50

Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

作者：张凯@阿里云、陳韋廷@Intel、周渊@Intel简介ApacheCeleborn(Incubating)是阿里云捐赠给Apache的通用RemoteShuffleService，旨在提升大数据计算引擎的性能
阿里云大数据AI技术·2023-07-14 10:31

02 | conda的使用

1前提Conda是一个在Windows、macOS、Linux和z/OS上运行的开源软件包管理系统和环境管理系统。Conda快速安装、运行和更新软件包及其依赖项。
农耕园·2023-07-14 08:55

Dinky0.7.0源码初探

Flink目前是一个使用广泛的基于流计算的流批一体的大数据计算框架，它关注的是流计算的底层实现、集群运行最优化、高效运行的设计等；Dinky是基于Flink的一个应用平台：目前最核心的功能，就是在
武舞悦·2023-07-14 07:22

conda的使用

而conda是一个集成了包管理和环境管理的工具，可以自动处理依赖包的安装，同时也可以为不同的项目创建独立的Python环境。因此，使用conda安装numpy会更加方便快捷。
空城老祖·2023-07-14 00:44

金蝶云星空财务分析，有奥威BI SaaS平台底气足

但受制于大数据计算、分析技术的发展，智能财务数据分析的推进比较困难。
qq_43696218·2023-07-13 21:17

Centos 7 linux系统搭建jupyter notebook服务

Centos7linux系统搭建jupyternotebook服务文章目录Centos7linux系统搭建jupyternotebook服务1.下载安装Anaconda2.配置环境变量3.conda环境管理
zoraling·2023-06-24 04:48

有效的自动化不仅仅是测试自动化

当测试环境管理需要
Kit2023·2023-06-23 15:55

Scala系列从入门到精通（一）

1、概述1.1、为什么学习ScalaSpark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark,需要掌握Scala这门语言。
后端技术那点事·2023-06-22 19:52

Linux系统Python虚拟环境管理软件pyenv

在学习Python的时候，最经常遇到的问题就是包版本的问题，比如说这个应用需要libtool包的1.1.1版本，而之前开发的应用则只能运行在1.0.1版本上。那么怎么让两个应用都能够正常运行起来呢？聪明的开发者们提出了虚拟环境的概念，就像电脑的虚拟机一样，创建一个虚拟环境就像创建了虚拟机。你在虚拟环境里做任何操作都不会影响到其他的虚拟环境，也不会影响到系统环境。同时你也可以在你的虚拟环境里安装任何
阿飞coach·2023-06-22 16:50

再见以前说再见 大数据计算框架复习

web方式查看hdfs目录结构的地址是：http://主机名:50070.linux下存放公钥信息的是id_rsa.pub文件，放在.ssh目录下.下列可以实现定时任务调度的包括：Crontab、Oozie、Azkaban。Hive不可以实现定时任务调度。.hadoop配置文件（如：core-site.xml、hdfs-site.xml）在${HADOOP_HOME}/etc/hadoop目录下.
亖嘁·2023-06-22 12:02

Mac conda 使用

MacConda基本#查看版本conda--version#获取帮助conda--helpconda-hcondaupdate--help#环境管理condaenv-h配置镜像：#设置搜索时显示通道地址
湫然Quin·2023-06-21 23:01

Python版本管理工具

如果你使用Python开发，对于不同的开发框架或应用肯定会有Python多版本共存的情况，此时Python多环境管理工具就可以帮你快速解决此问题，以便将精力专注开发。
WalsonTung·2023-06-21 22:42

云原生架构下的持续交付实践

云原生带来了标准化、松耦合、易观测、易扩展的特性，为交付基建与业务解耦、更灵活的环境管理和无损发布带来新机遇。
·2023-06-21 17:56

linux安装anaconda

linux安装anaconda1、下载anaconda：Conda是一个强大的包管理器和环境管理器，您可以在Windows的AnacondaPrompt或macOS或Linux的终端窗口中与命令行命令一起使用
神气少年大角牛·2023-06-21 17:58

python环境管理

介绍工作中常用的两种python包管理工具，conda和mamba。conda什么是conda？Condaisanopen-sourcepackagemanagementsystemandenvironmentmanagementsystemthatrunsonWindows,macOS,andLinux.Condaquicklyinstalls,runs,andupdatespackagesan
今晚月亮有点圆·2023-06-21 13:59

python环境管理器anaconda

为什么需要anaconda在使用python开发的过程中，配置python环境是第一步，当你兴致冲冲去下载python最新版本，以为完事大吉后，会出现如下的窘境：某些库的的某些函数在新版本的python中已经不支持了，或者已经改为另外的接口，亦或是包的路径有修改了，导致学习过程受到了阻碍。也就是说当你的机器上装的python版本是3.x，有些代码例子提示你需要的是2.x版本，也有可能反过来。在这种
ElephantKing·2023-06-20 16:03

Windows下通过Anaconda创建虚拟环境安装 jupyter 和 numpy并运行jupyter，完成numpy的不少于10道的基础练习，熟悉矩阵运算。

主要是提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的
ok的ok路·2023-06-19 19:57

Apache Flink Meetup 7.10 北京站，Flink x TiDB 专场等你来！

Flink，近年来广受欢迎，是最受认可的大数据计算引擎之一；TiDB作为开源的NewSQL数据库也以其优秀的横向扩展能力和高可用特点，颇受业界的好评。
·2023-06-19 19:18

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
·2023-06-19 17:38

【一】学习python环境准备之Anaconda安装和使用

下载安装AnacondaAnaconda|AnacondaDistributionConda一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。
每天都要有成长·2023-06-19 10:42

centos7安装 Miniconda

Miniconda是什么Miniconda是一个轻量级的Anaconda发行版，它是一个Python环境管理器和软件包管理器。
jio本小子·2023-06-18 17:20

bigdata.com《大数据计算框架》样题

容量单位从小到大的顺序依次为：TB、PB、EB、ZB。.用于设置环境变量的文件是.bash_profile.将HDFS文件下载到本地的命令是hadoopfs-get。.不需要Java环境的支持是MySQL.通配符是用于模糊匹配的特殊字符，可以在关键字查询中使用。在MySQL中，通配符主要有两种：%和_。其中，%代表匹配任意多个字符（包括0个字符），_则代表匹配单个字符。.HBase、Redis和M
亖嘁·2023-06-18 17:13

阿里云EMR自定义日志投递与使用实践分享

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎
Apache Spark中国社区·2023-06-18 05:42

分布式安装配置spark-3.2.3

Spark是一个基于内存的大数据计算框架，可以与Hadoop集成，提供更快速的数据处理能力。本文将介绍如何在三个Ubuntu系统上搭建一个Spark集群。
runepic·2023-06-17 08:58

正虹智慧环保平台系统组成介绍

正虹环境智慧环保平台建立的目的是及时、准确、全面地反映环境质量现状及发展趋势，为环境管理、污染源控制、环境规划、环境评价提供客观的科学依据，增强企业的守法自觉性，提高环保现场执法的现代化水平，逐步达到提高环境质量的最终目的
正虹环境·2023-06-16 20:53

《2023详细表格对比》创建虚拟环境的常用命令、用ChatGPT和新必应告诉你为什么Pycharm+Conda是几乎全能的环境管理

《2023详细表格对比》创建虚拟环境的常用命令、用ChatGPT和新必应告诉你为什么Pycharm+Conda是几乎全能的环境管理你好，欢迎来到我的博客！
ASH晗·2023-06-16 07:41

docker容器介绍及安装

复杂环境管理，应用隔离:不同软件运行环境兼容依赖问题，开发环境/测试环境/线上环境保持一致。轻量级:对
小蜜蜂888·2023-06-15 23:24

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
阿里云大数据AI技术·2023-06-15 19:41

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
·2023-06-15 15:50

大数据概述

大数据概述大数据时代第三次信息化浪潮信息科技为大数据时代提供技术支撑数据产生方式的变革促成大数据时代的来临大数据的发展历程大数据概念数据量大数据类型繁多处理速度快价值密度低大数据的影响大数据的应用大数据关键技术大数据的采集导入/预处理统计与分析大数据挖掘两大核心技术大数据计算模式大数据产业大数据与云计算
so.far_away·2023-06-15 14:34

poetry—Python环境管理工具

Python包管理之poetry的使用poetry是一个Python虚拟环境和依赖管理的工具，之前用pipenv，最近学习httprunner时，接触了poetry。poetry和pipenv类似，另外还提供了打包和发布的功能。官方文档：https://python-poetry.org/docs/python项目部署：poetry管理本地环境,上线用docker一、poetry安装poetry提
__walden·2023-06-15 13:25

Python-Flask，Anaconda结合Pycharm打造第一个“Hello World“程序

分布式平台，包含8,000多个开源数据科学和机器学习包，包括Jupter、Conda、Numpy、Pandas、Matplotlib、TensorFlow、Sklearn等组件，涵盖交互式编程、Python环境管理
无敌路路帅气·2023-06-15 04:41

python多版本py命令及虚拟环境管理

创建虚拟环境失败,已经很久没有用python3这个命令,可能又被系统环境修改的时候弄乱了.花点时间整理下$python3-mvenv./venvError:Command'[‘E:\code\venv\Scripts\python.exe’,‘-Im’,‘ensurepip’,‘–upgrade’,‘–default-pip’returnednon-zeroexitstatus1.把从window
Alex_z0897·2023-06-14 09:39

Anaconda3如何使用Anaconda Prompt，如何配置虚拟环境，一些常用的Anaconda Prompt指令

Anaconda3如何配置环境Anaconda是一个流行的Python发行版本，它集成了许多科学计算和数据分析常用的库，并提供了一个方便的环境管理工具，可以创建、删除和切换不同的Python环境。
Hello， world·2023-06-13 23:43

MaxCompute 发布“物化视图智能推荐”，CU算力节省14%

阿里云MaxCompute在飞天发布时刻推出了“物化视图智能推荐”功能，这一功能的发布将节省CU算力14%，进一步提升了MaxCompute在大数据计算能力方面的领先地位。
·2023-06-13 10:08

Anaconda 发行版

数据科学运算最可信的工具Anaconda是一个包管理器，也是一个环境管理器，Python的编辑器，并且收集了1000+的源码包。
凌冰_lonny·2023-06-13 09:53

Anaconda 使用

官网安装AnacondaAnaconda提供了包管理与环境管理的功能，可以很方便地解决多版本Python并存、切换以及各种第三方包安装问题#查看所有虚拟环境及当前环境condainfo-e#创建新环境-
mapyking·2023-06-12 21:25

Linux中安装完anaconda之后找不到conda命令

linux中解决anaconda安装完找不到conda命令anaconda是一个非常好的python环境管理工具，因此在linux中安装十分有必要，大家可以参考https://blog.csdn.net
Abo_luo·2023-06-12 20:28

Flink 的应用场景和架构模型

一石激起千层浪，Flink开源的消息立刻刷爆朋友圈，整个大数据计算领域一直以来由Spark独领风骚，瞬间成为两强争霸的时代。
鸭梨山大哎·2023-06-12 12:58

如何在Ubuntu 20.04上安装Anaconda Python发行版[快速入门]

Anacondaisanopen-sourcepackagemanager,environmentmanager,anddistributionofthePythonandRprogramminglanguages.Anaconda是一个开源软件包管理器，环境管理器
cukw6666·2023-06-12 11:53

conda虚拟环境管理

#创建python3.6环境condacreate--namepy36python=3.6#激活环境sourceactivatepy36#导出环境安装包condaenvexport>py36.yaml#退出虚拟环境condadeactivate#或者sourcedeactivate#利用导出的conda环境安装包建立同样的虚拟环境condaenvcreate-fpy36.yaml#删除环境cond
井底蛙蛙呱呱呱·2023-06-12 00:55

腾讯云轻量应用服务器和云服务器区别详细说明

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
gla2018·2023-06-11 18:33
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他