BigDATA 第15页

Hadoop 安装 day01 + day02

目录linux要求伪分布式部署部署hadoophdfs部署部署yarn完全分布式部署1.准备机器3台（bigdata13、bigdata14、bigdata15）4G2cpu40G2.ssh免密登录【三台机器都要做

不想写bug第n天·2023-01-10 14:04

spark-day03-核心编程-RDD算子

二：RDD转换算子根据数据处理方式的不同将算子整体上分为value类型、双value类型和key-value类型2.1：map值转换packagecom.atguigu.bigdata.spark.rdd.operator.transformimportorg.apache.spark

总会有天明·2023-01-10 14:57

鲲鹏Bigdata pro之HBase常用操作

介绍在鲲鹏云平台的的Hbase基本操作与其他Hadoop平台上的Hbaseshell操作是基本一样的。唯一的区别是，在鲲鹏云平台上，底层数据是存储在OBS上面。为什么是这样呢？因为在配置文件/home/modules/hbase-2.1.0/conf/hbase-site.xml中做了这样的配置：hbase.rootdirobs://bucket_name/hbasetest001上面bucket

阿智智·2023-01-08 10:38

鲲鹏BigData Pro解决方案中Hive组件的部署

1介绍本博文基于《鲲鹏Bigdatapro之Hive集群部署》的实验手册进行，目的是方便Hive学习者重用（从本文复制）相关的指令、配置和代码。同时，会对相关的Bash命令解释，达到增进理解的目的。

阿智智·2023-01-08 10:38

鲲鹏Bigdata pro之Hive的基本操作（创建表、查询表）

1介绍本文主要依据《鲲鹏Bigdatapro之Hive集群部署》实验教程上的Hive操作例子讲解，方便大数据学员重用相应的操作语句。同时对实验过程中出现的问题给以解决方法，重现问题解决的过程。

阿智智·2023-01-08 10:05

“存算”协同，让存储发挥极致性能

高性能计算（HPC）、人工智能（AI），大数据（BigData）是当今数据密集的企业所面临的重大机遇和挑战，更多“数据大”企业开始关注IT基础设施和架构的革新。

新爷话数据·2023-01-07 16:03

Python Spark 机器学习与Hadoop 大数据(2) 学习笔记一

1.7大数据定义大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

停止的闹钟·2023-01-07 14:09

正在读取软件包列表... 完成正在分析软件包的依赖关系树正在读取状态信息... 完成 E: 无法定位软件包 nvidia-docker2

nvidia-docker2二、报错信息三、解决该问题正文：一、Ubuntu18.04安装nvidia-docker2安装时参考的博客如下：Ubuntu18.04安装nvidia-docker（亲测有效，步骤详尽）_BigData_Mining

同学们，别卷了·2023-01-06 22:00

在hadoop集群上编写mapreduce程序_Hadoop集群安装系列------伪分布式安装(根据官方文档编写)...

hadoop-env.sh文件中的#Thejavaimplementationtouse.下修改成:exportJAVA_HOME=${JAVA_HOME}exportJAVA_HOME=/root/bigdata

weixin_39595537·2023-01-06 19:38

MySQL 两张表数据合并的实现

有一个需求,需要从数据库中导出两张表的数据到同一个excel中鉴于是临时的业务需求,直接使用Navicat进行查询并导出数据.数据涉及到三张表CREATETABLE`bigdata_qiye`(`id`

·2023-01-05 10:55

统计分析基础 (一) 数据统计与图表

随着大数据(BigData)时代来临，统计的面貌也逐渐改变，

_否极泰来_·2023-01-02 04:44

Spark编程复习

1.文章数据，每个RDD元素一篇文章数据准备：varrdd=sc.makeRDD(Array(“Ilovebigdata”,“Hadoopisthebasalplatform”,“Sparkisthesharptool

一颗西柚子·2022-12-31 10:40

华为认证大数据工程师 HCIA-Big Data V3.5（中文版）发布通知

华为认证大数据工程师HCIA-BigDataV3.5（中文版）自2022年9月30日起，正式在中国区发布。

outuo219·2022-12-31 08:44

哈工大大数据分析大作业

PDF版报告请见github地址：https://github.com/xrervip/HIT_BigDataAnalysisProject目录第1章需求分析3******1.1研究问题的背景31.2问题的需求分析

FZQuantum·2022-12-31 08:28

从简入妙-贝叶斯网络

chapter6WebIntelligenceandBigDataConnectingthedots-Motivation比如有这样一个问题query:WhoistheleaderofUSA?

苏然Vincent·2022-12-31 08:27

大数据精准匹配在生物医药制造业的应用前景

1大数据定义及特点1、大数据的定义：大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

数据工程师陈晨·2022-12-30 19:04

调度工具Azkaban版本3.90.0安装

修改源码、编译2.安装2.1在mysql中创建azkaban数据库和Azkaban相关表2.2安装ExecutorServer2.3安装WebServer1.下载、修改源码、编译下载和解压[root@bigdata001opt

Bulut0907·2022-12-30 01:07

Big Data Management笔记03：High Dimensional Similarity Search

BigDataManagement笔记03：HighDimensionalSimilaritySearchSimilaritySearch（相似度搜索）LowDimensionalSimilaritySearch

MYJace·2022-12-29 10:01

INT303 Big Data 个人笔记

又来到了经典半个月写一个学期内容的环节目前更新至Lec{14}/Lec14依旧是不涉及代码，代码请看学校的jupyternotebook~Lec1Introduction介绍课程TopicRangeTopic1:IntroductiontoBigDataAnalyticsLec1

sanmusen_wu·2022-12-29 10:31

Spark versus Flink: Understanding Performance in Big Data Analytics Frameworks论文总结

SparkversusFlink:UnderstandingPerformanceinBigDataAnalyticsFrameworks论文总结AbstractI.INTRODUCTIONII.CONTEXTANDBACKGROUNDA.ApacheSparkB.ApacheFlinkC.ZoomontheDifferencesbetweenFlinkandSparkIV.THEIMPORTAN

桐青冰蝶Kiyotaka·2022-12-29 10:31

jee6 学习笔记 8: Handle big data set - without real pagination

[b]Problem:[/b]Thereisaproblemwhendealingwithbigdataset.Forinstance,ifwehavemillionsofrecordsindatabasetosearchanddisplay

iteye_9496·2022-12-29 10:31

数据科学知识体系

数据科学概论随着互联网的飞速发展，大数据（BigData）的概念和技术成为当下流行的领域。数据科学（DataScience）这一体系也随着大数据的崛起成为讨论热点。

书山有路~勤为径·2022-12-28 01:23

AAAI 2021 | 学习截断信息检索排序列表

PaperWeekly·2022-12-26 18:40

企业安全中的用户与实体行为分析

UserandEntityBehaviorAnalyticsforEnterpriseSecurity企业安全中的用户与实体行为分析期刊/会议：2016IEEEInternationalConferenceonBigData

一智哇·2022-12-26 13:19

使用 PowerFlex 在 Kubernetes 平台上部署 Microsoft SQL Server 大数据集群

简介MicrosoftSQLServer2019通过SQLServer2019大数据集群(BigDataClusters,BDC)推出了突破性的数据平台。

申耀的科技观察·2022-12-24 14:44

2023年互联网技术发展趋势浅析

2022年岁末将至，这一年的互联网技术也是甚是热闹，一方面人工智能（AI），5G（5GNETWORK），虚拟现实和增强现实（VR&AR），大数据分析（BigDataAnalysis）等等老热词的反复出现

·2022-12-23 10:17

Hadoop--yarn--MapReduce安装配置

yarn.resourcemanager.addressmaster:8032表示ResourceManager监听的端口yarn.nodemanager.local-dirs/home/hadoop-jrq/bigdata

没有合适的昵称·2022-12-23 09:02

anaconda安装torch_不能更详细的PyTorch环境安装与配置

作者：吴茂贵郁明敏杨本法李涛张粤磊来源：大数据DT(ID：bigdatadt)PyTorch是Facebook团队于2017年1月发布的一个深度学习框架，虽然晚于TensorFlow、Keras等框架

weixin_39725193·2022-12-22 15:29

前端vue，部署到nginx，请求接口404

nginx下后，页面可以访问，但接口一直404.解决办法：页面做的代理，这里要配置请求转发到你的网关或者你的接口的真实路径上去location/apis{proxy_passhttp://gateway.bigdata-component

Lee_SmallNorth·2022-12-22 13:10

The Pathologies of Big Data（大数据病理）

论文目录大数据病理（ThePathologiesofBigData）处理大数据（DealingwithBigData）硬件限制（HardLimits）分布式计算作为大数据策略（DistributedComputingasaStrategyforBigData

Yore Yuen·2022-12-21 11:16

阿里云大数据工程师ACA认证考试大纲

阿里云大数据工程师ACA认证考试大纲认证介绍：阿里云大数据工程师ACA认证（AlibabaCloudCertifiedAssociate-BigData）是面向学生、大数据技术入门人员、从业者、爱好者的专业技术认证

outuo219·2022-12-20 20:28

[论文阅读]知识蒸馏（Distilling the Knowledge in a Neural Network）

文章目录前言摘要一、Introduction二、Distillation三、Experiments3.1MNIST3.2SpeechRecognition3.3SpecialistsModelsonVeryBigDataset3.3.1SpecialistModels3.3.2AssigningClassestoSpecialists3.3.3PerformingInferencewithEnse

XMU_MIAO·2022-12-18 14:38

hnust 2022下学期数据挖掘原理与算法期中考试复习资料

定义★★机器学习（MachineLearning）定义★★人工神经网络（ArtificialNeuralNetworks，ANNs）★★人工智能（ArtificialIntelligence）大数据（BigData

qq_33843237·2022-12-17 01:38

人工智能领域期刊总结

1SemanticWeb32NEUROCOMPUTING23SOFTCOMPUTING34NEURALNETWORKS25MACHINELEARNING36AUTONOMOUSROBOTS37MemeticComputing28BigDataResearch39InformationFusion110PATTERNRECOGNITION211APPLIEDINTELLIGENCE

机器视觉小甲鱼·2022-12-16 12:17

大数据之Hadoop简介及环境搭建

第1章大数据概论1.1大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

jackyan163·2022-12-15 15:20

spark业务开发-数据清洗

spark业务开发-数据清洗项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据order_number,order_date,purchaser

哦哇一丝卢脑哇哈急枚喋喋丝捏·2022-12-15 11:00

记录-bigdata-使用scala语言，使用spark获取ODS层指定分区表中的数据并进行相应的清洗（缺失字段填充、去重）---接上一篇文章

有问题可以私聊我交流我这里是完成编码之后，打包发送到集群上运行的！！！上一篇是从mysql抽取数据到hive的ods层这一篇是清洗ods层的表到dwd层1.使用IDEA创建MAVEN项目pom配置如下4.0.0com.tledullll1.0-SNAPSHOT${project.artifactId}Mywonderfullscalaapp2018MyLicensehttp://....repo1

wuzxu·2022-12-15 11:52

Python出租车GPS数据可视化（TransBigData+keplergl）

在jupyter中显示可视化的设置Python的TransBigData包依托于kepler.gl提供的可视化插件提供了一键数据整理与可视化的方法使用此功能请先安装python的keplergl包pipinstallkeplergl

小旭学长·2022-12-14 12:22

主数据怎么治理？

编辑：辉总来源：大数据架构师（ID：bigdata_arch）早在十几年前，主数据管理就已经是企业信息化建设中的核心部分。

大数据架构师Evan·2022-12-13 20:55

主题域、概念、逻辑、物理四种模型有什么区别与联系？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是你的老彭友。上周，有个彭友给我提了一个问题，说对主题域、概念、逻辑和物理模型不太理解，能不能解释一下。

大数据架构师Evan·2022-12-13 12:42

多维数据分析

大数据（BigData）:大数据既是一个被滥用的流行语，也是一个当今社会的真实趋势。此

kalvin_y_liu·2022-12-12 07:08

PySpark大数据计算教程

课程英文名：SparkandPythonforBigDatawithPySpark此视频教程共4.0小时，中英双语字幕，画质清晰无水印，源码附件全下载地址课程编号：346百度网盘地址：https://pan.baidu.com

IT教程精选·2022-12-12 07:36

元数据是什么？怎么管？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，今天老彭友小羊羊找到我，想要元数据管理相关的内容，说找遍了所有文章，都没找到详解元数据管理的内容。

大数据架构师Evan·2022-12-11 18:54

【机器学习】关于分类和回归模型，几种常见的模型好坏评价标准

回归模型评估2.1平均绝对误差2.2均方误差MSE2.3R2分数首先：文中有废话，有缺失是必然的，大家听我bb几分钟，不如看看官方文档时隔好久，我又回来更新了一方面是又学到了新的干货，一方面是把我学到的内容和bigdata

elif:·2022-12-11 18:23

以Cart Pole为环境，实现DQN和PG算法

一、实验题目以CartPole为环境，实现DQN和PG算法二、实验内容1.算法原理强化学习—DQN算法原理详解binbigdata的博客-CSDN博客dqn算法DeepRL系列(7):DQN(DeepQ-learning

夜忆星辰·2022-12-11 17:05

大数据是什么意思？大数据有哪些应用？

2011年5月，麦肯锡研究院发布报告——Bigdata:Thenextfr

八爪鱼大数据·2022-12-11 17:57

Spark：spark2.4.0安装

hadoop集成的版本1，解压：tar-zxvfspark-2.4.0-bin-hadoop2.6.tgzmvspark-2.4.0-bin-hadoop2.6sparkvim/etc/profile.d/bigdata-etc.shexportSPARK_HOME

Joseph25·2022-12-11 13:27

数据挖掘期末复习01-02

Bigdataisabuzzword,orcatch-phrase,usedtodescribeamassivevolumeo

prajna2002·2022-12-10 15:23

【Git】pull 分支报错 fatal: Need to specify how to reconcile divergent branches...

文章目录报错消息解决方法报错消息示例图：示例代码：➜fishergit:(test)gitpullorigintestFromgit.woa.com:wxg-bigdata/fisher*branchtest

一颗不甘坠落的流星·2022-12-10 10:31

【史上最全】数据分级分类标准、指南和模板

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是老彭。昨天有一位老彭友在群里求一份资料，很着急的样子：我一看，哟，这不是《中国移动大数据安全管控分类分级实施指南》么？

大数据架构师Evan·2022-12-10 09:06

推荐频道

BigDATA