【BigData】第10页

云计算基本概念

云计算基本概念引言云计算的概念IaaS主要组件PaaS主要组件SaaS主要组件云计算的典型特征云计算数据中心云计算应用领域引言前面一篇《大数据BigData基本概念》介绍了大数据基本概念，我们知道大数据两大核心问题就是分布式存储和分布式处理

wumingxiaoyao·2023-07-24 21:38

Hadoop权威指南NCDC数据获取

$vigetNcdcBigData.sh#!

张沐之_·2023-07-23 18:45

hadoop简介

hadoop简介概念优势hadoop1.x、2.x、3.x区别HDFS架构概述MapReduce结构概述HDFS,YARN,MapReduce三者关系概念大数据(bigdata)：指无法在一定时间范围内用常规工具进行捕捉

fiveym·2023-07-23 15:35

Hadoop+Spark Windows系统环境搭建

Hadoop环境变量配置：HADOOP_HOME:D:\ProgramData\BigData\Hadoop\hadoop-2.7.4Path：%HADOOP_HOME%\binSpark环境变量配置：

marklin·2023-07-22 00:36

深入学习Spark SQL ：SparkSQL执行流程

主要参考书籍：《SparkSQL内核剖析》（资源见评论）参考博客：http://hbasefly.com/2017/03/01/sparksql-catalyst/http://www.uml.org.cn/bigdata

Icedzzz·2023-07-21 23:42

数仓-零基础小白到入土-学习路线

催更我戳戳个人主页：[up自己的网站](https://liyahuigithub.github.io/)铺垫一下下-------------------欢迎转发---------------------辉常努腻v:bigdatadev_h

辉常努腻·2023-07-21 17:56

sqoop的使用笔记

-connectjdbc:mysql://10.110.22.238/test_sqoop/#mysql数据库所在得到节点ip及数据库名--usernameroot/#数据库用户名--passwordbigdata

hasu·2023-07-21 08:21

解决flume的shell启停脚本不能正常运行的问题

一、问题描述在命令行输入命令运行Flume可以启动[root@bigdata111flume-1.9.0]#bin/flume-ngagent-na1-cconf/-fjob/file_to_kafka.conf-Dflume.root.logger

故明所以·2023-07-20 18:05

kafka集群启动的shell脚本失效

/bin/bashcase$1in"start"){foriinbigdata111bigdata112bigdata113doecho"--------启动$iKafka-------"ssh$i"/

故明所以·2023-07-20 18:05

pip安装解决报错：WARNING: Running pip as the ‘root‘ user can result in broken permissions and conflicting

，出现了一下报错信息：大概意思就是：提示以“root”用户身份运行pip可能会导致权限损坏和冲突，因此我们需要创造一个虚拟的环境区执行它二、解决方法1、创建一个虚拟环境(superset)[root@bigdata111

故明所以·2023-07-20 18:31

华为鲲鹏920 aarch64 版本 Ambari HDP 下载地址

openEuler20.03-LTS操作系统以下是详细下载地址1、CentOS7aarch64版本CentOS7aarch64https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata

闭关苦炼内功·2023-07-19 23:59

安装单机版greenplum

gp安装准备修改主机名称为bigdatahostnamectlset-hostnamebigdata修改完之后查看uname-a添加用户组groupadd-g3030gpadmin创建目录mkdir/home

新丨客·2023-07-19 17:54

Hadoop——大数据生态体系详解

一.大数据概论1.1大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

Rocky006·2023-07-19 11:37

Flink从入门到放弃(入门篇1)-Flink是什么

本文是例行介绍，熟悉的直接跳过-鲁迅鲁迅:…大纲入门篇：放弃篇：图片显示不了，戳这里：https://github.com/wangzhiwubigdata/God-Of-BigData/blob/master

王知无(import_bigdata)·2023-07-18 20:17

在QML系统中注册C++类型

0x00#ifndefBIGDATAINFO_H#defineBIGDATAINFO_H#include#include#includeclassBigDataInfo:publicQObject{Q_OBJECTQ_PROPERTY

晓琴儿·2023-07-18 13:43

大数据智能营销软件系统怎么样?靠谱吗？

现如今大家都在讲大数据，大数据已经运用于我们的生活，工作，科研那么大数据到底是什么，百度百科解释：大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力

e0451An5·2023-07-18 03:23

极限学习机应用于入侵检测（一）

引言最近读了一篇2014年CCS的论文，UsingExtremeLearningMachineforIntrusionDetectioninaBigDataEnvironment，并对其内容进行了总结和扩展

upupday19·2023-07-17 22:04

Hadoop生态圈（四）- HDFS数据存储与数据管理

目录前言1.Hadoop常用文件存储格式1.1传统系统常见文件存储格式1.1.1文件系统块大小1.2Hadoop中文件存储格式1.3BigDataFileViewer工具1.3.1介绍1.3.2功能1.4Hadoop

大Null·2023-07-17 12:45

HDFS的存储策略

一、介绍我们在安装HDFS的时候，我们在hdfs-site.xml配置过DataNode的数据存储的文件目录，如下：dfs.datanode.data.dir/home/hadoop-twq/bigdata

这个操蛋的人生！！！·2023-07-17 12:44

Qt利用全局变量让主线程和子线程互传数据

#ifndefGLOBALVAR_H#defineGLOBALVAR_HstructmyData{boolnetworkStatus;};//声明全局变量externmyDatabigData;#endif

晓琴儿·2023-07-17 08:26

flink复习题

看这篇笔记https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%

梧桐林.·2023-07-17 06:16

DTCC 2020 | 阿里云吉剑南：在线分析进入Fast Data时代的关键技术解读

摘要：如今，对于在线分析技术而言，正在从“BigData”时代向着“FastData”时代迈进，所面对的技术和市场环境发生了巨大变化，与此同时也需要面对全新的挑战。

阿里云数据库·2023-07-15 15:50

云计算的学习（六）

物联网主要技术：RFID技术（射频识别技术）传感器技术嵌入式系统技术1.2大数据大数据（bigdata），指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

C1yas0·2023-07-15 10:39

大数据开发之在idea中开发第一个hadoop程序

第一步新建一个maven项目第二步在pom文件中导入相应的依赖bigdataorg.hadoop.example1.0-SNAPSHOT4.0.0example1_wordcountjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common3.2.2org.apache.hadooph

茅草屋的屋·2023-07-15 10:34

TF-IDF (BigData, Data Mining)

TF-IDF（termfrequency–inversedocumentfrequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(TermFrequency)，IDF是逆文本频率指数(InverseDocumentFrequency)。简介TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加

Cmy_CTO·2023-07-15 05:37

TF-IDF (BigData & Data Mining)

Cont.举例例1词频(TF)是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率(IDF)的方法是文件集里包含的文件总数除以测定有多少份文件出现过“母牛”一词。所以，如果“母牛”一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是lg(10

Cmy_CTO·2023-07-15 05:37

nginx1.20.1安装部署

目录1.下载解压2.安装依赖3.编译nginx5.启动6.查看web界面7.访问域名转发到指定ip和端口1.下载解压[root@bigdata005opt]#[root@bigdata005opt]#wgethttp

Bulut0907·2023-07-14 14:31

Kylin多维分析引擎（一）：Kylin概述

1.定义：ApacheKylin（ExtremeOLAPEngineforBigData）是一个开源的分布式分析引擎，为Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析（

Yuan_CSDF·2023-07-14 14:24

获取keytab文件

使用目标用户登录gateway01.bigdata.zxxk.com主机，例如xingweidong，执行以下命令：ipa-getkeytab-sutility1.bigdata.zxxk.com-pxingweidong

邢为栋·2023-07-14 07:28

#Davinci# （开源）可视应用平台介绍与展望

在敏捷大数据（AgileBigData）理论的背景下，围绕“数据视图”和“可视组件”两个核心概念设计，支持多种可视化功能。Davinci具体的设计理念和功能特点都有什么呢？它又将怎么成长呢？

达微·2023-06-24 04:04

Mongodb分片环境搭建和验证（redis期末大作业）

分片基本操作和功能验证目录实验操作代码：配置文件和安装包和安装流程PDF：资源下载处环境准备部署Mongodb部署ConfigServer部署Shard部署mongos启动分片功能分片基本操作和功能验证实验操作代码：#1bigdata111bigdata

我的思路很明确·2023-06-23 23:12

python基础之数据类型之间的转换

print(type(a))>>>print(type(b))2、将str字符串转换成列表list>>>Test_str="pythonwascreatedin1989,pythonisusinginAI，bigdata

夏日小骄傲·2023-06-23 10:52

2023-06-03 陕西省技能大赛 crypto 复现

文章目录奇怪的sar题目描述：题目分析：Ham3题目描述：题目分析：BigDataEnc题目描述：题目分析：奇怪的sar题目描述：fromCrypto.Util.numberimport*key='flag

Emmaaaaaaaaaa·2023-06-23 06:08

Streamsets ETL 之 ClickHouse数据库

WX:bigdata_work

登峰大数据·2023-06-22 19:51

大数据课程学习

CharacteristicsofBigDataBigDatareferstoanycollectionofdatasolargeandcomplexthatitexceedstheprocessingcapabilityofconventionaldatamanagementsystemsandtechniques.Volumereferstothelargesizeofdata

Aughts·2023-06-22 11:34

Spark

参考链接：https://github.com/wangzhiwubigdata/God-Of-BigData/blob/master/%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%A1%

ZzzZBbbB·2023-06-21 19:23

通过Java client访问Kafka

downloadkafkabinaryfromhttps://kafka.apache.org/downloads2)extractbinary$tarxvfkafka_2.13-3.3.1.tgz-C~/bigdata

sun_xo·2023-06-20 18:09

搭建HBase伪分布式集群

zookeeper.apache.org/releases.html#download2)extractbinary$tarxvfapache-zookeeper-3.8.1-bin.tar.gz-C~/bigdata

sun_xo·2023-06-20 18:38

MindBigData脑电信号数据处理by小波变换（附代码）

MindBigData脑电信号数据处理by小波变换前言MindBigData数据库信号描述代码部分前言MindBigData是公开的脑电信号数据集之一，本文会使用python语言提取其中的数据，使用小波变换进行去噪

a沧海云帆a·2023-06-20 12:37

bigdata1234.cn 大数据开发基础课堂测试

数据容量单位：1byte=8bits1kilobyte(KB)=1024bytes1megabyte(MB)=1024KB1gigabyte(GB)=1024MB1terabyte(TB)=1024GB1petabyte(PB)=1024TB1exabyte(EB)=1024PB1zettabyte(ZB)=1024EB1yottabyte(YB)=1024ZB.当前大数据技术的基础是由谷歌首先提

亖嘁·2023-06-20 03:23

大数据之Kafka（三）：Kafka 与 Flume的整合及架构之道

创建整合的topic#kafka-topics.sh--create\--topicflume-kafka\--zookeeperbigdata01:2181/kafka\--parti

Oak-Komorebi·2023-06-20 00:23

Kettle 文件操作

NEO_X·2023-06-19 02:32

【GaussDB数据库----连接】

执行source${BIGDATA_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。使用“gs_om-tstatus--detail”命令查询集群各实例情况。gs_om

Zhao.Mr·2023-06-18 18:27

bigdata.com《大数据计算框架》样题

容量单位从小到大的顺序依次为：TB、PB、EB、ZB。.用于设置环境变量的文件是.bash_profile.将HDFS文件下载到本地的命令是hadoopfs-get。.不需要Java环境的支持是MySQL.通配符是用于模糊匹配的特殊字符，可以在关键字查询中使用。在MySQL中，通配符主要有两种：%和_。其中，%代表匹配任意多个字符（包括0个字符），_则代表匹配单个字符。.HBase、Redis和M

亖嘁·2023-06-18 17:13

【论文阅读】Resisting Distributed Backdoor Attacks in Federated Learning: A Dynamic Norm Clipping Approach

个人阅读笔记，如有错误欢迎指出会议：2021IEEEInternationalConferenceonBigDataResistingDistributedBackdoorAttacksinFederatedLearning

MiaZX·2023-06-17 19:19

使用sqoop从Hive导出数据到MySQL

（学生信息：学号xh，姓名xm）xsxx：createtablebigdata03.xsxx(xhString,xmString)rowformatdelimitedfieldsterminatedby

墨染盛夏呀·2023-06-17 17:27

26个新媒体运营数据来源渠道

1产品用户信息艾瑞数据:data.iresearch.com.cn易观智库:wwwanalysys.cnTalkingData(移动观象台):www.talkingdata.com腾讯大数据:bigdata.qq.com2

Ueming·2023-06-17 17:16

新一代数据集成工具ETLCloud入门实践：实现MySQL到ClickHouse的快速迁移

背景大数据（BigData）最重要的是数据，没有数据其他的就无从谈起（如今GPT大热，也是得益于海量数据的采集、存储、计算及治理能力的提升）。

Heartsuit·2023-06-16 20:41

centos8 安装flume

安装flume数据采集软件1.上传apache-flume-1.10.1-bin.tar.gz到/bigdata/soft2.解压到指定目录tar-zxvfapache-flume-1.10.1-bin.tar.gz-C

你很棒滴·2023-06-16 17:55

centos8安装redis

tar-zxvfredis-stable.tar.gz安装一些gcc编译库yuminstall-ygccgcc-c++make编译并且安装进入到redis的源码目录makeMALLOC=libcmakePREFIX=/bigdata

你很棒滴·2023-06-16 17:54

推荐频道

【BigData】