E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
bigData
云计算基本概念
云计算基本概念引言云计算的概念IaaS主要组件PaaS主要组件SaaS主要组件云计算的典型特征云计算数据中心云计算应用领域引言前面一篇《大数据
BigData
基本概念》介绍了大数据基本概念,我们知道大数据两大核心问题就是分布式存储和分布式处理
wumingxiaoyao
·
2023-07-24 21:38
Big
Data
云计算
IaaS
PaaS
SaaS
Hadoop权威指南NCDC数据获取
$vigetNcdc
BigData
.sh#!
张沐之_
·
2023-07-23 18:45
hadoop简介
hadoop简介概念优势hadoop1.x、2.x、3.x区别HDFS架构概述MapReduce结构概述HDFS,YARN,MapReduce三者关系概念大数据(
bigdata
):指无法在一定时间范围内用常规工具进行捕捉
fiveym
·
2023-07-23 15:35
hadoop
hadoop
hdfs
mapreduce
Hadoop+Spark Windows系统环境搭建
Hadoop环境变量配置:HADOOP_HOME:D:\ProgramData\
BigData
\Hadoop\hadoop-2.7.4Path:%HADOOP_HOME%\binSpark环境变量配置:
marklin
·
2023-07-22 00:36
大数据
windows
hadoop
spark
深入学习Spark SQL :SparkSQL执行流程
主要参考书籍:《SparkSQL内核剖析》(资源见评论)参考博客:http://hbasefly.com/2017/03/01/sparksql-catalyst/http://www.uml.org.cn/
bigdata
Icedzzz
·
2023-07-21 23:42
Spark
大数据
spark
sql
数仓-零基础小白到入土-学习路线
催更我戳戳个人主页:[up自己的网站](https://liyahuigithub.github.io/)铺垫一下下-------------------欢迎转发---------------------辉常努腻v:
bigdata
dev_h
辉常努腻
·
2023-07-21 17:56
大数据
学习
数据仓库
大数据
sqoop的使用笔记
-connectjdbc:mysql://10.110.22.238/test_sqoop/#mysql数据库所在得到节点ip及数据库名--usernameroot/#数据库用户名--password
bigdata
hasu
·
2023-07-21 08:21
解决flume的shell启停脚本不能正常运行的问题
一、问题描述在命令行输入命令运行Flume可以启动[root@
bigdata
111flume-1.9.0]#bin/flume-ngagent-na1-cconf/-fjob/file_to_kafka.conf-Dflume.root.logger
故明所以
·
2023-07-20 18:05
大数据hadoop生态组件
flume
hadoop
linux
kafka集群启动的shell脚本失效
/bin/bashcase$1in"start"){foriin
bigdata
111
bigdata
112
bigdata
113doecho"--------启动$iKafka-------"ssh$i"/
故明所以
·
2023-07-20 18:05
大数据hadoop生态组件
kafka
linux
分布式
pip安装解决报错:WARNING: Running pip as the ‘root‘ user can result in broken permissions and conflicting
,出现了一下报错信息:大概意思就是:提示以“root”用户身份运行pip可能会导致权限损坏和冲突,因此我们需要创造一个虚拟的环境区执行它二、解决方法1、创建一个虚拟环境(superset)[root@
bigdata
111
故明所以
·
2023-07-20 18:31
大数据hadoop生态组件
pip
linux
python
华为鲲鹏920 aarch64 版本 Ambari HDP 下载地址
openEuler20.03-LTS操作系统以下是详细下载地址1、CentOS7aarch64版本CentOS7aarch64https://mirrors.huaweicloud.com/kunpeng/yum/el/7/
bigdata
闭关苦炼内功
·
2023-07-19 23:59
BigData
经验分享
ambari
大数据
HDP
安装单机版greenplum
gp安装准备修改主机名称为
bigdata
hostnamectlset-hostname
bigdata
修改完之后查看uname-a添加用户组groupadd-g3030gpadmin创建目录mkdir/home
新丨客
·
2023-07-19 17:54
DB-pgSQL
greenplum
Hadoop——大数据生态体系详解
一.大数据概论1.1大数据概念大数据(
bigdata
):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
Rocky006
·
2023-07-19 11:37
大数据
算法
Flink从入门到放弃(入门篇1)-Flink是什么
本文是例行介绍,熟悉的直接跳过-鲁迅鲁迅:…大纲入门篇:放弃篇:图片显示不了,戳这里:https://github.com/wangzhiwu
bigdata
/God-Of-
BigData
/blob/master
王知无(import_bigdata)
·
2023-07-18 20:17
Flink系统性学习专栏
在QML系统中注册C++类型
0x00#ifndef
BIGDATA
INFO_H#define
BIGDATA
INFO_H#include#include#includeclass
BigData
Info:publicQObject{Q_OBJECTQ_PROPERTY
晓琴儿
·
2023-07-18 13:43
QML
c++
qt
QML
大数据智能营销软件系统怎么样?靠谱吗?
现如今大家都在讲大数据,大数据已经运用于我们的生活,工作,科研那么大数据到底是什么,百度百科解释:大数据(
bigdata
),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力
e0451An5
·
2023-07-18 03:23
极限学习机应用于入侵检测(一)
引言最近读了一篇2014年CCS的论文,UsingExtremeLearningMachineforIntrusionDetectionina
BigData
Environment,并对其内容进行了总结和扩展
upupday19
·
2023-07-17 22:04
论文
项目
机器学习
IDS
极限学习机
Hadoop生态圈(四)- HDFS数据存储与数据管理
目录前言1.Hadoop常用文件存储格式1.1传统系统常见文件存储格式1.1.1文件系统块大小1.2Hadoop中文件存储格式1.3
BigData
FileViewer工具1.3.1介绍1.3.2功能1.4Hadoop
大Null
·
2023-07-17 12:45
Hadoop生态圈
hadoop
hdfs
大数据
HDFS的存储策略
一、介绍我们在安装HDFS的时候,我们在hdfs-site.xml配置过DataNode的数据存储的文件目录,如下:dfs.datanode.data.dir/home/hadoop-twq/
bigdata
这个操蛋的人生!!!
·
2023-07-17 12:44
Qt利用全局变量让主线程和子线程互传数据
#ifndefGLOBALVAR_H#defineGLOBALVAR_HstructmyData{boolnetworkStatus;};//声明全局变量externmyData
bigData
;#endif
晓琴儿
·
2023-07-17 08:26
Qt
qt
flink复习题
看这篇笔记https://ashiamd.github.io/docsify-notes/#/study/
BigData
/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%
梧桐林.
·
2023-07-17 06:16
flink
flink
大数据
big
data
DTCC 2020 | 阿里云吉剑南:在线分析进入Fast Data时代的关键技术解读
摘要:如今,对于在线分析技术而言,正在从“
BigData
”时代向着“FastData”时代迈进,所面对的技术和市场环境发生了巨大变化,与此同时也需要面对全新的挑战。
阿里云数据库
·
2023-07-15 15:50
云计算的学习(六)
物联网主要技术:RFID技术(射频识别技术)传感器技术嵌入式系统技术1.2大数据大数据(
bigdata
),指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。
C1yas0
·
2023-07-15 10:39
云计算
云计算
大数据开发之在idea中开发第一个hadoop程序
第一步新建一个maven项目第二步在pom文件中导入相应的依赖
bigdata
org.hadoop.example1.0-SNAPSHOT4.0.0example1_wordcountjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common3.2.2org.apache.hadooph
茅草屋的屋
·
2023-07-15 10:34
大数据开发教程
hadoop
大数据
intellij-idea
TF-IDF (
BigData
, Data Mining)
TF-IDF(termfrequency–inversedocumentfrequency)是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(TermFrequency),IDF是逆文本频率指数(InverseDocumentFrequency)。简介TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加
Cmy_CTO
·
2023-07-15 05:37
#
Data
Mining
Data
Analysis
#
BI
(Business
Intelligence)
数据挖掘
tf-idf
搜索引擎
人工智能
大数据
TF-IDF (
BigData
& Data Mining)
Cont.举例例1词频(TF)是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个,而词语“母牛”出现了3次,那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率(IDF)的方法是文件集里包含的文件总数除以测定有多少份文件出现过“母牛”一词。所以,如果“母牛”一词在1,000份文件出现过,而文件总数是10,000,000份的话,其逆向文件频率就是lg(10
Cmy_CTO
·
2023-07-15 05:37
Data
Analysis
#
BI
(Business
Intelligence)
#
Data
Mining
tf-idf
数据挖掘
python
大数据
nginx1.20.1安装部署
目录1.下载解压2.安装依赖3.编译nginx5.启动6.查看web界面7.访问域名转发到指定ip和端口1.下载解压[root@
bigdata
005opt]#[root@
bigdata
005opt]#wgethttp
Bulut0907
·
2023-07-14 14:31
Java
nginx
web
1.20.1
安装部署
服务
Kylin多维分析引擎(一):Kylin概述
1.定义:ApacheKylin(ExtremeOLAPEnginefor
BigData
)是一个开源的分布式分析引擎,为Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析(
Yuan_CSDF
·
2023-07-14 14:24
#
Kylin
获取keytab文件
使用目标用户登录gateway01.
bigdata
.zxxk.com主机,例如xingweidong,执行以下命令:ipa-getkeytab-sutility1.
bigdata
.zxxk.com-pxingweidong
邢为栋
·
2023-07-14 07:28
Bigdata
freeipa
#Davinci# (开源)可视应用平台介绍与展望
在敏捷大数据(Agile
BigData
)理论的背景下,围绕“数据视图”和“可视组件”两个核心概念设计,支持多种可视化功能。Davinci具体的设计理念和功能特点都有什么呢?它又将怎么成长呢?
达微
·
2023-06-24 04:04
Mongodb分片环境搭建和验证(redis期末大作业)
分片基本操作和功能验证目录实验操作代码:配置文件和安装包和安装流程PDF:资源下载处环境准备部署Mongodb部署ConfigServer部署Shard部署mongos启动分片功能分片基本操作和功能验证实验操作代码:#1
bigdata
111
bigdata
我的思路很明确
·
2023-06-23 23:12
Redis
mongodb
数据库
服务器
redis
python基础之数据类型之间的转换
print(type(a))>>>print(type(b))2、将str字符串转换成列表list>>>Test_str="pythonwascreatedin1989,pythonisusinginAI,
bigdata
夏日小骄傲
·
2023-06-23 10:52
python基础
python
2023-06-03 陕西省技能大赛 crypto 复现
文章目录奇怪的sar题目描述:题目分析:Ham3题目描述:题目分析:
BigData
Enc题目描述:题目分析:奇怪的sar题目描述:fromCrypto.Util.numberimport*key='flag
Emmaaaaaaaaaa
·
2023-06-23 06:08
赛事复现
密码学
安全
陕西省技能大赛
ctf
Streamsets ETL 之 ClickHouse数据库
WX:
bigdata
_work
登峰大数据
·
2023-06-22 19:51
ClickHouse
ETL
Kettle
Azkaban
Streamsets
大数据课程学习
Characteristicsof
BigData
BigData
referstoanycollectionofdatasolargeandcomplexthatitexceedstheprocessingcapabilityofconventionaldatamanagementsystemsandtechniques.Volumereferstothelargesizeofdata
Aughts
·
2023-06-22 11:34
学习
Spark
参考链接:https://github.com/wangzhiwu
bigdata
/God-Of-
BigData
/blob/master/%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%A1%
ZzzZBbbB
·
2023-06-21 19:23
通过Java client访问Kafka
downloadkafkabinaryfromhttps://kafka.apache.org/downloads2)extractbinary$tarxvfkafka_2.13-3.3.1.tgz-C~/
bigdata
sun_xo
·
2023-06-20 18:09
kafka
java
搭建HBase伪分布式集群
zookeeper.apache.org/releases.html#download2)extractbinary$tarxvfapache-zookeeper-3.8.1-bin.tar.gz-C~/
bigdata
sun_xo
·
2023-06-20 18:38
hadoop
zookeeper
hbase
Mind
BigData
脑电信号数据处理by小波变换(附代码)
Mind
BigData
脑电信号数据处理by小波变换前言Mind
BigData
数据库信号描述代码部分前言Mind
BigData
是公开的脑电信号数据集之一,本文会使用python语言提取其中的数据,使用小波变换进行去噪
a沧海云帆a
·
2023-06-20 12:37
脑机接口
python
scipy
scikit-learn
matplotlib
bigdata
1234.cn 大数据开发基础课堂测试
数据容量单位:1byte=8bits1kilobyte(KB)=1024bytes1megabyte(MB)=1024KB1gigabyte(GB)=1024MB1terabyte(TB)=1024GB1petabyte(PB)=1024TB1exabyte(EB)=1024PB1zettabyte(ZB)=1024EB1yottabyte(YB)=1024ZB.当前大数据技术的基础是由谷歌首先提
亖嘁
·
2023-06-20 03:23
专业课
大数据
hadoop
数据仓库
大数据之Kafka(三):Kafka 与 Flume的整合及架构之道
创建整合的topic#kafka-topics.sh--create\--topicflume-kafka\--zookeeper
bigdata
01:2181/kafka\--parti
Oak-Komorebi
·
2023-06-20 00:23
#
Kafka
kafka
Kettle 文件操作
上一篇:etl
bigdata
更多信息查看:https://blue-shadow.top数据无处不在,文件作为一个总要的数据载体,是最常用的数据存储格式。
NEO_X
·
2023-06-19 02:32
【GaussDB数据库----连接】
执行source${
BIGDATA
_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。使用“gs_om-tstatus--detail”命令查询集群各实例情况。gs_om
Zhao.Mr
·
2023-06-18 18:27
GaussDB
数据库
bigdata
.com《大数据计算框架》样题
容量单位从小到大的顺序依次为:TB、PB、EB、ZB。.用于设置环境变量的文件是.bash_profile.将HDFS文件下载到本地的命令是hadoopfs-get。.不需要Java环境的支持是MySQL.通配符是用于模糊匹配的特殊字符,可以在关键字查询中使用。在MySQL中,通配符主要有两种:%和_。其中,%代表匹配任意多个字符(包括0个字符),_则代表匹配单个字符。.HBase、Redis和M
亖嘁
·
2023-06-18 17:13
专业课
大数据计算框架
【论文阅读】Resisting Distributed Backdoor Attacks in Federated Learning: A Dynamic Norm Clipping Approach
个人阅读笔记,如有错误欢迎指出会议:2021IEEEInternationalConferenceon
BigData
ResistingDistributedBackdoorAttacksinFederatedLearning
MiaZX
·
2023-06-17 19:19
论文笔记
安全
网络
python
人工智能
论文阅读
使用sqoop从Hive导出数据到MySQL
(学生信息:学号xh,姓名xm)xsxx:createtable
bigdata
03.xsxx(xhString,xmString)rowformatdelimitedfieldsterminatedby
墨染盛夏呀
·
2023-06-17 17:27
hadoop
hive
大数据
26个新媒体运营数据来源渠道
1产品用户信息艾瑞数据:data.iresearch.com.cn易观智库:wwwanalysys.cnTalkingData(移动观象台):www.talkingdata.com腾讯大数据:
bigdata
.qq.com2
Ueming
·
2023-06-17 17:16
新媒体运营
产品运营
新一代数据集成工具ETLCloud入门实践:实现MySQL到ClickHouse的快速迁移
背景大数据(
BigData
)最重要的是数据,没有数据其他的就无从谈起(如今GPT大热,也是得益于海量数据的采集、存储、计算及治理能力的提升)。
Heartsuit
·
2023-06-16 20:41
ETLCloud
Database
BigData
MySQL
ClickHouse
ETLCloud
数据集成工具
可视化数据集成
centos8 安装flume
安装flume数据采集软件1.上传apache-flume-1.10.1-bin.tar.gz到/
bigdata
/soft2.解压到指定目录tar-zxvfapache-flume-1.10.1-bin.tar.gz-C
你很棒滴
·
2023-06-16 17:55
flume
大数据
hadoop
centos8安装redis
tar-zxvfredis-stable.tar.gz安装一些gcc编译库yuminstall-ygccgcc-c++make编译并且安装进入到redis的源码目录makeMALLOC=libcmakePREFIX=/
bigdata
你很棒滴
·
2023-06-16 17:54
redis
数据库
java
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他