bigdata

大数据架构图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。
ixiaoyang8·2023-07-31 17:10

presto-server-317 集群安装

、参考网址：https://prestosql.io/docs/current/installation/deployment.html2、机器准备机器iphostname职责192.168.8.31bigdata1coordinator192.168.8.32bigdata2worker192.168.8.33bigdata3worker
负二贷·2023-07-31 13:29

讲解：CSE 482、Data Analysis、java、 javaSPSS|Python

CSE482:BigDataAnalysis(Spring2020)Homework2Duedate:Monday,February19,2020PleasemakesureyousubmitaPDFversionofyourhomeworkviaD2L
fanzizhan·2023-07-30 05:52

大数据面试小抄

项目地址：https://github.com/GTyingzi/BigDATA该项目是自己在学习大数据过程中整理、总结下来的一份面试小抄。
未来影子·2023-07-29 18:30

启动kafka时报连接错误Opening socket connection to server **:2181 Will not attempt to authenticate using SASL

启动kafka时的错误：[2021-02-0312:02:48,119]INFOInitiatingclientconnection,connectString=bigdata112:2181,bigdata113
枣泥馅·2023-07-29 01:50

yarn-session下的flink应用的提交与关闭

flinkonyarn部署下载Flink安装包https://flink.apache.org/downloads/解压安装包cd/bigdata/opt/f/flinktar-zxvfflink-1.13.6
贾斯汀玛尔斯·2023-07-27 07:44

【第一章 走进数据科学】袁博《数据挖掘：理论与算法》

DataRich，InformationPoor2学而不思则罔1、学习资源2、数据挖掘（DataMining）是一个多学科交叉领域3、数据挖掘（DataMining）无所不在3知行合一1、Data（数据）2、BigData
如何原谅奋力过但无声·2023-07-25 19:49

hive启动出错：NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException

:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin:/opt/bigdata2.7/hbase-1.2.1/lib/*
充满元气的Code猿·2023-07-25 16:17

使用 Docker 搭建 Hadoop + Hive + Spark 集群

准备工作本项目基于Docker和DockerCompose，搭建的集群包含以下部分：HadoopHiveSpark本项目参考了BigDataEurope的一些工作。
0x8g1T9E·2023-07-25 12:29

四.Zookeeper实战

4.1分布式安装部署0）集群规划在bigdata111、bigdata112和bigdata113三个节点上部署Zookeeper。
临时_01e2·2023-07-25 04:02

大数据 Big Data 基本概念

大数据BigData概念引言信息化浪潮发展历史BigData数据类型BigData大数据的特点科学研究的思维方法BigData大数据应用应用举例影视剧投拍有风险传统流感预测方式BigData技术支撑引言当前工作项目有接触到大数据
wumingxiaoyao·2023-07-24 21:47

云计算基本概念

云计算基本概念引言云计算的概念IaaS主要组件PaaS主要组件SaaS主要组件云计算的典型特征云计算数据中心云计算应用领域引言前面一篇《大数据BigData基本概念》介绍了大数据基本概念，我们知道大数据两大核心问题就是分布式存储和分布式处理
wumingxiaoyao·2023-07-24 21:38

Hadoop权威指南NCDC数据获取

$vigetNcdcBigData.sh#!
张沐之_·2023-07-23 18:45

hadoop简介

hadoop简介概念优势hadoop1.x、2.x、3.x区别HDFS架构概述MapReduce结构概述HDFS,YARN,MapReduce三者关系概念大数据(bigdata)：指无法在一定时间范围内用常规工具进行捕捉
fiveym·2023-07-23 15:35

Hadoop+Spark Windows系统环境搭建

Hadoop环境变量配置：HADOOP_HOME:D:\ProgramData\BigData\Hadoop\hadoop-2.7.4Path：%HADOOP_HOME%\binSpark环境变量配置：
marklin·2023-07-22 00:36

深入学习Spark SQL ：SparkSQL执行流程

主要参考书籍：《SparkSQL内核剖析》（资源见评论）参考博客：http://hbasefly.com/2017/03/01/sparksql-catalyst/http://www.uml.org.cn/bigdata
Icedzzz·2023-07-21 23:42

数仓-零基础小白到入土-学习路线

催更我戳戳个人主页：[up自己的网站](https://liyahuigithub.github.io/)铺垫一下下-------------------欢迎转发---------------------辉常努腻v:bigdatadev_h
辉常努腻·2023-07-21 17:56

sqoop的使用笔记

-connectjdbc:mysql://10.110.22.238/test_sqoop/#mysql数据库所在得到节点ip及数据库名--usernameroot/#数据库用户名--passwordbigdata
hasu·2023-07-21 08:21

解决flume的shell启停脚本不能正常运行的问题

一、问题描述在命令行输入命令运行Flume可以启动[root@bigdata111flume-1.9.0]#bin/flume-ngagent-na1-cconf/-fjob/file_to_kafka.conf-Dflume.root.logger
故明所以·2023-07-20 18:05

kafka集群启动的shell脚本失效

/bin/bashcase$1in"start"){foriinbigdata111bigdata112bigdata113doecho"--------启动$iKafka-------"ssh$i"/
故明所以·2023-07-20 18:05

pip安装解决报错：WARNING: Running pip as the ‘root‘ user can result in broken permissions and conflicting

，出现了一下报错信息：大概意思就是：提示以“root”用户身份运行pip可能会导致权限损坏和冲突，因此我们需要创造一个虚拟的环境区执行它二、解决方法1、创建一个虚拟环境(superset)[root@bigdata111
故明所以·2023-07-20 18:31

华为鲲鹏920 aarch64 版本 Ambari HDP 下载地址

openEuler20.03-LTS操作系统以下是详细下载地址1、CentOS7aarch64版本CentOS7aarch64https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata
闭关苦炼内功·2023-07-19 23:59

安装单机版greenplum

gp安装准备修改主机名称为bigdatahostnamectlset-hostnamebigdata修改完之后查看uname-a添加用户组groupadd-g3030gpadmin创建目录mkdir/home
新丨客·2023-07-19 17:54

Hadoop——大数据生态体系详解

一.大数据概论1.1大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
Rocky006·2023-07-19 11:37

Flink从入门到放弃(入门篇1)-Flink是什么

本文是例行介绍，熟悉的直接跳过-鲁迅鲁迅:…大纲入门篇：放弃篇：图片显示不了，戳这里：https://github.com/wangzhiwubigdata/God-Of-BigData/blob/master
王知无(import_bigdata)·2023-07-18 20:17

在QML系统中注册C++类型

0x00#ifndefBIGDATAINFO_H#defineBIGDATAINFO_H#include#include#includeclassBigDataInfo:publicQObject{Q_OBJECTQ_PROPERTY
晓琴儿·2023-07-18 13:43

大数据智能营销软件系统怎么样?靠谱吗？

现如今大家都在讲大数据，大数据已经运用于我们的生活，工作，科研那么大数据到底是什么，百度百科解释：大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力
e0451An5·2023-07-18 03:23

极限学习机应用于入侵检测（一）

引言最近读了一篇2014年CCS的论文，UsingExtremeLearningMachineforIntrusionDetectioninaBigDataEnvironment，并对其内容进行了总结和扩展
upupday19·2023-07-17 22:04

Hadoop生态圈（四）- HDFS数据存储与数据管理

目录前言1.Hadoop常用文件存储格式1.1传统系统常见文件存储格式1.1.1文件系统块大小1.2Hadoop中文件存储格式1.3BigDataFileViewer工具1.3.1介绍1.3.2功能1.4Hadoop
大Null·2023-07-17 12:45

HDFS的存储策略

一、介绍我们在安装HDFS的时候，我们在hdfs-site.xml配置过DataNode的数据存储的文件目录，如下：dfs.datanode.data.dir/home/hadoop-twq/bigdata
这个操蛋的人生！！！·2023-07-17 12:44

Qt利用全局变量让主线程和子线程互传数据

#ifndefGLOBALVAR_H#defineGLOBALVAR_HstructmyData{boolnetworkStatus;};//声明全局变量externmyDatabigData;#endif
晓琴儿·2023-07-17 08:26

flink复习题

看这篇笔记https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%
梧桐林.·2023-07-17 06:16

DTCC 2020 | 阿里云吉剑南：在线分析进入Fast Data时代的关键技术解读

摘要：如今，对于在线分析技术而言，正在从“BigData”时代向着“FastData”时代迈进，所面对的技术和市场环境发生了巨大变化，与此同时也需要面对全新的挑战。
阿里云数据库·2023-07-15 15:50

云计算的学习（六）

物联网主要技术：RFID技术（射频识别技术）传感器技术嵌入式系统技术1.2大数据大数据（bigdata），指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。
C1yas0·2023-07-15 10:39

大数据开发之在idea中开发第一个hadoop程序

第一步新建一个maven项目第二步在pom文件中导入相应的依赖bigdataorg.hadoop.example1.0-SNAPSHOT4.0.0example1_wordcountjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common3.2.2org.apache.hadooph
茅草屋的屋·2023-07-15 10:34

TF-IDF (BigData, Data Mining)

TF-IDF（termfrequency–inversedocumentfrequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(TermFrequency)，IDF是逆文本频率指数(InverseDocumentFrequency)。简介TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加
Cmy_CTO·2023-07-15 05:37

TF-IDF (BigData & Data Mining)

Cont.举例例1词频(TF)是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率(IDF)的方法是文件集里包含的文件总数除以测定有多少份文件出现过“母牛”一词。所以，如果“母牛”一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是lg(10
Cmy_CTO·2023-07-15 05:37

nginx1.20.1安装部署

目录1.下载解压2.安装依赖3.编译nginx5.启动6.查看web界面7.访问域名转发到指定ip和端口1.下载解压[root@bigdata005opt]#[root@bigdata005opt]#wgethttp
Bulut0907·2023-07-14 14:31

Kylin多维分析引擎（一）：Kylin概述

1.定义：ApacheKylin（ExtremeOLAPEngineforBigData）是一个开源的分布式分析引擎，为Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析（
Yuan_CSDF·2023-07-14 14:24

获取keytab文件

使用目标用户登录gateway01.bigdata.zxxk.com主机，例如xingweidong，执行以下命令：ipa-getkeytab-sutility1.bigdata.zxxk.com-pxingweidong
邢为栋·2023-07-14 07:28

#Davinci# （开源）可视应用平台介绍与展望

在敏捷大数据（AgileBigData）理论的背景下，围绕“数据视图”和“可视组件”两个核心概念设计，支持多种可视化功能。Davinci具体的设计理念和功能特点都有什么呢？它又将怎么成长呢？
达微·2023-06-24 04:04

Mongodb分片环境搭建和验证（redis期末大作业）

分片基本操作和功能验证目录实验操作代码：配置文件和安装包和安装流程PDF：资源下载处环境准备部署Mongodb部署ConfigServer部署Shard部署mongos启动分片功能分片基本操作和功能验证实验操作代码：#1bigdata111bigdata
我的思路很明确·2023-06-23 23:12

python基础之数据类型之间的转换

print(type(a))>>>print(type(b))2、将str字符串转换成列表list>>>Test_str="pythonwascreatedin1989,pythonisusinginAI，bigdata
夏日小骄傲·2023-06-23 10:52

2023-06-03 陕西省技能大赛 crypto 复现

文章目录奇怪的sar题目描述：题目分析：Ham3题目描述：题目分析：BigDataEnc题目描述：题目分析：奇怪的sar题目描述：fromCrypto.Util.numberimport*key='flag
Emmaaaaaaaaaa·2023-06-23 06:08

Streamsets ETL 之 ClickHouse数据库

WX:bigdata_work
登峰大数据·2023-06-22 19:51

大数据课程学习

CharacteristicsofBigDataBigDatareferstoanycollectionofdatasolargeandcomplexthatitexceedstheprocessingcapabilityofconventionaldatamanagementsystemsandtechniques.Volumereferstothelargesizeofdata
Aughts·2023-06-22 11:34

Spark

参考链接：https://github.com/wangzhiwubigdata/God-Of-BigData/blob/master/%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%A1%
ZzzZBbbB·2023-06-21 19:23

通过Java client访问Kafka

downloadkafkabinaryfromhttps://kafka.apache.org/downloads2)extractbinary$tarxvfkafka_2.13-3.3.1.tgz-C~/bigdata
sun_xo·2023-06-20 18:09

搭建HBase伪分布式集群

zookeeper.apache.org/releases.html#download2)extractbinary$tarxvfapache-zookeeper-3.8.1-bin.tar.gz-C~/bigdata
sun_xo·2023-06-20 18:38

MindBigData脑电信号数据处理by小波变换（附代码）

MindBigData脑电信号数据处理by小波变换前言MindBigData数据库信号描述代码部分前言MindBigData是公开的脑电信号数据集之一，本文会使用python语言提取其中的数据，使用小波变换进行去噪
a沧海云帆a·2023-06-20 12:37
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他