BigDATA 第7页

什么是大数据? 大数据的前景

大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

Alukar·2023-10-08 22:35

Hadoop之HDFS及MapReduce详解，以及HA集群搭建

一、概述大数据大数据（bigdata）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据的

Mayz梅子子子·2023-10-08 07:55

BigData5：Hadoop之HDFS的Edits和Fsimage文件

程序员大魔王·2023-10-08 07:23

Kafka学习，精炼总结

Kafka前言随着bigdata时代的到来，数据中蕴含的价值日益得到展现，仿佛一座待人挖掘的金矿，引来无数的掘金者。

yolee is zyl·2023-10-08 05:22

云原生开源工具、软件、教程大全。

目录AIAPIGatewayApplicationDeliveryBigDataDatabaseEdgeComputingKubernetesOperatorsLoggingMessageBrokerMiscellaneousNetworkObservabilityOrchestrationandSchedulerProxyRPCRuntimeSecurityandAuditServiceMesh

Sunday_ding·2023-10-07 08:25

spark集群搭建

spark集群搭建虚拟机配置bigdata-hmaster192.168.135.1124核心32GBbigdata-hnode1192.168.135.1134核心16GBbigdata-hnode2192.168.135.1144

！@123·2023-10-06 07:41

flink集群部署

虚拟机配置bigdata-hmaster192.168.135.1124核心32GBbigdata-hnode1192.168.135.1134核心16GBbigdata-hnode2192.168.135.1144

！@123·2023-10-06 07:38

BigData导论

发展历史2004年，Google三驾马车，分布式文件系统GFS、大数据分布式计算框架MapReduce、NoSQL数据库系统BigTable2006年，DougCutting（lucene的作者）根据论文原理初步实现了类似GFS和MapReduce的功能，开发出了Hadoop,包括分布式文件系统HDFS和大数据计算引擎MapReduce，Hadoop1.0大数据时代2008年，Hadoop正式成为

Youth_C&B·2023-10-04 14:41

CC00053.bigdatajava——|Java&static关键字继承.V13|——|Java.v13|IDEA.v02|初始化|

一、IDEA初始化###---案例题目~~~——>编程实现Animal类的封装，特征有：名字和毛色，要求提供打印所有特征的方法。~~~——>编程实现Dog类的封装并继承自Animal类，该类的特征有：牙齿数量，要求提供打印所有特征的方法。~~~——>编程实现DogTest类，在main方法中分别使用无参和有参方式构造Dog类型对象并打印特征。二、IDEA初始化###---IDEA初始化项目~~~—

yanqi_vip·2023-10-04 05:09

Hadoop vs. Spark: The New Age of Big Data

[size=medium][b]Hadoopvs.Spark:TheNewAgeofBigData[/b][/size][size=x-small][b]PostedFebruary5,2016By[url

iteye_3352·2023-10-04 00:05

数仓精品理论-做大数据还有没有前途？

datapulse官网：github:https://datapulse-china.github.iogitee:https://datapulse.gitee.io/org/微信号：bigdatadev_h

辉常努腻·2023-10-02 02:42

安装rpm包出现错误: not an rpm package

过程如下：使用wgethttps://************************.rpm下载的安装包在安装时出现了[root@bigdata111rabbitmq]#rpm-Uvherlang-23.2.7

Mr_YangSir·2023-10-01 20:40

24Hibench

1.Hibench官网HiBenchisabigdatabenchmarksuitethathelpsevaluatedifferentbigdataframeworksintermsofspeed,throughputandsystemresourceutilizations.ItcontainsasetofHadoop

sorry_maker·2023-10-01 17:29

单例

1.懒汉式packagecom.atguigui.bigdata.chapter06objectTestSingleTon{defmain(args:Array[String]):Unit={valsingleTon

比格肖·2023-10-01 11:00

别再人云亦云了！！！你真的搞懂了RDD、DF、DS的区别吗？

转载自：https://www.cnblogs.com/mr-bigdata/p/14426049.htmlRDD、DataFrame、DataSet介绍我们每天都在基于框架开发，对于我们来说，一套易于使用的

Jimmy2019·2023-09-30 13:28

Scala语法之if...else、for循环、while循环、Break和Continue

Continue一、if…else语句//查看scala.io包下包含的内容//将光标放在io上即可，输入ctrl+b//将光标放在StdIn上即可，输入ctrl+b，看的是StdIn源码packagecom.bigdata.wcimportscala.io

最笨的羊羊·2023-09-29 06:21

Hadoop集群配置HA，开启故障自动转移后NameNode未正常切换问题解决

集群做了HA，bigdata01机器默认为active，bigdata02机器为standby，为了测试高可用，认为kill掉bigdata01节点的Namenode进程，发现bigdata02上的NameNode

Java_rainbow·2023-09-28 19:44

qq_40135006·2023-09-28 15:23

Mysql启动报错：InnoDB: Operating system error number 13 in a file operation.的解决方法

安装完MYSQL后，修改了my.cnf下的数据存储路径后，启动失败修改路径前启动成功，修改后无法启动#datadir=/var/lib/mysqldatadir=/home/bigdata/mysql_data

泊涯·2023-09-27 19:47

【知网检索征稿】第四届大数据经济与信息化管理国际学术会议（BDEIM2023）

第四届大数据经济与信息化管理国际学术会议（BDEIM2023）20234thInternationalConferenceonBigDataEconomyandInformationManagement

搞科研的小刘选手·2023-09-27 18:18

年度顶级赛事来袭：2023 CCF大数据与计算智能大赛首批赛题上线！

大赛介绍CCF大数据与计算智能大赛（CCFBigData&ComputingIntelligenceContest，简称CCFBDCI），是中国计算机学会于2013年创办的大数据与人工智能领域的算法、应用和系统大型挑战赛事

DataFountain数据科学·2023-09-27 10:09

Elasticsearch10：Elasticsearch的高级特性

[root@bigdata01~]#curl-XGET'http://bigdata01:9200/emp/_settings?pretty'{"

做一个有趣的人Zz·2023-09-27 08:36

K8s系列之：node节点重新加入k8s集群

K8s系列之：node节点重新加入k8s集群一、重置K8snode节点二、删除配置三、node节点重新加入k8s集群四、创建目录和配置一、重置K8snode节点[root@bigdata1manifests

最笨的羊羊·2023-09-27 07:40

如何部署一个最简单的Redis测试环境

如何部署一个最简单的Redis测试环境部署环境说明下载安装包上传和解压配置环境变量运行Redis测试部署环境说明[bigdata@vm6~]$cat/etc/redhat-releaseCentOSLinuxrelease7.3.1611

冀辉·2023-09-27 06:01

Airflow Conpect

NEO_X·2023-09-27 03:49

connect jdbc:hive2://bigdatanode1:10000beeline客户端报错Error: Could not open client transport with

connectjdbc:hive2://bigdatanode1:10000报错信息Connectingtojdbc:hive2://bigdatanode1:10000Enterusernameforjdbc

新征程，再出发·2023-09-26 23:19

大数据时代下如何保障信息安全？

对于“大数据”（Bigdata）,研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。‍‍

零信任Enlink_Young·2023-09-25 15:50

【EI会议】第三届大数据、人工智能与风险管理国际学术会议 (ICBAR 2023)

第三届大数据、人工智能与风险管理国际学术会议(ICBAR2023)20233rdInternationalConferenceonBigData,ArtificialIntelligenceandRiskManagement

搞科研的小刘选手·2023-09-25 05:32

017 Hadoop 的 13 大局限性 & Hadoop 弊端的解决方案

01713BigLimitationsofHadoop&SolutionToHadoopDrawbacksAlthoughHadoopisthemostpowerfultoolofbigdata,therearevariouslimitationsofHadooplikeHadoopisnotsuitedforsmallfiles

胡巴Lei特·2023-09-25 04:12

BigData-MySQL（事务和存储过程）

1.事务1.1存储引擎数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。Mysql的核心就是存储引擎。常见存储引擎InnoDB是事务型数据库的首选，执行安全性数据库，行锁定和外键。mysql5.5之后默认使用。MyISAM插入速度和查询效率较

蜡笔小虎_007·2023-09-24 21:51

CentOS7 下 HBase-1.3.1 安装

安装准备:Zookeeper-3.4.10Hadoop-2.7.3zk,hadoop安装略启动zookeeper集群[hadoop@hadoop131software]$/opt/bigdata/hadoop

V1cttor·2023-09-24 13:06

BigData-MySQL（数据库设计）

1.数据库设计数据库的设计是基础,数据库设计的目标是为用户和各种应用系统提供一个基础的信息设施和高效的运行环境。1.1数据库设计三个范式1NF:所有的域是原子性的表中的每一列应该是不可拆分的最小单元。最低要求。2NF:所有的非主键字段必须与主键相关,不能与部分主键相关(联合主键)每张表中描述和表示一类数据,多种不同的数据需要拆分到多张表中。3NF:所有非主键字段必须与主键直接相关,而不能依赖于其他

蜡笔小虎_007·2023-09-24 02:55

7.4-IngestPipeline&PainlessScript

的数据Tags字段中，逗号分隔的⽂本应该是数组，⽽不是⼀个字符串需求：后期需要对Tags进⾏Aggregation统计PUTtech_blogs/_doc/1{"title":"Introducingbigdata

落日彼岸·2023-09-23 20:01

hive元数据的partitions表不存在

Log4JLogger.java:error(115))-ErrorthrownexecutingALTERTABLE`PARTITIONS`ADDCOLUMN`TBL_ID`BIGINTNULL:Table'bigdata.partitions'doesn'texistjava.sq

万事于足下·2023-09-23 18:40

2015年《大数据》高被引论文Top10文章No.5——对大数据的再认识

其引用格式如下：李国杰.对大数据的再认识[J].大数据,2015001.LIGJ.Furtherunderstandingofbigdata[J].BigDataResearch,2015001.李国杰中

唐名威·2023-09-23 17:19

（本地安装clickhouse）执行 nstall/doinst.sh时报错： cp: 无法创建普通文件“/usr/bin/clickho

/module/再进入cdclickhouse-common-static-21.9.4.35/执行：install/doinst.sh报错报错信息和截图：root@bigdata1clickhouse-common-static

小辉懂编程·2023-09-23 15:58

社会化海量数据采集爬虫框架搭建

社会化海量数据采集爬虫框架搭建随着BIGDATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。

weixin_34381666·2023-09-23 04:53

大数据抓取采集框架

随着BIGDATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。

younger_z·2023-09-23 04:53

CDH重新初始化Hive元数据库

/schematool-initSchema-dbTypemysql--verbose执行报错：[root@prod-bigdata-pc7bin]#.

头顶榴莲树·2023-09-23 04:11

大数据之Hive初始化数据元

安装完hive后，需要配置好hive-site.xml配置如下：javax.jdo.option.ConnectionURLjdbc:mysql://bigdata113:3306/hivedb?

Java璐到底·2023-09-23 04:36

MySQL 两张表数据合并

有一个需求,需要从数据库中导出两张表的数据到同一个excel中鉴于是临时的业务需求,直接使用Navicat进行查询并导出数据.数据涉及到三张表CREATETABLE`bigdata_qiye`(`id`

Dylan Song·2023-09-22 14:04

LuatOS-SOC接口文档(air780E)-- fastlz - FastLZ压缩

示例--与miniz库的差异--内存需求量小很多,miniz库接近200k,fastlz只需要32k+原始数据大小--压缩比,miniz的压缩比要好于fastlz--准备好数据localbigdata=

l531798151·2023-09-22 05:29

启动spark历史服务失败问题处理

SPARK_HOME/sbin/start-history-server.shstartingorg.apache.spark.deploy.history.HistoryServer,loggingto/home/bigdata

泊涯·2023-09-21 23:52

rocketmq安装，内存配置，各种命令说明，windows下安装，控制台工具

1修改内存大小以下只是设置实例：cd/home/bigdata/installed/rocketmq-all-4.2.0（140机器）vimbin/runserver.sh（调整nameserver启动的内存

涂作权的博客·2023-09-20 23:17

大数据定义

大数据（bigdata），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

一揽疯华·2023-09-20 12:07

spark-sql sql on yarn --deploy-mode cluster 改造

前言众所周知，spark-sql不能提交到远端并且使用cluster进行部署：huangyichun@bigdata130023:~#spark-sql--masteryarn--deploy-modeclusterExceptioninthread"main"org.apache.spark.SparkException

青冬·2023-09-19 12:09

flink1.13 table api 查询hive数据，及腾讯云cos存储

代码packagecom.bigdata.etlimportorg.apac

杜之心·2023-09-19 11:25

爱思唯尔云论坛：疫情挑战下的大数据与人工智能研究

值此疫情之际，由爱思唯尔旗下大数据期刊BigDataResearch发起的“爱思唯尔云论坛：疫情挑战下的大数据与人工智能研究”将于4月18日在线举办。

PaperWeekly·2023-09-18 22:17

大数据的概念

1、大数据定义对于“大数据”（Bigdata）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

满龙林·2023-09-18 21:49

什么叫大数据大数据的概念