bigdata 第7页

Hadoop vs. Spark: The New Age of Big Data

[size=medium][b]Hadoopvs.Spark:TheNewAgeofBigData[/b][/size][size=x-small][b]PostedFebruary5,2016By[url

iteye_3352·2023-10-04 00:05

数仓精品理论-做大数据还有没有前途？

datapulse官网：github:https://datapulse-china.github.iogitee:https://datapulse.gitee.io/org/微信号：bigdatadev_h

辉常努腻·2023-10-02 02:42

安装rpm包出现错误: not an rpm package

过程如下：使用wgethttps://************************.rpm下载的安装包在安装时出现了[root@bigdata111rabbitmq]#rpm-Uvherlang-23.2.7

Mr_YangSir·2023-10-01 20:40

24Hibench

1.Hibench官网HiBenchisabigdatabenchmarksuitethathelpsevaluatedifferentbigdataframeworksintermsofspeed,throughputandsystemresourceutilizations.ItcontainsasetofHadoop

sorry_maker·2023-10-01 17:29

单例

1.懒汉式packagecom.atguigui.bigdata.chapter06objectTestSingleTon{defmain(args:Array[String]):Unit={valsingleTon

比格肖·2023-10-01 11:00

别再人云亦云了！！！你真的搞懂了RDD、DF、DS的区别吗？

转载自：https://www.cnblogs.com/mr-bigdata/p/14426049.htmlRDD、DataFrame、DataSet介绍我们每天都在基于框架开发，对于我们来说，一套易于使用的

Jimmy2019·2023-09-30 13:28

Scala语法之if...else、for循环、while循环、Break和Continue

Continue一、if…else语句//查看scala.io包下包含的内容//将光标放在io上即可，输入ctrl+b//将光标放在StdIn上即可，输入ctrl+b，看的是StdIn源码packagecom.bigdata.wcimportscala.io

最笨的羊羊·2023-09-29 06:21

Hadoop集群配置HA，开启故障自动转移后NameNode未正常切换问题解决

集群做了HA，bigdata01机器默认为active，bigdata02机器为standby，为了测试高可用，认为kill掉bigdata01节点的Namenode进程，发现bigdata02上的NameNode

Java_rainbow·2023-09-28 19:44

qq_40135006·2023-09-28 15:23

Mysql启动报错：InnoDB: Operating system error number 13 in a file operation.的解决方法

安装完MYSQL后，修改了my.cnf下的数据存储路径后，启动失败修改路径前启动成功，修改后无法启动#datadir=/var/lib/mysqldatadir=/home/bigdata/mysql_data

泊涯·2023-09-27 19:47

【知网检索征稿】第四届大数据经济与信息化管理国际学术会议（BDEIM2023）

第四届大数据经济与信息化管理国际学术会议（BDEIM2023）20234thInternationalConferenceonBigDataEconomyandInformationManagement

搞科研的小刘选手·2023-09-27 18:18

年度顶级赛事来袭：2023 CCF大数据与计算智能大赛首批赛题上线！

大赛介绍CCF大数据与计算智能大赛（CCFBigData&ComputingIntelligenceContest，简称CCFBDCI），是中国计算机学会于2013年创办的大数据与人工智能领域的算法、应用和系统大型挑战赛事

DataFountain数据科学·2023-09-27 10:09

Elasticsearch10：Elasticsearch的高级特性

[root@bigdata01~]#curl-XGET'http://bigdata01:9200/emp/_settings?pretty'{"

做一个有趣的人Zz·2023-09-27 08:36

K8s系列之：node节点重新加入k8s集群

K8s系列之：node节点重新加入k8s集群一、重置K8snode节点二、删除配置三、node节点重新加入k8s集群四、创建目录和配置一、重置K8snode节点[root@bigdata1manifests

最笨的羊羊·2023-09-27 07:40

如何部署一个最简单的Redis测试环境

如何部署一个最简单的Redis测试环境部署环境说明下载安装包上传和解压配置环境变量运行Redis测试部署环境说明[bigdata@vm6~]$cat/etc/redhat-releaseCentOSLinuxrelease7.3.1611

冀辉·2023-09-27 06:01

Airflow Conpect

NEO_X·2023-09-27 03:49

connect jdbc:hive2://bigdatanode1:10000beeline客户端报错Error: Could not open client transport with

connectjdbc:hive2://bigdatanode1:10000报错信息Connectingtojdbc:hive2://bigdatanode1:10000Enterusernameforjdbc

新征程，再出发·2023-09-26 23:19

大数据时代下如何保障信息安全？

对于“大数据”（Bigdata）,研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。‍‍

零信任Enlink_Young·2023-09-25 15:50

【EI会议】第三届大数据、人工智能与风险管理国际学术会议 (ICBAR 2023)

第三届大数据、人工智能与风险管理国际学术会议(ICBAR2023)20233rdInternationalConferenceonBigData,ArtificialIntelligenceandRiskManagement

搞科研的小刘选手·2023-09-25 05:32

017 Hadoop 的 13 大局限性 & Hadoop 弊端的解决方案

01713BigLimitationsofHadoop&SolutionToHadoopDrawbacksAlthoughHadoopisthemostpowerfultoolofbigdata,therearevariouslimitationsofHadooplikeHadoopisnotsuitedforsmallfiles

胡巴Lei特·2023-09-25 04:12

BigData-MySQL（事务和存储过程）

1.事务1.1存储引擎数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。Mysql的核心就是存储引擎。常见存储引擎InnoDB是事务型数据库的首选，执行安全性数据库，行锁定和外键。mysql5.5之后默认使用。MyISAM插入速度和查询效率较

蜡笔小虎_007·2023-09-24 21:51

CentOS7 下 HBase-1.3.1 安装

安装准备:Zookeeper-3.4.10Hadoop-2.7.3zk,hadoop安装略启动zookeeper集群[hadoop@hadoop131software]$/opt/bigdata/hadoop

V1cttor·2023-09-24 13:06

BigData-MySQL（数据库设计）

1.数据库设计数据库的设计是基础,数据库设计的目标是为用户和各种应用系统提供一个基础的信息设施和高效的运行环境。1.1数据库设计三个范式1NF:所有的域是原子性的表中的每一列应该是不可拆分的最小单元。最低要求。2NF:所有的非主键字段必须与主键相关,不能与部分主键相关(联合主键)每张表中描述和表示一类数据,多种不同的数据需要拆分到多张表中。3NF:所有非主键字段必须与主键直接相关,而不能依赖于其他

蜡笔小虎_007·2023-09-24 02:55

7.4-IngestPipeline&PainlessScript

的数据Tags字段中，逗号分隔的⽂本应该是数组，⽽不是⼀个字符串需求：后期需要对Tags进⾏Aggregation统计PUTtech_blogs/_doc/1{"title":"Introducingbigdata

落日彼岸·2023-09-23 20:01

hive元数据的partitions表不存在

Log4JLogger.java:error(115))-ErrorthrownexecutingALTERTABLE`PARTITIONS`ADDCOLUMN`TBL_ID`BIGINTNULL:Table'bigdata.partitions'doesn'texistjava.sq

万事于足下·2023-09-23 18:40

2015年《大数据》高被引论文Top10文章No.5——对大数据的再认识

其引用格式如下：李国杰.对大数据的再认识[J].大数据,2015001.LIGJ.Furtherunderstandingofbigdata[J].BigDataResearch,2015001.李国杰中

唐名威·2023-09-23 17:19

（本地安装clickhouse）执行 nstall/doinst.sh时报错： cp: 无法创建普通文件“/usr/bin/clickho

/module/再进入cdclickhouse-common-static-21.9.4.35/执行：install/doinst.sh报错报错信息和截图：root@bigdata1clickhouse-common-static

小辉懂编程·2023-09-23 15:58

社会化海量数据采集爬虫框架搭建

社会化海量数据采集爬虫框架搭建随着BIGDATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。

weixin_34381666·2023-09-23 04:53

大数据抓取采集框架

随着BIGDATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。

younger_z·2023-09-23 04:53

CDH重新初始化Hive元数据库

/schematool-initSchema-dbTypemysql--verbose执行报错：[root@prod-bigdata-pc7bin]#.

头顶榴莲树·2023-09-23 04:11

大数据之Hive初始化数据元

安装完hive后，需要配置好hive-site.xml配置如下：javax.jdo.option.ConnectionURLjdbc:mysql://bigdata113:3306/hivedb?

Java璐到底·2023-09-23 04:36

MySQL 两张表数据合并

有一个需求,需要从数据库中导出两张表的数据到同一个excel中鉴于是临时的业务需求,直接使用Navicat进行查询并导出数据.数据涉及到三张表CREATETABLE`bigdata_qiye`(`id`

Dylan Song·2023-09-22 14:04

LuatOS-SOC接口文档(air780E)-- fastlz - FastLZ压缩

示例--与miniz库的差异--内存需求量小很多,miniz库接近200k,fastlz只需要32k+原始数据大小--压缩比,miniz的压缩比要好于fastlz--准备好数据localbigdata=

l531798151·2023-09-22 05:29

启动spark历史服务失败问题处理

SPARK_HOME/sbin/start-history-server.shstartingorg.apache.spark.deploy.history.HistoryServer,loggingto/home/bigdata

泊涯·2023-09-21 23:52

rocketmq安装，内存配置，各种命令说明，windows下安装，控制台工具

1修改内存大小以下只是设置实例：cd/home/bigdata/installed/rocketmq-all-4.2.0（140机器）vimbin/runserver.sh（调整nameserver启动的内存

涂作权的博客·2023-09-20 23:17

大数据定义

大数据（bigdata），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

一揽疯华·2023-09-20 12:07

spark-sql sql on yarn --deploy-mode cluster 改造

前言众所周知，spark-sql不能提交到远端并且使用cluster进行部署：huangyichun@bigdata130023:~#spark-sql--masteryarn--deploy-modeclusterExceptioninthread"main"org.apache.spark.SparkException

青冬·2023-09-19 12:09

flink1.13 table api 查询hive数据，及腾讯云cos存储

代码packagecom.bigdata.etlimportorg.apac

杜之心·2023-09-19 11:25

爱思唯尔云论坛：疫情挑战下的大数据与人工智能研究

值此疫情之际，由爱思唯尔旗下大数据期刊BigDataResearch发起的“爱思唯尔云论坛：疫情挑战下的大数据与人工智能研究”将于4月18日在线举办。

PaperWeekly·2023-09-18 22:17

大数据的概念

1、大数据定义对于“大数据”（Bigdata）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

满龙林·2023-09-18 21:49

什么叫大数据大数据的概念

1、大数据定义对于“大数据”（Bigdata）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

BLSPers·2023-09-18 21:16

使用Navicat premium同步表结构和表数据

同步"bigdata"数据库里的所有表和数据。1、在目标数据库创建跟源数据库相同的数据库：2、输入数据库名:我这里要同步的数据库名是“bigdata”,字符集和排序规则我用的是默认的。

fooke·2023-09-18 20:29

大数据知识点之什么是大数据

大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

猿界零零七·2023-09-18 18:54

阿里大数据架构师告诉你这些大数据面试题！你不看？

随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。

大数据学习02·2023-09-18 09:15

Ubuntu 22.04 配置 JDK8

mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/linux/OpenJDK8U-jdk_x64_linux_hotspot_8u372b07.tar.gz解压Jdk(在bigdata01

demodeom·2023-09-18 09:21

一个‘大数据’引发的商业模式推测

图片发自App大数据（BIGDATA）可能大家前面几年听这个词已经听的耳熟能详了，每个人都能说出一个一二三，但是大数据与我们生活息息相关吗？

A_VitoYang·2023-09-17 17:39

Apache Ignite 基本概念

简单说ApacheIgnite是为开发人员提供了实时处理大数据和内存计算的方便易用的解决方案：一个以内存为中心的数据平台可持久化、强一致和高可用强大的SQL、键-值存储及相关的APIBigdataaccelerator

wank1259162·2023-09-17 10:11

Apache Spark 2.2.0 官方文档中文版

原文链接:http://www.apachecn.org/bigdata/spark/268.htmlApacheSpark™是一个快速的,用于海量数据处理的通用引擎.官方网址:http://spark.apache.org

boonya·2023-09-17 10:40

先电2.4版本iaas搭建部分（vm中模拟，比赛使用服务器）

改革由于2020年云计算改革由团队比赛变成个人比赛，原本由三个人，iaas和pass，bigdata,云应用开发都变成一个人所有脚本都在/usr/local/bin/今天刚拿到镜像和文档，先进行搭建预先准备配置两个网卡的

黑白子2000·2023-09-17 01:01

1.spark读取数据与scala编程

以下是idea中用到的maven仓库版本说明：spark2.3.1scala2.11hadoop3.1.14.0.0com.attest.bigdataspark-2003291.0org.apache.sparkspark-core

一杭oneline·2023-09-16 10:59

推荐频道

bigdata