BigDATA 第21页

CentOS8.2安装Hadoop3.3.1

安装SSHyuminstall-yopenssh-clients首先产生公钥和私钥ssh-keygen-trsa查看产生的公钥和私钥[root@bigdata801~]#cd

俊杰梓·2021-10-06 10:22

大数据测试扫盲（一）

大数据(BigData):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

ths512·2021-09-21 12:47

IDEA 开发配置SparkSQL及简单使用案例代码

org.apache.sparkspark-sql_2.123.0.02.案例代码packagecom.zf.bigdata.spark.sqlimportorg.apache.spark.SparkConfimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql

·2021-08-10 12:46

从理念到实践跳跃式演进！云的原生“免疫系统”如何有机作战？

原生安全线上发布会：https://yqh.aliyun.com/live/openbigdata7月16日，以“原生安全二倍速：全面融入基础设施”为主题的阿里云原生安全线上专题活动收官，诠释

·2021-08-02 18:21

在Win10中用Hyper-V虚拟机搭建CDH集群

Version:v0.1LastUpdate:July/23/2021Keywords：CDH，Hadoop，BigDataPlatform，Hyper-V，VirtualMachineAbstract

lionxcat·2021-07-23 13:04

Centos7上Hadoop 3.3.1的高可用HA安装过程

目录1.集群规划2.下载(在bigdata001操作)3.配置文件修改(在bigdata001操作)3.1hadoop-env.sh3.2core-site.xml3.3hdfs-site.xml3.4mapred-site.xml3.5yarn-site.xml3.6

Bulut0907·2021-07-21 17:43

CentOS7 hadoop集群配置-1

一，准备三台centos7服务器vi/etc/hosts三台都输入192.168.12.137bigdata01192.168.12.138bigdata02192.168.12.139bigdata03

梅村_9643·2021-07-13 16:32

【CDH安装】2、CDH 集群安装配置

1、登录ClouderaManagerhttp://bigdata001:7180admin/admin2、选择免费版或者试用版3、继续下一步4、选择当前管理主机cloudera-scm-agent正常启动后

粮忆雨·2021-06-27 21:28

Spark安装,伪分布式环境的搭建与样例程序的测试

1IyGq3uYU2Yyp5KEfhaHKbw提取码：6zt9解压:tar-zxcfspark-2.1.0-bin-hadoop2.7.tgz-C/opt/module/spark-2.1.0-bin-hadoop2.7配置环境:[root@bigdata111conf

初之寒夏_末之凉秋·2021-06-27 20:46

【Mac大数据开发】第五篇-分布式集群和免密登陆

配置方案如下：bigdata1bigdata2bigdata3HDFSNameNodeSecondaryNameNodeDataNodeDataNodeDataNodeYARNnodeManagerResourceMangerNodeManagernodeManager

irving_yuan·2021-06-25 23:29

Stream Processing

起因准备学习BigData，成为一个DataEngineer，第一个想学的工具是DataIngestion的工具ApacheKafka，在自己上网找资料的过程中看到了一些新词（Kafka的应用领域）比如

0bbe943b8a86·2021-06-25 21:28

大数据能做什么呢，相信很多人都很懵，下面给大家介绍一下

似乎一夜之间，大数据（BigData）变成一个IT行业中最时髦的词汇。有一个有趣的故事是关于大数据营销奢侈品的。

大数据首席数据师·2021-06-24 22:19

20190721_flink安装

查看系统磁盘挂载情况df-h/home目录下有873G磁盘存储空间故把程序应该安装在/home目录下一、JavaJDK安装上传jdk安装包jdk-8u191-linux-x64.tar.gz至/home/bigdata

行走的数据智能·2021-06-24 10:05

《人力资源管理大数据》第1章：人力分析的时代背景

书名：PEOPLEAMALYTICSINTHEERAOFBIGDATA作者：JeanPaulIsson&JesseS.Harriott第一章：人力分析的时代背景图片来自网络，如侵删人力分析的重要性詹森·

二号姬·2021-06-21 19:45

二Azkaban安装部署

2.1安装前准备1)将AzkabanWeb服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到bigdata111虚拟机/opt/software目录下1)azkaban-web-server

码农GG·2021-06-21 18:00

fastqc的安装和使用

1、打开下载目录cd/bigdata/wangxj/Gobi_16s/raw2、下载nohupwget-chttp://www.bioinformatics.babraham.ac.uk/projects

小王的学习杂记·2021-06-21 01:14

2016大数据博览会暨高峰论

2016中国（北京）国际大数据产业博览会暨高峰论2016China（Beijing）InternationalBigDataIndustryExhibitionandSummitForum超大规模展出，

e0945727559e·2021-06-20 20:06

【关关·意画™】《百川取則™ 模特/演員大數據豐富計劃》即將發佈

百川取則ALLISONE模特/演員大數據豐富計劃ACTOR/MODELBIGDATAENRICHPROJECT即將發佈COMINGSOON《百川取則模特/演員大數據豐富計劃》意象示意《百川取則模特/演員大數據豐富計劃

百川取则·2021-06-19 03:12

高校人工智能专业实训建设方案

对于技术领域而言，普遍存在的一个巨大变化就是为大数据（Bigdata）打开了大门。

00d34451b19b·2021-06-18 22:03

高可用Hive配置多客户端多用户模式

这个时候我们就需要在其他节点安装hive的客户端高可用hive的搭建参考我的另一篇文章hive高可用搭建1.复制安装文件将hdp14的安装文件复制到要连接hive的节点hdp16[along@hdp14bigdata

薛定谔的猫不吃猫粮·2021-06-17 12:04

import（java & scala)

*importstaticjava.xxx.xxConstBean对象packagecom.atguigu.bigdata.java.chapter01;publicclassConstBean{publicstaticfinalintAGE

比格肖·2021-06-15 09:22

操作HBase报错: Could not initialize class org.apache.hadoop.hbase.protobuf.ProtobufUtil

问题一UnknownHostException:bigdatajava.io.IOException:java.lang.reflect.InvocationTargetExceptionatorg.apache.hadoop.hbase.client.ConnectionFactory.createConnection

海边的贝壳林·2021-06-15 08:45

2/2)SparkSQL – 从0到1认识Catalyst

SparkSQL–从0到1认识Catalyst–有态度的HBase/Spark/BigDatahttp://hbasefly.com/2017/03/01/sparksql-catalyst/最近想来，

葡萄喃喃呓语·2021-06-14 11:55

大数据(Hadoop)完全分布式集群安装（全）

一、大数据概述大数据概念大数据（BigData）：指的是传统数据处理应用软件不足以处理（存储和计算）它们的大而复杂的数据集。主要解决，海量数据的存储和海量数据的运算问题。

顾子豪·2021-06-14 10:37

CDH6安装（二）——集群基础配置

sudoers->添加cdhALL=(ALL)ALLchmodu-w/etc/sudoers操作使用用户sucdh验证结果使用sudo命令配置主机名sudohostnamectlset-hostnamebigdata11cat

PandaEyes聊大数据·2021-06-14 03:41

Flume的安装和测试

1.Flume的安装查看JAVA_HOME:[root@bigdata113~]#echo$JAVA_HOME/opt/module/jdk1.8.0_181安装Flume[root@bigdata112soft

初之寒夏_末之凉秋·2021-06-11 19:18

ssh免密登录设置

：路径：/root/.ssh文件名：公钥和密钥文件2、将主机A的公钥拷贝并追加到B的授权列表文件authorized_keys中ssh-copy-idB#B写ip或者主机名称例：ssh-copy-idbigdata03

黑哥666·2021-06-10 10:24

大数据常见格式和pyspark

1大数据数据格式1.1种类graphTDA[Bigdata]-->B[.csv]A-->C[.json]A-->D[Parquet]A-->E[Orc]A-->F[Avro]A-->G[Thrift]A

MichelleZm·2021-06-09 08:26

Flink HA ZooKeeper

#jobmanager.rpc.address:bigdata11high-availability:zookeeper#指定高可用模式（必须）high-availability.zookeeper.quorum

一个人一匹马·2021-06-09 02:48

了解未来数字化生活的利弊

随着“ABCD”概念（人工智能AI、区块链Blockchain、云计算CloudComputing、大数据BigData）的不断升温，可以预见在不久的未来，数字化工具将成为人们生活中难以分离的部分。

逻辑思维软件·2021-06-08 18:03

人工智能教学解决方案

对于技术领域而言，普遍存在的一个巨大变化就是为大数据（Bigdata）打开了大门。

00d34451b19b·2021-06-08 06:37

windows环境搭建hadoop伪集群

在当前日益兴盛的大数据(bigdata)时代，hadoop和它的生态体系从中脱颖问出，因为我们开发环境大多在windows上，但因安全策略限制等原因不方便用虚拟机运行Linux和租用云服务器怎么办，不要慌

风澈vio·2021-06-07 15:01

Awesome Lists

ContentsPlatformsProgrammingLanguagesFront-EndDevelopmentBack-EndDevelopmentComputerScienceBigDataTheoryBooksEditorsGamingDevelopmentEnvironmentEntertainmentDatabasesMediaLearnSecurityContentManagemen

liquanhai·2021-06-06 01:06

初识spark

大数据及分析环境bigdata主要体现在：量，速度，多样性数据量，数据流速度（实时，批量，串流），数据多样性（结构化，半结构化（弹性内容），非结构化（写parser处理））lambdaarchitecture

pamperxg·2021-06-05 11:21

CDH6安装（四）——httpd+yum源配置

上传安装包到HTTPD服务器（bigdata01）1.创建目录sudomkdir-p/var/www/html2.将安装包通过xftp传入html目录cat/etc/redhat-release#查看centos

PandaEyes聊大数据·2021-06-05 07:26

CDH6安装（七）——Server和Agent的安装

ClouderaManagerServer安装（bigdata01）sudoyuminstall-ycloudera-manager-server到SQL的服务器上，创建临时访问权限（bigdata02

PandaEyes聊大数据·2021-06-04 06:02

java 反射

参数类型参数1自定义job类型的名称参数2输出路径参数3,4,5...输入路径*/enterdescriptionhere方案一暴力反射，获取类方法直接调用packagecom.bigdata.AIDoctorGuide.job

天堂宝宝_V·2021-06-04 02:26

oracle使用ogg导出数据到kafka

oracle19c10.0.2.15kafkakafka_2.13-2.8.0二进制安装10.0.2.12安装包oracle源端191004_fbo_ggs_Linux_x64_shiphome.zipkafka目标端OGG_BigData_Linux_x64

时空无限·2021-05-24 17:49

大数据时代，让一群脑残为你选书

（首发于纽约时报中文网）对“大数据”概念还搞不清的人可以松一口气了，如果你读过《大数据时代》（BigData:ARevolutionThatWillTransformHowWeLive,Work,andThink

师北宸·2021-05-21 13:22

ZooKeeper总结——了解级别

参考：https://zhuanlan.zhihu.com/p/348753812https://github.com/wangzhiwubigdata/God-Of-BigData#Spark%E5%

Zeroowt·2021-05-20 21:06

数据挖掘ch1

WhatisBigData?

SeanC52111·2021-05-20 01:21

hadoop-spark

1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.73.配置环境变量HADOOP_HOME:D

mpro·2021-05-19 06:04

QQ浏览器用户体验报告-16.4.20

软件版本：v6.6.0.2229操作系统：ios9.2.11.移动端浏览器数据分析根据比达咨询(BigData-Research)发布的《2015年第三季度中国手机浏览器市场研究报告》，我们可以看出2015

gabbe·2021-05-18 11:38

BigData-Java总结大全（二）苏暖人

##BigData-Java总结大全（二）区别设计##1.this与super的区别this与super关键字在java中构造函数中的应用：**super()函数**super()函数在子类构造函数中调用父类的构造函数时使用

北京大数据苏焕之·2021-05-17 20:25

什么是大数据？

大数据（bigdata），或称巨量数据、海量数据；是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的集成共享，交叉复用形成的智力资源和知识服务能力。

godhong·2021-05-17 09:46

CouchDB——使用JSON来存储数据的面向文档的开源NoSQL数据库。

葡萄喃喃呓语·2021-05-16 15:42

google的三篇论文阅读感想

大数据（英语：Bigdata），又称为巨量资料，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。

风气天蓝·2021-05-16 00:05

简单了解一下大数据的一些基本概念

大数据（Bigdata或Megadata）：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。

尚学先生·2021-05-15 09:09

Ubuntu18.04 + docker + hadoop + spark 搭建分布式集群

物料说明宿主机ubuntu18.04dockerjdk1.8.0_211hadoop3.2spark2.4.3约定操作的路径为/home/bigdata/step0安装docker容器#删除可能有的旧版本

等流心0316·2021-05-15 01:00

数据分析之“Excel条件格式”（全）

文|仟樱雪BIGDATA不仅是口号，如今90%的基础数据分析岗位都会准备Excel的机试，每每挂掉无数人，作为初入职场的freshman，在面对一份份依据条件显示单元格的设置难题时，难免抓耳挠腮；而作为久经职场的老鸟们

仟樱雪·2021-05-14 15:46

推荐频道

BigDATA