研磨hadoop

大数据----2.基础环境搭建

大数据hadoop环境搭建一、linux环境搭建1.linux环境1.hadoop是运行在linux系统之上；但是也有windows版本的hadoop；学习的时候使用linux来进行学习；使用虚拟机虚拟一个
学无止境的大象·2023-09-22 02:47

虚拟机搭建Hadoop集群环境-CentOS篇

文章目录Linux环境安装虚拟机环境准备虚拟机克隆修改虚拟机IP修改主机名创建普通用户重启虚拟机使用Xshell远程访问集群搭建安装JDK安装Hadoop关闭防火墙其它节点虚拟机克隆配置SSH无密钥登录编写文件集群分发脚本修改
书隐辞·2023-09-22 02:16

大数据运维---hadoop集群基础环境的配置

准备三台虚拟机，三个节点，CentOS1.配置静态ip（三台都要配置）：进入网卡ens33的配置页面[root@localhost~]#vi/etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=static//修改：将原先的dhcp修改为staticDEFRO
w_sunset·2023-09-22 02:16

大数据复习----虚拟机创建~集群搭建~hadoop高可用

1.centos7创建1.新建虚拟机2.最好放在非系统盘的固态盘3.设置内存大小，根据自己需求4.默认5.默认6.动态分配7.最少100G8.分组9.重命名10.11.12.安装操作系统13.选择镜像14.15.16.修改CPU17.修改鼠标18.启动19.自由缩放20.21.22.23.设置root密码24.重启2.配置网络环境1.cd/etc/sysconfig/network-scripts
lkm0522·2023-09-22 02:45

大数据入门--hadoop（一）--分布式集群搭建

大数据入门--hadoop（一）--分布式集群搭建准备工作ntp时间同步hadoop101配置修改/etc/ntp.conf修改/etc/sysconfig/ntpd文件重新启动ntpd服务其他服务器配置
许中宝·2023-09-22 02:45

VMware VMnet8 模式共享主机网络配置静态 IP 和 DNS

一、简介NAT网络模式：1.宿主机可以看做一个路由器，虚拟机通过宿主机的网络来访问Internet；2.可以安装多台虚拟机，组成一个小型局域网，例如：搭建hadoop集群、分布式服务。
WGH100817·2023-09-22 00:30

docker手撸hadoop伪分布式

基础搭建dockerpullcentosdockerrun-idt-hnode0--name--privileged--namessh_centoscentos/usr/sbin/initdockerexec-itssh_centos/bin/bash#进入了容器#修改源文件下载提速yum-yinstallwget#安装wgetmv/etc/yum.repos.d/CentOS-Base.repo
一秒一心跳·2023-09-22 00:52

hadoop抽象文件系统filesystem框架介绍

为了提供对不同数据访问的一致接口，Hadoop借鉴了Linux虚拟文件系统的概念，引入了Hadoop抽象文件系统，并在Hadoop抽象文件系统的基础上，提供了大量的具体文件系统的实现，满足构建于Hadoop
souy_c·2023-09-21 23:10

【Hadoop】HDFS API 操作大全

博主"开着拖拉机回家"带您GotoNewWorld.✨个人主页——开着拖拉机回家_Linux,大数据运维-CSDN博客✨希望本文能够给您带来一定的帮助文章粗浅，敬请批评指正！感谢点赞和关注，每天进步一点点！加油！目录博主"开着拖拉机回家"带您GotoNewWorld.✨一、FileSystem文件抽象类1.1文件读取API1.2文件操作API1.3抽象FileSystem类的具体实现子类1.4Fi
开着拖拉机回家·2023-09-21 23:38

Java中人工智能的框架

在Java中,常用的人工智能框架有:Deeplearning4j:一个用于深度学习的开源Java框架,可以在多种平台上运行,包括CPU,GPU和ApacheHadoop。
永远的12·2023-09-21 19:07

大数据存储与处理

以下是关于大数据存储与处理的一些关键概念和技术：1.数据存储：大数据通常需要高效的存储解决方案，包括分布式文件系统（如HadoopHDFS）和分布式数据库系统（如ApacheCassandra、HBase
猫一样的女子245·2023-09-21 19:39

中兴面试-Java开发

1、Springboot框架，yarn是怎么配置的SpringBoot本身没有直接的配置或集成与YARN(YetAnotherResourceNegotiator)的特性，YARN是Hadoop的一个资源管理和作业调度平台
金州饿霸·2023-09-21 18:12

MapRdeuce工作原理

hadoop-(三)通俗易懂地理解MapReduce的工作原理-个人文章-SegmentFault思否MapReduce架构MapReduce执行过程Map和Reduce工作流程(input)->
丢雷劳谋·2023-09-21 18:11

Sqoop（SQL to Hadoop）数据传输工具：用于在Hadoop和关系数据库服务器之间传输数据

Sqoop（SQLtoHadoop）是一个Apache软件基金会下的开源工具，用于在Hadoop和关系数据库服务器之间传输数据。
源代码杀手·2023-09-21 18:11

centos8安装hadoop、hive及配置mysql作为metadata全套教程（伪分布模式）下

mysql安装sudodnfinstall@mysql#进行安装sudosystemctlenable--nowmysqld#启动mysql服务，并使得以后开机自启动sudosystemctlstatusmysqld#查看mysql状态，看看是否成功启动sudomysql_secure_installation#进行一些简单配置，比如设置root用户密码，询问是否删除匿名用户等，要注意其中有一个是
吴优秀同学·2023-09-21 17:46

hadoop集群搭建

vim/etc/hosts192.168.1.2Master.Hadoop192.168.1.3Slave1.Hadoop192.168.1.4Slave2.Hadoop192.168.1.5Slave3
我有甜甜·2023-09-21 15:45

Flink DataStream API （四）Flink 读取 Kafka

在如今的实时流处理应用中，由Kafka进行数据的收集和传输，Flink进行分析计算，这样的架构已经成为众多企业的首选创建kafkaTopicclicks[root@hadoop102kafka]#bin
Alienware^·2023-09-21 15:44

Hadoop运行环境搭建

IP修改主机名关闭防火墙创建your_name用户设置your_name用户具有root权限在/opt目录下创建文件夹chownalt+t传输模式解压并且存放命令配置环境变量启动环境变量2jdk安装3Hadoop
小猪Piglet·2023-09-21 15:00

2022-11-25

这个丫头可是连蛇都敢抓，卖给河对面的三强他爷，一条五毛钱，必须得是竹叶青，老爷子有祖传的治恶疮的秘方，晒干的竹叶青是其中一样药材，还有一样就是癞蛤蟆，在树上吊着晒成干，研磨入药，不知道还用啥药。
格桑梅朵一直在路上·2023-09-21 12:12

【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析（五）

博主介绍：✌全网粉丝6W+,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌文末获取项目联系基于Hadoop
Maynor996·2023-09-21 12:23

tp5 php ES的使用

本解决方案是基于Mysql数据库、Hadoop生态（可选）、ElasticSearch搜索引擎三大数据系统实现一个分布式全文搜索系统。主要包括数据接入、数据索引和全文搜索3个模块。
.海上月·2023-09-21 11:14

Hadoop Hbase

0目录1.Hbase安装2.表操作3.hbase原理1.Hbase安装1.1安装zookeeper下载解压zookeeper和hbase到soft目录1.2安装hbase配置环境变量vim/etc/profile#ZKexportZOOKEEPER_HOME=/opt/soft/zk345exportPATH=$ZOOKEEPER_HOME/bin:$PATH#HBASE_HOMEexportHB
请给我一串代码好吗·2023-09-21 11:19

已解决：sqoop mysql导入hive报错

背景：使用sqoop工具将MySQL表导入到hive时报错如下报错内容：ERRORhive.HiveConfig:Couldnotloadorg.apache.hadoop.hive.conf.HiveConf.MakesureHIVE_CONF_DIRissetcorrectly
waylyw·2023-09-21 10:12

SQOOP2 使用报错分析与解决

项目场景：Hadoop版本：3.1.2SQOOP2版本：1.99.7关系型数据库：Mariadb10.3.15项目目的：使用sqoop2进行从关系型数据库导入HDFS中。
lostar01·2023-09-21 10:42

修炼离线：（三）sqoop插入hbase 报错权限问题

切换hadoop用户：exportHADOOP_USER_NAME=hdfshadoopfs-chown-Rroot:root/方法二：修改权限切换hadoop用户：exportHADOOP_USER_NAME
宇智波云·2023-09-21 10:10

hive连接Presto

配置HiveConnectoretc/catalog/hive.propertiesconnector.name=hive-hadoop2hive.metastore.uri=thrift://:9083hive.config.resources
大数据开发工程师-宋权·2023-09-21 09:52

(二)presto集成Hive

Hive依赖HDFS,并且这里环境其元数据存储在mysql中，故在启动Hive之前要先启动HDFS和Mysql;1、主节点启动hdfs[root@mastersbin]#pwd/opt/softWare/hadoop
郝少·2023-09-21 09:20

HIVE，SparkSql和Presto对比

HIVE，SparkSql和Presto对比HIVEhive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
loophome·2023-09-21 09:20

【Linux基础】第29讲 Linux用户和用户组权限控制命令（一）

1useradd添加新用户（注意：当前用户必须有添加用户的权限）1）基本语法useradd用户名（功能描述：添加新用户）2）案例root@sue-virtual-machine:/usr/local#useraddhadoop2passwd
月光水岸New·2023-09-21 08:25

【Linux基础】第31讲 Linux用户和用户组权限控制命令（三）

groupadd新增组1）基本语法groupadd组名2）案例添加一个hadoop组root@
月光水岸New·2023-09-21 08:25

Hadoop-3.3.6完全分布式集群安装

Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机IP地址主机名192.168.10.101master192.128.10.102worker1192.168.10.103worker2Step2：在克隆的虚拟机内输入命令：vim/etc/sysconfig/networ
m0_63480823·2023-09-21 08:32

解决Zookeeper启动集群出现Cannot open channel to 4 at election address hadoop104/192.168.10.103:3888问题

解决Zookeeper启动集群出现Cannotopenchannelto4atelectionaddresshadoop104/192.168.10.103:3888真是奇了怪了，之前zookeeper
一心只想搞数据·2023-09-21 07:41

电商数仓学习笔记(一）

第一章数据仓库概念第二章项目需求及架构设计项目需求项目框架第三章数据生成模块目标数据数据埋点服务器和jdk准备编写集群分发脚本xsync模拟数据集群日志生成脚本第四章数据采集模块集群所有进程查看脚本Hadoop
芝士雪豹.·2023-09-21 06:01

hive表字段跟字段对应的值转为json数组

selectcollect_list(named_struct('id',id,'name',name))fromtable此方式不适用于字段数量过多的情况（比较麻烦）第二种方式写udf函数importorg.apache.hadoop.hive.ql.exec.Description
weixin_44352020·2023-09-21 05:48

sqoop1.4.7和hadoop的兼容性，sqoop的安装和使用

sqoop1.4.7兼容hadoop2.6以上所有版本1下载并解压1）下载地址：http://mirrors.hust.edu.cn/apache/sqoop2）上传安装包sqoop-1.4.7.bin
Cynicism_Kevin·2023-09-21 05:43

Hadoop集群搭建的总结

准备工作虚拟机安装三台linux，可以先安装一台虚拟器，然后进行克隆。这里我使用的是：centos6.5ip配置配置网络虚拟编辑器。如果是采用克隆的机器，注意修改mac地址，和ip地址。修改主机名vi/etc/sysconfig/network设置一台机器为master,另外两台为：node1,node2。集群搭建步骤1.设置ip：使用命令servicenetworkrestart重启网卡2.关闭
qq_40178533·2023-09-21 05:43

hadoop测试环境sqoop使用

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档Sqoop看这篇文章就够了_mustcontain'$conditions'inwhereclause._SoWhat1412的博客-CSDN博客大数据环境C:\Windows\System32\drivers\etc修改ip和hostname的对应关系127.0.0.1view-localhost#viewlocalhostserv
hxsln11·2023-09-21 05:08

Hadoop学习总结（搭建Hadoop集群的安装准备）

目录一、安装jdk1、查看电脑中安装的jdk版本2、安装jdk173、配置path（配置jdk）4、对jdk8和jdk17版本做自由切换二、安装vmware三、安装centos7（虚拟机）四、虚拟机设置五、虚拟机网络配置1、查看NAT的网段2、修改主机名（1）修改虚拟机的hosts（2）修改虚拟机的hostname3、在Windows中ping虚拟机六、其他的配置1、使用远程工具2、安装一些必要的
Qinqin.J·2023-09-21 05:07

大数据学习之Hadoop

一、基础概念Hadoop包含HDFS和MapReduce，HDFS实现分布式存储，MapReduce实现数据分布式计算。HDFS：HDFS是由Namenode和Datanode组成。
我问你瓜保熟吗·2023-09-21 04:40

芯片生产封装过程简介及概念

硅晶棒在经过研磨，抛光，切片后，形成硅晶圆片，也就是晶圆。
cy413026·2023-09-21 04:15

Windows下Pycharm的Spark、Hadoop、Scala安装及常见报错（graphframes避坑、jupyter的文件位置更换、conda环境建立）

目录软件安装1、jdk安装2、Anaconda安装3、scala安装4、Hadoop安装5、Spark安装6、安装sbt包安装1、安装py4j2、安装pyspark接下来是新建python项目1、项目配置
soberld·2023-09-21 02:21

Mac pycharm 导入pyspark

转载于：点击打开链接1前提：已经安装了pycharm，下载了spark（官网下载，我下的是spark-2.1.1-bin-hadoop2.7.tgz，解压缩后为文件夹spark-2.1.1-bin-hadoop2.7
大师兄你家猴跑啦·2023-09-21 02:51

Hadoop源码阅读（三）：HDFS上传

说明：1.Hadoop版本：3.1.32.阅读工具：IDEA2023.1.23.源码获取：Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入：
THE WHY·2023-09-21 02:46

Hadoop集群--(2)启动&初体验

1.启动方式要启动Hadoop集群，需要启动HDFS和YARN两个集群注意：首次启动HDFS时，必须对其进行格式化操作。
周凡_07b2·2023-09-21 02:06

java api操作HDFS

如果是使用maven的话，导入如下依赖即可，否则需要在解压好的hadoop文件夹下找到common文件夹和hdfs文件夹下的jar包org.apache.hadoophadoop-client2.8.3
一条IT·2023-09-20 23:27

Hdoop伪分布式集群搭建

文章目录Hadoop安装部署前言1.环境2.步骤3.效果图具体步骤（一）前期准备（1）ping外网（2）配置主机名（3）配置时钟同步（4）关闭防火墙（二）正文（1）配置hosts列表（2）SSH免密钥登录配置
陈七.·2023-09-20 22:27

hadoop安装后运行hadoop version 报找不到命令

hadoop安装后运行hadoopversion报找不到命令[root@localhostdevlops]#hadoopversionERROR:JAVA_HOMEisnotsetandcouldnotbefound
Xujunn·2023-09-20 22:43

hiveserver2 和beeline_Beeline连接Hiveserver2错误

错误定位最近给hadoop集群配置了kerberos认证，之后准备配置sentry进行权限管理。安装并启用sentry服务后需要在beeline进行Grant等授权操作。
weixin_39633134·2023-09-20 22:36

JAVA代码实现hive连接mysql_Java采用JDBC的方式连接Hive（SparkSQL）

前两天，由于系统的架构设计的原因，想通过Java直接访问Hive数据库，对于我这个Java以及Hadoop平台的菜鸟来说，的确是困难重重，不过，还好是搞定了。感觉也不是很麻烦。
林生风·2023-09-20 22:35

解决：启动Hive出现Exception in thread “main“ java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata

在启动Hive时出现如下错误：Logginginitializedusingconfigurationinjar:file:/usr/hive/apache-hive-2.1.1-bin/lib/hive-common-2.1.1.jar!/hive-log4j2.propertiesAsync:trueExceptioninthread"main"java.lang.RuntimeExcepti
一条肥雷·2023-09-20 22:31
上一页 94 95 96 97 98 99 100 101 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他