E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
集群搭建Hadoop
Hadoop
集群搭建
:4.修改
Hadoop
的配置文件、节点启动
配置文件的路径:/module/
hadoop
-2.7.2/etc/
hadoop
1.核心配置文件配置core-site.xml,命令:vicore-site.xml在该文件的中config范围内编写如下配置
丶珍视当下
·
2024-01-09 23:38
【学习笔记】尚硅谷
Hadoop
大数据教程笔记
本文是尚硅谷
Hadoop
教程的学习笔记,由于个人的需要,只致力于搞清楚
Hadoop
是什么,它可以解决什么问题,以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。
棉花糖灬
·
2024-01-09 23:17
大数据
大数据
hadoop
MapReduce
yarn
hdfs
《
Hadoop
大数据技术原理与运用》知识点总结
Hadoop
学习过程中的一些笔记参考书籍《
Hadoop
大数据技术原理与应用》清华大学出版社黑马程序员/编著1.什么是大数据?大数据的四个特征是什么?
呆小黎
·
2024-01-09 22:47
大数据
hadoop
数据库
分布式
笔记:分布式大数据技术原理(一)
Hadoop
框架
Apache
Hadoop
软件库是一个框架,它允许使用简单的编程模型,实现跨计算机集群的大型数据集的分布式处理。
WeeeicheN
·
2024-01-09 22:17
Big
Data
big
data
hadoop
笔记:分布式大数据技术原理(三)Spark
ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与
Hadoop
和Storm
WeeeicheN
·
2024-01-09 22:17
Big
Data
big
data
spark
第一章 大数据
Hadoop
学习笔记(一)
一、存储单位按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。一般TB、PB、EB为单位的数据为大数据。1Byte=8bit1K=1024Byte1MB=1024K1G=1024M1T=1024G1P=1024T二、大数据主要解决海量数据的采集、存储和分析计算问题。三、大数据特点(4V)Volume(大量)、Velocity(高速)、Var
Thanks.
·
2024-01-09 22:17
hadoop
学习
大数据
大数据技术学习笔记之
Hadoop
框架基础1-
Hadoop
介绍及伪分布式部署
、java变量-》安装部署配置环境-》开发-》熟练的使用,了解基本原理-》java集合、线程、javaweb-》深入了解架构、设计思想、性能调优-》堆、栈、JVM,内存优化,架构设计-》方法:-》掌握
hadoop
黄剑锋1996
·
2024-01-09 22:16
大数据技术原理与应用学习笔记(八)
大数据技术原理与应用学习笔记(八)本系列历史文章
Hadoop
再探讨
Hadoop
的优化与发展
Hadoop
1.0到
Hadoop
2.0不断完善的
Hadoop
生态系统HDFS2.0新特性HDFSHA(高可用性)
Ragnaros the Firelord
·
2024-01-09 22:46
大数据学习笔记
hadoop
大数据
大数据技术原理与应用笔记
NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据,物联网和云计算1.5.1云计算1.5.2物联网检测题二、大数据处理架构
Hadoop
2.1hello
Moliay
·
2024-01-09 22:16
大数据
大数据
云计算
人工智能
个人笔记:分布式大数据技术原理(一)
Hadoop
框架
大家想了解更多大数据相关内容请移驾我的课堂:大数据相关课程剖析及实践企业级大数据数据架构规划设计大厂架构师知识梳理:剖析及实践数据建模剖析及实践数据资产运营平台Apache
Hadoop
软件库是一个框架,
garagong
·
2024-01-09 22:15
大数据
分布式
大数据
mapreduce
hadoop
HDFS相关Shell命令
文章目录上传相关操作下载相关操作HDFS直接操作上传相关操作1)-moveFromLocal:从本地剪切粘贴到HDFS
hadoop
fs-moveFromLocal.
欲无缘
·
2024-01-09 22:03
大数据
hdfs
npm
hadoop
HDFS概述
定义HDFS(
Hadoop
Dist
欲无缘
·
2024-01-09 22:32
大数据
hdfs
hadoop
大数据
Flume的安装
下载地址:http://archive.apache.org/dist/flume/1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[honey@
hadoop
102software
静宸丶水默含声
·
2024-01-09 19:32
结构化搜索_在案例中实战使用terms搜索多个值以及多值搜索结果优化
1、为帖子数据增加tag字段POST/forum/article/_bulk{"update":{"_id":"1"}}{"doc":{"tag":["java","
hadoop
"]}}{"update
Shaw_Young
·
2024-01-09 19:23
Flume实时读取本地/目录文件到HDFS
准备工作二、实时读取本地文件到HDFS(一)案例需求(二)需求分析(三)实现步骤三、实时读取目录文件到HDFS(一)案例需求(二)需求分析(三)实现步骤一、准备工作Flume要想将数据输出到HDFS,必须持有
Hadoop
Francek Chen
·
2024-01-09 18:38
大数据技术基础
flume
hdfs
大数据
[超超超超超超详细] Linux Centos7搭建
Hadoop
集群及运行MapReduce分布式集群
版本:Centos7
Hadoop
3.2.0JDK1.8虚拟机信息:内存3.2G处理器2*2内存50GISO:Centos-7-x86_64-DVD-2009一、在虚拟机上搭建LinuxCentos7略二
没事多学习_Qi
·
2024-01-09 17:38
服务器_Linux
linux
mariadb
运维
负载均衡
Hadoop
运行在Kubernetes平台实践
Hadoop
与Kubernetes就好像江湖里的两大绝世高手,一个是成名已久的长者,至今仍然名声远扬,一个则是初出茅庐的青涩少年,骨骼惊奇,不走寻常路,一出手便惊诧了整个武林。
Java大生
·
2024-01-09 17:12
java 全栈高级工程师,架构师学习资源 交流
redis集群zookeeper
集群搭建
与调优dubbo/dubbox分布式服务jvm调优,内存分析java并发dockerlinuxjmeter性能测试netty/minamycat
hadoop
管理级别技能
昵称不能为null
·
2024-01-09 15:03
大数据学习6-Sqoop安装与使用
sqoop搭建还是挺简单的,前提是
hadoop
与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__
hadoop
-2.6.0.tar.gz,提取码
asXt
·
2024-01-09 15:57
大数据
笔记
linux
sqoop
sqoop的安装与使用
Sqoop是一个用于在
hadoop
与mysql之间传输数据的工具Sqoop环境搭建(1)上传安装包:sqoop-1.4.6-cdh5.14.2.tar.gz到/opt/software(2)解压安装包:
xinxinyydss
·
2024-01-09 15:23
sqoop
hadoop
hive
【读书笔记】《
Hadoop
构建数据仓库实践》第1章
02-《
Hadoop
构建数据仓库实践》.jpg第1章数据仓库简介1.1什么是数据仓库Inmon将数据仓库描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持管理者的决策过程。
笔名辉哥
·
2024-01-09 15:01
Hive基础知识(三):Linux系统下的MySQL安装
1)检查当前系统是否安装过MySQL[zzdq@
hadoop
100hive]$rpm-qa|grepmariadbmariadb-libs-5.5.68-1.el7.x86_64#如果存在,就用下面这条命令卸载
依晴无旧
·
2024-01-09 13:26
hive
linux
mysql
Hive基础知识(二):Hive 安装部署教程
apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2)解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面[root@
hadoop
100
依晴无旧
·
2024-01-09 13:25
大数据
hive
hadoop
数据仓库
Hive基础知识(一):Hive入门与Hive架构原理
Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
依晴无旧
·
2024-01-09 13:25
大数据
hive
架构
hadoop
hive基础知识大全
一、Hive基本概念1.1hive是什么hive是基于
hadoop
的一个数仓分析工具,hive可以将hdfs上存储的结构化的数据,映射成一张表,然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567
不爱吃鱼的馋猫
·
2024-01-09 13:23
hive
数据仓库
Hive基础知识笔记(含MySQL metastore伪分布式安装配置流程)
该笔记涉及代码:https://github.com/hackeryang/
Hadoop
-Exercises/tree/master/src/main/java/Hive一、介绍1.Hive是一个构建在
书忆江南
·
2024-01-09 13:52
大数据
Hive
Hive基础知识
1)Hive是基于
Hadoop
的一个数据仓库工具,将结构化的数据文件映射为一张数据库的数据表,并且提供类SQL查询功能。
巷子里的猫X
·
2024-01-09 13:52
数据分析
hive
大数据
hadoop
大数据开发:Hive基础知识点介绍
Hadoop
生态下的各个组件,Hive的出现是为了解决海量日志数据分析而诞生,最初出自Facebook,后来归到了Apache旗下进行开源,本质上来说,Hive是一个帮助提升数据处理的工具。
加米谷大数据张老师
·
2024-01-09 13:52
大数据
数据库
hive
数据仓库
基于
hadoop
的hive数据仓库基础操作知识整理
Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
大包丫
·
2024-01-09 13:51
hadoop
hive
大数据
hive在mysql中总是不创建元数据库的解决办法
按照既往掉坑的经验,怀疑框架搭得不对、怀疑服务没启动、怀疑mysql驱动版本不对、怀疑
hadoop
和hive的guavajar包版本不一致、怀疑mysql服务没启动、怀疑元数据
黄道婆
·
2024-01-09 13:21
bigdata
#
hive
hive
Hadoop
的数据仓库Hive的基础知识和安装部署
1、数据仓库和Hive 数据仓库是为了协助分析报告,支持决策,为需要业务智能的企业提供业务流程的改进和指导,从而节省时间和成本,提高质量。它与数据库系统的区别是,数据库系统可以很好地解决事务处理,实现对数据的“增、删、改、查”操作,而数据仓库则是用来做查询分析的数据库,通常不会用来做单条数据的插入、修改和删除。 Hive主要应用于传统的数据仓库任务ETL(Extract‐Transformat
姠惢荇者
·
2024-01-09 13:21
大数据
大数据
数据仓库
Hive
数据导入
Hive基础知识(四):Hive 元数据配置到 MySQL
1.拷贝驱动将MySQL的JDBC驱动拷贝到Hive的lib目录下[zzdq@
hadoop
100software]$cp/home/atguigu/mysql-connector-java-5.1.37
依晴无旧
·
2024-01-09 13:50
大数据
hive
mysql
hadoop
hadoop
分布式
集群搭建
虚拟机准备虚拟机单机配置:内存4G,硬盘50G安装好linux/boot200M/swap2g/剩余*安装VMTools关闭防火墙sudoserviceiptablesstopsudochkconfigiptablesoff设置静态IP,改主机名编辑vim/etc/sysconfig/network-scripts/ifcfg-eth0改成=============================
麦田里的稻草人19994
·
2024-01-09 08:24
linux
hadoop
hadoop
集群主从时间同步
1.时间服务器配置(必须root用户)(1)检查ntp是否安装[root@
hadoop
102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem
麦田里的稻草人19994
·
2024-01-09 08:24
linux
hadoop
linux
hadoop
集群分发脚本
分发脚本xsync#!/bin/bash#1获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称#basename是去除目录后剩下的名字p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径#dirname命令可以取给定路径的目录部分(一般指最后一个
麦田里的稻草人19994
·
2024-01-09 08:23
linux
linux
配置ssh免密登录
配置ssh免密登录ssh-keygen-trsassh-copy-iduser@servereg:ssh-copy-id
hadoop
102
麦田里的稻草人19994
·
2024-01-09 08:53
linux
Hive操作命令上手手册
内容来自于《大数据Hive离线计算开发实战》Hive原理Hive是一个基于
Hadoop
的数据仓库和分析系统,用于管理和查询大型数据集。
枫叶梨花
·
2024-01-09 08:50
Hive知识圈
hive
hadoop
数据仓库
大数据平台比较-CDH、HDP、CDP
Apache
Hadoop
与CDH、HDP的比较一、
Hadoop
版本综述不收费的
Hadoop
版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)Cloudera
Sql强
·
2024-01-09 07:24
头歌:旅游网站之数据分析
关统计每个城市的宾馆平均价格packagecom.processdata;importjava.io.IOException;importjava.util.Scanner;importorg.apache.
hadoop
.conf.Configuration
爱吃肉的白熊
·
2024-01-09 07:32
Educoder
java
旅游
hive的基本操作
最近新学了hive,想通过写文章的方式对所学知识进行巩固,同时希望可以帮助到大家Hive是基于
Hadoop
的一个数据仓库工具1.创建数据库(创建方法是和Mysql一样的)createdatabase数据库名字
暴打小赵
·
2024-01-09 06:49
hive
hive
数据库
mysql
实验6 熟悉Hive的基本操作
一、实验目的(1)理解Hive作为数据仓库在
Hadoop
体系结构中的角色。(2)熟练使用常用的HiveQL。
Z.Q.Feng
·
2024-01-09 06:47
实验报告
大数据技术与原理
实验报告
hive
大数据
1.2
Hadoop
概述
小肥柴的
Hadoop
之旅1.2
Hadoop
概述目录1.2
Hadoop
概述1.2.1回归问题1.2.2Google的三篇论文1.2.3
Hadoop
的诞生过程1.2.4
Hadoop
特点简介参考文献和资料)目录
卷毛迷你猪
·
2024-01-09 06:47
Hadoop
大数据
hadoop
分布式
hive基本操作与应用
1、通过
hadoop
上的hive完成WordCount启动
hadoop
2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计
weixin_34416649
·
2024-01-09 06:16
大数据
物理机搭建hive
一、修改
Hadoop
配置修改core-site.xml配置yarn-site.xml分发文件,然后重启集群二、Hive解压安装上传文件添加hive环境便量,source生效启动高可用集群,启动hive三
DIY……
·
2024-01-09 06:45
hive
hadoop
数据仓库
数仓分层结构
--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax:TSV--增量--Maxwell:JSON--汇总数据--希望用最少的资源存储最多的数据--压缩:--gzip:
Hadoop
Young_IT
·
2024-01-09 06:40
大数据开发
大数据技术
大数据
数据仓库
大数据开发-某外包公司
varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下
hadoop
劝学-大数据
·
2024-01-09 06:10
个人面试真题记录
大数据
hadoop
集群搭建
、spark
集群搭建
、pyspark搭建(linux+window)
1、前言本文记录学习过程中
Hadoop
、zookeeper、spark
集群搭建
,主要为pyspark库服务(具体为window上pyspark环境和pyspark库,linux上spark框架、pyspark
Lfx_come on
·
2024-01-09 06:02
hadoop
linux
spark
python
『HDFS』伪分布式
Hadoop
集群
博客引流本文是『
Hadoop
』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程,所以这篇应该会有一定受众伪分布式就是假分布式,假在哪里,假就假在他只有一台机器而不是多台机器来完成一个任务
gunjianpan
·
2024-01-09 04:31
Elasticsearch
集群搭建
、优化及实践
文章目录一、Elasticsearch集群1、Elasticsearch集群概念2、Elasticsearch集群安装3、安装Kibana4、测试集群状态二、Elasticsearch优化1、磁盘选择2、分片策略3、内存设置三、Elasticsearch实践1、ES自动补全2、创建索引3、安装logstash导入数据4、项目搭建5、自动补全功能6、高亮搜索关键字功能7、页面展示总结:一、Elast
帅得真的是无敌了
·
2024-01-08 23:28
分布式
Linux部署安装
elasticsearch
搜索引擎
大数据
Hadoop
3.3.5云服务器安装教程-单机/伪分布式配置
系列文章目录华为云服务器试用领取领取的试用云服务器在哪
Hadoop
3.3.5云服务器安装教程-单机/伪分布式配置文章目录系列文章目录创建
hadoop
用户更新apt安装SSH、配置SSH无密码登陆安装Java
柔雾
·
2024-01-08 21:48
服务器
分布式
运维
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他