E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop学习之路
Hive的小文件问题
Reduce的数量3.2已存在的小文件合并3.2.1方式一:insertoverwrite(推荐)3.2.2方式二:concatenate3.2.3方式三:使用hive的archive归档3.2.4方式四:
hadoop
getmerge
爱吃辣条byte
·
2024-02-14 06:11
#
Hive
hive
数据仓库
从
Hadoop
框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)
从
Hadoop
框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)前言几周前,当我最初听到,以致后来初次接触
Hadoop
与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣
Dimple七
·
2024-02-14 06:41
一起走的
学习之路
(271)
断舍离之前放同学都买了一本书,书的名字就叫做断舍离,她让我仔细看这本书主要是因为,现在我们家里的东西堆的很乱,很多已经没有用的东西,但是堆在那里很久很久,也不愿意去动它,所以方同学就让我好好的看看这本书,除了整理好自己的生活,用品,以外,也整理整理自己的思绪。说实话,刚开始看这本书的时候还是存在一些抵触情绪,总觉得自己的这些东西是在某个时候可以用到的,所以一直都舍不得扔,就像方同学说的,可能有的衣
小米雨路
·
2024-02-14 02:53
【0基础学习mysql】之DQL-分页查询及执行顺序
CSDN话题挑战赛第2期参赛话题:学习笔记
学习之路
,长路漫漫,写学习笔记的过程就是把知识讲给自己听的过程。这个过程中,我们去记录思考的过程,便于日后复习,梳理自己的思路。
天寒雨落
·
2024-02-14 02:31
数据库
学习
mysql
数据库
一起走的
学习之路
(290)
这两天一直在忙着采购家具,之前其实也已经关注了很久,特别是沙发桌子,床这些东西,也已经加入购物车,也早就和,风同学进行了讨论。今天早上方同学就在问我这些东西是否买了,我回答他说由于最终没有敲定,所以我还是一直在纠结当中,在她的督促下,我下手把沙发给采购了。说实话,咱们家具的这个过程中一直迟迟不动,一方面是因为自己比较纠结,想做更多的比较,另一方面我觉得还是执行能力比较差的体现,很多时候觉得这件事做
小米雨路
·
2024-02-14 01:45
大数据开发之Sqoop详细介绍
备注:测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop(SQL-to-
Hadoop
)项目旨在协助RDBMS与
Hadoop
之间进行高效的大数据交流。
只是甲
·
2024-02-14 01:17
Ubuntu16.04下HBase安装笔记
基础准备JDK
Hadoop
SSHServer下载HBasehttps://hbase.apache.org/tar-zxvfhbase-1.4.2-bin.tar.gzsudomvhbase-1.4.2
bluexiii
·
2024-02-13 22:48
利用 Docker 安装
Hadoop
集群并通过 Java API 访问 HDFS
前言最近刚好在学习
Hadoop
,在安装过程中遇到了一些小麻烦,正好将此次过程记录并分享出来,希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成,如何安装Ubuntu本文不再赘述。
qq_33419925
·
2024-02-13 21:38
docker
hadoop
linux
java
大数据
hadoop
(十三)—自定义排序
这节课我们一起学习
Hadoop
的自定义排序,
Hadoop
是有一套默认的排序规则的,但是这往往不能满足我们多样化的需求,为了让排序更多样化,这就需要用到我们本节课所要学习的自定义排序功能。
文子轩
·
2024-02-13 20:13
YARN体系结构指南
1.简介
hadoop
-0.23引入的新体系结构将JobTracker的两个主要功能:资源管理和作业生命周期管理分为不同的组件。
盗梦者_56f2
·
2024-02-13 16:45
Python
学习之路
-爬虫提高:常见的反爬手段和解决思路
Python
学习之路
-爬虫提高:常见的反爬手段和解决思路常见的反爬手段和解决思路明确反反爬的主要思路反反爬的主要思路就是:尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现。
geobuins
·
2024-02-13 16:59
python
学习
爬虫
Python
学习之路
-爬虫提高:selenium
Python
学习之路
-爬虫提高:selenium什么是seleniumSelenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium可以直接运行在浏览器上,它支持所有主流的浏览器
geobuins
·
2024-02-13 16:28
python
学习
爬虫
大数据处理为何选择Spark,而不是
Hadoop
Spark的各个组件2.
Hadoop
Had
嘿嘿海海
·
2024-02-13 14:00
hadoop
分布式集群安装与原理
对很多人来说,学习大数据都止步于集群搭建,即使是那些工作过很多年的JAVA程序员也不例外,我们分享一套能让您轻松完成集群搭建的方法,包括
Hadoop
的源码编译、企业级环境安装与配置和常用大数据组件的基本原理
海牛大数据_青牛老师
·
2024-02-13 12:44
re:从0开始的CSS
学习之路
11. 盒子垂直布局
1.盒子的垂直布局的注意若两个“相邻”垂直摆放的盒子,上面盒子的下外边距与下面盒子的上外边距会发生重叠,称为外边距合并若合并后,外边距会选择重叠外边距的较大值若两个盒子具有父子关系,则两个盒子的上外边距会发生重叠,若改变盒子的上外边距,父子盒子都会随之移动位置三种解决办法:1.可以为父元素添加边框2.可以为父元素添加内边距3.为父元素添加overflow:hidden;学习完浮清除动元素的最终解决
扶摇|
·
2024-02-13 05:33
从0开始的CSS之旅
css
学习
前端
小猿圈之
Hadoop
优化
Hadoop
框架是现在最主流的的框架之一,越来越多的人去学习,那么你对
hadoop
的理解是什么?
hadoop
一定要会优化,那怎么优化呢,小猿圈今天说一下,感兴趣的朋友可以看看小猿圈写的这篇文章。
小猿圈加加
·
2024-02-13 05:38
Java从入门到精通
JavaSE,掌握Java语言本身、Java核心开发技术以及Java标准库的使用;2、如果继续学习JavaEE,那么Spring框架、数据库开发、分布式架构就是需要学习的;3、如果要学习大数据开发,那么
Hadoop
nightluo
·
2024-02-13 01:52
基础学习
java
开发语言
Datax ETL工具源码研究
Kittle优点:与大数据
Hadoop
结合比较好,功能比较齐全,强大,支持数据库,文件数据读写,界面拖拽方式操作;缺点:
Spring1985
·
2024-02-13 01:57
2018-07-19 sqoop
sqoop:数据从传统数据库到到
hadoop
的导入,导出安装:1.解压2.修改配置文件cdSQOOP_HOME/conf$mvsqoop-env-template.shsqoop-env.sh打开sqoop-env.sh
江江江123
·
2024-02-12 20:10
【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource
=spark.read.format("com.mongodb.spark.sql.DefaultSource").load() File"/home/cisco/spark-2.4.1-bin-
hadoop
2
能白话的程序员♫
·
2024-02-12 19:33
Spark
spark
C++
学习之路
-拷贝构造函数
拷贝构造函数什么是拷贝构造函数拷贝对象,拷贝了什么?拷贝构造函数的功能为什么要写拷贝构造函数?调用父类的拷贝构造函数拷贝对象不一定调用拷贝构造函数浅拷贝和深拷贝浅拷贝的特点深拷贝的特点什么是拷贝构造函数拷贝构造函数也是构造函数的一种。普通的构造函数可以是无参的,也可以是有参的。但是拷贝构造函数必须是有参的,如下所示,参数就是const类型的对象引用(格式固定,别问为什么)classCar{publ
Struggle¥
·
2024-02-12 16:37
C++本质
C++面向对象
学习之路
c++
JavaScript
学习之路
-语法篇(上)
上篇文章介绍了JavaScript的基本概念和发展概况,这篇文章将开始讲JavaScript的一些基本语法概念。前言学一门编程语言,首先无非就是了解它的基本语法,例如变量、标识符、关键字、数据类型以及函数等等,然后应用这些东西去写出你相要的程序,当然程序也分很多种,就像只输出一句helloworld也是一个程序对吧。那么这些在JavaScript里是如何规定和体现的呢?语法(不基于ES6)Java
一个学前端的码农
·
2024-02-12 16:51
Hadoop
分布式系统架构-MapReduce-02
1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。Reduce负责“合”,即对map阶段的结果进行全局汇总。MapRedu
一直上上签X
·
2024-02-12 16:41
练好心法,幸福和成功朝我们走来
作为父母,我并不满意自己的现状,又不甘心,所以想到要将实现自我的伟大梦想转嫁给孩子,于是踏上了
学习之路
。参加
梦想钱进
·
2024-02-12 16:50
(一)Docker 在线部署和离线部署
环境:CentOS7.31.在线部署[root@
hadoop
004~]#yuminstall-yhttpd[root@
hadoop
004~]#servicehttpdstartRedirectingto
白面葫芦娃92
·
2024-02-12 15:51
资治通鉴
先是整套《资治通鉴》的购买,然后是准备开始漫长的
学习之路
。虽然,这确实是一部好书,一段很久之前的历史,一部教育范本,但是想要把这些大头部的文言书籍读完,想想都觉得自己实在是太神奇了。
答案_3a83
·
2024-02-12 12:19
zk01
zookeeper基础ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是
Hadoop
和Hbase的重要组件。提供的功能包括:命名服务、配置管理、集群管理、分布式锁、队列管理。
矮肥
·
2024-02-12 11:41
2018-11-16
hadoop
3.1完全分布式部署
Hadoop
3.1.0完全分布式集群部署,三台服务器部署结构如下github配置文件源码地址Pdsh使用方法http://kumu-linux.github.io/blog/2013/06/19/pdsh
Albert陈凯
·
2024-02-12 08:20
自学生物信息学
我是生物工程专业出身,在大三保研时选择了生物信息的道路,到现在为止已经在行业里摸爬滚打了6年的时间,在这6年的
学习之路
上疑惑过,也迷茫过,特此把我学习的过程以及遇到的问题总结出来以让大家避免出现同样的问题
gtt儿_生物信息学习
·
2024-02-12 08:00
hadoop
-YARN
Apache
Hadoop
YARN百度百科:https://baike.baidu.com/item/yarn/16075826?
weixin_33736649
·
2024-02-12 07:44
大数据
Hadoop
-MapReduce-Yarn集群搭建
通过官网搭建:
hadoop
.apache.org/docs/r2.6.5/
hadoop
-project-dist/
hadoop
-common/SingleCluster.ht
qq_2368521029
·
2024-02-12 07:44
搭建
Hadoop
-3.1.3 HA 集群
本文目录1.集群部署分布规划2.Zookeepr集群安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ.配置分发4.启动前的配置5.启动HA集群Ⅰ.单独启动Ⅱ.脚本方式启动HA集群6.HA集群测试
扛麻袋的少年
·
2024-02-12 07:43
#
Hadoop
hadoop
hdfs
大数据
Hadoop
-HA高可用集群部署
Hadoop
HAHA概述(1)所谓HA(HighAvailablity),即高可用(7*24小时不中断服务)。(2)实现高可用最关键的策略是消除单点故障。
魔笛Love
·
2024-02-12 07:13
hadoop
hdfs
big
data
Hadoop
-Yarn-ResourceManagerHA
一、介绍在
Hadoop
2.4之前,ResourceManager是YARN集群中的单点故障ResourceManagerHA是通过Active/Standby体系结构实现的,在任何时候其中一个RM都是活动的
隔着天花板看星星
·
2024-02-12 07:42
hadoop
大数据
分布式
Hadoop
:认识MapReduce
MapReduce是一个用于处理大数据集的编程模型和算法框架。其优势在于能够处理大量的数据,通过并行化来加速计算过程。它适用于那些可以分解为多个独立子任务的计算密集型作业,如文本处理、数据分析和大规模数据集的聚合等。然而,MapReduce也有其局限性,比如对于需要快速迭代的任务或者实时数据处理,MapReduce可能不是最佳选择。总的来说,MapReduce是大数据技术中的一个重要概念,它在Ha
爱写代码的July
·
2024-02-12 06:41
大数据与云计算
hadoop
mapreduce
大数据
org.apache.
hadoop
.fs.ChecksumException: Checksum error: file:/root/test.txt at 0
上传文件到集群遇到以下异常:org.apache.
hadoop
.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master
橙汁啤酒厂
·
2024-02-12 05:24
hadoop
大数据
-bash: export: =‘: 不是有效的标识符 -bash: export:
:/opt/
hadoop
-2.7.3//bin:/opt/jdk1.8.0_131
橙汁啤酒厂
·
2024-02-12 05:24
linux操作时遇到的相关问题
bash
开发语言
HBase集群部署
1.HBase安装相关版本:
Hadoop
:2.7.3hbase:1.3.1hbase相关版本下载安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包,下载并解压到/opt目录下2.HBase
橙汁啤酒厂
·
2024-02-12 05:23
大数据
hbase
数据库
大数据
hadoop
自己自学英语,先怎么学好,该怎么规划?
请认真看完,看完后你会理清学习英语的思路,步骤,帮你扫清英语
学习之路
上的障碍。首先建议如下:先下载一部美国大片,看上它5遍10遍,学习英语,那么就先泡在英语里,感受感受。你会品出一些滋味来的。
英语思维
·
2024-02-11 23:15
Lisa陈华在践行
永远不服输,喜欢折腾的我,开始了
学习之路
。学习写作,学习投资学习理财,学习个人怎么打造自己的朋友圈。学习怎么跟人聊天,学习销售…
Lisa陈华
·
2024-02-11 19:17
为什么要学习Java EE?
JavaEE
学习之路
学习了JavaSE,还只是完成“万里长征”的第一步。
小宇java
·
2024-02-11 19:05
Hadoop
运行环境搭建
模板虚拟机环境准备1)准备一台模板虚拟机
hadoop
100,虚拟机配置要求如下:模板虚拟机:内存4G,硬盘50G,安装必要环境,为安装
hadoop
做准备[root@
hadoop
100~]#yuminstall-yepel-release
nucty
·
2024-02-11 18:53
大数据
hadoop
大数据
HBase知识点总结
一、HBase基础HBase是一种建立在
Hadoop
文件系统之上的分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase是BigTable的开源Java版本。
·
2024-02-11 17:17
hbase大数据数据库
Python
学习之路
-初识爬虫:基础知识
Python
学习之路
-初识爬虫:基础知识什么是爬虫网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。
geobuins
·
2024-02-11 12:06
jmeter
Python
学习之路
-初识爬虫:数据提取
Python
学习之路
-初识爬虫:数据提取什么是数据提取简单的来说,数据提取就是从响应中获取我们想要的数据的过程爬虫中数据的分类结构化数据:json,xml等处理方式:直接转化为python类型非结构化数据
geobuins
·
2024-02-11 12:06
python
学习
爬虫
Python
学习之路
-初识爬虫:requests
Python
学习之路
-初识爬虫:requestsrequests的作用作用:发送网络请求,返回响应数据中文文档:http://docs.python-requests.org/zh_CN/latest/
geobuins
·
2024-02-11 12:35
python
学习
爬虫
一起走的
学习之路
(六十二)
贪婪—万恶之源我想大家一定听过许多中奖诈骗的案例,在我们看来这些骗局弱智得不能再弱智了,那为什么屡屡有人被骗呢,说白了,其实就是一个人的贪婪在作怪。如果你不去想那根本不属于你或者根本不现实的高额回报,还会轻易的去相信这些骗局吗?我想大多数人都有智商去辨别。为什么说赌徒最后的结果就是倾家荡产呢?除了概率的因素在作怪以为,还有他们的贪婪之心,赢了总想再得到一些,输了就想下一把继续赢回来,最后直至自己没
小米雨路
·
2024-02-11 12:15
离线数仓(一)【数仓概念、需求架构】
前言今天开始学习数仓的内容,之前花费一年半的时间已经学完了
Hadoop
、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会
·
2024-02-11 11:58
离线数仓
大数据
【Qt
学习之路
】在 Qt 使用 ZeroMQ
文章目录1、概述2、ZeroMQ介绍2.1、ZeroMQ是什么2.2、ZeroMQ主线程与I/O线程2.3、ZeroMQ4种模型2.4、ZeroMQ相关地址3、Qt使用ZeroMQ3.1、下载ZeroMQ3.2、添加ZeroMQ库3.3、使用ZeroMQ3.4、相关ZeroMQ案例1、概述今天是大年初一,先给大家拜个年,祝各位阖家欢乐,身体安康,万事如意。言归正传,最近调研了很多消息中间件,推荐一
沙振宇
·
2024-02-11 09:59
Qt
学习之路
网络编程
qt
ZeroMQ
ZMQ
Hive与ClickHouse的区别
Hive是
Hadoop
生态系统中事实上的数据仓库标准。Hive是建立在
Hadoop
生态中的数据仓库中间件,其本身并不提供存储与计算能力。
晓之以理的喵~~
·
2024-02-11 08:18
Hadoop
大数据
hive
hive
clickhouse
hadoop
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他