HADOOP学习之路

Sqoop与HBase结合使用：实现强大的数据存储

Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而HBase则用于实时、非关系型数据存储和查询。
晓之以理的喵~~·2024-01-20 19:57

使用Sqoop从Oracle数据库导入数据

在大数据领域，将数据从关系型数据库（如Oracle）导入到Hadoop生态系统是一项常见的任务。Sqoop是一个强大的工具，可以帮助轻松完成这项任务。
晓之以理的喵~~·2024-01-20 19:27

Sqoop数据传输中的常见挑战及其解决方法

Sqoop是一个用于将数据传输到Hadoop生态系统的强大工具，但在实际使用中，可能会面临一些挑战。
晓之以理的喵~~·2024-01-20 19:26

创建虚拟机

弹出如下对话框，点击“下一步”3.继续点击“下一步”4.选择“稍后安装操作系统”，然后点击“下一步”5.在版本下拉框中选择“CentOS764位”，然后点击“下一步”6.给虚拟机起一个名字，本机叫做“Hadoop100
吃草料的羊·2024-01-20 19:56

大数据Hadoop入门——HDFS分布式文件系统基础

HDFS命令基础语法：【hadoopfs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty·2024-01-20 16:00

Zookeeper简介

一、Zookeeper简介ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务，它是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
破茧......·2024-01-20 16:35

大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）

、下载安装虚拟机软件；下载Ubuntu镜像文件，安装Ubuntu虚拟机；2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量；3、下载Hadoop
小嘤嘤怪学·2024-01-20 16:52

【大数据】了解 YARN 架构的基础知识

3.1.2ApplicationManager应用程序管理器3.2NodeManager节点管理器3.3ApplicationMaster应用程序主控3.4Container容器4.在YARN中提交应用程序5.HadoopYARN
G皮T·2024-01-20 14:23

Hive性能优化

sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优化，使数据倾斜不成问题。count(distinct),在数据量大的情况下，效率较
La victoria·2024-01-20 13:23

hive Error while compiling statement: FAILED: ClassCastException org.apache.hadoop.hive.serde2.objec

Errorwhilecompilingstatement:FAILED:ClassCastExceptionorg.apache.hadoop.hive.serde2.objectinspector.primitive.WritableConstantStringObjectInspectorcannotbecasttoorg.apache.hadoop.hive.serde2
圆周率的后六位·2024-01-20 12:35

hadoop运行任务出错，Hive Runtime Error while processing row

Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位·2024-01-20 12:05

Hadoop配置文件加载

1.hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml
sf_www·2024-01-20 11:52

【KOA MTSP】开普勒算法KOA求解单仓库多旅行商问题【含Matlab源码 3809期】

个人主页：海神之光代码获取方式：海神之光Matlab王者学习之路—代码获取方式⛳️座右铭：行百里者，半于九十。
Matlab领域·2024-01-20 11:02

Hadoop基础知识

Hadoop基础知识1、Hadoop简介广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
坐在风口上de猪·2024-01-20 10:10

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。
Key-Key·2024-01-20 10:36

Kylin安装学习教程

Kylin安装学习教程Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111·2024-01-20 09:28

黑猴子的家：Linux 文件有空格或特殊字符--转义

1、使用window斜杠""转义处理[victor@hadoop102~]$cdwindow\vnc/2、使用英文双引号处理[victor@hadoop102~]$cd"windowvnc"
黑猴子的家·2024-01-20 07:10

Windows平台安装配置Hadoop2.7.X

一，准备1.安装jdk1.82.下载hadoop2.7.7.tar.gz官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7
sun_十一·2024-01-20 04:23

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是
weixin_45810046·2024-01-20 03:41

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR·2024-01-20 03:43

Linux学习之路--基础命令（4）

文章目录一、环境准备1.光盘文件放入光驱设备2.挂载光驱设备二、RPM软件包简介三、查询软件信息查询的软件（参数为软件名）四、安装RPM软件五、构建Yum软件包仓库六、Yum的使用七、命令补充一、环境准备1.光盘文件放入光驱设备2.挂载光驱设备[root@server1~]#mount/dev/cdrom/mnt/#临时挂载mount:/dev/sr0写保护，将以只读方式挂载[root@serve
Self -·2024-01-20 03:12

kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人·2024-01-20 03:07

Kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。
终将老去的穷苦程序员·2024-01-20 03:04

CVE-2023-46226 Apache iotdb远程代码执行漏洞

它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩·2024-01-20 02:27

超详细版Hadoop的安装与使用（单机/伪分布式）

一、首先安装VMware虚拟机虚拟机安装包以及UbuntuISO映像下载：https://pan.baidu.com/s/19Ai5K-AA4NZHpfMcCs3D8w?pwd=9999下载完成后，进入VMware，点击右上角【文件】——【新建虚拟机向导】1.1选择典型1.2选择光盘映像映像文件选择上方刚刚下载的ubuntukylin-16.04-desktop-amd641.3命名根据自己需求来
比护隆佑·2024-01-19 23:49

go学习之路（2）——gorm/gin项目实现账号、用户信息表的创建，使用bcrypt密码加密，jwt实现登录状态校验功能(1)

本节承接自上篇，此篇将会创建账号用户信息表、使用bcrypt实现密码加密、jwt实现登录状态校验功能。1、创建账号信息，用户信息表并用账号信息表中的user_id关联两张表2、使用bcrypt对账号密码进行加密操作3、使用jwt实现登录状态的校验本项目代码详细参考地址https://github.com/jiangbo66666/gin-vue-microBlog1、创建账号信息，用户信息表并用账
是波哥哥呀·2024-01-19 22:46

hadoop dfs web页面访问增加鉴权

前言装好了Hadoop，通过浏览器访问，发现竟然不需要鉴权就能访问，且暴露了很多服务器层文件路径信息，基于多年积累的安全意识，必须得配置些鉴权信息，就有了该文，仅做学习记录，下次自己再装时能提高效率。
花菜回锅肉·2024-01-19 21:10

Hadoop 伪分布式坏境搭建

环境说明：VM上ubuntu16.04版本安装hadoop前的准备（1）ssh免密登录（2）配置好Java环境（1）（2）步骤的安装见网上博客安装Hadoop（1）下载hadoop到上一篇博客给出的网下载
zoux·2024-01-19 19:16

学习之路

晚上好佳诺#2020.1011#日精进Day18#目标Day100表现：10分体验：参加目标训练营感触：最近思想在做一些改变，如强迫自己接受学习是主动的，而非报名课程之后需要鞭策。这个点是自己也可能是多数人需要突破的点。目前还处在思维设限中，导致自己还没有定下目标去做。
Allan_佳诺·2024-01-19 18:30

2019-06-14

我的前端学习之路最近在闲暇之余在学习前端开发前端学习之第一步：下载webstorm，开发工具，发现前端开发工具很不友好，不像xcode那么简单易上手，光下载成功就花费了半天的时间，现在附上mac版下载包
c0986fa58b5e·2024-01-19 17:54

【终极主题营】千万条路中，找自己的路

所以，也开始了自己的学习之路。阅读量10万＋的文章提到，读书与不读书的人过的是不一样的人生。原本就喜欢读书，看小说的我，一下子好像找到了出路，抱起书本开始阅读。
懒惰的妮子·2024-01-19 17:23

闹闹的英语学习之路

和许多牛爸牛妈相比，我和闹妈都是英语水平很普通的爸妈，我们那时上初中才接触英语，到大学考完级，之后就基本把英语给扔了，英语学习都是为了应试，平时很少用，口语也很差。所以一开始我们对怎么给闹闹做英语启蒙，也是一点头绪也没有。最开始我收集了一些简单有趣的英文动画给闹闹看。直到闹闹上幼儿园中班，我们才给他报了一个北美英语培训班学习英语。现在外面的英语培训班很多，但其实也学不到很多东西。好处在于有个英语环
闹爸闹妈·2024-01-19 15:23

Python学习之路-数据库入门

Python学习之路-数据库入门简介数据库就是一种特殊的文件，其中存储着需要的数据。
geobuins·2024-01-19 12:11

Python学习之路-Python操作MySQL

Python学习之路-Python操作MySQL简介PyMySQLPyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库，PyMySQL遵循Python数据库APIv2.0规范，并包含了
geobuins·2024-01-19 12:11

Python学习之路-MySQL进阶

Python学习之路-MySQL进阶视图前言对于复杂的查询，往往是有多个数据表进行关联查询而得到，如果数据库因为需求等原因发生了改变，为了保证查询出来的数据与之前相同，则需要在多个地方进行修改，维护起来非常麻烦
geobuins·2024-01-19 12:11

Python学习之路-正则表达式

Python学习之路-正则表达式简介正则表达式是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。
geobuins·2024-01-19 12:36

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。1.1集群安全模块1、安全模式：文件系统只接收读数据请求，而不接收删除、修改等变更请求2、进入安全模式场景1）NameNode在加载镜像文件和编辑日志期间处于安全模式2）NameNode再接收DataNode注册时，处于安全模式3）退出安全模式条件dfs.namenode.safemode.min.datanode
Key-Key·2024-01-19 10:50

会古通今随笔

一条是以书法史为脉络的书法发展衰变之路，另一条是会古通今博采约取的书法学习之路。一、会古和通今的认识基点孙过庭《书谱》：但右军之书,代多称习,良可据为宗匠,取立指归。岂惟会古通今,亦乃情深调合。
孤山踏歌·2024-01-19 08:35

《学习之道》:了解学习的十大坏的法则，和孩子一起避过学习之路上的十大坑！

学习有好的方法，会让我们事半功倍。而了解学习的十大坏的法则，同样可以让我们事半功倍，因为可以让我们主动避过学习过程中的十大坑，真正地改善我们的学习，避免我们进入假学习状态。那么到底有哪十大学习坏法则呢？第一，被动重复学习在生活中，我们常常会遇到对于一些文章的理解很慢，读一遍没有用，反复读也效果不好，这其实就是一种假学习。我们也会常常看到，有的孩子在语文学习的过程中，字词和课文的默写总是有错别字。于
菜园小记·2024-01-19 08:23

caused by: java.lang.outofmemory_hadoop运行java.lang.OutOfMemoryError:java heap space错误。

99M的文件，运行时出现下面的问题：java.lang.RuntimeException:java.lang.reflect.InvocationTargetExceptionatorg.apache.hadoop.util.ReflectionUtils.newInstance
weixin_39662834·2024-01-19 08:16

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。在接下来的一段时间，笔者将陆续编写一些关于大数据平台实现相关的技术文档，有兴趣的从事大数据相关的同学，可以关注收藏一下，交流一下开发技术。如果对我们的大数据平台XSailboat感兴趣的同学比较多，希望将其应用于学习或商业项目中，我们可以在条
OkGogooXSailboat·2024-01-19 06:26

大数据开发之Hadoop（MapReduce）

第1章：MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
Key-Key·2024-01-19 06:40

大数据开发之Hadoop（Yarn）

第1章：Yarn资源调度器思考：1、如何管理集群资源？2、如何给任务合理分配资源？Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
Key-Key·2024-01-19 06:09

linux安装hadoop详细步骤

以下是在Linux系统上安装Hadoop的详细步骤：下载Hadoop文件在Hadoop官方网站上下载最新的稳定版本的Hadoop文件。
酷爱码·2024-01-19 06:08

hadoop下载，安装

下载：https://mirrors.tuna.tsinghua.edu.cn/从清华源下载找到apache找到hadoop找到对应的版本使用64位版本上传到linux的/usr/local目录下使用tar-zxvf
三木一立·2024-01-19 06:33

spark读取hive的数据

/dev/make-distribution.sh--tgz--namewith-hive-Pyarn-Phadoop-2.7-Dhadoop.version=2.7.7-Phive-Phive
IT烧麦·2024-01-19 04:17

react学习之路二：路由守卫-判断登录状态

以下内容全部是vue转react学习过程中的笔记，难免有错误，仅供参考一、vue的路由守卫vue-router提供了内置的APIrouter.beforeEach()在这个方法里面，我们可以判断登录状态来拦截路由的跳转二、react-router-domV5版本没有内置API（其它版本未知）路由守卫的最终目的是对路由对应组件的渲染进行拦截，所以只需要在render路由组件的地方，先判断登录条件，然
qinleo007·2024-01-19 04:49

HBase第一章：集群搭建

：集群搭建文章目录系列文章目录前言一、环境准备二、上传HBase三、上传HBase四、配置参数五、分发测试六、高可用总结前言Hive的内容基本算是学完了，太深入的东西，现在没有必要死磕，接下来我们学习hadoop
超哥--·2024-01-19 00:57

HBase学习总结(1)：HBase的下载与安装

(HBase是一种数据库：Hadoop数据库，它是一种NoSQL存储系统，专门设计用来快速随机读写大规模数据。本文介绍HBase的下载与安装的整个过程。)
蝶Wu天涯·2024-01-19 00:25

hbase学习笔记-hbase集群安装部署

上传安装包到服务器4、解压安装包到指定的规划目录tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把hadoop
陈同学：·2024-01-19 00:22
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他