Hadoop离线基础总结

客户案例｜知名证券机构核心大数据平台升级之路

Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。
云掣YUNCHE·2024-01-21 01:17

【Python】查看anaconda内置base的python版本

目录condalistpythonpython-Vconda--version在jupyternotebook内查看当电脑联网的时候，想要装一些包直接pipinstall就可以，但是当电脑未联网，需要离线安装时
离川的风·2024-01-21 00:24

PDsehell16连接pgsql出现“Non SQL Error : Could not load class org.postgresql.Driver“时的解决步骤

我是直接选择的pd16自带的pgsql驱动，但是依旧提示，链接失败缺少驱动解决方案和步骤：我的方案是直接下载离线驱动不用pd的驱动；下再离线包之后直接放到任意路径，然后直接把驱动配置到本地驱动jar，再尝试链接就可以链接成功了
飞天小栗旬·2024-01-21 00:11

Spark(一): 基本架构及原理

前言:目标：架构及生态：Spark与hadoop:运行流程及特点：常用术语:Spark运行模式：RDD运行流程：前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009
贝賏赑钡·2024-01-20 22:46

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜·2024-01-20 21:28

Sqoop与HBase结合使用：实现强大的数据存储

Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而HBase则用于实时、非关系型数据存储和查询。
晓之以理的喵~~·2024-01-20 19:57

使用Sqoop从Oracle数据库导入数据

在大数据领域，将数据从关系型数据库（如Oracle）导入到Hadoop生态系统是一项常见的任务。Sqoop是一个强大的工具，可以帮助轻松完成这项任务。
晓之以理的喵~~·2024-01-20 19:27

Sqoop数据传输中的常见挑战及其解决方法

Sqoop是一个用于将数据传输到Hadoop生态系统的强大工具，但在实际使用中，可能会面临一些挑战。
晓之以理的喵~~·2024-01-20 19:26

创建虚拟机

弹出如下对话框，点击“下一步”3.继续点击“下一步”4.选择“稍后安装操作系统”，然后点击“下一步”5.在版本下拉框中选择“CentOS764位”，然后点击“下一步”6.给虚拟机起一个名字，本机叫做“Hadoop100
吃草料的羊·2024-01-20 19:56

Linux之postgis离线安装

PostgreSQL是一个开源数据库，而PostGIS在此基础上增添了空间对象扩展模块。PostGIS最大的特点是符合并且实现了OpenGIS的一些规范，是最著名的开源GIS数据库。虚拟机环境：CentOS7.8，PostgreSQL12.4本地环境：Windows10，pgadmin4，qgis目录1安装条件准备1.1Postgis安装的必要条件1.2Postgis安装的可选条件1.3必要库和软
牛肉面加肉·2024-01-20 19:07

保姆级ESP-IDF开发环境搭建

1.手动安装工具链，命令行方式（windows）1.1下载离线安装器进入乐鑫ESP-IDFWindowsInstallerDownload下载页面，选择离线版本工具（网络原因，安装过程中使用github
帐篷Li·2024-01-20 19:35

2022.07， Spacy==3.4.0，en_core_web_md/sm/lg/trf下载

离线下载：en_core_web_sm：链接：https://pan.baidu.com/s/1MppnMopRkHTDiO-pnez0ZA提取码：ht50en_core_web_md：链接：https
believe__m·2024-01-20 19:24

大数据Hadoop入门——HDFS分布式文件系统基础

HDFS命令基础语法：【hadoopfs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty·2024-01-20 16:00

Zookeeper简介

一、Zookeeper简介ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务，它是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
破茧......·2024-01-20 16:35

大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）

、下载安装虚拟机软件；下载Ubuntu镜像文件，安装Ubuntu虚拟机；2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量；3、下载Hadoop
小嘤嘤怪学·2024-01-20 16:52

【大数据】了解 YARN 架构的基础知识

3.1.2ApplicationManager应用程序管理器3.2NodeManager节点管理器3.3ApplicationMaster应用程序主控3.4Container容器4.在YARN中提交应用程序5.HadoopYARN
G皮T·2024-01-20 14:23

Hive性能优化

sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优化，使数据倾斜不成问题。count(distinct),在数据量大的情况下，效率较
La victoria·2024-01-20 13:23

CentOS 7 离线迁移 Elasticsearch 数据

CentOS7离线迁移Elasticsearch数据文章目录CentOS7离线迁移Elasticsearch数据环境说明环境验证源地址目标地址elasticsearch-dump环境依赖验证JDK环境验证
老实人张大傻·2024-01-20 13:22

【Centos7内网环境Nexus3私服搭建】

1、使用背景在项目开发的过程中，我们通常在内部网络进行开发，在内网环境开发中我们经常遇到Maven包、Npm包、Yum镜像、Docker镜像等无法联网下载问题,当然这些问题也可以通过离线安装的方式进行安装
码农山泉·2024-01-20 13:48

hive Error while compiling statement: FAILED: ClassCastException org.apache.hadoop.hive.serde2.objec

Errorwhilecompilingstatement:FAILED:ClassCastExceptionorg.apache.hadoop.hive.serde2.objectinspector.primitive.WritableConstantStringObjectInspectorcannotbecasttoorg.apache.hadoop.hive.serde2
圆周率的后六位·2024-01-20 12:35

hadoop运行任务出错，Hive Runtime Error while processing row

Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位·2024-01-20 12:05

Hadoop配置文件加载

1.hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml
sf_www·2024-01-20 11:52

银河麒麟操作系统 v10 中离线安装 Docker

银河麒麟操作系统v10中离线安装Docker1.查看系统版本2.查看Linux内核版本（3.10以上）3.查看iptabls版本（1.4以上）4.判断处理器架构5.离线下载Docker安装包6.移动解压出来的二进制文件到
linmengmeng_1314·2024-01-20 11:17

01-开始Rust之旅

这边提供了离线安装版本。
Snasph·2024-01-20 10:08

Hadoop基础知识

Hadoop基础知识1、Hadoop简介广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
坐在风口上de猪·2024-01-20 10:10

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。
Key-Key·2024-01-20 10:36

Kylin安装学习教程

Kylin安装学习教程Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111·2024-01-20 09:28

2021-12-12 centos中IPMI管理软件

安装（在线）yum-yinstallOpenIPMIipmitoolsystemctlrestartipmi安装（离线）OpenIPMI-2.0.27-1.el7.x86_64.rpmipmitool-
LIU·2024-01-20 09:47

ROS2手册的离线编译安装

ROS开发中经常要查询相关API，把文档下载到本地离线使用方便快捷，极大提高开发效率下载ROS2文档gitclonehttps://github.com/ros2/ros2_documentation.gitcdros2
ArslanRobot·2024-01-20 08:16

黑猴子的家：Linux 文件有空格或特殊字符--转义

1、使用window斜杠""转义处理[victor@hadoop102~]$cdwindow\vnc/2、使用英文双引号处理[victor@hadoop102~]$cd"windowvnc"
黑猴子的家·2024-01-20 07:10

【Docker】离线部署

离线安装Docker1、下载docker离线安装包下载地址2、将下载的包上传至服务器上我这里下载的是20.10.9image-20230418164826277.png3、解压文件tar-zxvfdocker
HeloWxl·2024-01-20 05:13

Windows平台安装配置Hadoop2.7.X

一，准备1.安装jdk1.82.下载hadoop2.7.7.tar.gz官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7
sun_十一·2024-01-20 04:23

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是
weixin_45810046·2024-01-20 03:41

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR·2024-01-20 03:43

kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人·2024-01-20 03:07

Kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。
终将老去的穷苦程序员·2024-01-20 03:04

CVE-2023-46226 Apache iotdb远程代码执行漏洞

它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩·2024-01-20 02:27

细说JavaScript BOM之HTML5新特性

HTML5引入了应用程序缓存技术，意味着Web应用可进行缓存，并在没有网络的情况下使用，通过创建cachemanifest文件，可以轻松的创建离线应用。
知数SEO·2024-01-20 00:47

Qt 5.13 Android开发初探

平台Ubuntu20.04+QT5.13+QtCreator4.10.1安装QTQT官网注册个帐户吧,后续安装会用到InstallQt5onUbuntu下载离线安装包可用版本安装(qt-opensource-linux-x64
ansondroider·2024-01-20 00:03

深入理解kafka-总结

即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持KafkaServer间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数
haungtan07·2024-01-19 23:02

超详细版Hadoop的安装与使用（单机/伪分布式）

一、首先安装VMware虚拟机虚拟机安装包以及UbuntuISO映像下载：https://pan.baidu.com/s/19Ai5K-AA4NZHpfMcCs3D8w?pwd=9999下载完成后，进入VMware，点击右上角【文件】——【新建虚拟机向导】1.1选择典型1.2选择光盘映像映像文件选择上方刚刚下载的ubuntukylin-16.04-desktop-amd641.3命名根据自己需求来
比护隆佑·2024-01-19 23:49

10

今天去公司完成一个软件的离线部署，因为同事需要带着出差，本以为简单的事情没想到，弄了一天也没有成功总结了一下今天造成的原因，第一点，对接项目时没有将整个项目根据功能文档进行一一测试，虽然也都是公司里认识的人做的
whIteKi·2024-01-19 21:24

hadoop dfs web页面访问增加鉴权

前言装好了Hadoop，通过浏览器访问，发现竟然不需要鉴权就能访问，且暴露了很多服务器层文件路径信息，基于多年积累的安全意识，必须得配置些鉴权信息，就有了该文，仅做学习记录，下次自己再装时能提高效率。
花菜回锅肉·2024-01-19 21:10

通过Cesium制作地形的离线加载

首先要启用Cesium的插件，装配好如图中的几个组件。并且注册cesiumlab3的账户。然后下载地形的高程图tif文件,和卫星的影像图tif文件。在地理空间世界云的高程图比较可靠，这里选GDEMV2,GDEMV3都可以。本片用的2,对应的经纬度选择下载，下载的文件中就有tif。卫星影像图用水经注来下载比较好,商用的精度也高。如果在其它方式能找到tif也可以，只是质量可能没那么好.下好的数据，要在
曼巴UE5·2024-01-19 20:14

【北亚企安数据恢复】RAIDZ多块磁盘离线导致服务器崩溃的数据恢复案例

服务器数据恢复环境：ORACLESUNZFS某型号存储，共40块磁盘组建存储池，其中的36块磁盘分为三组，每组12块，单个组使用ZFS特有的RAIDZ管理所有磁盘，RAIDZ级别为2；另外的4块磁盘作为全局热备。存储池内划分出若干空间映射到服务器使用。服务器故障：服务器正常运行过程中崩溃，服务器管理员重启设备后无法进入系统。通过对服务器和存储的初步检测以及和管理人员的沟通，排除了断电、进水、异常操
北亚数据恢复·2024-01-19 19:18

服务器数据恢复—OceanStor存储raid5热备盘同步数据失败的数据恢复案例

服务器故障：该存储raid5阵列中有一块硬盘离线，热备盘自动激活并开始同步数据，在热备盘同步数据的过程中，raid5阵列中另一块硬盘离线，上层应用崩溃，数据丢失。
北亚数据恢复·2024-01-19 19:16

Hadoop 伪分布式坏境搭建

环境说明：VM上ubuntu16.04版本安装hadoop前的准备（1）ssh免密登录（2）配置好Java环境（1）（2）步骤的安装见网上博客安装Hadoop（1）下载hadoop到上一篇博客给出的网下载
zoux·2024-01-19 19:16

【python】一键导出当前环境依赖包，以及批量安装依赖包

文章目录背景一键导出环境依赖包方法1：freeze方法2：pipreqs一键安装环境依赖包方式1：使用requirements.txt在线安装方式2：使用requirements.txt离线安装Q&Apipwheel
日青山雨xxq·2024-01-19 18:07

python pip安装库延迟高中断便利解决方法

最近菜鸟学习python，结果发现直接使用pip安装库老是各种失败，几百k的库也安装不了，后来试了试把whl库文件离线下载在python安装目录的python3_install\Lib\site-packages
熙攘灬·2024-01-19 17:05

【动态规划】【离线查询】【前缀和】689. 三个无重叠子数组的最大和

作者推荐【动态规划】【数学】【C++算法】18赛车本文涉及的基础知识点动态规划滚动向量离线查询C++算法：前缀和、前缀乘积、前缀异或的原理、源码及测试用例包括课程视频LeetCode689.三个无重叠子数组的最大和给你一个整数数组
闻缺陷则喜何志丹·2024-01-19 16:17
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他