Hadoop离线基础总结

Linux系统下Spark的下载与安装（pyspark运行示例）

最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark1、版本要求由于我想要将hadoop和spark一起使用，因此必须确定好spark的版本Spark和Hadoop版本对应关系如下：Spark
汤汤upup·2024-01-07 13:06

MongoDB入门介绍与实战

2.安装MongoDB1.离线安装2.使用docker-compose安装3.mongo命令行实战1.连接到MongoDB数据库2.创建集合（表）3.插入数据4.查询数据5.更新数据6.删除数据4.Springboot
Memory_2020·2024-01-07 13:04

SearchSploit

它的在线版本是https://www.exploit-db.com/，离线版本是：https://github.co
蛊明·2024-01-07 12:16

【Java处理百万级数据的高效方法了解】

1.2分布式存储考虑使用分布式数据库（如HBase、Cassandra）或存储系统（如HadoopDistri
無飞·2024-01-07 12:21

一文掌握oracle19c之离线情况下命令行安装和建库（下）- 本文干货满满，记得收藏哈

声明：本文乃“运维家”原创，转载请注明出处，更多内容请关注公众号“运维家”。主旨上文我们介绍了如何搭建，在这里我们讲下如何重启，如何新建用户，如何新建数据库等基本操作吧，为什么要介绍这些呢？因为我发现身边的人吧，可能使用mysql习惯了，所以oracle的这些基本操作，都不是很会，而且网上的资料，怎么说呢，参差不齐，我还是直接自己来整理一番吧。文章写完了我上来吐个槽，当时我学习的时候，要有这么个文
运维家·2024-01-07 12:41

Find My查找大升级，苹果Find My可添加物品翻倍

对于任何iOS、iPadOS、macOS、watchOS设备，只要在FindMy设置中打开离线寻找功能，均可通过地图查看所有设备。在最新的iOS17
Lenzetech·2024-01-07 11:35

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

使用国内镜像网址离线下载安装python相关包(whl文件)教程

在这种情况下，我们需要进行离线安装各种包。离线安装有两种方式，网上大多数的博主们都是推荐使用的这个网址(https://pypi.org/)，这个网址国内可以访问，但是下载速度极其的慢。
我一直在矛盾·2024-01-07 11:47

【技巧】Python 第三方库 离线文件whl的地址,收藏好方便用

因为有时候网络方面的原因不太方便直接通过pipinstall来安装，经常需要使用离线的方式来安装，所以就有了whl下载方式。每次whl都是用了就忘记了，所以这里收藏记录一下方便自用。
我叫鱼大·2024-01-07 11:17

【算法每日一练]-结构优化（保姆级教程 篇4 树状数组，线段树，分块模板篇）

前缀和处理不更新的区间和差分处理离线的区间更新问题倍增处理离线的区间最值问题分块，树状数组，线段树：分块处理求多次区间更新的区间和（在线算法）树状数组求多次点更新的区间和(在线算法)线段树求多次点更新或区间更新的区间最值
亦歌希望你变强啊·2024-01-07 10:03

【Linux】Linux系统环境下openjdk11导出excel报错问题——以Ubuntu为例离线安装字体

问题的由来通常，我们开发和部署JavaWeb项目的时候，使用Oraclejdk1.8作为开发和生产的运行环境，这这次接了各项目，要求使用指定版本的openjdk11(11.0.15版本)作为开发和生产部署的运行环境。实际开发测试中发现，导出excel文件的功能在开发环境(Windows系统)下能正常到导出文件并打开，但是在测试环境(Ubuntu18.04)下导出文件报错，抛出InvocationT
萧仁武·2024-01-07 09:09

往k8s集群中添加node节点

需在node上执行以下操作，除特殊标注，均在node上执行1.安装Docker（1）参考“centos7离线部署docker”文档，安装完后确认DockerCgroupDriver（2）若DockerCgroupDriver
运维无止境·2024-01-07 09:36

【大数据进阶第三阶段之Hive学习笔记】Hive基础入门

Hive的优缺点2.1、优点2.2、缺点2.2.1、Hive的HQL表达能力有限2.2.2、Hive的效率比较低3、Hive架构原理3.1、用户接口：Client3.2、元数据：Metastore3.3、Hadoop3.4
伊达·2024-01-07 08:20

kubectl的插件安装工具krew

官网地址是：Krew–kubectlpluginmanager安装krew按照官网的做法，一直安装失败，于是拆解步骤，一步一步下载离线安装。
shanshan3003·2024-01-07 07:42

各类型编程技术文章超链接集合

npm搭建vue脚手架nginxjava----js不常用的apigit管理mysql导入失败mysql的远程访问mysql修改密码docker安装confluence全套流程linux-centos离线和在线安装
脚大江山稳·2024-01-07 07:23

Hadoop集群三节点搭建（二）

一、克隆三台主机（hadoop102hadoop103hadoop104）以master为样板机克隆三台出来，克隆前先把master关机按照上面的步骤克隆其他两个就可以了，记得修改ip和hostname
DIY……·2024-01-07 07:35

个人笔记：分布式大数据技术原理（二）构建在 Hadoop 框架之上的 Hive 与 Impala

有了MapReduce，Tez和Spark之后，程序员发现，MapReduce的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。你希望有个更高层更抽象的语言层来描述算法和数据处理流程。于是就有了Pig和Hive。Pig是接近脚本方式去描述MapReduce，Hive则用的是SQL。它们把脚本和SQL语言翻译成MapReduce程序，丢给计
garagong·2024-01-07 07:16

【DataX】windows下本地DataX同步hive到mysql，hive带Kerberos认证

直接同步会报错：java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset
airyv·2024-01-07 06:44

基于Hadoop的豆瓣电影数据分析

Hadoop是一个开源的分布式计算框架，它提供了处理大规模数据集的能力。在本文中，我们将利用Hadoop框架对豆瓣电影数据进行分析。
数据科学探险导航·2024-01-07 05:07

大数据编程期末大作业

大数据编程期末大作业文章目录大数据编程期末大作业一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程一、Hadoop基础操作在HDFS中创建目录/user/
-北天-·2024-01-07 05:20

Hive的基本的概述即使用参考

1.Hive的概述√意义：在于大幅度降低工程师学习MapReduce的学习成本，让好用（计算速度快）的MapReduce更方便的使用（使用简单）√基本概念：Hive是基于Hadoop的一个数据仓库工具，
C8H11O2N_4cd4·2024-01-07 02:29

[问题记录]-xposed安装失败-无法载入可用的zip文件

xposed-sdkzip安装包于是有了此文，记录问题解决过程问题描述xposedinstaller安装好以后，提示不能下载，Xposed框架未安装，无法载入可用的zip文件原因分析：原因：xoised框架服务器离线问题原因是
tyty2211·2024-01-07 00:10

K8S实战（八）| Job 和 CronJob

前言容器分为两类在线业务-服务类容器需要持续不中断的提供服务，容器需要一直运行离线业务-工作类容器一般执行一次性任务，比如统计日志数据等，运行完成后容器即可关闭更新历史20200618-初稿-左程立原文地址
左程立·2024-01-07 00:26

Qt6入门教程 2：Qt6下载与安装

Qt6不提供离线安装包，下载和安装实际上是一体的了。
草上爬·2024-01-07 00:33

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

2024.1.5 Hadoop各组件工作原理,面试题

目录1.简述下分布式和集群的区别2.Hadoop的三大组件是什么?3.请简述hive元数据服务配置的三种模式?4.数据库与数据仓库的区别?5.简述下数据仓库经典三层架构?
白白的wj·2024-01-06 23:34

实时数仓模型

为了计算一些实时指标，就在原来离线数仓的基础上增加了一个实时计算的链路，并对数据源做流式改造（即把数据发送到消息队列），实时计算去订阅消息队列，直接完成指标增量的计算，推送到下游的数据服务中去，由数据服务层完成离线
jero_lei·2024-01-06 23:48

【百面机器学习-模型评估】

模型评估主要分为离线评估和在线评估两个阶段。针对分类、排序、回归、序列预测等不同类型的机器学习问题，评估指标的选择也有所不同。
阿牛02·2024-01-06 22:11

Flink常见核心概念

分布式缓存有时一些数据是通用的,就需要进行共享,可以放在文件、缓存、db中,可以放在文件中,先缓存到hadoop集群中,然后使用cachepublicclassCacheStream{publicstaticvoidmain
一生逍遥一生·2024-01-06 21:56

Python基础总结11（json、异常）

一、Json文件1、什么是json数据json是一种特定格式的数据，主要用来在互联网上做文本数据传输json数据是文本数据，json文件是后缀是.json的文件，文件内容的格式必须满足json格式json格式：A.一个json对应一条数据B.json中的数据必须是json对应的数据类型数字类型（number）--所有数字，包括小数和整数字符串类型（string）--只能用双引号括起来数组（arra
zxhlcl·2024-01-06 20:59

2020最新idea破解方法，刚测试完-永久有效

然后把jar把的位置放在最后一行位置上，添加后关闭idea3.重启idea，最后：选择Activationcode⽅式离线激活，把注册码复制进去即可。**注意：如果激活窗⼝⼀直弹出（error1
年少荒芜·2024-01-06 19:34

CentOS7离线安装Docker和卸载Docker步骤

一、CentOS7离线安装Docker步骤docker安装包下载地址https://download.docker.com/linux/static/stable/x86_64/选择docker-20.10.24
二十一克阳光！·2024-01-06 19:03

VirtualBox安装centos8

下面介绍离线安装方法。离线安装下载box文件，
wjcms·2024-01-06 19:36

Hive 源码解析一：Driver

这是hive的架构图从架构图来看，黄颜色属于Hive范畴，蓝颜色属于Hadoop范畴，其中MetaStore可以说是独立Hive核心
小王是个弟弟·2024-01-06 17:25

《Hive系列》Hive详细入门教程

目录1Hive基本概念1.1什么是HiveHive简介Hive：由FaceBook开源用于解决海量结构化日志的数据统计工具Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表
DATA数据猿·2024-01-06 17:55

Hive（一）概述

文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用一.简介1.概述什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具Hive是基于Hadoop
Jumanji_·2024-01-06 17:54

kubernetes入门到进阶（5）

目录镜像仓库：怎么用好dockerhub这个宝藏什么是镜像仓库（Registry）什么是dockerhub如何在dockerhub上挑选镜像dockerhub上进行概念股命名规则是什么该怎么上传自己的镜像离线环境该怎么办小结镜像仓库
喜欢慢生活·2024-01-06 17:11

YARN（一）-- 产生原因及概述

本文内容如下：介绍为什么会产生YARN（同时介绍原MapReduce框架的不足）YARN的基本原理首先说一下YARN是什么吧：ApacheHadoopYARN(YetAnotherResourceNegotiator
小北觅·2024-01-06 17:54

Flume基础知识（九）：Flume 企业开发案例之复制和多路复用

2）需求分析：3）实现步骤：（1）准备工作在/opt/module/flume/job目录下创建group1文件夹[root@hadoop102job]$cdgroup1
依晴无旧·2024-01-06 17:58

20.linux定时任务调度（crontab）

可以使用crontab定时处理离线任务，比如每天凌晨2点更新数据等，用于系统任务调度。
press332·2024-01-06 17:17

教你如何将本地虚拟机变成服务器，供其它电脑访问

在虚拟机上安装hadoop和hive，然后同学机子上安装kettle进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器，供其它电脑访问。
吾浴西风·2024-01-06 16:01

Centos 离线傻瓜式一键式部署 Redis 集群（附脚本+安装包）

前言在面对高并发和大数据量的场景时，单个Redis实例可能无法满足性能需求，此时就需要使用Redis集群来提升系统的扩展性和可用性。本文将详细介绍如何在Centos7系统环境下，使用普通用户权限从零开始搭建一个由三主三从构成的Redis集群。通过本文的步骤，你将能够搭建一个可靠的Redis集群，从而解决单实例Redis在处理大规模数据时遇到的瓶颈问题。环境要求Redis版本：7.0.12系统环境：
一座野山·2024-01-06 16:17

高可用分布式部署Spark、完整详细部署教程

Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark
一座野山·2024-01-06 16:15

SuperMap分布式数据库实操

.配置开机自启动5.集群部署5.1主从复制集群5.2副本集集群安装部署配置开机自启动5.3分片集群二、DSF（HDFS）1.HDFS2.安装部署三、DSF(本地文件)四、HBASE1.数据模型2.安装Hadoop
会灭火的程序员·2024-01-06 15:42

《数据采集与预处理环境》实验环境安装

文章目录1.安装Python及第三方库2.jupyternotebook安装3.jdk安装4.MySQL安装1.在根目录下创建文件my.ini2.初始化3.安装服务4.启动服务5.登录6.配置环境变量5.hadoop
活下去.·2024-01-06 14:10

Migrate your data into databend with DataX

Datax是一个异构数据源离线同步工具，致力于实现包括MySQL、Oracle、
Databend·2024-01-06 14:17

腾讯IM ——修改语音通话和视频通话的推送提示音和通话界面的提示音

一、修改推送提示音1、把音频文件放入自己的工程文件中（注意：不要放入pod的IM的资源文件中）2、修改离线推送提示音：在TUICall+Signal.m类的-(V2TIMOfflinePushInfo*
彦_d28f·2024-01-06 13:39

docker:centos7.8 离线安装docker20

docker离线镜像下载网址:https://docs.docker.com/engine/install/centos/docker官网：centos安装：https://docs.docker.com
千码君2016·2024-01-06 12:30
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他