Hadoop离线基础总结

Hadoop详解

Hadoop概念就是一个大数据解决方案。它提供了一套分布式系统基础架构。核心内容包含hdfs和mapreduce。
武昌库里写JAVA·2024-01-16 21:20

「Kafka」Broker篇

KafkaBroker总体工作流程Zookeeper存储的Kafka信息启动Zookeeper客户端：[atguigu@hadoop102zookeeper-3.5.7]$bin/zkCli.sh通过ls
小成同学_·2024-01-16 21:44

Hudi0.14.0最新编译（修订版）

1编译环境Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps:/
跟着大数据和AI去旅行·2024-01-16 20:40

免费开源OCR 软件Umi-OCR

Umi-OCR是一款免费、开源、可批量的离线OCR软件，基于PaddleOCR，适用于Windows10/11平台免费：本项目所有代码开源，完全免费。方便：解压即用，离线运行，无需网络。
linux实践操作记录·2024-01-16 19:20

6K star! 100%本地运行LLM的AI助手

Jan是一个开源ChatGPT替代品，可以在您的计算机上100%离线运行。Jan支持从PC到多GP
IT咖啡馆·2024-01-16 18:34

架构简介，到底什么是架构？

我们经常对新员工培训整个系统的架构，参加架构设计评审，学习业界开源系统（例如，MySQL、Hadoop）的架构，研究大公司的架构实现（例如，微信架构、淘宝架构）……虽然“架构”这个词常见，但如果深究一下
星猿杂谈·2024-01-16 18:51

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-16 18:10

你不能从此位置安装应用，因为它已经从其他位置安装

使用离线安装github后，卸载掉重新安装出现问题：你不能从此位置安装应用，因为它已经从其他位置安装Youcannotstartapplicationfromthislocationbecauseitisalreadyinstalledfromadifferentlocation
青盏·2024-01-16 16:06

hive:创建自定义python UDF

由于Hadoop框架是用Java编写的，大多数Hadoop开发人员自然更喜欢用Java编写UDF。
-柚子皮-·2024-01-16 16:35

慢思考

随时在线会摧毁大脑，所以有时候要学会离线思考，让思考变得有深度。两分钟原则：很短的时间就可以解决。如果分心，将花费两份钟的时间补偿你
Yumama_78fb·2024-01-16 16:43

ADSelfService Plus 推出离线多因素身份验证以提升远程工作安全性

得克萨斯州德尔瓦雷—2023年5月3日—ZohoCorporation旗下的企业IT管理部门ManageEngine今日宣布，其身份安全解决方案ADSelfServicePlus现已为Windows推出离线多因素身份验证
运维有小邓@·2024-01-16 15:06

记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题（一）安装

目录推荐环境系统和软件安装安装Ubuntu分辨率问题虚拟机桥接模式连不上网Hadoop安装Ubuntu16.04下用aria2下载百度网盘大文件其他在安装hadoop时遇到的问题hadoop用法小结单机模式伪分布式
白令屿·2024-01-16 13:53

高精度恒流/恒压（CC/CV）原边反馈功率转换器

一、产品概述PR6214是一款应用于小功率AC/DC充电器和电源适配器的高性能离线式功率开关转换器。
攻城狮Wayne·2024-01-16 12:17

Linux离线安装MySQL5.7

Linux离线安装MySQL5.7准备tar包官方链接：MySQL::DownloadMySQLCommunityServer(ArchivedVersions)将MySQLtar包上传至服务器内部解压并重命名
神志不清.·2024-01-16 11:37

vue-baidu-map-v3实现离线

实现离线地图主要一下几个步骤：1.切好的瓦片放在本地目录下2.在node_modules中找到vue-baidu-map-v3目录下的components/map新建myMap.jsgetmodules2
疯泽清·2024-01-16 11:41

DataX&数据同步（全量）

1.DataX简介1.1DataX概述  DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
韩顺平的小迷弟·2024-01-16 11:29

大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现

基于Hadoop的Mapreduce编程实践案例的设计与实现一、数据排序案例的设计与实现1.1设计思路1.2实践过程1.3成果展示+数据可视化分析二、求数据平均值案例的设计与实现2.1设计思路2.2实践过程
ZShiJ·2024-01-16 11:27

Flume用法总结

在Hadoop生态系统中，规模最大，知名度最高的公司就是Cloudera，2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop商用解决方案。
天选之子123·2024-01-16 10:53

Kafka入门基本概念（详细）

对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoo
学会用脚编程·2024-01-16 10:17

HIve项目入门 环境部署遇到的问题及解决方案

环境布置的步骤建议是jdk,hadoophive这几个分别去下载，参考以下几个安装教程：【主要参考：傻瓜式教程】Windows下安装HiveMySQL版【附安装Hadoop教程】全网最详细的图文教程【有一些补充的内容
Manchesterr·2024-01-16 09:47

001 大数据爱好者的 Hadoop 教程-学习 Hadoop 的最佳方式

000HadoopTutorialforBigDataEnthusiasts–TheOptimalwayofLearningHadoopHadoopTutorial–Oneofthemostsearchedtermsontheinternettoday.Doyouknowthereason
胡巴Lei特·2024-01-16 09:27

【C语言】多线程基本实现

多线程（一）基础知识进程线程线程的优点C语言多线程创建线程终止线程连接线程分离线程开启一个线程最基本的多线程实现开启两个线程在串口助手编程中，-k命令下需要实现等待接收message的同时可以发送键入message
叶雨莳·2024-01-16 08:17

indexDB 本地数据库

indexDB本地数据库IndexedDB是一种使用浏览器存储大量数据的方法，它创造的数据可以被查询，并且可以离线使用。
永恒之月℡·2024-01-16 08:57

基于CentOS7利用docker搭建hadoop环境

一、任务目标在之前已经安装好的CentOS虚拟机上，在Docker上，安装hadoop。
Cupcake_JackY·2024-01-16 07:50

Hive 数据迁移

二、思路三、同步数据（方案）1、环境：断直连模拟环境2、操作机器：ETL机器XX.14.36.2163、工作路径：cd/usr/local/fqlhadoop/hadoop/bin4、执行命令：命令格式
bigdata-余建新·2024-01-16 07:14

结构化流(Structured Streaming)

对于有界数据，一般采用批处理方案（离线计算）特点：1-数据大小是固定2-程序处理有界数据，程序最终一定会停止无界数据:指的数据有固定的开始，但是没有固定的结束。
小希 fighting·2024-01-16 07:25

Hive知识点

基本概念：由Facebook开源，构建在Hadoop之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

HDFS HA 集群搭建 - 基于Quorum Journal Manager（hadoop2.7.1）

0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统（HDFS）中，检查点（Checkpointing）是一个关键的过程，它涉及到将文件系统的命名空间状态持久化到磁盘。
Studying！！！·2024-01-16 06:36

flink1.14.5使用CDH6.3.2的yarn提交作业

使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDHyarn
码道功成·2024-01-16 06:30

mac上搭建 hadoop 伪集群

1.hadoop介绍Hadoop是Apache基金会开发的一个开源的分布式计算平台，主要用于处理和分析大数据。Hadoop的核心设计理念是将计算任务分布到多个节点上，以实现高度可扩展性和容错性。
寂夜了无痕·2024-01-16 06:30

hadoop- yarn启动后用jps查看没有resourcemanager

1.问题启动hadoop的yarn时发现jps并没有resourcemanager2.排查在hadoop-xxx-resourcemanager-.log日志文件中发现了报错日志日志内容如下contextlogs2024
寂夜了无痕·2024-01-16 06:30

Hadoop分布式文件系统(三)

目录一、Hadoop1、MapReduce1.1、理解MapReduce思想1.2、分布式计算概念1.3、MapReduce介绍1.4、MapReduce特点1.5、MapReduce局限性1.6、MapReduce
杀神lwz·2024-01-16 06:57

「Java开发指南」MyEclipse如何支持Spring Scaffolding？（一）

MyEclipsev2023.1.2离线版下载1.使用Spring的Scaffolding应用程序支持Spring的MyEclipse目标之一是帮助开发人员从零开始编写更少的代码，并更广泛地使用代码生成
界面开发小八哥·2024-01-16 06:41

crontab定时任务

作用：处理离线任务，比如：凌晨更新数据或清理进程安装crontab：[root@localhost]#yuminstallcronie直到显示“Complete”,安装完成servicecrondstart
old_GGB·2024-01-16 06:58

Clickhouse集成离线hive、实时kafka数据实操

Clickhouse集成hive一、官网介绍：1、clickhouse集成hive、kafka官网介绍：2、clickhouse支持的数据类型：二、创建对应hive的clickhouse表1、利用clickhouse的HDFSEngine建表语句三、集成hive建表需要注意的地方（详细解析）1、schema必须要与hive表中一致2、格式要求3、路径解析4、hdfs路径四、关于增量数据同步问题，因
静听枫语·2024-01-16 05:11

seatunnel 消费kafka数据写入clickhouse

SeaTunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台，架构于ApacheSpark和ApacheFlink之上，支持海量数据的实时同步与转换。
冰帆<·2024-01-16 05:41

Hadoop 3.2.4 集群搭建详细图文教程

一、集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群。两个集群逻辑上分离、通常物理上在一起；两个集群都是标准的主从架构集群。
༺࿈誓言࿈༻·2024-01-16 05:10

大数据技术原理与应用 第三版 林子雨 期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。
头发多多，肆意生长·2024-01-16 05:22

大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK

大数据技术原理与应用第三版林子雨期末复习（五）第十章SPARK简介spark特点spark与Hadoop对比Hadoop缺点spark优点RDDRDD概念RDD间存在依赖关系分为宽依赖与窄依赖RDD的两种常用操作简介
头发多多，肆意生长·2024-01-16 05:22

大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase

大数据技术原理与应用第三版林子雨期末复习（二）HadoopHDFSHBaseHadoop生态系统HDFSHDFS结构块NameNode与SecondNameNode与DataNode数据冗余存储HDFS
头发多多，肆意生长·2024-01-16 05:21

大数据技术原理与应用期末复习（林子雨）

大数据技术原理与应用期末复习（林子雨）Hadoop的特性HBase编程实践NoSQL的四大类型键值数据库优点：缺点：列族数据库优点：缺点：文档数据库优点：缺点：图数据库优点：缺点：NoSQL的三大基石CAP
laowang357·2024-01-16 05:50

Kafka部署及使用

broker、topic启动zk下载zkzookeeper-3.4.5-cdh5.7.0.tar.gz解压：tar-zxvfzookeeper-3.4.5-cdh5.7.0.tar.gz-C/home/hadoop
Sx_Ren·2024-01-16 05:15

Clickhouse实时指标加工

Starwift实时指标加工方案方案介绍Starwift（ClickHouse）是京东云上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量数据离线分析。
麦田里的守望者··2024-01-16 04:10

解析 ODPS SQL 任务优化方法原理

一、背景使用ODPSSQL进行离线数据研发时，开发同学不可避免会碰到任务性能问题，需要经常对ODPSSQL执行任务进行调优，以对重点场景任务产出时效进行保障，避免
Elivis Hu·2024-01-16 03:10

任务10：安装配置Java开发环境

开发工具Maven配置重点：安装配置Java开发工具IDEA为IDEA配置自定义Maven（国内源）内容：下载并配置JDK1.8下载安装IDEA为IDEA配置自定义MavenWindows环境安装配置Hadoop
Dija-bl·2024-01-15 22:21

任务12：使用Hadoop Streaming解压NCDC天气原始数据

任务描述知识点：NCDC原始的气象数据上传到HDFSMapReduce程序处理NCDC原始数据重点：熟练使用HDFS基础命令查看HDFS文件块的分布情况掌握Linux系统Shell脚本的编写熟练使用MapReduce程序解压缩文件使用MapReduce程序处理NCDC气象数据内容：NCDC气象数据上传至HDFS检查HDFS文件块的分布情况编写LinuxShell脚本生成input文件编写Shell
Dija-bl·2024-01-15 22:21

任务4：安装并配置JDK

：检查系统中是否自带OpenJDK卸载系统自带OpenJDK安装OracleJDK配置环境变量并使其生效将JDK分发至其他机器任务指导安装并配置OracleJDK过程1、安装配置OracleJDK概述Hadoop2.9.2
Dija-bl·2024-01-15 22:51

任务3：配置SSH免密码连接--自用

任务描述知识点：掌握配置SSH免密连接重点：掌握SSH免密连接熟练使用Linux命令配置机器间的免密登陆内容：配置SSH免密登陆使用命令分发文件测试SSH免密登陆任务指导Hadoop分布式集群是由多个节点组成
Dija-bl·2024-01-15 22:21

任务5：安装并配置Hadoop

任务描述知识点：掌握Hadoop集群的搭建重点：掌握Linux基础命令在Linux系统下使用命令安装Hadoop集群内容：安装配置Hadoop集群配置Hadoop环境变量修改Hadoop配置文件部署Hadoop
Dija-bl·2024-01-15 22:21

ZooKeeper 简介

1、概念介绍ZooKeeper是一个开放源码的分布式应用程序协调服务，为分布式应用提供一致性服务的软件，由雅虎创建，是GoogleChubby的开源实现，是Apache的子项目，之前是Hadoop项目的一部分
HuaLuLemon·2024-01-15 21:37
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他