Hadoop大数据相关

Linux常用命令大全

1.查看端口号占用lsof-i:端口号lsof-i:8060sudonetstat-nlp|grep80602.查看CPU、核数、磁盘信息[hadoop@master1~]$cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009
tuoluzhe8521·2024-01-18 13:52

书签留存文档

用plsql连接oracle-郑文亮-博客园IDEA中创建mavenweb项目的详细部署kettle连接hbase-CSDN博客PI服务器及各客户端安装配置-豆丁网Oracle客户端使用-CSDN博客hadoop
Liang.Wang·2024-01-18 09:13

作为刚入职的小白，怎么才能学好大数据 ？

大数据学习方向一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
铁拳虎·2024-01-18 09:40

HBASE学习一：原理架构详解

HBase的存储是基于HDFS的，HDFS有着高容错性的特点，被设计用来部署在低廉的硬件上，基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐量。HBase采用的时ke
Studying！！！·2024-01-18 08:34

ClickHouse vs StarRocks 全场景MPP数据库选型对比

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
涛子丶白了你一眼·2024-01-18 08:12

ClickHouse vs StarRocks 选型对比

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
dan20211·2024-01-18 08:40

Clickhouse VS StarRocks

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
chixushuchu·2024-01-18 08:10

dubbo入门案例！！！

Zookeeper是ApacaheHadoop的子项目，可以为分布式应用程序协调服务，适合作为Dubbo服务的注册中心，负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互
明天更新·2024-01-18 07:51

Dinky创建Flink实例报错

Dinky版本：0.7.3Flink版本：1.13.0问题描述问题1：已有实例不显示在Dinky的【注册中心】—【Flink实例管理】中：hadoop集群以及zookeeper重启后，之前创建的一个yarn-session
THE WHY·2024-01-18 07:48

数仓项目6.0配置大全（hadoop/Flume/zk/kafka/mysql配置）

配置背景我使用的root用户，懒得加sudo所有文件夹在/opt/module所有安装包在/opt/software所有脚本文件在/root/bin三台虚拟机：hadoop102-103-104分发脚本
Int mian[]·2024-01-18 06:57

hadoop YARN详解

YARN概念YARN是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）。其中，ResourceManager负责所有资源的监控、分配和管理；ApplicationMaster负责每一个具体应用程序的调度和协调；NodeManager负责每一个节点的维护。对于所有的application
武昌库里写JAVA·2024-01-18 06:25

Hadoop之mapreduce参数大全-7

Inter-ProcessCommunication）连接在发生超时时的最大重试次数yarn.app.mapreduce.client-am.ipc.max-retries-on-timeouts是ApacheHadoopYARN
OnePandas·2024-01-18 06:54

Hadoop之mapreduce参数大全-8

176.指定JobHistoryServer在缓存中存储的日期字符串的最大数量mapreduce.jobhistory.datestring.cache.size是ApacheHadoopMapReduce
OnePandas·2024-01-18 06:54

SeaTunnel 、DataX 、Sqoop、Flume、Flink CDC 对比

对比对比项ApacheSeaTunnelDataXApacheSqoopApacheFlumeFlinkCDC部署难度容易容易中等，依赖于Hadoop生态系统容易中等，依赖于Hadoop生态系统运行模式分布式
贾斯汀玛尔斯·2024-01-18 06:01

【个人笔记】ClickHouse 查询优化

大家想了解更多大数据相关内容请移驾我的课堂：大数据相关课程剖析及实践企业级大数据数据
garagong·2024-01-18 05:53

阿里云大数据ACA及ACP复习题（21~40)

21.Hadoop的主要功能中，能完成对海量数据分布式运算的是哪个组件?
周周的奇妙编程·2024-01-18 03:08

HDFS 系统架构

HDFSArchitectureIntroductionHadoopDistributedFileSystem(HDFS)是设计可以运行于普通商业硬件上的分布式文件系统。
偷油考拉·2024-01-18 03:52

基于JavaWeb+BS架构+SpringBoot+Vue+Hadoop的物品租赁系统的设计与实现

基于JavaWeb+BS架构+SpringBoot+Vue+Hadoop的物品租赁系统的设计与实现文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》
FREE技术·2024-01-18 00:17

Note08：Hive-1.2.2安装配置

安装包下载安装地址：http://archive.apache.org/dist/hive/把安装包上传到/opt/software目录解压[kevin@hadoop112software]$tar-zxvfapache-hive
K__3f8b·2024-01-18 00:22

【若泽大数据第二天】--MySQL二进制部署

1、通过winscp上传MySQL5.6安装文件2、判断一下服务器是否安装了MySQL3、解压MySQL安装文件并进行重命名[root@hadoop001~]#tar-zxvfmysql-5.6.23-
naroutofan·2024-01-17 21:52

[CDH5] Oozie web console is disabled 问题解决

Ooziewebconsoleisdisabled.问题解决：下载ExtJS2.2:下载地址：http://archive.cloudera.com/gplextras/misc/ext-2.2.zip上传到服务器并解压[root@hadoop1libext
尼小摩·2024-01-17 19:12

IDEA插件安装ZooKeeper

zookeeper介绍Zookeeper是ApacaheHadoop的子项目，可以为分布式应用程序协调服务，适合作为Dubbo服务的注册中心，负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互
冰冰很社恐·2024-01-17 19:07

Hadoop集群安装(入门级)

Hadoop集群安装配置三台主机(每台主机都需要配置)修改IP使用vi/etc/sysconfig/network-scripts/ifcfg-xx不同的机器可能不同修改三台主机ipaddr地址如下192.168.200.101master192.168.200.102slave1192.168.200.103slave2
blueoftravel·2024-01-17 17:20

HDFS简介与常用API

HDFS简介HDFS是一个文件系统（HadoopDocumentFileSystem），通过目录树来定位文件。其次，它是分布式的。HDFS适用于：一次写入，多次读出的场景。
正橙橙橙橙·2024-01-17 16:45

ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用

简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。基本概念本节将介绍ZooKeeper的几个核心概念。这些概念贯穿于之后对ZooKeeper更深入的讲解，因此有必要预先了解这些概念。集群角色在
Java程序员YY·2024-01-17 15:08

hadoop 3.3.4 编译报错记录

现在centos7.6，docker19.x版本会缺少一些依赖包不能一次编译过hadoop3.3.4注意BUILDING.txt依赖环境的版本二，报错信息1.cmake-compile(cmake-compile
第一次看海·2024-01-17 15:31

大数据——CentOS 7加装虚拟机存储空间、CPU和内存

和内存准备条件一台已经配置好的虚拟机虚拟机安装和配置扩容前扩展空间点击扩展增加存储空间，点击扩展这时会提醒你，让你从操作系统中重新进行分区点击确定打开虚拟机操作系统中进行分区扩展文件系统打开虚拟机查看一下磁盘大小[root@hadoop1002
蜂蜜柚子加苦茶·2024-01-17 13:05

mysql 解析json字符串、数组字符串、json数组字符串

背景：笔者使用mysql5.7进行了一次json字符串的解析，因为一直在搞大数据相关的数据库、olap等，太久没有用mysql5.x的版本，一些函数已经不知道支不支持，我的同事建议我使用like、rlike
扫地增·2024-01-17 12:55

介绍 Apache Spark 的基本概念和在大数据分析中的应用

Spark的主要特点包括：快速：Spark使用内存计算技术，可以比传统的批处理系统（如Hadoop）快上数十倍甚至更多。它通过将数据存储在内存中来避免磁盘读写的开销，从而提供更快的数据处理速度。灵活：
酷爱码·2024-01-17 11:45

大数据开发之Hadoop（HDFS）

2、HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文
Key-Key·2024-01-17 10:22

hadoop-common /native/src/exception.c : error: function-like macro ‘__GLIBC_PREREQ‘ is not defined

1.问题来源mac上编译hadoop源码的时候遇到如下错误1errorgenerated.
寂夜了无痕·2024-01-17 10:21

大数据开发之Hadoop（入门）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。
Key-Key·2024-01-17 09:19

hadoop-common: CMake failed with error code 1

问题在编译hadoop源码时遇到如下错误hadoop-common:CMakefailedwitherrorcode1看了这个错误表示一脸懵逼排查在mvn的命令中增加-X和-emvncleanpackage-e-X-Pdist
寂夜了无痕·2024-01-17 09:49

Hive数据导出的四种方法

hive数据仓库有多种数据导出方法，我在本篇文章中介绍下面的四种方法供大家参考：Insert语句导出、Hadoop命令导出、Hiveshell命令导出、Export语句导出。
冬瓜的编程笔记·2024-01-17 08:31

java链接hive数据库实现增删改查操作

首先，确保已经安装了Hive，并且Hadoop集群正在运行。然后，根据Hive版本下载相应的HiveJDBC驱动程序。可以从ApacheHive官方网站下载。
酷爱码·2024-01-17 08:30

hive除数取整

简介Hive是一个构建在Hadoop上的数据仓库基础设施，它提供了一个类似于SQL的查询语言，用于处理大规模的结构化数据。在Hive中，我们常常需要对数据进行数学运算，包括除法操作。
cuisidong1997·2024-01-17 08:30

Kafka详解及常见面试问题解析（值得珍藏）

对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，
孤蓬&听雨·2024-01-17 07:29

Mac M1芯片本地安装 hadoop 集群填坑之路

文章目录背景环境前置知识安装过程#bug1#bug2#bug3背景学习一项技能的最好方式自然是理解+实践，在了解了hadoop的基本概念后我开始尝试在本地搭建一个集群环境用于进一步学习。
喵王叭·2024-01-17 06:46

Hadoop——HDFS、MapReduce、Yarn期末复习版（搭配尚硅谷视频速通）

一、HDFS1.HDFS概述1.1HDFS定义HDFS(HadoopDistributedFileSystem),它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能
革斤要加油·2024-01-17 06:10

阿里云服务器ECS安装图形界面

系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器免费试用领取Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置阿里云服务器ECS安装图形界面文章目录系列文章目录前言安装步骤前言我们在安装图形界面时
柔雾·2024-01-17 06:59

Centos7.0上docker的使用

Centos7.0上docker的使用前言安装dockerdocker打包SpringBoot项目docker搭建hadoop集群前言docker是基于go语言而开发的容器，和虚拟机如OracleVm有着异曲同工之妙
legendaryhaha·2024-01-17 06:51

HBase的协处理器

比如，在旧版本的(hbase.coprocessor.user.region.classesorg.apache.hadoop.hbase.coprocessor.AggregateImplementation
临界爵迹·2024-01-17 06:43

hadoop之yarn

yarn简单介绍：yarn是hadoop集群当中的资源管理系统模块，从hadoop2.x开始引入yarn来进行管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及运行在
临界爵迹·2024-01-17 06:42

hadoop之shuffle

map端：1、读取数据源2、将数据切片（每片128M），切分成一个个的split3、启动mapTask，mapTask个数和split个数一样，开始执行任务4、mapTask将数据读入内存，存在一个内存环形缓冲区（mapreduce.task.io.sort.mb=100，可自定义）；当该区域中的容量到达80%（默认mapreduce.map.sort.spill.percent=0.8，可自定义
临界爵迹·2024-01-17 06:42

从 Linux 安装到 Hadoop 环境搭建全过程

Hadoop环境搭建从Linux的最小化安装到Hadoop环境的搭建，尽可能详尽介绍每个步骤。
奇妙的代码·2024-01-17 05:58

【教程】集群搭建准备工作全流程

基于VMware创建虚拟机进行集群搭建，适用于hadoop/GreenPlum等集群之前已经创建了三台虚拟机hadoop102，hadoop103，hadoop104来搭建hadoop集群，因为目前学习到了
THE WHY·2024-01-17 04:12

电商项目实战Hadoop实现

1、用户行为日志概述每一次访问的行为（包括访问，搜索、等）产生的日志历史行为数据《==历史订单==》推荐==〉订单的转换率2、为什么要记录用户行为日志根据行为日志分析可以很好的有针对性的对不同用户推荐不同商品，以及不同广告的推送3、日志内容介绍日志产生的渠道有nginx日志、ajax加载的一些动态的图片、位置啊等等信息。本次我们提供了一个电商日志打～/data/trackinfo_20130721
zhaoxiaoba123·2024-01-17 02:44

securecrt密码与账户正确却登不上ubuntu

我的账户名为hadoop如下：于是尝试用这个账户名和密码去登录ssh报错：根本原因在于这个username是错的，应该用控制台中的名字：ps：密码是一样的
linpaomian·2024-01-17 02:43

【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发

注意：该项目只展示部分功能，如需了解，评论区咨询即可。本文目录1设计背景2设计意义3系统展示3.1页面展示3.2视频展示4更多推荐5部分功能代码1设计背景在当今数字化时代，电商行业成为全球商业生态系统的关键组成部分，电商平台已经深入各行各业，影响了人们的购物方式和消费习惯。随着互联网技术的不断发展，电商平台产生了大量的用户数据，包括点击、购买、搜索、浏览历史等行为数据。这些数据蕴含着宝贵的商业洞察
Q2643365023·2024-01-17 02:43

大数据实战（hadoop+spark+python）：淘宝电商数据分析

一，运行环境与所需资源：虚拟机：Ubuntu20.04.6LTSdocker容器hadoop-3.3.4spark-3.3.2-bin-hadoop3python，pyspark,pandas，matplotlibmysql
linpaomian·2024-01-17 02:13
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他