研磨hadoop

大数据开发学习笔记

前言：本文介绍了各个大数据开发框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门
THE WHY·2023-11-17 16:01

运行示例sparkPi计算圆周率（1.1）

1启动spark(1)启动hadoop启动成功master节点进程：Slave节点进程：(2)启动spark（注意路径）启动成功：Slave1和slave2的进程如下：2将sparkPi.scala添加进工程
探索者tl·2023-11-17 14:04

安装关系型数据库MySQL和大数据处理框架Hadoop

1.简述Hadoop平台的起源、发展历史与应用现状。列举发展过程中重要的事件、主要版本、主要厂商；国内外Hadoop应用的典型案例。
weixin_30621919·2023-11-17 13:14

The specified database user/password combination is rejected: [ 08S01] Could not open client transpo

Thespecifieddatabaseuser/passwordcombinationisrejected:[08S01]CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://hadoop102
挽风821·2023-11-17 13:33

mysql怎么迁移到hadoop_Mysql 与 hadoop 数据同步（迁移），你需要知道 Sqoop

上篇文章Mysql到Hbase数据如何实时同步，强大的Streamsets告诉你我们说到了如何使用Streamsets来进行mysql到hbase的数据实时同步(迁移)。使用Streamsets的优点是部署简单，配置灵活，无需编写代码。认真阅读上篇文章的朋友会发现，Streamsets能够实时跟踪数据的变化，将数据同步更新到hbase中。但是对于历史数据(并且数据不改动的记录)的同步，文章中并没有
铑慇獬廌·2023-11-17 11:40

Python大数据之linux学习总结——day07_hive03

hive03分区表[练习]一级分区知识点：示例：多级分区知识点:示例：分区表知识点：示例：hadoop_hive文档分桶表[练习]重要参数基础分桶表:知识点:示例:分桶表排序:知识点:示例:随堂练习注意事项
笨小孩124·2023-11-17 09:46

行业了解——挂耳咖啡

把咖啡包《挂》在杯子上，用热水冲的咖啡挂耳包的类型挂耳咖啡包的组成研磨适当的咖啡粉内袋（滤纸包装）挂耳（纸质夹板）脱氧剂（以氮气为主，隔绝空气防止咖啡氧化）外袋（避光密封）将研磨适当的咖啡粉包装在滤纸制成的包装中
安小浩·2023-11-17 08:53

自定义output文件，并指定输出的文件路径以及文件名

有如下文件，需要将itstar输出到一个文件，其他的输出到另一个文件，并自定义输出文件路径与文件名1：定义FilterMap类packageOutputFormat;importorg.apache.hadoop.io.LongWritable
zhanglei_16·2023-11-17 07:51

《网易-数据中台》学习笔记

《网易-数据中台》学习笔记1.大数据发展历程1.1数据仓库1.2Hadoop-数据湖1.3大数据平台1.4数据中台1.5Next：大数据+人工智能2.数据仓库2.1数据仓库建模2.1.1E-R模型2.1.2
杰克jk船长·2023-11-17 07:15

大数据毕业设计选题推荐-机房信息大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的飞速发展，机
IT研究室·2023-11-17 06:59

C && C++ && git && tcpip

aobai219/article/details/1596964C语言添加宏开关https://www.cnblogs.com/zht-blog/p/4036935.htmlPython+Spark2.0+Hadoop
happylzs2008·2023-11-17 05:21

98.8秒夺冠，解析腾讯云数智背后的架构与算法优化

在更早前，百度创造的纪录是716秒，Hadoop的记录是4222秒。\\在这次竞赛中，腾讯云数智分布式计算平台，夺得SortBenchmark大赛GraySort和MinuteSo
weixin_34187862·2023-11-17 04:31

大数据系列-Hadoop集群搭建（2）集群配置

上篇已经把Hadoop安装到各虚拟机（大数据系列-Hadoop集群搭建（1）），本篇通过认识Hadoop，规划虚拟机部署。
zhm6422107·2023-11-17 03:59

大数据平台搭建之hive本地模式安装

它建立在Hadoop上，并提供了类似于传统数据库的查询和分析功能。
bigdata从入门到放弃·2023-11-17 03:58

4hadoopHDFS集群搭建-伪分布式模式

hadoop旧版网址：http://hadoop.apache.org/old/2.6.5版本ssh协议在免密登陆其他机器的时候，不会加载其他机器的环境变量。
没有女朋友的程序员·2023-11-17 03:28

大数据入门---1.大数据介绍

我们的hadoop就是在这样的场景下应运而生的1.HADOOP背景介绍1.1什么是HADOOP(1)HADOOP是apache旗下的一套开源软件平台(2)HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑
学无止境的大象·2023-11-17 03:57

大数据之hadoop-hdfs完全分布式环境搭建（详细步骤真实可用）

1，服务器规划本次服务搭建是在原有伪分布式的基础上进行搭建，伪分布式的搭建，参照伪分布式搭建节点NNSNNDNnode01※––node02※※node03––※node04––※2，基础设施jps检查jdk1.8安装，检查网络是否正常，配置hostvim/etc/hosts10.0.0.11node0110.0.0.12node0210.0.0.13node0310.0.0.14node04[r
shw12357·2023-11-17 03:27

大数据之hadoop-hdfs伪分布式环境搭建（详细步骤真实可用）

目录版本1，基础设施2，Hadoop的配置（应用的搭建过程）3，启动4，简单使用5，上传自定义块的大小版本centos7+jdk1.8+hadoop2.6.51，基础设施设置网络：vi/etc/sysconfig
shw12357·2023-11-17 03:56

大数据-hadoop HA

大数据-hadoopHA大数据-hadoopHAHACAP原则Paxos算法Federation实操大数据-hadoopHAHA主从集群：结构相对简单，主与从协作主：单点，数据一致好掌握问题：单点故障，
Ybb_studyRecord·2023-11-17 03:26

大数据分布式集群搭建（5）

下面我们来操作大数据中的重头戏Hadoop1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑
KongX_B·2023-11-17 03:25

大数据-hadoop入门与部署

大数据-hadoop入门与部署大数据-hadoop入门与部署启蒙分治思想单机处理大数据问题集群分布式处理大数据的辩证HadoopHadoop项目/生态hadoop-hdfs存储模型架构设计角色功能元数据持久化安全模式
Ybb_studyRecord·2023-11-17 03:25

大数据原生环境搭建笔记

搭建Hadoop分布式环境：1、安装jdk1.82、上传Hadoop环境包3、配置环境变量在/etc/profile配置文件中JAVA_HOME和HADOOP_HOME，代码如下：exportJAVA_HOME
qianzhina·2023-11-17 03:55

离线集群平台搭建-HDP

一.背景大数据相关的所有建设依托于大数据的基础设施.基础设施一定包含了集群平台的搭建.目前市场上常用的有三种方式做集群平台的搭建;第一种为使用原生的apache(hadoop,hive,spark)等相关大数据软件构建集群平台
会飞的boy·2023-11-17 03:53

大数据hadoop hdfs 基础环境搭建

1.需要5个软件，virtualBox，centos，hadoop()，jdk(linux)，xshell(远程登录)2.virtualBox新建虚拟机LinuxRedHat64位3.安装centos，
gauyeah309·2023-11-17 03:53

大数据基础设施搭建 - JDK

一、创建目录需要在root账号下操作，因为/目录下只能用root账号创建目录1.1创建目录[root@hadoop102~]#mkdir/opt/software/[root@hadoop102~]#mkdir
m0_46218511·2023-11-17 03:21

Centos的Filesystem中/dev/mapper/centos-root内存已满的解决办法

.卸载/home文件2.删除逻辑卷3.vgdisplay查看内存空间4.安装psmisc5.将剩余的空间分配到根目录的逻辑卷上6.创建文件系统7.查看是否成功今天在写hive的时候，发现跑不动了，检查hadoop
datalover·2023-11-17 01:00

flume与kafka应用场景解析

它对HDFS有特殊的优化，并且集成了hadoop的安全特性。如果有多个dataconsumer，选择kafka，如果数据设计
wuyue_fighting·2023-11-16 22:39

阿里云服务器搭建hadoop（单机）

前期准备（centOS7的安装环境）一、下载jdk1.8和hadoop（在windows下载）1、下载jdk1.8下载地址：JavaArchiveDownloads-JavaSE82、下载hadoop2.10.2
@小胖~·2023-11-16 21:45

关系型数据库与非关系型数据库的详细对比和说明

OracleSQLServerSybaseInformixAccessDB2mysqlvfpIngersFoxPro非关系型数据库：MongoDBCassandraCouchDBHypertableRedisRiakNeo4jHadoopHBaseCouchbaseMemcacheDBREVENDBVoldemort
CharsonYang·2023-11-16 20:48

hadoop的java实现

1、新建maven项目注意修改maven下载位置2、再建一个子maven项目3、设置依赖父maven（官网—搜索hadoop—前三个依赖—版本2.7.6）org.apache.hadoophadoop-common2.7.6org.apache.hadoophadoop-client2.7.6org.apache.hadoophadoop-hdfs2.7.6
weixin_44864919·2023-11-16 20:42

学习大数据过程中遇到的奇葩问题

hadoop主节点开启的集群居然把DataNode和NodeManager都开启了错误：62099Jps61284ResourceManager61127SecondaryNameNode56570NodeManager60927NameNode63421DataNode
weixin_44864919·2023-11-16 20:12

hadoop源码中关于元数据“分段加锁+双缓冲方案”源码demo

FSEditLog.javapackagecom.nx.hadoop.lesson02;importjava.util.LinkedList;/****HDFS：有个别地方源码写得不错的。
weixin_44864919·2023-11-16 20:12

1. hadoop环境准备

环境准备准备三台虚拟机，配置最好是2C4G以上本文准备三台机器的内网ip分别为172.17.0.10172.17.0.11172.17.0.12本机配置/etc/hostscat>>/etc/hosts>/etc/hosts/etc/timezone"使用阿里服务器进行时间更新#使用阿里服务器进行时间更新ntpdatentp1.aliyun.com查看当前时间dateThuNov1610:08:4
shura1014·2023-11-16 20:11

2. zk集群部署

简介上一篇文章我们已经把环境准备好了，jdk也配置好了，下面我们开始把zk部署起来hadoop环境准备创建zk用户useraddzk-d/home/zkecho"1q1w1e1r"|passwd--stdinzk
shura1014·2023-11-16 20:11

4. hdfs高可用集群搭建

简介前面把hadoop机器已经准备好了，zk集群搭建好了，本本就是开始搭建hdfs环境hadoop环境准备创建hadoop用户三台机器都创建hadoop用户useraddhadoop-d/home/hadoopecho
shura1014·2023-11-16 20:11

3. hdfs概述与高可用原理

简述HDFS（HadoopDistributedFileSystem）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本
shura1014·2023-11-16 20:35

探究Presto SQL引擎(1)-巧用Antlr

从Hadoop生态的Hive,Spark,Presto,Kylin,Druid到非Hadoop生态的Clic
vivo互联网技术·2023-11-16 20:27

大数据应用开发线上班（学徒班）课程大纲

泰迪智能科技大数据应用开发线上班课程使用当下流行的Hadoop+Spark大数据框架，全面、深入地探讨了大数据开发、大数据分析、数据仓库等技术。
泰迪智能科技·2023-11-16 19:23

《Flink原理、实战与性能优化》（Flink知识梳理一）

Flink原名StratosphereFlink是基于事件驱动的，而SparkStreaming微批模型，生成微小的数据批次Spark的弱点：Spark基于批处理原理，对流式计算相对较弱（本质上是对Hadoop
无影风Victorz·2023-11-16 18:40

hadoop概述

原文地址：http://blog.csdn.net/kkdelta/article/details/7696025hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach
m0_67390379·2023-11-16 08:52

Hadoop概述

第1章大数据概论1.1大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行处理的数据集合，需要新处理模式才具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决海量数据存储和海量数据的分析计算问题。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB1.2大数据特点（4V）1.2.1Volum
留不住斜阳·2023-11-16 08:50

Hadoop的概述

1、Hadoop的发展史：Google首先发布三篇文章：GFS(GoogleFileSystem)、Mapreduce（计算引擎）、Bigtable，随着时间的推移：hadoop1.0与2.0的区别是在
新手小农·2023-11-16 08:46

Flink on YARN 常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog·2023-11-16 08:48

Flink on yarn任务日志怎么看

这是jobmanager的地址hadoop02:19888/jobhistory/logs/hadoop02:45454/container_e03_1684463979345_0028_01_000001
qzWsong·2023-11-16 08:47

ubuntu22.04下hadoop3.3.6+hbase2.5.6+phoenix5.1.3开发环境搭建

一、涉及软件包资源清单1、java这里使用的是openjdk2、hadoop-3.3.6.tar.gz3、hbase-2.5.6-hadoop3-bin.tar.gz4、phoenix-hbase-2.5
ls_elect·2023-11-16 07:31

大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）

目录一、JDK的安装1、安装jdk2、配置Java环境变量3、加载环境变量4、进行校验二、hadoop的集群搭建1、hadoop的下载安装2、配置文件设置2.1.配置hadoop-env.sh2.2.配置
爱吃面的猫·2023-11-16 06:51

Hadoop-HDFS架构与设计

HDFS架构与设计一、背景和起源二、HDFS概述1.设计原则1.1硬件错误1.2流水访问1.3海量数据1.4简单一致性模型1.5移动计算而不是移动数据1.6平台兼容性2.HDFS适用场景3.HDFS不适用场景三、HDFS架构图1.架构图2.Namenode3.Datanode四、HDFS数据存储1.数据块存储2.副本机制五、元数据持久化1.Namenode元数据2.元数据过程3.元数据checkp
临江蓑笠翁·2023-11-16 06:15

SparkSQL项目实战

1）将city_info.txt、product_info.txt、user_visit_action.txt上传到/opt/module/data[atguigu@hadoop102module]$mkdirdata2
shangjg3·2023-11-16 06:47

【论文】基于Hadoop的铁路货运大数据平台设计与应用

点我完整下载：基于Hadoop的铁路货运大数据平台设计与应用.docx基于Hadoop的铁路货运大数据平台设计与应用DesignandApplicationofRailwayFreightBigDataPlatformbasedonHadoop
wusp1994·2023-11-16 06:45

基于Hadoop的学习行为数据云存储平台的设计与实现

点我完整下载：基于Hadoop的学习行为数据云存储平台的设计与实现.docx基于Hadoop的学习行为数据云存储平台的设计与实现DesignandImplementationofaHadoop-BasedLearningBehavioralDataCloudStoragePlatform
wusp1994·2023-11-16 06:13
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他