hadoop学习日记

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

Hadoop执行WorldCount出现的问题和解决

failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/hadoop
SZHjy·2024-02-05 08:38

2.0 Hadoop 运行环境

由于Hadoop是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置Hadoop的情况，这对于学习者来说会制造诸多障碍，主要有两个：昂贵的计算机集群。
二当家的素材网·2024-02-05 07:01

impala与kudu进行集成

文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了Hadoop使用了Kerberos认证，可使用如下方式进行连接
shandongwill·2024-02-05 07:44

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

本章着重介绍Hadoop中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。
二当家的素材网·2024-02-05 06:38

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36

linux中如何输入控制字符

看以下实例：以下文本中的字段用^A分隔，[leo@hadooporgplan]$sed"s/^A//g"orgplan一定要注意^并不是数字键6上的
发狂的蜗牛·2024-02-05 01:47

学习笔记92-成熟模型图

【江湖说️学习日记】[打卡宝宝]：洋芋.
洋芋g·2024-02-05 00:19

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件
china-zhz·2024-02-04 21:33

企业级大数据安全架构（九）FreeIPA管理员密码忘记后如何修改

作者：楼高1重置DirectoryServer管理员密码1.1停止directoryserver服务[root@ipaschema]#start-dirsrvHDP-HADOOP如果你不知道你的实例名，
云掣YUNCHE·2024-02-04 20:36

Hadoop集群搭建

搭建Hadoop集群涉及多个步骤，包括准备硬件环境、安装和配置Hadoop以及验证集群的安装。
终将老去的穷苦程序员·2024-02-04 19:53

HDFS常用命令

hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce程序bin/hadoopjarshar
须臾之北·2024-02-04 18:41

学习日记31.收获

图片发自App窗上已经一层窗花，室内鲜花盛开。植物的美，在冬天的室内色彩斑斓的绽放。随着课程的进展，对生命、植物有了全新的理解。图片发自App绿叶，丝丝脉络清晰。带着它对本体生命的体验，热情的生长着。呼吸之间让我们体会着韵律，体味着它与生命之间的过程。图片发自App图片发自App图片发自App今天在我上课的间隙，收到了李佳新写的。特别感动，给她们班增加阅读是我的计划之一。原本没有想讲的特别深入，但
善水100·2024-02-04 17:02

Fink CDC数据同步（六）数据入湖Hudi

数据入湖HudiApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
大数据_苡~·2024-02-04 16:21

如何解决“hadoop：未找到命令”？

原因是未将hadoop命令添加至执行路径。
听风347·2024-02-04 15:17

做大数据需要学习哪些东西啊

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hi
kuntoria·2024-02-04 14:02

大数据技术未来发展前景及趋势分析

Storm加速了流数据处理的过程，为Hadoop批处理提供实时数据处理。Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台，运行速度相比于HadoopMapReduce更快。
丨程序之道丨·2024-02-04 12:54

django基于Hadoop的小额信贷平台系统(程序+开题)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网技术的快速发展，小额信贷平台系统在金融领域得到了广泛应用。传统的小额信贷模式存在信息不对称、审批流程繁琐等问题，而小额信贷平台系统通过整合用户、银行和信贷公示等多方资源，实现了借款申请、撤销借款以及用户信用分等功能，为用户提供了更加便捷和高效的金融服务。意义：小额信贷平台系
liu10662·2024-02-04 12:36

C语言学习日记——指针学习（一）

目录学习目标：学习内容：10.1地址和指针的概念编辑编辑10.3指针算法10.4指针函数学习练习：学习产出：学习目标：理解指针的定义和初步应用。学习内容：10.1地址和指针的概念指针是用来装地址的数据类型。其作用是通过被调函数修改主调函数10.2指计的定义指针的使用：10.3指针算法1指针加一=原有地址+sizeof基类型；2&与*可以相互抵消；3不同的基类型指针相减会编译报错4指针之间可以进行减
LanUU123·2024-02-04 11:12

C语言学习日记——标识符和预处理命令

目录学习目标：学习内容：2.1局部变量和全局变量2.2标识符的可见性2.3static2.4预处理命令学习产出：学习目标：标识符和预处理命令学习内容：2.1局部变量和全局变量2.2标识符的可见性1标识符必须先定义再使用。2同一作用域不得出现同名标识符。3在没有包含关系的不同作用域中定义的同名标识符互补影响。4在两个或者多个有包含关系的作用域声明的的同名标识符，外层标识符在内层不可见。2.3stat
LanUU123·2024-02-04 11:42

C语言学习日记——指针学习（二）

目录学习目标：学习内容：2.1快速排序算法2.2const2.3void*学习练习：学习产出：学习目标：今天主要学习字符串和指针的内容。学习内容：指针的进一步使用，迭代的学习2.1快速排序算法通过一轮的排序将序列分割成独立的两部分，其中前一部分序列的关键字均比后一部分关键字小。继续对长度较短的序列进行同样的分割，最后到达整体有序。在排序过程中，由于已经分开的两部分的元素不需要进行比较，故减少了比较
LanUU123·2024-02-04 11:42

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki4·2024-02-04 11:08

Ranger-Yarn插件安装

登陆hdfs安装的用户，garrison/zdh1234(用户组hadoop),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆·2024-02-04 10:22

Web前端开发学习日记（1）- 2022.11.03

我写这篇日记的初衷，是希望自己可以坚持学下去。本科的时候学的是交互媒体专业，我总觉得什么都学了，但是什么也不会。我们的课程涉猎很广，学点编程，也学点建模，学点设计，也学点媒体理论课，但是都学得不深。而且，在本科的时候自己既茫然又贪玩，总是结课之后就把课程内容丢到一边，写完项目之后再也不会去复习学过的东西。原来总觉得自己还小，还有很多时间。现在上了研究生，找工作的压力逐渐大了起来。看着身边优秀的同龄
LycheeXixi_·2024-02-04 09:55

Hadoop详解

架构设计NameNodeNameNode：文件系统的命名空间(面试题)1.文件名称2.文件目录结构3.文件的属性(权限创建时间副本数)4.文件对应哪些数据块-->数据块对应哪些分布在哪些DN节点上列表不会持久化存储这个映射关系，是通过集群的启动和运行时，DataNode定期发送blockReport给NameNode，以此NameNode在【内存】中动态维护这种映射关系。作用：管理文件系统的命名空
ly稻草·2024-02-04 09:34

Hadoop3.x基础（3）- Yarn

来源：B站尚硅谷目录Yarn资源调度器Yarn基础架构Yarn工作机制作业提交全过程Yarn调度器和调度算法先进先出调度器（FIFO）容量调度器（CapacityScheduler）公平调度器（FairScheduler）Yarn常用命令yarnapplication查看任务yarnlogs查看日志yarnapplicationattempt查看尝试运行的任务yarncontainer查看容器ya
魅美·2024-02-04 09:36

转载-58同城离线计算平台设计与实践

58同城离线计算平台设计与实践编者荐语：58离线计算平台基于Hadoop生态体系打造，单集群4000+台服务器，数百PB存储，日40万计算任务，面临挑战极大。
无色的叶·2024-02-04 09:14

完结，从零开始学python（十八）想成为一名APP逆向工程师，需要掌握那些技术点？

我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoopSpark5
爬完虫变成龙·2024-02-04 07:52

Hive 主要内容一览

Hadoop使用HDFS进行存储，使
大数据左右手·2024-02-04 07:13

大数据本地环境搭建03-Spark搭建

需要提前部署好Zookeeper/Hadoop/Hive环境1Local模式1.1上传压缩包下载链接链接：https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?
OnePandas·2024-02-04 06:31

Hadoop大数据实战系列文章之Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将
测试帮日记·2024-02-04 05:45

spark运维问题记录

环境：spark-2.1.0-bin-hadoop2.71.Spark启动警告：neitherspark.yarn.jarsnotspark.yarn.archiveisset，fallingbacktouploadinglibrariesunderSPARK_HOME
lishengping_max·2024-02-04 05:11

解决“Spark context stopped while waiting for backend“ issue

在配置为4C16G的虚拟机上安装hadoop生态全家桶，在安装Spark2，使用了社区版2.3的版本。
江畔独步·2024-02-04 05:10

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org
运维道上奔跑者·2024-02-04 05:13

【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南

Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意：######################################
运维道上奔跑者·2024-02-04 05:43

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

#################################################################最新消息：关于spark和Hudi的安装部署文档，本人已经写完，连接：Hadoop2.7.6
运维道上奔跑者·2024-02-04 05:43

嵌入式学习日记（九）

2017-07-17今天是嵌入式学习的第九天。今天，主要学的是编程的环境，进行熟悉。分为以下四个点编辑器：vi，vim编辑器。编译器：GCC。调试器：GDB。工程化：Makefile。vi/vim在之前的学习过程中，已经作为专题讲解了。暂不讨论。GCC是由GNU开发的编程语言编译器GNU：GNUisNotUnix编译的过程1.源文件编辑器直接编写代码的文件，比如filename.c2.预处理文件g
Fun_Peanut·2024-02-04 04:51

嵌入式学习日记（十一）

2017-07-19今天是学习嵌入式的第十一天。今天主要是学习了以下几点1.宏定义2.数组预处理包含头文件#include一般宏定义用法：#define带参数的用法：#define(参数列表)条件判断#ifdef#ifndef#if#endif#else偶然发现一个C语言中的小问题test1#includeintmain(){inti,j;inta[4][4];for(i=0;i<4;i++){
Fun_Peanut·2024-02-04 04:51

嵌入式学习日记（十二）

2017-07-20今天是嵌入式学习的第十二天今天在受到老师的指引下，写一个简单的练手小程序。关键字：SocketInternet，UDP协议，Internet版本IPv4话不多说，首先来看头文件（server和client都一样）：#include//标准IO#include//一些系统调用API#include//一些类型的定义#include//socket的头文件#include
Fun_Peanut·2024-02-04 04:51

嵌入式学习日记 17

空链表：注意：函数不能返回局部变量的地址free:一个malloc配合一个free删除：voidpopFront(structNode*head)位运算：01计算机1Byte--存储单位1Byte=8bits&|~^与运算：置0或运算：置1非运算异或运算：加密解密交换数据预处理：gcc编译过程宏定义：#define宏名宏值
aminos_ydglmn·2024-02-04 04:50

嵌入式学习日记

2014.3.19我承认这将是一个很无聊的人生的开始。一个人奋斗实在太过于孤独，总是想分享着些什么，但总不能在空间里无限制的刷屏，写在留言板里的话感觉自己又像一个怪人一样。只好开了一个博客。我的生涯日记--------你好，未来的自己，今天我在这里写下这一切。刚刚找到了arm体系结构与编程的一个扫描版的Pdf书籍，又是一个无聊的奋斗的开端，曾经我试着逃避这种寂寞，但是世俗的态度让我接受不了这一切，
weixin_30655569·2024-02-04 04:50
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他