HADOOP学习之路

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

Hadoop执行WorldCount出现的问题和解决

failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/hadoop
SZHjy·2024-02-05 08:38

2.0 Hadoop 运行环境

由于Hadoop是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置Hadoop的情况，这对于学习者来说会制造诸多障碍，主要有两个：昂贵的计算机集群。
二当家的素材网·2024-02-05 07:01

impala与kudu进行集成

文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了Hadoop使用了Kerberos认证，可使用如下方式进行连接
shandongwill·2024-02-05 07:44

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

本章着重介绍Hadoop中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。
二当家的素材网·2024-02-05 06:38

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36

股票学习之路2018-01-22红五

继续新高上证红五深证回踩之后强势新高中小红一沪深300牛一创指强势反弹，能过缺口吗/最近很郁闷拿着就是不动涨幅跌幅
向延炳·2024-02-05 04:36

linux中如何输入控制字符

看以下实例：以下文本中的字段用^A分隔，[leo@hadooporgplan]$sed"s/^A//g"orgplan一定要注意^并不是数字键6上的
发狂的蜗牛·2024-02-05 01:47

前端学习之路(5) vue样式穿透

前言vue的style中设置scoped属性后，组件实现样式私有化。但是该组件又使用的其他组件库时(vant,elementui,自定义等)，该组件的style中的样式，优先级低，不生效，这个时候需要使用样式穿透(作用得更深)。一、scoped底层原理scoped是通过在DOM以及css中加上data-v-xxx唯一标识来实现样式私有化。1.加上scoped前样式穿透示例.demo{color:r
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-02-04 23:56

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件
china-zhz·2024-02-04 21:33

企业级大数据安全架构（九）FreeIPA管理员密码忘记后如何修改

作者：楼高1重置DirectoryServer管理员密码1.1停止directoryserver服务[root@ipaschema]#start-dirsrvHDP-HADOOP如果你不知道你的实例名，
云掣YUNCHE·2024-02-04 20:36

Hadoop集群搭建

搭建Hadoop集群涉及多个步骤，包括准备硬件环境、安装和配置Hadoop以及验证集群的安装。
终将老去的穷苦程序员·2024-02-04 19:53

HDFS常用命令

hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce程序bin/hadoopjarshar
须臾之北·2024-02-04 18:41

前端学习之路(2) Vue3响应式模式设计原理

为什么要关系vue3的设计原理？了解vue3构建原理，将有助于开发者更快速上手Vue3；同时可以提高Vue调试技能，可以快速定位错误1.vue3对比vue2vue2的原理是通过Object.defineProperty()来劫持各个属性，在数据变动时发布消息给订阅者，触发相应的监听回调。defineProperty不具备监听数组的能力,无法检测到对象属性的添加和删除,只有在初始化实例时对data对
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-02-04 18:42

Fink CDC数据同步（六）数据入湖Hudi

数据入湖HudiApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
大数据_苡~·2024-02-04 16:21

如何解决“hadoop：未找到命令”？

原因是未将hadoop命令添加至执行路径。
听风347·2024-02-04 15:17

做大数据需要学习哪些东西啊

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hi
kuntoria·2024-02-04 14:02

大数据技术未来发展前景及趋势分析

Storm加速了流数据处理的过程，为Hadoop批处理提供实时数据处理。Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台，运行速度相比于HadoopMapReduce更快。
丨程序之道丨·2024-02-04 12:54

django基于Hadoop的小额信贷平台系统(程序+开题)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网技术的快速发展，小额信贷平台系统在金融领域得到了广泛应用。传统的小额信贷模式存在信息不对称、审批流程繁琐等问题，而小额信贷平台系统通过整合用户、银行和信贷公示等多方资源，实现了借款申请、撤销借款以及用户信用分等功能，为用户提供了更加便捷和高效的金融服务。意义：小额信贷平台系
liu10662·2024-02-04 12:36

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki4·2024-02-04 11:08

Ranger-Yarn插件安装

登陆hdfs安装的用户，garrison/zdh1234(用户组hadoop),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆·2024-02-04 10:22

Hadoop详解

架构设计NameNodeNameNode：文件系统的命名空间(面试题)1.文件名称2.文件目录结构3.文件的属性(权限创建时间副本数)4.文件对应哪些数据块-->数据块对应哪些分布在哪些DN节点上列表不会持久化存储这个映射关系，是通过集群的启动和运行时，DataNode定期发送blockReport给NameNode，以此NameNode在【内存】中动态维护这种映射关系。作用：管理文件系统的命名空
ly稻草·2024-02-04 09:34

Hadoop3.x基础（3）- Yarn

来源：B站尚硅谷目录Yarn资源调度器Yarn基础架构Yarn工作机制作业提交全过程Yarn调度器和调度算法先进先出调度器（FIFO）容量调度器（CapacityScheduler）公平调度器（FairScheduler）Yarn常用命令yarnapplication查看任务yarnlogs查看日志yarnapplicationattempt查看尝试运行的任务yarncontainer查看容器ya
魅美·2024-02-04 09:36

转载-58同城离线计算平台设计与实践

58同城离线计算平台设计与实践编者荐语：58离线计算平台基于Hadoop生态体系打造，单集群4000+台服务器，数百PB存储，日40万计算任务，面临挑战极大。
无色的叶·2024-02-04 09:14

完结，从零开始学python（十八）想成为一名APP逆向工程师，需要掌握那些技术点？

我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoopSpark5
爬完虫变成龙·2024-02-04 07:52

Android学习之路(27) ProGuard，混淆，R8优化

前言使用java编写的源代码编译后生成了对于的class文件，但是class文件是一个非常标准的文件，市面上很多软件都可以对class文件进行反编译，为了我们app的安全性，就需要使用到Android代码混淆这一功能。针对Java的混淆，ProGuard就是常用的混淆工具，且他不仅仅是混淆工具，它同时可以对代码进行压缩、优化、混淆。下面我们来简单介绍下ProGuard工作流程。ProGuard工作
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-02-04 07:15

Android学习之路(29) Gradle初探

前言:大家回想一下自己第一次接触Gradle是什么时候？相信大家也都是和我一样，在我们打开第一个AS项目的时候，发现有很多带gradle字样的文件：setting.gradle,build.gradle,gradle.warpper,以及在gradle文件中各种配置，这些都是啥wy啊。。1.Gradle定义：很多开发喜欢把Gradle简单定义为一种构建工具，和ant，maven等作用类似，诚然Gr
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-02-04 07:15

Android学习之路(26) ARouter APT技术详解

APT前置知识注解基础：1.元注解1.@Target：目标，表示注解修饰的目标ElementType.ANNOTIONS_TYPE:目标是注解，给注解设置的注解ElementType.CONSTRUCTOR:构造方法ElementType.FIELD:属性注解ElementType.METHOD:方法注解ElementType.Type:类型如：类，接口，枚举ElementType.PACKAGE
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-02-04 07:15

Android学习之路(28) 进程保活组件的封装

前言远古时代，出现过很多黑科技，比如MarsDaemon，使用双进程守护的方式进行保活，在当时可谓风光无限，可惜在8.0时代到来就被废弃了。又比如后面出现的1像素Activity的保活方式，说他流氓一点不过分，如果每个人都使用这些操作，因为功耗的大大增加，会直接影响到手机使用寿命。因此各大手机厂商为了解决这一现象的发生，在系统层面对这些流氓行为做出了限制：后台进程即使你是要黑科技让进程优先级很高，
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-02-04 07:43

Hive 主要内容一览

Hadoop使用HDFS进行存储，使
大数据左右手·2024-02-04 07:13

【Unity DOTS1.0】学习之路---基础课1-3笔记

UnityJobsSystem:包括C#JobsSystem和C++JobsSystem,可以结合ECS,也可以单独使用。RaceCondition：竞争条件。由于两个或者多个进程竞争使用不能被同时访问的资源，使得这些进程有可能因为时间上推进的先后原因而出现问题，这叫做竞争条件（RaceCondition）。竞争条件分为两类:-Mutex（互斥）：两个或多个进程彼此之间没有内在的制约关系，但是由于
拴住自己·2024-02-04 06:24

大数据本地环境搭建03-Spark搭建

需要提前部署好Zookeeper/Hadoop/Hive环境1Local模式1.1上传压缩包下载链接链接：https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?
OnePandas·2024-02-04 06:31

Hadoop大数据实战系列文章之Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将
测试帮日记·2024-02-04 05:45

spark运维问题记录

环境：spark-2.1.0-bin-hadoop2.71.Spark启动警告：neitherspark.yarn.jarsnotspark.yarn.archiveisset，fallingbacktouploadinglibrariesunderSPARK_HOME
lishengping_max·2024-02-04 05:11

解决“Spark context stopped while waiting for backend“ issue

在配置为4C16G的虚拟机上安装hadoop生态全家桶，在安装Spark2，使用了社区版2.3的版本。
江畔独步·2024-02-04 05:10

Python基础学习之路(七) ------ 类/继承/重写

一.创建与调用可以看到：实例方法的创建语句，和函数的定义语句很类似，唯一不同的是：实例方法中有个必须放在首位的参数self。特殊参数self的作用：self会接收实例化过程中传入的数据，当实例对象创建后，实例便会代替self，在代码中运行。换言之，self是所有实例的替身调用:在类方法中调用类属性注意前面要加self:classChinese:name='吴枫'#类属性namedefsay(sel
千喜Ya·2024-02-04 05:52

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org
运维道上奔跑者·2024-02-04 05:13

【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南

Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意：######################################
运维道上奔跑者·2024-02-04 05:43

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

#################################################################最新消息：关于spark和Hudi的安装部署文档，本人已经写完，连接：Hadoop2.7.6
运维道上奔跑者·2024-02-04 05:43

029 命令行传递参数

for(Stringarg:args){System.out.println(arg);}}}2.找打这个类的路径，打开cmdcmdC:\Users\Admin\IdeaProjects\JavaSE学习之路
冰冷的粒子·2024-02-04 04:50

2021-07-02

Hadoop集群构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
谢尔比比·2024-02-04 02:40

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。ssh端口号默认为22，以centos7.x为例，可以在/etc/ssh/sshd_config中进行修改，如下示例将22改为22222：#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链·2024-02-03 21:12

Zookeeper集群安装

简介ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
万总有点菜·2024-02-03 21:14

2019-10-08 大数据开发进阶之路

市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术，如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD
红瓦李·2024-02-03 20:39

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138·2024-02-03 20:13

【MySQL性能优化】- MySQL结构与SQL执行过程

MySQL结构与SQL执行过程生命不息，写作不止继续踏上学习之路，学之分享笔记总有一天我也能像各位大佬一样博客首页@怒放吧德德To记录领地分享学习心得，欢迎指正，大家一起学习成长！
一个有梦有戏的人·2024-02-03 16:15

【MySQL性能优化】- 存储引擎及索引与优化

索引与优化生命不息，写作不止继续踏上学习之路，学之分享笔记总有一天我也能像各位大佬一样博客首页@怒放吧德德To记录领地分享学习心得，欢迎指正，大家一起学习成长！
一个有梦有戏的人·2024-02-03 16:45
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他