hadoop深入浅出

Hive导入数据的五种方法

不管路径在哪里，只有把数据文件移动到对应的表文件夹下面，Hive才能映射解析成功;最原始暴力的方式就是使用hadoopfs
冬瓜的编程笔记·2024-01-15 12:04

大数据开发之Hive（压缩和存储）

利用Hadoop的InputFormatAPI可以从不同数据源读取数据，使用OutputFormatAPI可以将数据写成不同的格式输出。
Key-Key·2024-01-15 12:34

大数据开发之HA

第1章：HadoopHA高可用1.1HA概述所谓HA（HighAvailablity），即高可用（7*24小时不间断服务）。实现高可用最关键的策略是消除单点故障。
Key-Key·2024-01-15 12:03

深入浅出Java中的多线程编程

进程与线程进程正在进行中的程序线程就是进程中一个负责程序执行的控制单元（执行路径）一个进程中可以多执行路径，称为多线程一个进程中至少要有一个线程多线程存在的意义创建多线程的目的是为了开启一条执行路径，去运行指定的代码和其他代码实现同时运行而运行的指定代码就是这个执行路径的任务线程的创建的两种方式一.定义一个类继承Thread类覆盖Thread类中的run方法直接创建Thread的子类对象创建线程调
Shiloh_74c3·2024-01-15 12:08

Zookeeper教程1

ZookeeperZookeeper概念Zookeeper是ApacheHadoop项目下的一个子项目，是一个树形目录服务。
暗雪之格·2024-01-15 09:56

Zookeeper使用详解

介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
有梦想的攻城狮·2024-01-15 09:25

mysql数据库管理维护_深入浅出MySQL 数据库开发 优化与管理维护 第3版

资料目录：第一部分基础篇第1章MySQL的安装与配置21.1MySQL的下载21.1.1在Windows平台下下载MySQL31.1.2在Linux平台下下载MySQL31.2MySQL的安装51.2.1在Windows平台下安装MySQL51.2.2在Linux平台下安装MySQL81.3MySQL的配置121.3.1Windows平台下配置MySQL121.3.2Linux平台下配置MySQL
双色球class·2024-01-15 09:52

分布式计算平台 Hadoop 简介

Hadoop简介Hadoop是一种分析和处理大数据的软件平台，是一个用Java语言实现的Apache的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。
rookiexiong·2024-01-15 08:19

Hadoop 实战 | 倒排索引 InvertedIndex

倒排索引概念倒排索引（InvertedIndex）是信息检索领域中的一种数据结构，它是一种反转（倒排）文档-词项关系的数据结构，以支持通过词项来查找相关文档。在倒排索引中，每个词项都被映射到包含该词项的文档列表。并且在实际应用中，还需要给每个文档添加一个权值，用以指出每个文档与搜索内容的相关度。与倒排索引相对应的是正向索引，即文档-词项关系的数据结构。当用户发起查询关键词时，需要扫描索引库中的所有
rookiexiong·2024-01-15 07:41

Hadoop 实战 | 词频统计WordCount

词频统计通过分析大量文本数据中的词频，可以识别常见词汇和短语，从而抽取文本的关键信息和概要，有助于识别文本中频繁出现的关键词，这对于理解文本内容和主题非常关键。同时，通过分析词在文本中的相对频率，可以帮助理解词在不同上下文中的含义和语境。"纽约时报"评论数据集记录了有关《纽约时报》2017年1月至5月和2018年1月至4月发表的文章上的评论的信息。月度数据分为两个csv文件：一个用于包含发表评论的
rookiexiong·2024-01-15 07:11

斗鸡博弈引发的思考

老路商学课讲了斗鸡博弈，讲的深入浅出很吸引人。当然我的关注点在第二个小方法中。适用于亲密关系，当俩人有矛盾的时候，那一定要有一方妥协，另一个就要安抚另一方，才好更好的相处。
宇辰M·2024-01-15 07:09

[Docker] Docker为什么出现

环境配置十分麻烦，每一个机器都要部署环境（Redis,ES,Hadoop）费时费力项目带上配置环境安装打包。传统：开发jar，运维来做现在：开发打包部署上线，一套流程做完！
程序员三木·2024-01-15 06:09

Hadoop2.9.2在windows上的安装

1、下载hadoop-2.9.2.tar.gz官网下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.
懵懂无知的蜗牛·2024-01-15 06:30

java大数据hadoop2.92安装伪分布式文件系统

ApacheHadoop3.3.6–Hadoop:SettingupaSingleNodeCluster.1、解压缩到某个路径/usr/local/hadoop2、修改配置文件/usr/local/hadoop
crud-boy·2024-01-15 06:29

Java大数据hadoop2.9.2搭建伪分布式yarn资源管理器

1、修改配置文件cd/usr/local/hadoop/etc/hadoopcp./mapred-site.xml.template.
crud-boy·2024-01-15 06:29

java大数据hadoop2.92 Java连接操作

1、要想Java可以连接自己虚拟机的hadoop文件系统，需要给文件系统权限（1）需要在/usr/local/hadoop/etc/hadoop/core-site.xmlcore-site.xml文件配置具体
crud-boy·2024-01-15 06:29

java大数据hadoop2.9.2 Java编写Hadoop分析平均成绩

1、准备文件，例如score.txt，内容如下：zsk188lsk198wwk178zsk288lsk298wwk278zsk388lsk398wwk3782、创建maven项目org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client
crud-boy·2024-01-15 06:23

深入浅出边缘云 | 1. 概述

随着技术的发展以及应用对时延、带宽、安全的追求，一个明显的技术趋势是越来越多的应用组件将会被部署到企业所管理的网络边缘。本系列是开源电子书EdgeCloudOperations:ASystemsApproach的中文版，详细介绍了基于开源组件构建的边缘云的架构、功能及具体实现。序在过去一段时间，我们将应用程序迁移到云上，如今又开始将它们拆散，接下来我会解释这是什么意思。随着市场的增长，人们赖以建立
DeepNoMind·2024-01-15 05:39

八个例子讲解现代前端框架前置知识（讲义）

这是《JS深入浅出》（收费课程）第七课的讲义，主要讲「为什么会有双向绑定和单向绑定」，也就是历史和前端的心路历程。JS深入浅出-写代码啦！
十字路口的牛·2024-01-15 05:33

《如何学习》解读版

关于本书本书深入浅出地解释了学习时，大脑的工作机制，包括记忆是如何形
七色黑白·2024-01-15 05:47

Kubernetes网络机制深入浅出-Linux数据包处理机制（上）

计算机之间需要网络连接才能进行相互通信，这句话对容器实例依然成立，因此网卡分为物理网卡和虚拟网卡。虽然说这两种类型的网卡都提供网络连接的能力，但是虚拟网卡并不直接等同于物理网卡，读者可以把虚拟网卡看成宿主机或者hypervisor（虚拟机监视器）提供的一种类型的虚拟设备，为虚拟机提供网络连接的能力。网卡（networkinterfaces）在通信通信之前需要初始化，比如配置IP地址等，一张网卡可以
攀师傅·2024-01-15 05:33

put: .‘: No such file or directory:hdfs://bdp/user/root‘ Linux上传本地文件到HDFS中时，出现“No such file or dir“

1.首先在hadoop节点的网址上查看是否有自己需要把资料上传到的目标目录，比如我查看我需要上传文档到bdp，我查看我的hadoop是否有bdp这个目标目录。
YoYoYoWhatIsUp·2024-01-15 05:28

idea的big data tool 连接不上HDFS所有问题汇总：

1.OnWindowsyoushouldhaveHADOOP_HOMEenvironmentvariabledefinedorJavapropertyhadoop.home.dir.Please,refertoHadoopWikiformoredetails
YoYoYoWhatIsUp·2024-01-15 05:28

项目实战-知行教育大数据分析平台-01

2、什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型5、缓慢渐变维七、本项目数仓架构八、HUE的使用九、自动化调度工具介绍十、通过HUE操作oozie本文将利用前面所学的Linux，Hadoop
吆喝的翅膀·2024-01-15 04:22

一，安装Linux

1，创建虚拟机：image.png2，继续安装：image.pngimage.pngimage.png可以起名为hadoop01，地址任选：image.png文件大小也可以为10G，也可以设置成单一文件
小猪Harry·2024-01-15 04:31

ReadMe

这个文集是关于《深入浅出强化学习原理入门》郭宪方勇纯一书的个人笔记。如有错误，欢迎讨论，恳请指正，谢谢！
食蓼少年·2024-01-15 03:39

架构设计：远程调用服务架构设计及zookeeper技术详解

Hadoop是一个技术生态圈，zookeeper是hadoop生态圈里一个非常重要的技术。
Java圈子·2024-01-15 01:15

HADOOP大数据之HDFS管理与运维

HDFS分布式拷贝工具DistCp数据迁移使用场景：冷热集群数据同步、分类存储集群数据整体搬迁数据的准实时同步数据迁移要素考量带宽性能是否支持增量同步4、数据迁移的同步性image.pngDistCp是Hadoop
奋斗的韭菜汪·2024-01-15 01:33

【深入浅出版】Java全套学习路线规划及配套视频和笔记

简介：大家好，我是枫哥，一线互联网的IT民工、资深面试官、Java跳蚤网课堂创始人。拥有多年一线研发经验，曾就职过科大讯飞、美团网、平安等公司。在上海有自己小伙伴组建的副业团队，目前业余时间专注Java技术分享，春招/秋招/社招/跳槽，一对一学习辅助，项目接活开发。扫码左侧二维码，加入群聊，一起学习，一起进步！欢迎关注收藏留言：文末送福利目录前言：如果想要入坑，请看完下面这段话！零、计划的使用与优
IT枫斗者·2024-01-15 00:12

Hadoop Dont's: What not to do to harvest Hadoop's full potential

We'veallheardthisstory.AllwasfineuntilonedayyourbossheardsomewherethatHadoopandNo-SQLarethenewblackandmandatedthatthewholecompanyswitchoverwhateveritwasdoingtotheHadoopetal.technologystack
hacker_zhb·2024-01-15 00:33

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

1、Hue简介Hue是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于PythonWeb
Allen_lixl·2024-01-15 00:56

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
piziyang12138·2024-01-15 00:05

Hadoop之mapreduce参数大全-6

126.指定Map任务运行的节点标签表达式mapreduce.map.node-label-expression是HadoopMapReduce框架中的一个配置属性，用于指定Map任务运行的节点标签表达式
OnePandas·2024-01-14 22:07

被标记为事务的方法互相调用的坑（下）

解决方案的核心：通过代理对象去调用方法1.把方法放到不同的类：如果想学习Java工程化、高性能及分布式、深入浅出。
程序员日常填坑·2024-01-14 16:40

linux ssh免密登入配置

免密登入配置[hadoop@Hadoop001~]$ssh-keygenGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/
吃货大米饭·2024-01-14 16:53

谈教学

既然化繁就简这招行不通，那就深入浅出吧！经过多番比对搜证，洋洋自得于一套浅显易懂的说辞，却在分享给学生的时候，学生迷茫的
曼陀罗有毒·2024-01-14 15:42

HDFS的三大机制

文章目录概要整体架构流程技术名词解释技术细节小结概要HDFS（HadoopDistributedFileSystem）的三大机制包括：心跳机制：DataNode会定期向NameNode发送心跳信号，以保持连接
听风细雨66·2024-01-14 14:17

hadoop java 创建文件夹 弹出窗口填写文件夹名称

在Hadoop中使用Java创建文件夹时，无法弹出窗口来填写文件夹名称，因为Hadoop是一个分布式系统，运行在多台计算机上，无法直接与用户交互。
酷爱码·2024-01-14 14:16

Hadoop HDFS集群 和 Yarn集群的架构

前言：Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。
听风细雨66·2024-01-14 14:15

Hadoop命令

进程命令对hadoop集群的操作start-dfs.shstop-dfs.sh打开和关闭dfsstart-yarn.shstop-yarn.sh打开和关闭yarnhadoop单进程操作旧版本命令hadoop-daemon.shstart
CJ21·2024-01-14 14:25

《深入浅出计算机组成原理》笔记四

存储例如：一块4核的CPU这块CPU每个核有32KB，一共128KB的L1指令Cache。还有32KB，一共128KB的L1数据Cache。每个核有256KB，一共1MB的L2Cache。一块多个核心共用的12MB的L3Cache。8GB的内存一块128G的SSD硬盘一块1T的HDD硬盘在一台实际的计算机里面，越是速度快的设备，容量就越小。缓存一致性问题如果1号CPU核心更新的数据仅更新到自己的l
zfh_51d2·2024-01-14 14:32

大数据Hadoop3.0更新，到底改进了哪些新的特性呢

截止到目前，大数据hadoop已经更新到了3.0版本，那么相比较之前的版本，3.0到底在哪些方面做出了新的改变呢？到底做了哪些重大的改进呢？
尚学先生·2024-01-14 11:21

Spark-累加器

内存地址无法改变.你传你的,我传我的,没有把值给返回去双端对列当发送错误的时候要放回到要来头部对列一般是先进先出,要是发送错误,放回到尾部顺序就错了所以叫累加器不是很准确,叫采集器importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase
疯子@123·2024-01-14 09:00

Sqoop与其他数据采集工具的比较分析

SqoopSqoop是一个Apache项目，专门设计用于在Hadoop生态系统和关系型数据库之间传输数据。它提供了方便的命令行界面，支持从关系型数据库导入数据到Hadoop集群，
晓之以理的喵~~·2024-01-14 06:00

Hadoop-HA高可用

一、集群规划二、HDFS高可用官方地址在opt目录下创建一个ha文件夹，将/opt/module/下的hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data和log目录）配置core-site.xmlhdfs-site.xmldfs.namenode.name.dirfile
DIY……·2024-01-14 06:28

黑马本地生活（列表页面，详情页面）

浩泽学编程：个人主页推荐专栏：《深入浅出SpringBoot》《java项目分享》《RabbitMQ》《Spring》《SpringMVC》学无止境，不骄不躁，知行合一文章目录前言一、列表页面功能列表页面
浩泽学编程·2024-01-14 06:20

hbase集群之间数据迁移_HBase集群数据迁移方案

2、采用Hadoopdistcp方式，将以上目录的内容，迁移到另一个集群。使用add_table.rb进行恢复。
无畏道人·2024-01-14 06:14

一种HBase数据备份及恢复方法

这里我们引入Hbase的一个API，hbaseorg.apache.hadoop.hbase.map
莫叫石榴姐·2024-01-14 06:42

微信小程序快速入门03

浩泽学编程：个人主页推荐专栏：《深入浅出SpringBoot》《java项目分享》《RabbitMQ》《Spring》《SpringMVC》学无止境，不骄不躁，知行合一文章目录前言一、生命周期生命周期函数二
浩泽学编程·2024-01-14 05:08

mac 上 ssh: connect to host localhost port 22: Connection refused

问题在搭建hadoop环境的时候发现sshlocalhost在报错2.解决打开系统设置->共享->->在左边服务中选择远程登录注意红框这些选项慎重选择！！！
寂夜了无痕·2024-01-14 05:50
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他