火成哥哥
火成哥哥

HDFS中namenode故障处理

NameNode故障后，可以采用如下两种方法恢复数据：

1、将SecondaryNameNode中数据拷贝到NameNode存储数据的目录

(1) kill -9 NameNode进程

[test@hadoop151 ~]$ jps
3764 DataNode
4069 NodeManager
3654 NameNode
7738 Jps
[test@hadoop151 ~]$ kill -9 3654
[test@hadoop151 ~]$ jps
3764 DataNode
4069 NodeManager
7770 Jps

(2) 删除 NameNode 存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)

[test@hadoop151 ~]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

(3) 拷贝 SecondaryNameNode 中数据到原 NameNode 存储数据目录

[test@hadoop151 ~]$ scp -r test@hadoop153:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* /opt/module/hadoop-2.7.2/data/tmp/dfs/name/
edits_0000000000000000135-0000000000000000136                                                                                                                                  100%   42     0.0KB/s   00:00    
fsimage_0000000000000000288.md5                                                                                                                                                100%   62     0.1KB/s   00:00    
edits_0000000000000000285-0000000000000000286                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000155-0000000000000000225                                                                                                                                  100% 5459     5.3KB/s   00:00    
edits_0000000000000000277-0000000000000000278                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000137-0000000000000000138                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000283-0000000000000000284                                                                                                                                  100%   42     0.0KB/s   00:00    
fsimage_0000000000000000290.md5                                                                                                                                                100%   62     0.1KB/s   00:00    
edits_0000000000000000287-0000000000000000288                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000003-0000000000000000010                                                                                                                                  100% 1024KB   1.0MB/s   00:00    
edits_0000000000000000266-0000000000000000268                                                                                                                                  100%   97     0.1KB/s   00:00    
edits_0000000000000000273-0000000000000000274                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000281-0000000000000000282                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000227-0000000000000000228                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000279-0000000000000000280                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000269-0000000000000000270                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000271-0000000000000000272                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000289-0000000000000000290                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000001-0000000000000000002                                                                                                                                  100%   42     0.0KB/s   00:00    
fsimage_0000000000000000288                                                                                                                                                    100% 2327     2.3KB/s   00:00    
edits_0000000000000000120-0000000000000000120                                                                                                                                  100% 1024KB   1.0MB/s   00:00    
VERSION                                                                                                                                                                        100%  204     0.2KB/s   00:00    
fsimage_0000000000000000290                                                                                                                                                    100% 2327     2.3KB/s   00:00    
edits_0000000000000000011-0000000000000000118                                                                                                                                  100%   12KB  12.3KB/s   00:00    
edits_0000000000000000275-0000000000000000276                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000229-0000000000000000249                                                                                                                                  100% 1449     1.4KB/s   00:00    
edits_0000000000000000139-0000000000000000154                                                                                                                                  100% 1005     1.0KB/s   00:00    
edits_0000000000000000121-0000000000000000134

(4) 重新启动 NameNode

[test@hadoop151 ~]$ hadoop-daemon.sh start namenode
starting namenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-test-namenode-hadoop151.out
[test@hadoop151 ~]$ jps
7844 NameNode
3764 DataNode
4069 NodeManager
7884 Jps
2、使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中

(1) 修改hdfs-site.xml配置文件，在文件中增加如下配置


  dfs.namenode.checkpoint.period</name>
  120</value>
</property>


  dfs.namenode.name.dir</name>
  /opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>

更改完一台机器上的配置后，分发脚本：

[test@hadoop151 hadoop]$ xsync hdfs-site.xml 
fname=hdfs-site.xml
pdir=/opt/module/hadoop-2.7.2/etc/hadoop
------------------- hadoop151 --------------
sending incremental file list

sent 36 bytes  received 12 bytes  96.00 bytes/sec
total size is 1333  speedup is 27.77
------------------- hadoop152 --------------
sending incremental file list
hdfs-site.xml

sent 716 bytes  received 43 bytes  1518.00 bytes/sec
total size is 1333  speedup is 1.76
------------------- hadoop153 --------------
sending incremental file list
hdfs-site.xml

sent 716 bytes  received 43 bytes  1518.00 bytes/sec
total size is 1333  speedup is 1.76

(2) kill -9 NameNode进程

[test@hadoop151 ~]$ jps
7844 NameNode
3764 DataNode
7973 Jps
4069 NodeManager
[test@hadoop151 ~]$ kill -9 7844
[test@hadoop151 ~]$ jps
7988 Jps
3764 DataNode
4069 NodeManager

(3) 删除 NameNode 存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

[test@hadoop151 ~]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

(4) 如果 SecondaryNameNode 不和 NameNode 在一个主机节点上，需要将SecondaryNameNode 存储数据的目录拷贝到 NameNode 存储数据的平级目录，并删除 in_use.lock 文件

[test@hadoop151 dfs]$ scp -r test@hadoop153:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./
in_use.lock                                                                                                                                                                    100%   14     0.0KB/s   00:00    
edits_0000000000000000135-0000000000000000136                                                                                                                                  100%   42     0.0KB/s   00:00    
fsimage_0000000000000000293.md5                                                                                                                                                100%   62     0.1KB/s   00:00    
edits_0000000000000000285-0000000000000000286                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000155-0000000000000000225                                                                                                                                  100% 5459     5.3KB/s   00:00    
edits_0000000000000000277-0000000000000000278                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000137-0000000000000000138                                                                                                                                  100%   42     0.0KB/s   00:00    
fsimage_0000000000000000295.md5                                                                                                                                                100%   62     0.1KB/s   00:00    
edits_0000000000000000283-0000000000000000284                                                                                                                                  100%   42     0.0KB/s   00:00    
fsimage_0000000000000000295                                                                                                                                                    100% 2327     2.3KB/s   00:00    
edits_0000000000000000287-0000000000000000288                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000003-0000000000000000010                                                                                                                                  100% 1024KB   1.0MB/s   00:00    
edits_0000000000000000266-0000000000000000268                                                                                                                                  100%   97     0.1KB/s   00:00    
edits_0000000000000000273-0000000000000000274                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000281-0000000000000000282                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000294-0000000000000000295                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000227-0000000000000000228                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000279-0000000000000000280                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000269-0000000000000000270                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000271-0000000000000000272                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000289-0000000000000000290                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000001-0000000000000000002                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000120-0000000000000000120                                                                                                                                  100% 1024KB   1.0MB/s   00:00    
edits_0000000000000000291-0000000000000000292                                                                                                                                  100%   42     0.0KB/s   00:00    
VERSION                                                                                                                                                                        100%  204     0.2KB/s   00:00    
edits_0000000000000000011-0000000000000000118                                                                                                                                  100%   12KB  12.3KB/s   00:00    
edits_0000000000000000275-0000000000000000276                                                                                                                                  100%   42     0.0KB/s   00:00    
edits_0000000000000000229-0000000000000000249                                                                                                                                  100% 1449     1.4KB/s   00:00    
edits_0000000000000000139-0000000000000000154                                                                                                                                  100% 1005     1.0KB/s   00:00    
fsimage_0000000000000000293                                                                                                                                                    100% 2327     2.3KB/s   00:00    
edits_0000000000000000121-0000000000000000134                                                                                                                                  100% 1177     1.2KB/s   00:00    
edits_0000000000000000250-0000000000000000265                                                                                                                                  100% 1021     1.0KB/s   00:00  
[test@hadoop151 dfs]$ ll
总用量 12
drwx------ 3 test test 4096 2月   3 19:08 data
drwxrwxr-x 2 test test 4096 2月   3 19:29 name
drwxrwxr-x 3 test test 4096 2月   3 19:29 namesecondary
[test@hadoop151 dfs]$ cd namesecondary/
[test@hadoop151 namesecondary]$ ll
总用量 8
drwxrwxr-x 2 test test 4096 2月   3 19:29 current
-rw-rw-r-- 1 test test   14 2月   3 19:29 in_use.lock
[test@hadoop151 namesecondary]$ rm -rf in_use.lock 
[test@hadoop151 namesecondary]$ ll
总用量 4
drwxrwxr-x 2 test test 4096 2月   3 19:29 current

(5) 导入检查点数据（等待一会ctrl+c结束掉）

[test@hadoop151 hadoop]$ hdfs namenode -importCheckpoint

(6) 启动 NameNode

[test@hadoop151 hadoop]$ hadoop-daemon.sh start namenode
starting namenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-test-namenode-hadoop151.out

你可能感兴趣的:(Hadoop)

  • 不同hive集群中基于表的数据一致性比对 AA赵师傅 hadoop数据管理hive数据验证数据迁移hadoop
    前阵子博主遇到一个需求，因对hadoop集群进行数据迁移，数据迁移完毕后进行两个hive库的数据一致性的比对，不仅对源表数据进行比对，而且要同时使用两个集群加工相同数据，对加工后的数据进行数据一致性比对。博主已知的数据迁移方法有两种，第一种就是hadoopdistcp功能来进行集群间数据的复制，那么基本就不用做源表的数据验证了，集群间数据复制失败会报错提示。第二种方法就是数据的导入导出了，把原集群
  • Hadoop、Hive、Hbase集群间的数据迁移 这个操蛋的人生！！！
    一、hadoop集群间拷贝数据：迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73:50070/hive3/20171008/hive3/如果两个集群的版本相同，则可以使用hdfs协议，命令如下：hadoopdistcphdfs://namenodeip:9000/foohdfs
  • Hive面试题汇总 大数据侠客 hive相关问题汇总及解决hivehadoop数据仓库面试
    Hive定义Hive是建立在Hadoop上的数据仓库基础构架。可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种
  • CDH大数据平台 梦龙zmc 大数据大数据
    CDH概念CDH（ClouderaDistributionIncludingApacheHadoop)是由Cloudera公司提供的一个集成了ApacheHadoop以及相关生态系统的发行版本。CDH是一个大数据平台，简化和加速了大数据处理分析的部署和管理。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一
  • 【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据 forest_long 大数据技术入门到21天通关大数据hivehadoop开发语言后端数据仓库
    一、环境准备hive安装部署参考：【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建二、hive加载Json格式数据1、数据准备vistu.json[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]上传到hdfshadoopfs-putstu.j
  • cascading 入门 （一） zhumin726
    1cascading是什么cascading是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用，而不用考虑背后的MapReduce。Cascading目前依赖于Hadoop提供存储和执行架构，但是CascadingAPI为开发者隔离了Hadoop的技术细节，提供了不需要改变初始流程工作流定义就可以在不同的计算框架内运行的能力。
  • 搭建单机伪分布式Hadoop+spark+scala 啥也不会0-0 分布式hadoopspark
    目录一、准备环境包：二、创建centos7虚拟机并配置ip三、链接Xshell并上环境包四、安装JDK1.解压jdk2.设置JAVA环境变量3.执行source使设置生效：4.检查JAVA是否可用。五、免密登陆1.创建ssh秘钥，输入如下命令，生成公私密钥2.将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出六、安装Hadoop软件1.解压hadoo
  • Hadoop 与 Spark：大数据处理的比较 王子良. 大数据经验分享hadoopspark大数据
    欢迎来到我的博客！非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长。博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
  • 虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala 落枫兮 hadoopsparkscala
    参考资料：参考视频教程链接：大数据实验虚拟机安装Hadoop和Spark_哔哩哔哩_bilibiliup主：孤独时代的硕硕namenode安装选择镜像、路径、磁盘（最好不要c盘）、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置。选择语言、时区、软件、位置和网络
  • Hadoop分布式文件系统-HDFS架构 Fancs2024 hadoophadoophdfs
    一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。主要是为了解决大数据如何存储的问题，跟一般文件系统不同的是，它可以通过扩展服务器结点来扩充存储量，可以用低成本的硬件构建出支持高吞吐量的文件系统。二、HDFS的特点高容错性：一个HDFS集群会包含非常多的结点，HDFS将文件分块存储，并且会保存多个副本到不同的机器节点上以保证数据的安全，而且
  • TiDB 对 Hadoop 的影响：大数据时代的新选择 狮歌~资深攻城狮 tidb数据仓库数据分析数据库分布式
    TiDB对Hadoop的影响：大数据时代的新选择随着大数据时代的到来，各种处理和存储海量数据的技术应运而生。Hadoop和TiDB都是这个时代的代表性技术，但它们的设计初衷、使用场景和应用方式却有所不同。那么，TiDB作为一个分布式数据库，它对传统的Hadoop生态系统产生了哪些影响呢？今天，我们就来聊聊这个话题。Hadoop简介：大数据的“老牌劲旅”首先，我们需要了解一下Hadoop的背景。Ha
  • Apache DolphinScheduler 限制秒级别的定时调度 数据库
    背景ApacheDolphinScheduler定时任务配置采用的7位Crontab表达式，分别对应秒、分、时、月天、月、周天、年。在团队日常开发工作中，工作流的定时调度一般不会细化到秒级别。但历史上出现过因配置的疏忽大意而产生故障时间，如应该配置每分钟执行的工作流被配置长了每秒执行，造成短时间内产生大量工作流实例，对ApacheDolphinScheduler服务可用性和提交任务的Hadoop集
  • 有了TiDB，是否还需要“散装”大数据组件？ 狮歌~资深攻城狮 tidb数据仓库数据分析数据库分布式
    有了TiDB，是否还需要“散装”大数据组件？最近和同事们讨论一个问题：在大数据应用日益增多的今天，如果使用了TiDB这样的一体化数据库，还需要使用那些传统的大数据组件（比如Hadoop、Spark等）吗？相信大家在公司或项目中，常常遇到需要处理大量数据的场景，特别是互联网、金融、电商等行业。随着TiDB的兴起，它作为一款分布式关系型数据库，似乎能够解决不少大数据问题。那么，问题来了：如果我们已经选
  • Hadoop是什么，怎么部署安装？ 狮歌~资深攻城狮 hadoop大数据分布式
    Hadoop是什么？Hadoop是一个由Apache基金会开发的开源分布式系统基础架构，主要用于处理和存储大规模数据集。它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。HDFS提供了一个高吞吐量的数据访问接口，允许用户在集群中存储大量数据。它通过将文件分割成多个块并分布在集群的不同节点上来实现高可靠性和可
  • azkaban的概况 北京小峻 大数据azkabanmysql数据库
    Azkaban的性质azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器可以调度任何任务,只要你的任务能用脚本启动azkaban的类似的产品还有很多,例如hadoop生态中原生的:oozie,areflow局限性目前azkaban只支持mysql作为元数据管理系统,必须安装mysql服务器角色executorserver有好几个是真正执行的程序,调度用户的任务
  • 基于hadoop的协同过滤算法电影推荐系统的设计与实现 AI天才研究院 大数据AI人工智能AI大模型企业级应用开发实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    基于hadoop的协同过滤算法电影推荐系统的设计与实现文章目录基于hadoop的协同过滤算法电影推荐系统的设计与实现1.背景介绍1.1电影推荐系统的重要性1.2传统推荐系统的缺陷1.3Hadoop在大数据处理中的作用2.核心概念与联系2.1协同过滤算法2.2基于用户的协同过滤2.3基于项目的协同过滤2.4Hadoop在协同过滤算法中的应用3.核心算法原理具体操作步骤3.1基于用户的协同过滤算法流程
  • hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档] QQ-1305637939 毕业设计大数据毕设计算机毕业设计hivespringboot爬虫
    hive电影数据分析Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop集群环境3.MR数据清洗data.csv4.Hive汇总处理,将Hive处理的结果数据保存到本地Mysql数据库中5.Springboot+Vu
  • hadoop电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档] QQ-1305637939 计算机毕业设计毕业设计大数据毕设hadoopspringboot爬虫
    全套视频教程全套开发文档hadoop电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【Hadoop项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop集群环境3.data.csv数据清洗4.MR数据汇总处理,将Reduce的结果数据保存到本地Mysql数据库中5.Springboot
  • spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档] QQ-1305637939 毕业设计大数据毕设计算机毕业设计sparkspringboot爬虫大数据电影推荐电影分析
    spark电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop集群环境3.MR数据清洗data.csv4.Spark汇总处理,将Spark处理的结果数据保存到本地Mysql数据库中5.Springboo
  • hadoop图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档] QQ-1305637939 毕业设计大数据毕设图书数据分析hadoopspringboot爬虫
    hadoop图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql前后端分离2.Echarts图表统计数据,直观展示数据情况3.发表评论后，用户可以回复评论,回复的评论可以被再次回复,一级评论可以添加图片附件4.爬虫图书数据1万+5.推荐图书列表展示,推荐图
  • 2024年最全（一）大数据---Hadoop整体介绍（架构层）----（组件，并发知识体系大全 2401_84586689 程序员大数据hadoop架构
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Hadoop方案一、大数据介绍============
  • 大数据分析专业毕业设计最新最全选题精华汇总--持续更新中⑤ 源码空间站11 pythondjango大数据分析数据可视化hadoophive大数据分析毕设
    目录前言开题指导建议更多精选选题选题帮助最后前言大家好,这里是源码空间站学长大数据分析专业毕业设计毕设专题!大四是整个大学期间最忙碌的时光，一边要忙着准备考研、考公、考教资或者实习为毕业后面临的升学就业做准备,一边要为毕业设计耗费大量精力。学长给大家整理了大数据分析专业最新精选选题，如遇选题困难或选题有任何疑问，都可以问学长哦(见文末)!以下是学长精心整理的一些选题:21.基于Hadoop和Spa
  • Hadoop 常用命令 ZenPower hadoop大数据分布式
    查看指定目录下的文件及文件夹hadoopfs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小（单位Byte）hadoopfs-du/user/hive/warehouse#文件大小（单位人性化）hadoopfs-du-h/user/hive/warehouse#文件大小（只显示汇总）hadoopfs-du-s/user/hive/warehouse删除指定
  • hadoop常用命令汇总 m0_67402026 javajava后端
    1、查看目录下的文件列表：hadoopfs–ls[文件目录]hadoopfs-ls-h/lance2、将本机文件夹存储至hadoop上：hadoopfs–put[本机目录][hadoop目录]hadoopfs-putlance/3、在hadoop指定目录内创建新目录：hadoopfs–mkdir[目录]hadoopfs-mkdir/lance4、在hadoop指定目录下新建一个文件，使用touch
  • hadoop常用命令 我要用代码向我喜欢的女孩表白 hadoopnpm大数据
    Yarn查看提交到资源调度器的任务（任何用yarn资源的都可以看，比如spark、tez、mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs查看hdfs目录hdfsdfs-ls/（查看本集群的目录）hdfsdfs-lshdfs://i
  • Kylin入门教程 -龙川- 介绍学习笔记kylin
    引言ApacheKylin是一个开源的分布式分析引擎，提供Hadoop上的多维分析（OLAP）能力，使得超大规模数据集的实时查询和分析成为可能。它通过预计算数据立方体来加速查询，使得复杂查询可以在亚秒级响应。本文将详细介绍Kylin的基本概念、安装与配置、基本操作及高级功能，帮助你全面掌握这款强大的数据分析工具。第一部分：Kylin简介1.1什么是Kylin？Kylin是由eBay开发并捐赠给Ap
  • flume系列之：flume落cos 快乐骑行^_^ 日常分享专栏flume系列
    flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka数据通过Flume存储到HDFS或COSflumetocos使用指南二、安装cosjar包将对应hadoop版本的hadoop-cos的jar包(hadoop-cos-{hadoop.ve
  • Hadoop 和 Spark 的内存管理机制分析 王子良. 经验分享hadoopspark大数据
    欢迎来到我的博客！非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长。博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
  • SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署| yanqi_vip 数据库hadoophive大数据hdfs
    一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software/griffin-griffin-0.5.0.zip[root@hadoop02~]#cd/opt/yanqi/software/[root@hadoop02software]#unzi
  • 解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告 克里斯蒂亚诺罗纳尔多阿维罗 hadoop
    这个警告意味着Hadoop在加载本地本机库时遇到了问题。通常情况下，Hadoop会尝试加载本地的本机库以提高性能，但是如果找不到适合你的操作系统和架构的本地库，它会退而使用内置的Java类来模拟所需的功能。虽然这个警告会影响Hadoop的性能，但它并不会导致Hadoop无法正常工作。你仍然可以使用Hadoop，但可能会遇到性能上的损失。解决方法：在Hadoop中，配置'java.library.p
  • java责任链模式 3213213333332132 java责任链模式村民告县长
    责任链模式，通常就是一个请求从最低级开始往上层层的请求，当在某一层满足条件时，请求将被处理，当请求到最高层仍未满足时，则请求不会被处理。 就是一个请求在这个链条的责任范围内，会被相应的处理，如果超出链条的责任范围外，请求不会被相应的处理。 下面代码模拟这样的效果： 创建一个政府抽象类,方便所有的具体政府部门继承它。 package 责任链模式; /** *
  • linux、mysql、nginx、tomcat 性能参数优化 ronin47
    一、linux 系统内核参数 /etc/sysctl.conf文件常用参数 net.core.netdev_max_backlog = 32768 #允许送到队列的数据包的最大数目 net.core.rmem_max = 8388608 #SOCKET读缓存区大小 net.core.wmem_max = 8388608 #SOCKET写缓存区大
  • php命令行界面 dcj3sjt126com PHPcli
    常用选项 php -v php -i PHP安装的有关信息 php -h 访问帮助文件 php -m 列出编译到当前PHP安装的所有模块 执行一段代码 php -r 'echo "hello, world!";' php -r 'echo "Hello, World!\n";' php -r '$ts = filemtime("
  • Filter&Session 171815164 session
    Filter HttpServletRequest requ = (HttpServletRequest) req; HttpSession session = requ.getSession(); if (session.getAttribute("admin") == null) { PrintWriter out = res.ge
  • 连接池与Spring,Hibernate结合 g21121 Hibernate
            前几篇关于Java连接池的介绍都是基于Java应用的，而我们常用的场景是与Spring和ORM框架结合，下面就利用实例学习一下这方面的配置。         1.下载相关内容：     &nb
  • [简单]mybatis判断数字类型 53873039oycg mybatis
           昨天同事反馈mybatis保存不了int类型的属性,一直报错，错误信息如下:       Caused by: java.lang.NumberFormatException: For input string: "null" at sun.mis
  • 项目启动时或者启动后ava.lang.OutOfMemoryError: PermGen space 程序员是怎么炼成的 eclipsejvmtomcatcatalina.sheclipse.ini
       在启动比较大的项目时，因为存在大量的jsp页面，所以在编译的时候会生成很多的.class文件，.class文件是都会被加载到jvm的方法区中，如果要加载的class文件很多，就会出现方法区溢出异常 java.lang.OutOfMemoryError: PermGen space.     解决办法是点击eclipse里的tomcat，在
  • 我的crm小结 aijuans crm
    各种原因吧，crm今天才完了。主要是接触了几个新技术： Struts2、poi、ibatis这几个都是以前的项目中用过的。 Jsf、tapestry是这次新接触的，都是界面层的框架，用起来也不难。思路和struts不太一样，传说比较简单方便。不过个人感觉还是struts用着顺手啊，当然springmvc也很顺手，不知道是因为习惯还是什么。jsf和tapestry应用的时候需要知道他们的标签、主
  • spring里配置使用hibernate的二级缓存几步 antonyup_2006 javaspringHibernatexmlcache
    ．在spring的配置文件中 applicationContent.xml，hibernate部分加入 xml 代码 <prop key="hibernate.cache.provider_class">org.hibernate.cache.EhCacheProvider</prop> <prop key="hi
  • JAVA基础面试题 百合不是茶 抽象实现接口String类接口继承抽象类继承实体类自定义异常
    /*   * 栈（stack）：主要保存基本类型（或者叫内置类型）（char、byte、short、   *int、long、 float、double、boolean）和对象的引用，数据可以共享，速度仅次于   * 寄存器（register），快于堆。堆（heap）：用于存储对象。   */  &
  • 让sqlmap文件 "继承" 起来 bijian1013 javaibatissqlmap
            多个项目中使用ibatis , 和数据库表对应的 sqlmap文件（增删改查等基本语句)，dao, pojo 都是由工具自动生成的, 现在将这些自动生成的文件放在一个单独的工程中，其它项目工程中通过jar包来引用 ，并通过"继承"为基础的sqlmap文件，dao,pojo 添加新的方法来满足项
  • 精通Oracle10编程SQL(13)开发触发器 bijian1013 oracle数据库plsql
    /* *开发触发器 */ --得到日期是周几 select to_char(sysdate+4,'DY','nls_date_language=AMERICAN') from dual; select to_char(sysdate,'DY','nls_date_language=AMERICAN') from dual; --建立BEFORE语句触发器 CREATE O
  • 【EhCache三】EhCache查询 bit1129 ehcache
    本文介绍EhCache查询缓存中数据，EhCache提供了类似Hibernate的查询API，可以按照给定的条件进行查询。   要对EhCache进行查询，需要在ehcache.xml中设定要查询的属性   数据准备 @Before public void setUp() { //加载EhCache配置文件 Inpu
  • CXF框架入门实例 白糖_ springWeb框架webserviceservlet
    CXF是apache旗下的开源框架，由Celtix + XFire这两门经典的框架合成，是一套非常流行的web service框架。 它提供了JAX-WS的全面支持，并且可以根据实际项目的需要，采用代码优先（Code First）或者 WSDL 优先（WSDL First）来轻松地实现 Web Services 的发布和使用，同时它能与spring进行完美结合。 在apache cxf官网提供
  • angular.equals boyitech AngularJSAngularJS APIAnguarJS 中文APIangular.equals
    angular.equals   描述: 比较两个值或者两个对象是不是 相等。还支持值的类型，正则表达式和数组的比较。   两个值或对象被认为是 相等的前提条件是以下的情况至少能满足一项： 两个值或者对象能通过=== （恒等） 的比较 两个值或者对象是同样类型，并且他们的属性都能通过angular
  • java-腾讯暑期实习生-输入一个数组A[1,2,...n]，求输入B，使得数组B中的第i个数字B[i]=A[0]*A[1]*...*A[i-1]*A[i+1] bylijinnan java
    这道题的具体思路请参看 何海涛的微博：http://weibo.com/zhedahht import java.math.BigInteger; import java.util.Arrays; public class CreateBFromATencent { /** * 题目：输入一个数组A[1,2,...n]，求输入B，使得数组B中的第i个数字B[i]=A
  • FastDFS 的安装和配置 修订版 Chen.H linuxfastDFS分布式文件系统
    FastDFS Home:http://code.google.com/p/fastdfs/ 1. 安装 http://code.google.com/p/fastdfs/wiki/Setup http://hi.baidu.com/leolance/blog/item/3c273327978ae55f93580703.html 安装libevent (对libevent的版本要求为1.4.
  • [强人工智能]拓扑扫描与自适应构造器 comsci 人工智能
          当我们面对一个有限拓扑网络的时候,在对已知的拓扑结构进行分析之后,发现在连通点之后,还存在若干个子网络,且这些网络的结构是未知的,数据库中并未存在这些网络的拓扑结构数据....这个时候,我们该怎么办呢?       那么,现在我们必须设计新的模块和代码包来处理上面的问题
  • oracle merge into的用法 daizj oraclesqlmerget into
    Oracle中merge into的使用 http://blog.csdn.net/yuzhic/article/details/1896878 http://blog.csdn.net/macle2010/article/details/5980965 该命令使用一条语句从一个或者多个数据源中完成对表的更新和插入数据. ORACLE 9i 中，使用此命令必须同时指定UPDATE 和INSE
  • 不适合使用Hadoop的场景 datamachine hadoop
    转自：http://dev.yesky.com/296/35381296.shtml。 　　Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop!  实际上Hadoop被设计和建造出来，是用来解决一系列特定问题的。对某些问题来说，Hadoop至多算是一个不好的选择，对另一些问题来说，选择Ha
  • YII findAll的用法 dcj3sjt126com yii
    看文档比较糊涂，其实挺简单的： $predictions=Prediction::model()->findAll("uid=:uid",array(":uid"=>10));   第一个参数是选择条件：”uid=10″。其中:uid是一个占位符，在后面的array(“:uid”=>10)对齐进行了赋值； 更完善的查询需要
  • vim 常用 NERDTree 快捷键 dcj3sjt126com vim
    下面给大家整理了一些vim NERDTree的常用快捷键了，这里几乎包括了所有的快捷键了，希望文章对各位会带来帮助。 切换工作台和目录 ctrl + w + h 光标 focus 左侧树形目录ctrl + w + l 光标 focus 右侧文件显示窗口ctrl + w + w 光标自动在左右侧窗口切换ctrl + w + r 移动当前窗口的布局位置 o 在已有窗口中打开文件、目录或书签，并跳
  • Java把目录下的文件打印出来 蕃薯耀 列出目录下的文件文件夹下面的文件目录下的文件
    Java把目录下的文件打印出来 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年7月11日 11:02:
  • linux远程桌面----VNCServer与rdesktop hanqunfeng Desktop
    windows远程桌面到linux，需要在linux上安装vncserver，并开启vnc服务，同时需要在windows下使用vnc-viewer访问Linux。vncserver同时支持linux远程桌面到linux。   linux远程桌面到windows，需要在linux上安装rdesktop，同时开启windows的远程桌面访问。   下面分别介绍，以windo
  • guava中的join和split功能 jackyrong java
    guava库中，包含了很好的join和split的功能，例子如下： 1） 将LIST转换为使用字符串连接的字符串    List<String> names = Lists.newArrayList("John", "Jane", "Adam", "Tom");
  • Web开发技术十年发展历程 lampcy androidWeb浏览器html5
    回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。 彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
  • 架构师之mima-----------------mina的非NIO控制IOBuffer(说得比较好) nannan408 buffer
    1.前言。   如题。 2.代码。   IoService IoService是一个接口，有两种实现：IoAcceptor和IoConnector；其中IoAcceptor是针对Server端的实现，IoConnector是针对Client端的实现；IoService的职责包括： 1、监听器管理 2、IoHandler 3、IoSession
  • ORA-00054:resource busy and acquire with NOWAIT specified Everyday都不同 oraclesessionLock
    [Oracle] 今天对一个数据量很大的表进行操作时，出现如题所示的异常。此时表明数据库的事务处于“忙”的状态，而且被lock了，所以必须先关闭占用的session。   step1，查看被lock的session：   select t2.username, t2.sid, t2.serial#, t2.logon_time from v$locked_obj
  • javascript学习笔记 tntxia JavaScript
      javascript里面有6种基本类型的值:number、string、boolean、object、function和undefined。number：就是数字值，包括整数、小数、NaN、正负无穷。string:字符串类型、单双引号引起来的内容。boolean:true、false object:表示所有的javascript对象，不用多说function:我们熟悉的方法，也就是
  • Java enum的用法详解 xieke90 enum枚举
    Java中枚举实现的分析：     示例：  public static enum SEVERITY{ INFO,WARN,ERROR }     enum很像特殊的class，实际上enum声明定义的类型就是一个类。 而这些类都是类库中Enum类的子类      (java.l
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他