chenrongwei
chenrongwei

hadoop hbase集群环境信息整理

 

hadoop hbase集群环境信息整理

 

  1. 1、硬件及系统版本信息
系统

Linux version 2.6.32-431.el6.x86_64
cpu

Intel x86_64 2.3GHz 40核(逻辑)
内存

256G
硬盘

共12块SAS，每块5.5T 
网卡

1000Mb/s，网络延时<0.5ms

 

2、机器列表

主机
x015015
x015016
x015017
x015018
x015026
x015027
x015028
x015029
x015030
x015031
x015032
y015015
y015016
y015017
y015018

 

3、系统参数设置

 

系统配置项 值

最大文件数

655350

最大进程数

655350

swap分区

 关闭

预读缓存区大小

 2048K

系统磁盘IO调度算法

 CFQ

ntp同步

 是

 

4、软件准备

 

软件 版本
JDK

1.7.0_65-b17

zookeeper

zookeeper-3.4.6
hadoop 2.5.2
hbase 1.1.2

 

5、安装用户、组

 

用户名 hadoop
所属组 hero
家目录 /home/hadoop

 

6、JVM配置

 

角色 堆大小 JVM参数
NameNode 32G

-Xms32G

-Xmx32G

-XX:PermSize=256M

-XX:+UseConcMarkSweepGC

-XX:CMSInitiatingOccupancyFraction=65

-XX:+CMSParallelRemarkEnabled

-XX:+CMSConcurrentMTEnabled

-XX:ParallelGCThreads=40

-XX:+DisableExplicitGC

-XX:+PrintGCDetails

-XX:+PrintGCTimeStamps -verbose:gc

-XX:OnOutOfMemoryError=kill -9 %p

-XX:+UseCMSCompactAtFullCollection

-XX:CMSFullGCsBeforeCompaction=1

-XX:+CMSScavengeBeforeRemark

-XX:+HeapDumpOnOutOfMemoryError

-Xloggc:${hadoop.home}/hadoop-$hadoop_ident_string-$command-$hostname. gc.log

DataNode

 16G

基本配置同上

JournalNode

 2G

基本配置同上

ZKFC

 2G

基本配置同上

HMaster

 32G

基本配置同上

RegionServer

 64G

基本配置同上

 

7、hadoop core-site.xml

 

<configuration>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://mgfscluster</value>

    </property>

    <property>

        <name>io.file.buffer.size</name>

        <value>1048576</value>

    </property>

    <property>

        <name>io.bytes.per.checksum</name>

        <value>131072</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <name>/home/hadoop/tmp</name>

    </property>

    <property>

        <name>ha.zookeeper.quorum</name>

        <value>node1:2181,node2:2181,node3:2181,node4:2181,node5:2181</value>

    </property>

    <property>

        <name>ha.zookeeper.parent-znode</name>

        <value>/mgfscluster/hadoop-ha</value>

    </property>

    <property>

        <name>fs.trash.interval</name>

        <value>4320</value>

    </property>

    <property>

        <name>fs.trash.checkpoint.interval</name>

        <value>60</value>

    </property>

    <property>

        <name>ipc.server.listen.queue.size</name>

        <value>2048</value>

    </property>

    <property>

        <name>file.stream-buffer-size</name>

        <value>1048576</value>

    </property>

    <property>

        <name>file.bytes-per-checksum</name>

        <value>131072</value>

    </property>

    <property>

        <name>file.blocksize</name>

        <value>134217728</value>

    </property>

    <property>

        <name>io.compression.codecs</name>

        <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec</value>

    </property>

</configuration>

 

8、hadoop hdfs-site.xml

 

 

<configuration>

    <property>

        <name>dfs.nameservices</name>

        <value>mgfscluster</value>

    </property>

    <property>

        <name>dfs.ha.namenodes.mgfscluster</name>

        <value>nn1,nn2</value>

    </property>

    <property>

        <name>dfs.namenode.rpc-address.mgfscluster.nn1</name>

        <value>x015026:9100</value>

    </property>

    <property>

         <name>dfs.namenode.rpc-address.mgfscluster.nn2</name>

         <value>x015027:9100</value>

    </property>

    <property>

         <name>dfs.namenode.http-address.mgfscluster.nn1</name>

         <value>x015026:50071</value>

    </property>

    <property>

         <name>dfs.namenode.http-address.mgfscluster.nn2</name>

         <value>x015027:50071</value>

    </property>

    <property>

         <name>dfs.journalnode.edits.dir</name>

         <value>/home/hadoop/data/hdfs/journal/</value>

    </property>

    <property>

         <name>dfs.namenode.shared.edits.dir.mgfscluster.nn1</name>

         <value>qjournal://x015026:8485;x015027:8485;x015028:8485/mgfscluster</value>

    </property>

    <property>

         <name>dfs.namenode.shared.edits.dir.mgfscluster.nn2</name>

         <value>qjournal://x015026:8485;x015027:8485;x015028:8485/mgfscluster</value>

    </property>

    <property>

         <name>dfs.client.failover.proxy.provider.mgfscluster</name>

         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

    <property>

         <name>dfs.ha.fencing.methods</name>

         <value>sshfence</value>

    </property>

    <property>

         <name>dfs.ha.fencing.ssh.private-key-files</name>

         <value>/home/hadoop/.ssh/id_rsa</value>

    </property>

    <property>

         <name>dfs.namenode.name.dir</name>

         <value>file:///home/hadoop/data/hdfs/nn0</value>

         <final>true</final>

    </property>

    <property>

         <name>dfs.datanode.data.dir</name>

         <value>file:///home/hadoop/data/hdfs/dd0,file:///home/hadoop/data/hdfs/dd1,file:///home/hadoop/data/hdfs/dd2,file:///home/hadoop/data/hdfs/dd3,file:///home/hadoop/data/hdfs/dd4,file:///home/hadoop/data/hdfs/dd5,file:///home/hadoop/data/hdfs/dd6,file:///home/hadoop/data/hdfs/dd7,file:///home/hadoop/data/hdfs/dd8,file:///home/hadoop/data/hdfs/dd9,file:///home/hadoop/data/hdfs/dd10,file:///home/hadoop/data/hdfs/dd11</value>

         <final>true</final>

    </property>

    <property>

         <name>dfs.ha.automatic-failover.enabled</name>

         <value>true</value>

    </property>

    <property>

         <name>dfs.namenode.handler.count</name>

         <value>128</value>

    </property>

    <property>

         <name>dfs.datanode.handler.count</name>

         <value>128</value>

    </property>

    <property>

         <name>dfs.datanode.du.reserved</name>

         <value>53687091200</value>

    </property>

    <property>

         <name>dfs.blockreport.initialDelay</name>

         <value>120</value>

    </property>

    <property>

         <name>dfs.datanode.max.transfer.threads</name>

         <value>4096</value>

    </property>

    <property>

         <name>dfs.heartbeat.interval</name>

         <value>3</value>

    </property>

    <property>

         <name>dfs.namenode.stale.datanode.interval</name>

         <value>30</value>

    </property>

    <property>

         <name>dfs.blocksize</name>

         <value>134217728</value>

    </property>

    <property>

         <name>dfs.datanode.failed.volumes.tolerated</name>

         <value>2</value>

    </property>

    <property>

         <name>dfs.datanode.balance.bandwidthPerSec</name>

         <value>4194304</value>

    </property>

    <property>

         <name>dfs.stream-buffer-size</name>

         <value>131072</value>

    </property>

    <property>

         <name>dfs.bytes-per-checksum</name>

         <value>16384</value>

    </property>

    <property>

         <name>dfs.client-write-packet-size</name>

         <value>65536</value>

    </property>

 

</configuration>

 

9、hbase hbase-site.xml

 

<configuration>

    <property>

        <name>hbase.master</name>

        <value>x015015:60000</value>

    </property>

    <property>

        <name>hbase.rootdir</name>

        <value>hdfs://mgfscluster/hbase</value>

    </property>

    <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.zookeeper.quorum</name>

        <value>node1:2181,node2:2181,node3:2181,node4:2181,node5:2181</value>

    </property>

    <property>

        <name>hbase.zookeeper.property.dataDir</name>

        <value>/home/hadoop/data/hbase/zookeeper</value>

    </property>

    <property>

        <name>zookeeper.znode.parent</name>

        <value>/hbasecluster</value>

    </property>

    <property>

        <name>hbase.tmp.dir</name>

        <value>/home/hadoop/data/hbase/tmp</value>

    </property>

    <property>

        <name>hbase.fs.tmp.dir</name>

        <value>/home/hadoop/data/hbase/tmp/hbase-staging</value>

    </property>

    <property>

        <name>hbase.local.dir</name>

        <value>/home/hadoop/data/hbase/local</value>

    </property>

    <property>

        <name>hbase.master.logcleaner.ttl</name>

        <value>600000</value>

    </property>

    <property>

        <name>hbase.regionserver.logroll.period</name>

        <value>3600000</value>

    </property>

    <property>

        <name>hbase.regionserver.global.memstore.size</name>

        <value>0.4</value>

    </property>

    <property>

        <name>hbase.regionserver.global.memstore.size.lower.limit</name>

        <value>0.35</value>

    </property>

    <property>

        <name>hbase.regionserver.region.split.policy</name>

        <value>org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy</value>

    </property>

    <property>

        <name>hbase.regionserver.regionSplitLimit</name>

        <value>1600</value>

    </property>

    <property>

        <name>zookeeper.session.timeout</name>

        <value>120000</value>

    </property>

    <property>

        <name>hbase.normalizer.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.normalizer.period</name>

        <value>3600000</value>

    </property>

    <property>

        <name>hbase.server.thread.wakefrequency</name>

        <value>10000</value>

    </property>

    <property>

        <name>hbase.server.versionfile.writeattempts</name>

        <value>3</value>

    </property>

    <property>

        <name>hbase.hregion.memstore.flush.size</name>

        <value>134217728</value>

    </property>

    <property>

        <name>hbase.hregion.memstore.block.multiplier</name>

        <value>4</value>

    </property>

    <property>

        <name>hbase.hregion.memstore.mslab.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.hregion.max.filesize</name>

        <value>6442450944</value>

    </property>

    <property>

        <name>hbase.hregion.majorcompaction</name>

        <value>604800000</value>

    </property>

    <property>

        <name>hbase.hstore.compactionThreshold</name>

        <value>5</value>

    </property>

    <property>

        <name>hbase.hstore.flusher.count</name>

        <value>8</value>

    </property>

    <property>

        <name>hbase.hstore.blockingStoreFiles</name>

        <value>16</value>

    </property>

    <property>

        <name>hbase.hstore.blockingWaitTime</name>

        <value>30000</value>

    </property>

    <property>

        <name>hbase.hstore.compaction.min</name>

        <value>6</value>

    </property>

    <property>

        <name>hbase.hstore.compaction.max</name>

        <value>12</value>

    </property>

    <property>

        <name>hbase.hstore.compaction.min.size</name>

        <value>134217728</value>

    </property>

    <property>

        <name>hbase.hstore.compaction.ratio</name>

        <value>1.2F</value>

    </property>

    <property>

        <name>hbase.regionserver.thread.compaction.throttle</name>

        <value>2684354560</value>

    </property>

    <property>

        <name>hbase.hstore.compaction.kv.max</name>

        <value>100</value>

    </property>

    <property>

        <name>hbase.storescanner.parallel.seek.enable</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.storescanner.parallel.seek.threads</name>

        <value>10</value>

    </property>

    <property>

        <name>hfile.block.cache.size</name>

        <value>0.4</value>

    </property>

    <property>

        <name>hbase.rpc.timeout</name>

        <value>90000</value>

    </property>

    <property>

        <name>hbase.server.compactchecker.interval.multiplier</name>

        <value>1000</value>

    </property>

    <property>

        <name>hbase.security.authentication</name>

        <value>simple</value>

    </property>

    <property>

        <name>hbase.regionserver.storefile.refresh.period</name>

        <value>15000</value>

    </property>

    <property>

        <name>hbase.region.replica.replication.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.replication</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.ipc.warn.response.time</name>

        <value>3000</value>

    </property>

    <property>

        <name>hbase.ipc.warn.response.size</name>

        <value>10485760</value>

    </property>

    <property>

        <name>hbase.quota.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.regionserver.handler.count</name>

        <value>180</value>

    </property>

    <property>

        <name>hbase.snapshot.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.rest.port</name>

        <value>20550</value>

    </property>

    <property>

        <name>hbase.rest.info.port</name>

        <value>8085</value>

    </property>

    <property>

        <name>>hbase.rest.readonly</name>

        <value>false</value>

    </property>

    <property>

        <name>hbase.rest.threads.min</name>

        <value>2</value>

    </property>

    <property>

        <name>hbase.thrift.minWorkerThreads</name>

        <value>200</value>

    </property>

    <property>

        <name>hbase.thrift.info.port</name>

        <value>9095</value>

    </property>

    <property>

        <name>thrift.accept-backlog</name>

        <value>511</value>

    </property>

</configuration>

你可能感兴趣的:(hadoop hbase集群环境信息整理)

  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • hbase介绍 CrazyL- 云计算+大数据hbase
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
  • Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell） May--J--Oldhu HBaseHBaseshellhbase物理架构hbase逻辑架构hbase
    NoSQL综述及ApacheHBase基础一.HBase1.HBase概述2.HBase发展历史3.HBase应用场景3.1增量数据-时间序列数据3.2信息交换-消息传递3.3内容服务-Web后端应用程序3.4HBase应用场景示例4.ApacheHBase生态圈5.HBase物理架构5.1HMaster5.2RegionServer5.3Region和Table6.HBase逻辑架构-Row7.
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • HBase（一）——HBase介绍 weixin_30595035 大数据数据库数据结构与算法
    HBase介绍1、关系型数据库与非关系型数据库（1）关系型数据库关系型数据库最典型的数据机构是表，由二维表及其之间的联系所组成的一个数据组织优点：1、易于维护：都是使用表结构，格式一致2、使用方便：SQL语言通用，可用于复杂查询3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询缺点：1、读写性能比较差，尤其是海量数据的高效率读写2、固定的表结构，灵活度稍欠3、高并发读写需求，传统关
  • HBase介绍 mingyu1016 数据库
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
  • Java中的大数据处理框架对比分析 省赚客app开发者 java开发语言
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
  • Hadoop windows intelij 跑 MR WordCount piziyang12138
    一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
  • Hbase - 迁移数据[导出,导入] kikiki5
    >有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作。![](https://upload-images.jianshu.io/upload_images/9028759-4fb9aa8ca3777969.png?imageMogr2/auto
  • 通过DBeaver连接Phoenix操作hbase 不想做咸鱼的王富贵
    通过DBeaver连接Phoenix操作hbase前言本文介绍常用一种通用数据库工具Dbeaver，DBeaver可通过JDBC连接到数据库，可以支持几乎所有的数据库产品，包括：MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQLServer、Sybase、MSAccess、Teradata、Firebird、Derby等等。商业版本更是可以支持各种NoSQ
  • Hbase - kerberos认证异常 kikiki2
    之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.KrbTg
  • Hadoop学习第三课（HDFS架构--读、写流程） 小小程序员呀~ 数据库hadoop架构bigdata
    1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
  • hadoop启动HDFS命令 m0_67401228 java搜索引擎linux后端
    启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
  • 【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现 程序员-石头山 大数据实战案例大数据hadoop毕业设计毕设
    博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
  • 分布式离线计算—Spark—基础介绍 测试开发abbey 人工智能—大数据
    原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
  • spark常用命令 我是浣熊的微笑 spark
    查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
  • spark启动命令 学不会又听不懂 spark大数据分布式
    hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03.outzookeeper启动：cd/root/toolss/zookeeperbin/zkServer.shstart，三台都要启动bin/zkServ
  • 编程常用命令总结 Yellow0523 LinuxBigData大数据
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
  • kvm 虚拟机命令行虚拟机操作、制作快照和恢复快照以及工作常用总结 西京刀客 云原生(CloudNative)云计算虚拟化LinuxC/C++服务器linuxkvm
    文章目录kvm虚拟机命令行虚拟机操作、制作快照和恢复快照一、kvm虚拟机命令行虚拟机操作(创建和删除)查看虚拟机virt-install创建一个虚拟机关闭虚拟机重启虚拟机销毁虚拟机二、kvm制作快照和恢复快照**创建快照**工作常见问题创建快照报错：：internalsnapshotsofaVMwithpflashbasedfirmwarearenotsupported检查虚拟机是否包含pflas
  • Hadoop常见面试题整理及解答 叶青舟 Linuxhdfs大数据hadooplinux
    Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
  • 2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购 计算机编程指导师 Java实战集Python实战集大数据实战集课程设计hadoop数据分析springbootjava进货python
    ✍✍计算机编程指导师⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
  • Hadoop Common 之序列化机制小解 猫君之上 #ApacheHadoop
    1.JavaSerializable序列化该序列化通过ObjectInputStream的readObject实现序列化，ObjectOutputStream的writeObject实现反序列化。这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。（序列化信息包括这个对象的类，类签名，类的所有静态，费静态成员的值，以及他们父类都要被写入）publ
  • 深入理解hadoop(一)----Common的实现----Configuration maoxiao_jsd 深入理解----hadoop
    属本人个人原创，转载请注明,希望对大家有帮助！！一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml");conf.addResource("core-site.xml");后者会覆盖前者中未final标记的相同配置项b
  • MySQL-MHA手动切换 泰山与水 #MySQLmysql数据库服务器
    环境检查当前数据库集群环境运行状态，包括主从复制状态和SSH能力检查主从复制状态在MHA的manager服务器执行命令：asterha_check_repl--conf={MHA路径}/conf/app.cnf检查主从SSH服务在MHA的manager服务器执行命令：masterha_check_ssh--conf={MHA路径}/conf/app.cnf校验主库和其他从库的GTID一致性获取主从
  • java封装继承多态等 麦田的设计者 javaeclipsejvmcencapsulatopn
           最近一段时间看了很多的视频却忘记总结了，现在只能想到什么写什么了，希望能起到一个回忆巩固的作用。     1、final关键字       译为：最终的        &
  • F5与集群的区别 bijian1013 weblogic集群F5
            http请求配置不是通过集群，而是F5；集群是weblogic容器的，如果是ejb接口是通过集群。         F5同集群的差别，主要还是会话复制的问题，F5一把是分发http请求用的，因为http都是无状态的服务，无需关注会话问题，类似
  • LeetCode[Math] - #7 Reverse Integer Cwind java题解MathLeetCodeAlgorithm
    原题链接：#7 Reverse Integer   要求： 按位反转输入的数字 例1： 输入 x = 123, 返回 321 例2： 输入 x = -123, 返回 -321   难度：简单   分析： 对于一般情况，首先保存输入数字的符号，然后每次取输入的末位（x%10）作为输出的高位（result = result*10 + x%10）即可。但
  • BufferedOutputStream 周凡杨
         首先说一下这个大批量，是指有上千万的数据量。      例子：      有一张短信历史表，其数据有上千万条数据，要进行数据备份到文本文件，就是执行如下SQL然后将结果集写入到文件中！      select t.msisd
  • linux下模拟按键输入和鼠标 被触发 linux
    查看/dev/input/eventX是什么类型的事件， cat /proc/bus/input/devices 设备有着自己特殊的按键键码，我需要将一些标准的按键，比如0－9，X－Z等模拟成标准按键，比如KEY_0,KEY-Z等，所以需要用到按键 模拟，具体方法就是操作/dev/input/event1文件，向它写入个input_event结构体就可以模拟按键的输入了。 linux/in
  • ContentProvider初体验 肆无忌惮_ ContentProvider
    ContentProvider在安卓开发中非常重要。与Activity，Service，BroadcastReceiver并称安卓组件四大天王。 在android中的作用是用来对外共享数据。因为安卓程序的数据库文件存放在data/data/packagename里面，这里面的文件默认都是私有的，别的程序无法访问。 如果QQ游戏想访问手机QQ的帐号信息一键登录，那么就需要使用内容提供者COnte
  • 关于Spring MVC项目（maven）中通过fileupload上传文件 843977358 mybatisspring mvc修改头像上传文件upload
    Spring MVC 中通过fileupload上传文件，其中项目使用maven管理。   1.上传文件首先需要的是导入相关支持jar包：commons-fileupload.jar,commons-io.jar 因为我是用的maven管理项目，所以要在pom文件中配置（每个人的jar包位置根据实际情况定） <!-- 文件上传 start by zhangyd-c --&g
  • 使用svnkit api，纯java操作svn，实现svn提交，更新等操作 aigo svnkit
     原文：http://blog.csdn.net/hardwin/article/details/7963318   import java.io.File; import org.apache.log4j.Logger; import org.tmatesoft.svn.core.SVNCommitInfo; import org.tmateso
  • 对比浏览器，casperjs，httpclient的Header信息 alleni123 爬虫crawlerheader
    @Override protected void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException { String type=req.getParameter("type"); Enumeration es=re
  • java.io操作 DataInputStream和DataOutputStream基本数据流 百合不是茶 java流
    1，java中如果不保存整个对象，只保存类中的属性，那么我们可以使用本篇文章中的方法，如果要保存整个对象  先将类实例化  后面的文章将详细写到     2，DataInputStream 是java.io包中一个数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。
  • 车辆保险理赔案例 bijian1013 车险
    理赔案例： 一货运车，运输公司为车辆购买了机动车商业险和交强险，也买了安全生产责任险，运输一车烟花爆竹，在行驶途中发生爆炸，出现车毁、货损、司机亡、炸死一路人、炸毁一间民宅等惨剧，针对这几种情况，该如何赔付。 赔付建议和方案： 客户所买交强险在这里不起作用，因为交强险的赔付前提是：“机动车发生道路交通意外事故”； 如果是交通意外事故引发的爆炸，则优先适用交强险条款进行赔付，不足的部分由商业
  • 学习Spring必学的Java基础知识(5)—注解 bijian1013 javaspring
            文章来源：http://www.iteye.com/topic/1123823，整理在我的博客有两个目的：一个是原文确实很不错，通俗易懂，督促自已将博主的这一系列关于Spring文章都学完；另一个原因是为免原文被博主删除，在此记录，方便以后查找阅读。           有必要对
  • 【Struts2一】Struts2 Hello World bit1129 Hello world
    Struts2 Hello World应用的基本步骤 创建Struts2的Hello World应用，包括如下几步： 1.配置web.xml 2.创建Action 3.创建struts.xml，配置Action 4.启动web server，通过浏览器访问   配置web.xml <?xml version="1.0" encoding="
  • 【Avro二】Avro RPC框架 bit1129 rpc
    1. Avro RPC简介 1.1. RPC RPC逻辑上分为二层，一是传输层，负责网络通信；二是协议层，将数据按照一定协议格式打包和解包 从序列化方式来看，Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架，都能跨语言，性能优秀，数据精简，但是Avro的动态模式（不用生成代码，而且性能很好）这个特点让人非常喜欢，比较适合R
  • lua　set get cookie ronin47 lua cookie
    lua: local access_token = ngx.var.cookie_SGAccessToken if access_token then ngx.header["Set-Cookie"] = "SGAccessToken="..access_token.."; path=/;Max-Age=3000" end
  • java-打印不大于N的质数 bylijinnan java
    public class PrimeNumber { /** * 寻找不大于N的质数 */ public static void main(String[] args) { int n=100; PrimeNumber pn=new PrimeNumber(); pn.printPrimeNumber(n); System.out.print
  • Spring源码学习-PropertyPlaceholderHelper bylijinnan javaspring
    今天在看Spring 3.0.0.RELEASE的源码，发现PropertyPlaceholderHelper的一个bug 当时觉得奇怪，上网一搜，果然是个bug，不过早就有人发现了，且已经修复： 详见： http://forum.spring.io/forum/spring-projects/container/88107-propertyplaceholderhelper-bug
  • [逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么? comsci 拓扑
       如果我们已经在一个工作流的节点中嵌入了可以进行逻辑推理的代码,那么成百上千个这样的节点如果组成一个拓扑网络,而这个网络是可以自动遍历的,非线性的拓扑计算模型和节点内部的布尔逻辑处理的结合,会产生什么样的结果呢?    是否可以形成一种新的模糊语言识别和处理模型呢?  大家有兴趣可以试试,用软件搞这些有个好处,就是花钱比较少,就算不成
  • ITEYE 都换百度推广了 cuisuqiang GoogleAdSense百度推广广告外快
    以前ITEYE的广告都是谷歌的Google AdSense，现在都换成百度推广了。   为什么个人博客设置里面还是Google AdSense呢？   都知道Google AdSense不好申请，这在ITEYE上也不是讨论了一两天了，强烈建议ITEYE换掉Google AdSense。至少，用一个好申请的吧。   什么时候能从ITEYE上来点外快，哪怕少点
  • 新浪微博技术架构分析 dalan_123 新浪微博架构
    新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第
  • 玩转ARP攻击 dcj3sjt126com r
    我写这片文章只是想让你明白深刻理解某一协议的好处。高手免看。如果有人利用这片文章所做的一切事情，盖不负责。 网上关于ARP的资料已经很多了，就不用我都说了。 用某一位高手的话来说，“我们能做的事情很多，唯一受限制的是我们的创造力和想象力”。 ARP也是如此。 以下讨论的机子有 一个要攻击的机子：10.5.4.178 硬件地址：52:54:4C:98
  • PHP编码规范 dcj3sjt126com 编码规范
    一、文件格式 1. 对于只含有 php 代码的文件，我们将在文件结尾处忽略掉 "?>" 。这是为了防止多余的空格或者其它字符影响到代码。例如：<?php$foo = 'foo';2. 缩进应该能够反映出代码的逻辑结果，尽量使用四个空格，禁止使用制表符TAB，因为这样能够保证有跨客户端编程器软件的灵活性。例
  • linux 脱机管理（nohup） eksliang linux nohupnohup
    脱机管理 nohup 转载请出自出处：http://eksliang.iteye.com/blog/2166699 nohup可以让你在脱机或者注销系统后，还能够让工作继续进行。他的语法如下 nohup [命令与参数] --在终端机前台工作 nohup [命令与参数] & --在终端机后台工作   但是这个命令需要注意的是，nohup并不支持bash的内置命令，所
  • BusinessObjects Enterprise Java SDK greemranqq javaBOSAPCrystal Reports
    最近项目用到oracle_ADF  从SAP/BO 上调用 水晶报表，资料比较少，我做一个简单的分享，给和我一样的新手 提供更多的便利。   首先，我是尝试用JAVA JSP 去访问的。   官方API：http://devlibrary.businessobjects.com/BusinessObjectsxi/en/en/BOE_SDK/boesdk_ja
  • 系统负载剧变下的管控策略 iamzhongyong 高并发
    假如目前的系统有100台机器，能够支撑每天1亿的点击量（这个就简单比喻一下），然后系统流量剧变了要，我如何应对，系统有那些策略可以处理，这里总结了一下之前的一些做法。 1、水平扩展 这个最容易理解，加机器，这样的话对于系统刚刚开始的伸缩性设计要求比较高，能够非常灵活的添加机器，来应对流量的变化。 2、系统分组 假如系统服务的业务不同，有优先级高的，有优先级低的，那就让不同的业务调用提前分组
  • BitTorrent DHT 协议中文翻译 justjavac bit
    前言 做了一个磁力链接和BT种子的搜索引擎 {Magnet & Torrent}，因此把 DHT 协议重新看了一遍。 BEP: 5Title: DHT ProtocolVersion: 3dec52cb3ae103ce22358e3894b31cad47a6f22bLast-Modified: Tue Apr 2 16:51:45 2013 -070
  • Ubuntu下Java环境的搭建 macroli java工作ubuntu
    配置命令： 　　$sudo apt-get install ubuntu-restricted-extras 　　再运行如下命令： 　　$sudo apt-get install sun-java6-jdk 　　待安装完毕后选择默认Java. 　　$sudo update- alternatives --config java 　　安装过程提示选择，输入“2”即可，然后按回车键确定。
  • js字符串转日期（兼容IE所有版本） qiaolevip TODateStringIE
    /** * 字符串转时间（yyyy-MM-dd HH:mm:ss） * result （分钟） */ stringToDate : function(fDate){ var fullDate = fDate.split(" ")[0].split("-"); var fullTime = fDate.split("
  • 【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析 superlxw1234 sql数据挖掘关联规则
    关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。 关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。 例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%] 支持度3%：意味3%顾客同时购买牛奶和面包。 置信度40%：意味购买牛奶的顾客40%也购买面包。 规则的支持度和置信度是两个规则兴
  • Spring 5.0 的系统需求，期待你的反馈 wiselyman spring
                   Spring 5.0将在2016年发布。Spring5.0将支持JDK 9。          Spring 5.0的特性计划还在工作中，请保持关注，所以作者希望从使用者得到关于Spring 5.0系统需求方面的反馈。  
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他