u013008795
u013008795

Hadoop配置文件主要作用详解，即hadoop+hbase+zookeep配置方法（5台）

主机名 zookeeper Hadoop Hbase
gdy231 QuorumPeerMain NameNode【名称节点】
DFSZKFailoverController【Hadoop Ha进程维持namenode高可用】
JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】
JobHistoryServer【可以通过该服务查看已经运行完了的作业记录】		 Hmaster
HRegionServer
gdy232
QuorumPeerMain		 NameNode【名称节点】
DFSZKFailoverController【Hadoop Ha进程维持namenode高可用】
JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】		 Hmaster
HRegionServer
gdy233
QuorumPeerMain		 JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】
ResourceManager【管理集群资源分配，接收NodeManager的资源汇报】
DataNode【数据节点】
NodeManager【负责在单个节点上执行MapReduce任务。】		 HRegionServer
gdy234
QuorumPeerMain		 JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】
ResourceManager【管理集群资源分配，接收NodeManager的资源汇报】
DataNode【数据节点】
NodeManager【负责在单个节点上执行MapReduce任务。】		 HRegionServer
gdy235
QuorumPeerMain		 JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】
ResourceManager【管理集群资源分配，接收NodeManager的资源汇报】
DataNode【数据节点】
NodeManager【负责在单个节点上执行MapReduce任务。】		 HRegionServer



配置文件：core-site.xml
属性 值 说明
fs.defaultFS hdfs://gdy hadoop访问目录节点nameNode默认为：hdfs://gdy
hadoop.tmp.dir /ftpftp/ogg/gdydata/hadoopData/hadooptmp Hadoop的临时存放目录
/ftpftp/ogg/gdydata/hadoopData/hadooptmp
ha.zookeeper.quorum gdy231:2181,gdy232:2181,gdy233:2181,
gdy234:2181,gdy235:2181		 Ha功能，需要一组zk地址，用逗号分隔。被ZKFailoverController使用于自动失效备援failover。
io.native.lib.available TRUE  是否启动Hadoop的本地库，默认启用。本地库可以加快基本操作，例如IO，压缩等。


配置文件：hdfs-site.xml
属性 值 说明
hbase.rootdir hdfs://gdy/hbase 配置hbase在HDFS文件系统中存放文件的根目录
dfs.nameservices gdy 【 nameservices列表。逗号分隔。
 我们常用的仅配置一个，启动federation功能需要配置多个】
个人理解：gdy类似于一个变量，与之前的【hbase.rootdir】和【fs.defaultFS】关联，但这里只是声明了一个名字，为servicName的名字，可以声明多个，目前只声明一个。下面会配置这个servicName具体代表什么。
dfs.ha.namenodes.gdy nn1,nn2 【 包含一个NN列表。EXAMPLENAMESERVICE是指具体的nameservice名称，通常就是dfs.nameservices中配置的。
 值是预备配置的NN的ID。ID是自己取的，不重复就可以，例如nn1,nn2】
个人理解：和【dfs.nameservices】差不多，类似于声明变量，但还没指定值
dfs.namenode.rpc-address.gdy.nn1 gdy231:9000 【ns1使用了nn1节点为对外服务地址的RPC地址】
注意这里ns1已经被替换成gdy。这里是给之前nn1规定具体的值。
dfs.namenode.http-address.gdy.nn1 gdy231:50070 【ns1使用了nn1节点为对外服务地址的http地址】
和上面类似
dfs.namenode.rpc-address.gdy.nn2 gdy232:9000 【ns1使用了nn2为对外服务地址的RPC地址】
dfs.namenode.http-address.ns1.nn2 gdy232:50070 【ns1使用了nn2为对外服务地址的http地址】
dfs.namenode.shared.edits.dir qjournal://gdy231:8485;gdy232:8485;gdy233:8485;gdy234:8485;gdy235:8485/gdy 【同时把NameNode元数据和日志存放在JournalNode上】

启动自动failover。自动failover依赖于zookeeper集群和ZKFailoverController（ZKFC），后者是一个zookeeper客户端，
 用来监控NN的状态信息。每个运行NN的节点必须要运行一个zkfc。zkfs提供了下面的功能：
Health monitoring zkfc定期对本地的NN发起health-check的命令，如果NN正确返回，那么这个NN被认为是OK的。
 否则被认为是失效节点。
ZooKeeper session management 当本地NN是健康的时候，zkfc将会在zk中持有一个session。
 如果本地NN又正好是active的，那么zkfc还有持有一个”ephemeral”的节点作为锁，一旦本 地NN失效了，
 那么这个节点将会被自动删除。
ZooKeeper-based election 如果本地NN是健康的，并且zkfc发现没有其他的NN持有那个独占锁。
 那么他将试图去获取该锁，一旦成功，那么它就需要执行Failover，然后成为active的NN节点。
Failover的过程是：第一步，对之前的NN执行fence，如果需要的话。第二步，将本地NN转换到active状态。
启动zkfc的方法如下：hadoop-daemon.sh start zkfc。通过start-dfs.sh会自动启动该进程，一般无需手动起停。
dfs.journalnode.edits.dir /ftpftp/ogg/gdydata/hadoopData/hadoopedits 配置edits数据存放位置
dfs.namenode.name.dir /ftpftp/ogg/gdydata/hadoopData/hadoopname NN存放元数据和日志位置
dfs.datanode.data.dir /ftpftp/ogg/gdydata/hadoopData/hadoopdata 配置hdfs每个数据节点存放位置
dfs.replication 3 配置系统自动数据备份数量为3份（默认是3份）
dfs.ha.automatic-failover.enabled TRUE 是否开启自动故障转移。建议开启，true 
dfs.client.failover.proxy.provider.gdy org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider client的failover代理配置
dfs.ha.fencing.methods sshfence  HDFS的HA功能的防脑裂方法。可以是内建的方法(例如shell和sshfence)或者用户定义的方法。
 建议使用sshfence(hadoop:9922)，括号内的是用户名和端口，注意，这需要NN的2台机器之间能够免密码登陆
fences是防止脑裂的方法，保证NN中仅一个是Active的，如果2者都是Active的，新的会把旧的强制Kill。
dfs.ha.fencing.ssh.private-key-files /home/ogg/.ssh/id_rsa  密钥认证文件


配置文件mapred-site.xml
属性 值 说明
mapreduce.framework.name yarn 其中，名称mapreduce.framework.name指的是使用yarn运行mapreduce程序
mapreduce.jobhistory.address gdy231:10020 MapReduce JobHistory Server地址。
mapreduce.jobhistory.webapp.address gdy231:19888 MapReduce JobHistory Server Web UI地址。
mapreduce.jobhistory.joblist.cache.size 20000 内存中缓存的historyfile文件信息(主要是job对应的 文件目录,)

配置文件【slaves】  slaves记录的是需要执行start-all.sh（或相关命令）时，需要远程启动tasktracker与datanode的节点。
配置文件【masters】老版本用，新的不要了 masters记录的是需要启动secondary namenode的节点, 不是namenode，它也和mapreduce没任何关系。

配置文件yarn-site.xml
属性 值 说明
yarn.nodemanager.aux-services mapreduce_shuffle NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序
yarn.resourcemanager.connect.retry-interval.ms 2000 rm失联后重新链接的时间
yarn.resourcemanager.ha.enabled TRUE 启用RM高可用
yarn.resourcemanager.ha.automatic-failover.enabled TRUE 是否启用自动故障转移。默认情况下，在启用HA时，启用自动故障转移。
yarn.resourcemanager.ha.automatic-failover.embedded TRUE 启用内置的自动故障转移。默认情况下，在启用HA时，启用内置的自动故障转移。
yarn.resourcemanager.cluster-id yarn-cluster (RM集群标识符)集群的Id，elector使用该值确保RM不会做为其它集群的active。
yarn.resourcemanager.ha.rm-ids rm1,rm2,rm3 指定两台RM主机名标识符
yarn.resourcemanager.scheduler.class org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler 启用的资源调度器主类。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。
yarn.resourcemanager.ha.automatic-failover.recover.enabled TRUE RM故障自动切换
yarn.resourcemanager.hostname.rm1 gdy233 RM主机1
yarn.resourcemanager.hostname.rm2 gdy234 RM主机2
yarn.resourcemanager.hostname.rm3 gdy235 RM主机3
yarn.resourcemanager.recovery.enabled TRUE RM故障自动恢复
yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms 5000 schelduler失联等待连接时间
yarn.resourcemanager.store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore RM状态信息存储方式，一种基于内存(MemStore)，另一种基于ZK(ZKStore)
yarn.resourcemanager.zk-address gdy231:2181,gdy232:2181,gdy233:2181,gdy234:2181,gdy235:2181 使用ZK集群保存状态信息 
yarn.resourcemanager.zk.state-store.address gdy231:2181,gdy232:2181,gdy233:2181,gdy234:2181,gdy235:2181
yarn.resourcemanager.address.rm1 gdy233:23140 客户端通过该地址向RM提交对应用程序操作
yarn.resourcemanager.address.rm2 gdy234:23140 客户端通过该地址向RM提交对应用程序操作
yarn.resourcemanager.address.rm3 gdy235:23140 客户端通过该地址向RM提交对应用程序操作
yarn.resourcemanager.scheduler.address.rm1 gdy233:23130  向RM调度资源地址
yarn.resourcemanager.scheduler.address.rm2 gdy234:23130 向RM调度资源地址
yarn.resourcemanager.scheduler.address.rm3 gdy235:23130 向RM调度资源地址
yarn.resourcemanager.admin.address.rm1 gdy233:23141 管理员通过该地址向RM发送管理命令
yarn.resourcemanager.admin.address.rm2 gdy234:23141 管理员通过该地址向RM发送管理命令
yarn.resourcemanager.admin.address.rm3 gdy235:23141 管理员通过该地址向RM发送管理命令
yarn.resourcemanager.resource-tracker.address.rm1 gdy233:23125 NodeManager通过该地址交换信息
yarn.resourcemanager.resource-tracker.address.rm2 gdy234:23125 NodeManager通过该地址交换信息
yarn.resourcemanager.resource-tracker.address.rm3 gdy235:23125 NodeManager通过该地址交换信息
yarn.resourcemanager.webapp.address.rm1 gdy233:23188 RM HTTP访问地址,查看集群信息
yarn.resourcemanager.webapp.address.rm2 gdy234:23188 RM HTTP访问地址,查看集群信息
yarn.resourcemanager.webapp.address.rm3 gdy235:23188 RM HTTP访问地址,查看集群信息
yarn.resourcemanager.webapp.https.address.rm1 gdy233:23189 RM HTTP访问地址,查看集群信息
yarn.resourcemanager.webapp.https.address.rm2 gdy234:23189 RM HTTP访问地址,查看集群信息
yarn.resourcemanager.webapp.https.address.rm3 gdy235:23189 RM HTTP访问地址,查看集群信息

Hbase配置文件：
注意：Hbase配置文件core-site.xml与hdfs-site.xml配置文件与Hadoop配置文件保持一致。可以拷贝
backup-masters记录了备用的masters结点位置 gdy234
regionServers配置文件指定了Hbase上启动Hregionservers的位置 gdy235
gdy234
gdy233
hbase-site.xml
属性 值 说明
hbase.rootdir hdfs://gdy/hbase 指定hbase所在的hdfs文件系统中的目录
hbase.cluster.distributed TRUE 开启hbase完全分布式模式
hbase.master.port 60000 配置hMaster访问端口。（注意：HMaster在哪里又zookeeper决定）
hbase.zookeeper.quorum gdy231,gdy232,gdy233,gdy234,gdy235 Zookeeper集群的地址列表，用逗号分割。
hbase.zookeeper.property.clientPort 2181 配置zookeeper的作业端口
hbase.replication TRUE 开启 hbase 主从集群复制 replication
replication.source.size.capacity 4194304 主集群每次像备集群发送的entry的包的最大值大小，不推荐过大
replication.source.nb.capacity 2000 主集群每次向备集群发送的entry最大的个数
replication.source.ratio 1 主集群里使用slave服务器的百分比
hbase.balancer.period 15000 Master执行region balancer的间隔,默认30s



你可能感兴趣的:(hadoop,zookeeper,部署,hbase)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • swagger访问路径 igotyback swagger
    Swagger2.x版本访问地址：http://{ip}:{port}/{context-path}/swagger-ui.html{ip}是你的服务器IP地址。{port}是你的应用服务端口，通常为8080。{context-path}是你的应用上下文路径，如果应用部署在根路径下，则为空。Swagger3.x版本对于Swagger3.x版本（也称为OpenAPI3）访问地址：http://{ip
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • 在一台Ubuntu计算机上构建Hyperledger Fabric网络 落叶无声9 区块链超级账本Hyperledgerfabric区块链ubuntu构建hyperledgerfabric
    在一台Ubuntu计算机上构建HyperledgerFabric网络Hyperledgerfabric是一个开源的区块链应用程序平台，为开发基于区块链的应用程序提供了一个起点。当我们提到HyperledgerFabric网络时，我们指的是使用HyperledgerFabric的正在运行的系统。即使只使用最少数量的组件，部署Fabric网络也不是一件容易的事。Fabric社区创建了一个名为Cello
  • git - Webhook让部署自动化 大猪大猪
    我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 【六】阿伟开始搭建Kafka学习环境 能源恒观 中间件学习kafkaspring
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
  • openssl+keepalived安装部署 _小亦_ 项目部署keepalivedopenssl
    文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网，所以采用安装包的方式进行部署，下载地址：https://www.openssl.org/source/old/
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • 笋丁网页自动回复机器人V3.0.0免授权版源码 希希分享 软希网58soho_cn源码资源笋丁网页自动回复机器人
    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
  • 进销存小程序源码 PHP网络版ERP进销存管理系统 全开源可二开 摸鱼小号 php
    可直接源码搭建部署发布后使用：一、功能模块介绍该系统模板主要有进，销，存三个主要模板功能组成，下面将介绍各模块所对应的功能；进：需要将产品采购入库，自动生成采购明细台账同时关联财务生成付款账单；销：是指对客户的销售订单记录，汇总生成产品销售明细及回款计划；存：库存的日常盘点与统计，库存下限预警、出入库台账、库存位置等。1.进购管理采购订单：采购下单审批→由上级审批通过采购入库；采购入库：货品到货>
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • 微信小程序开发注意事项 jun778895 微信小程序小程序
    微信小程序开发是一个融合了前端开发、用户体验设计、后端服务（可选）以及微信小程序平台特性的综合性项目。这里，我将详细介绍一个典型的小程序开发项目的全过程，包括项目规划、设计、开发、测试及部署上线等各个环节，并尽量使内容达到或超过2000字的要求。一、项目规划1.1项目背景与目标假设我们要开发一个名为“智慧校园助手”的微信小程序，旨在为学生提供一站式校园生活服务，包括课程表查询、图书馆座位预约、食堂
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
    1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
  • 98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数 小山居
    98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数shardrecovery配置以及集群重启时的无意义shard重分配问题在集群重启的时候，有一些配置会影响shard恢复的过程。首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。如果我们有10个node，每个node都有一个shard，可能是primaryshard或者replicashard，你有一个i
  • ansible的安装、使用 ytym00
    简介高度模块化，调用特定的模块，完成特定的任务，基于Yaml，来完成批量任务的模板化，来支持playbook。基于Python语言实现，主要使用Paramiko、PyYAML和JinJa2三个关键模块，部署简单(agentless)，主从模式，支持自定义模块，支持playbook，幂等性：允许重复执行N次，没有变化时，只会执行第一次。特点：1、Configuration(cfengine,chef
  • 《Mesh 组网和 AC+AP 组网的优缺点》 jiyiwangluokeji 网络工程网络
    Mesh组网和AC+AP组网的优缺点。Mesh组网的优点：1.部署灵活：节点之间可以通过无线方式连接，新增节点比较方便，无需事先规划布线。2.自我修复和优化：如果某个节点出现故障，网络可以自动重新路由数据，保证网络的稳定性。3.覆盖范围广：可以通过添加节点轻松扩展覆盖区域。4.设备选型多样：市面上有多种不同品牌和型号的Mesh路由器可供选择。Mesh组网的缺点：1.无线回程可能存在性能瓶颈：如果节
  • Kubernetes部署MySQL数据持久化 沫殇-MS KubernetesMySQL数据库kubernetesmysql容器
    一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
  • Nginx从入门到实践(三) 听你讲故事啊
    动静分离动静分离是将网站静态资源（JavaScript，CSS，img等文件）与后台应用分开部署，提高用户访问静态代码的速度，降低对后台应用访问。动静分离的一种做法是将静态资源部署在nginx上，后台项目部署到应用服务器上，根据一定规则静态资源的请求全部请求nginx服务器，达到动静分离的目标。rewrite规则Rewrite规则常见正则表达式Rewrite主要的功能就是实现URL的重写，Ngin
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • 【Death Note】网吧战神之7天爆肝渗透测试死亡笔记_sqlmap在默认情况下除了使用 char() 函数防止出现单引号 2401_84561374 程序员笔记
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！特殊服务端口2181zookeeper服务未授权访问
  • python之pyecharts制作可视化数据大屏 cesske 大数据
    文章目录前言一、安装Pyecharts二、创建Pyecharts图表三、设计大屏布局四、实时数据更新五、部署和展示总结前言使用Pyecharts制作可视化数据大屏是一个复杂但有趣的过程，因为Pyecharts本身是一个用于生成Echarts图表的Python库，而Echarts是由百度开发的一个开源可视化库，支持丰富的图表类型和高度自定义。然而，Pyecharts本身并不直接提供“大屏”的解决方案
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 用kubedam搭建的k8s证书过期处理方法 我滴鬼鬼呀wks k8s1024程序员节
    kubeadm部署的k8s证书过期1、查看证书过期时间kubeadmalphacertscheck-expiration若证书已经过期无法试用kubectl命令建议修改服务器时间到未过期的时间段2、配置kube-controller-manager.yaml文件cat/etc/kubernetes/manifests/kube-controller-manager.yamlapiVersion:v
  • Gobelieve 架构 weixin_34099526 数据库golangjson
    Gobelievegithub地址声明:转简书JackieF的文章,为了自己方便copy了一份,加一些自己的东西.链接：https://www.jianshu.com/p/8121d6e85282IMCore主要分三大块:im客户连接服务器（可分布式部署，暂无负载均衡模块)imr路由查询服务器（主要解决im分布式部署的问题）ims存储服务器(主从部署)基础模块1.数据包协议包：header(12)
  • Cut, Paste and Learn方法解读 wangxinwei2000 深度学习人工智能
    Abstract问题背景：标注数据的缺乏：在实例检测任务中，部署物体检测模型的一个主要障碍是缺乏大量标注数据。例如，在一个特定的厨房环境中找到包含实例的大型标注数据集是不太可能的。每当面对新的环境和新的物体实例时，都需要进行昂贵的数据收集和标注工作。研究贡献：解决方法：本文提出了一种简单的方法，可以以最小的努力生成大量标注的实例数据集。关键洞察：研究者的关键洞察是，仅仅确保“局部真实感”（patc
  • 学习宣传贯彻党的二十大精神 担当起新时代的历史使命 机械迷城
    习近平总书记在党的二十大报告中强调：“全党同志务必不忘初心、牢记使命，务必谦虚谨慎、艰苦奋斗，务必敢于斗争、善于斗争，坚定历史自信，增强历史主动，谱写新时代中国特色社会主义更加绚丽的华章。”我们要始终沿着习近平总书记和党中央指引的方向奋勇前行，确保二十大的部署、党中央的要求、总书记的嘱托落地生根、结出硕果，用新的伟大奋斗创造新的伟业。在这次的报告中，习近平总书记再次强调，江山就是人民，人民就是江山
  • 阿里云国际 CDN 和低延迟全球云解决方案 九河云 阿里云网络服务器安全
    延迟与隐藏程度成反比。C数据存在，并且连接已建立，但在接收客户端请求响应和显示用户请求的内容时存在明显延迟。将数据从源移动到目标时，会出现即时丢失。延迟是数据发送器和数据接收器之间的时间差。此外，当通过云响应用户查询时，这种延迟会被放大。有多种因素会导致满足用户请求的潜在延迟。想象一下，您在美国数据中心部署了服务，并且您的用户遍布全球。在此拓扑中，来自美国的用户将能够以正常（如果不是很好）的性能使
  • mondb入手 木zi_鸣 mongodb
    windows 启动mongodb  编写bat文件， mongod --dbpath D:\software\MongoDBDATA mongod --help  查询各种配置 配置在mongob 打开批处理，即可启动，27017原生端口，shell操作监控端口  扩展28017，web端操作端口 启动配置文件配置， 数据更灵活 
  • 大型高并发高负载网站的系统架构 bijian1013 高并发负载均衡
            扩展Web应用程序 一.概念         简单的来说，如果一个系统可扩展，那么你可以通过扩展来提供系统的性能。这代表着系统能够容纳更高的负载、更大的数据集，并且系统是可维护的。扩展和语言、某项具体的技术都是无关的。扩展可以分为两种：         1.
  • DISPLAY变量和xhost(原创) czmmiao display
    DISPLAY 在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上, 在终端上输入printenv查看当前环境变量, 输出结果中有如下内容:DISPLAY=:0.0
  • 获取B/S客户端IP 周凡杨 java编程jspWeb浏览器
       最近想写个B/S架构的聊天系统，因为以前做过C/S架构的QQ聊天系统，所以对于Socket通信编程只是一个巩固。对于C/S架构的聊天系统，由于存在客户端Java应用，所以直接在代码中获取客户端的IP，应用的方法为：    String ip = InetAddress.getLocalHost().getHostAddress(); 然而对于WEB
  • 浅谈类和对象 朱辉辉33 编程
        类是对一类事物的总称，对象是描述一个物体的特征，类是对象的抽象。简单来说，类是抽象的，不占用内存，对象是具体的， 占用存储空间。     类是由属性和方法构成的，基本格式是public  class 类名{ //定义属性 private/public 数据类型 属性名； //定义方法 publ
  • android activity与viewpager+fragment的生命周期问题 肆无忌惮_ viewpager
    有一个Activity里面是ViewPager，ViewPager里面放了两个Fragment。 第一次进入这个Activity。开启了服务，并在onResume方法中绑定服务后，对Service进行了一定的初始化，其中调用了Fragment中的一个属性。 super.onResume(); bindService(intent, conn, BIND_AUTO_CREATE);
  • base64Encode对图片进行编码 843977358 base64图片encoder
    /** * 对图片进行base64encoder编码 * * @author mrZhang * @param path * @return */ public static String encodeImage(String path) { BASE64Encoder encoder = null; byte[] b = null; I
  • Request Header简介 aigo servlet
    当一个客户端(通常是浏览器)向Web服务器发送一个请求是，它要发送一个请求的命令行，一般是GET或POST命令，当发送POST命令时，它还必须向服务器发送一个叫“Content-Length”的请求头(Request   Header)   用以指明请求数据的长度，除了Content-Length之外，它还可以向服务器发送其它一些Headers，如：    
  • HttpClient4.3 创建SSL协议的HttpClient对象 alleni123 httpclient爬虫ssl
    public class HttpClientUtils { public static CloseableHttpClient createSSLClientDefault(CookieStore cookies){ SSLContext sslContext=null; try { sslContext=new SSLContextBuilder().l
  • java取反 -右移-左移-无符号右移的探讨 百合不是茶 位运算符 位移
    取反： 在二进制中第一位，1表示符数，0表示正数 byte a = -1; 原码：10000001 反码：11111110 补码：11111111 //异或: 00000000 byte b = -2; 原码：10000010 反码：11111101 补码：11111110 //异或: 00000001
  • java多线程join的作用与用法 bijian1013 java多线程
            对于JAVA的join，JDK 是这样说的：join public final void join （long millis ）throws InterruptedException Waits at most millis milliseconds for this thread to die. A timeout of 0 means t
  • Java发送http请求(get 与post方法请求) bijian1013 javaspring
    PostRequest.java package com.bijian.study; import java.io.BufferedReader; import java.io.DataOutputStream; import java.io.IOException; import java.io.InputStreamReader; import java.net.HttpURL
  • 【Struts2二】struts.xml中package下的action配置项默认值 bit1129 struts.xml
    在第一部份，定义了struts.xml文件，如下所示：   <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "http://struts.apache.org/dtds/struts
  • 【Kafka十三】Kafka Simple Consumer bit1129 simple
    代码中关于Host和Port是割裂开的，这会导致单机环境下的伪分布式Kafka集群环境下，这个例子没法运行。 实际情况是需要将host和port绑定到一起，   package kafka.examples.lowlevel; import kafka.api.FetchRequest; import kafka.api.FetchRequestBuilder; impo
  • nodejs学习api ronin47 nodejs api
    NodeJS基础 什么是NodeJS JS是脚本语言，脚本语言都需要一个解析器才能运行。对于写在HTML页面里的JS，浏览器充当了解析器的角色。而对于需要独立运行的JS，NodeJS就是一个解析器。 每一种解析器都是一个运行环境，不但允许JS定义各种数据结构，进行各种计算，还允许JS使用运行环境提供的内置对象和方法做一些事情。例如运行在浏览器中的JS的用途是操作DOM，浏览器就提供了docum
  • java-64.寻找第N个丑数 bylijinnan java
    public class UglyNumber { /** * 64.查找第N个丑数 具体思路可参考 [url] http://zhedahht.blog.163.com/blog/static/2541117420094245366965/[/url] * 题目：我们把只包含因子 2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14
  • 二维数组（矩阵）对角线输出 bylijinnan 二维数组
    /** 二维数组 对角线输出 两个方向 例如对于数组： { 1, 2, 3, 4 }, { 5, 6, 7, 8 }, { 9, 10, 11, 12 }, { 13, 14, 15, 16 }, slash方向输出： 1 5 2 9 6 3 13 10 7 4 14 11 8 15 12 16 backslash输出： 4 3
  • [JWFD开源工作流设计]工作流跳跃模式开发关键点(今日更新) comsci 工作流
       既然是做开源软件的,我们的宗旨就是给大家分享设计和代码,那么现在我就用很简单扼要的语言来透露这个跳跃模式的设计原理    大家如果用过JWFD的ARC-自动运行控制器,或者看过代码,应该知道在ARC算法模块中有一个函数叫做SAN(),这个函数就是ARC的核心控制器,要实现跳跃模式,在SAN函数中一定要对LN链表数据结构进行操作,首先写一段代码,把
  • redis常见使用 cuityang redis常见使用
    redis 通常被认为是一个数据结构服务器，主要是因为其有着丰富的数据结构 strings、map、 list、sets、 sorted sets 引入jar包 jedis-2.1.0.jar  (本文下方提供下载) package redistest; import redis.clients.jedis.Jedis; public class Listtest
  • 配置多个redis dalan_123 redis
    配置多个redis客户端 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"       xmlns:xsi=&quo
  • attrib命令 dcj3sjt126com attr
      attrib指令用于修改文件的属性.文件的常见属性有:只读.存档.隐藏和系统.    只读属性是指文件只可以做读的操作.不能对文件进行写的操作.就是文件的写保护.    存档属性是用来标记文件改动的.即在上一次备份后文件有所改动.一些备份软件在备份的时候会只去备份带有存档属性的文件. 
  • Yii使用公共函数 dcj3sjt126com yii
    在网站项目中，没必要把公用的函数写成一个工具类，有时候面向过程其实更方便。 在入口文件index.php里添加 require_once('protected/function.php'); 即可对其引用，成为公用的函数集合。 function.php如下：   <?php /**   * This is the shortcut to D
  • linux 系统资源的查看（free、uname、uptime、netstat） eksliang netstatlinux unamelinux uptimelinux free
    linux 系统资源的查看 转载请出自出处：http://eksliang.iteye.com/blog/2167081   http://eksliang.iteye.com 一、free查看内存的使用情况 语法如下：   free [-b][-k][-m][-g] [-t] 参数含义 -b:直接输入free时，显示的单位是kb我们可以使用b(bytes),m
  • JAVA的位操作符 greemranqq 位运算JAVA位移<<>>>
    最近几种进制，加上各种位操作符，发现都比较模糊，不能完全掌握，这里就再熟悉熟悉。   1.按位操作符 ：    按位操作符是用来操作基本数据类型中的单个bit,即二进制位，会对两个参数执行布尔代数运算，获得结果。    与（&）运算：    1&1 = 1, 1&0 = 0, 0&0 &
  • Web前段学习网站 ihuning Web
      Web前段学习网站 菜鸟学习：http://www.w3cschool.cc/   JQuery中文网：http://www.jquerycn.cn/   内存溢出：http://outofmemory.cn/#csdn.blog   http://www.icoolxue.com/   http://www.jikexue
  • 强强联合：FluxBB 作者加盟 Flarum justjavac r
    原文：FluxBB Joins Forces With Flarum作者：Toby Zerner译文：强强联合：FluxBB 作者加盟 Flarum译者：justjavac FluxBB 是一个快速、轻量级论坛软件，它的开发者是一名德国的 PHP 天才 Franz Liedke。FluxBB 的下一个版本(2.0)将被完全重写，并已经开发了一段时间。FluxBB 看起来非常有前途的，
  • java统计在线人数（session存储信息的） macroli javaWeb
    这篇日志是我写的第三次了 前两次都发布失败！郁闷极了！   由于在web开发中常常用到这一部分所以在此记录一下，呵呵，就到备忘录了！ 我对于登录信息时使用session存储的，所以我这里是通过实现HttpSessionAttributeListener这个接口完成的。 1、实现接口类，在web.xml文件中配置监听类，从而可以使该类完成其工作。 public class Ses
  • bootstrp carousel初体验 快速构建图片播放 qiaolevip 每天进步一点点学习永无止境bootstrap纵观千象
    img{ border: 1px solid white; box-shadow: 2px 2px 12px #333; _width: expression(this.width > 600 ? "600px" : this.width + "px"); _height: expression(this.width &
  • SparkSQL读取HBase数据，通过自定义外部数据源 superlxw1234 sparksparksqlsparksql读取hbasesparksql外部数据源
    关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源     前面文章介绍了SparSQL通过Hive操作HBase表。   SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里基于Spark1.4.0，简单介绍SparkSQL自定义外部数据源，访
  • Spring Boot 1.3.0.M1发布 wiselyman spring boot
        Spring Boot 1.3.0.M1于6.12日发布，现在可以从Spring milestone repository下载。这个版本是基于Spring Framework 4.2.0.RC1,并在Spring Boot 1.2之上提供了大量的新特性improvements and new features。主要包含以下：   1.提供一个新的sprin
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他