_未知数
_未知数

CDH集群安装

http://www.jianshu.com/p/57179e03795f

http://blog.csdn.net/jdplus/article/details/45920733

下载CDH

下载CM

http://archive.cloudera.com/cm5/

->cm->5->选择自己要下载的版本

下载parcels

http://archive.cloudera.com/cdh5/

->parcels->选择版本->下载 *.parcel + *.parcel.shal1 + mainfest.json

安装jdk

配置环境变量

http://www.linuxidc.com/Linux/2016-09/134941.htm

http://www.cnblogs.com/samcn/archive/2011/03/16/1986248.html

CDH 安装

1.安装操作系统

2.编辑用户名

vi /etc/sysconfig/network

编辑 hosts

vi /etc/hosts

172.16.1.140 cdh0

172.16.1.141 cdh1

172.16.1.142 cdh2

3.配置网络

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

HWADDR=00:0C:29:A5:F0:97

TYPE=Ethernet

UUID=bba6e950-82c4-4874-aca2-af94dc501018

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

IPADDR=172.16.1.142

NETMASK=255.255.0.0

GATEWAY=172.16.0.1

DNS1=114.114.114.114

DNS2=8.8.8.8

4.关闭 SELinux

vi /etc/sysconfig/selinux

SELIINUX=disabled

5.关闭防火墙

chkconfig iptables off 重启生效 centos7 systemctl disable firewalld.service

6.配置SSH免密登录

(注意：SSH免密登录是主从、从从任意两台主机间互相都是可以免密登录的，这里使用一种简单策略，将所有主机密钥添加到master，然后将master的key拷贝到所有主机，这样所有的主机都有集群所有的登录密钥【免密登录机制：如果我持有谁的公钥，我就允许谁免密登录进入我的系统】)

1）所有的主机（包括主从）都生成密钥

ssh-keygen -t rsa  回车三次生成密钥对(ls -a ./.ssh 可以看到生成后的内容)

2）所有主机的公钥拷贝到master

scp ./.ssh/id_rsa.pub [email protected]:/root/id_rsa.pub.s141    (其它主机类同)

3）所有的公钥追加到同一个自动认证文件内

cat ./id_rsa.pub.s142 >> ./.ssh/authorized_keys  （其它类同）

4）将最终含有所有主机公钥的自动认证文件authorized_keys复制到其它所有的主机上

scp ./.ssh/authorized_keys [email protected]:/root/.ssh/authorized_keys (其它类同)

7.配置NTP(时间同步服务)

1)yum install ntp；配置开机启动：chkconfig ntpd on；检查是否设置成功：chkconfig --list ntpd 其中2-5为on状态就代表成功；(其它主机类同)

ntpdate -u [时间服务器IP或域名地址(如0.cn.pool.ntp.org)] 看一下是否能校时成功

启动 ntp服务

systemctl start ntpd

2)编辑配置 vi /etc/ntp.conf

# 中国这边最活跃的时间服务器 : http://www.pool.ntp.org/zone/cn

# prefer 指的意思是以该ntp服务器为主，见：http://blog.sina.com.cn/s/blog_6243051e0100q8ee.html

master 配置增加 server 0.cn.pool.ntp.org prefer   

#增加NTP自身同步，不可用时用local时间提供给ntp客户端 见：http://weigang-gao.iteye.com/blog/2266919

server 127.127.1.0

fudge 127.127.1.0 stratum 8

ntp客户端（从机 slave ）与master 同步 ntp.conf 只需直接增加  server cdh0[master]

立马同步时间可使用 ntpdate -u 0.cn.pool.ntp.org

8.安装JDK，配置Java环境变量

1)卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载之

2)mkdir /usr/java

tar -zxvf jdk-8u131-linux-x64.tar.gz

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile 重启后依然有效，但当前不立即重启需要立即生效,所以使用source命令

(其它主机类同)

9.安装MySQL（仅master）

1)yum install mysql-server （centos7 [yum install mysql-community-server]）

2)chkconfig mysqld on  设置开机启动

3)service mysqld start  启动mysql服务

4)mysqladmin -u root password '123456'  设置管理员账户密码

5)mysql -uroot -p123456    进入mysql命令行，创建相应数据库（按实际需要安装创建数据库）

create database repm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

6)#授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'cdhmaster' identified by '123456' with grant option;flush privileges;

10.安装CDH

添加scm用户

useradd --system --home=/opt/cm-5.11.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

（所有节点都需要）

1）上传cloudera-manager*.tar.gz 到/opt，tar -zxvf解压,将mysql-connector-java*.jar拷贝到opt/cm-*/share/cmf/lib/

2)为cm配置数据库

/opt/cm-5.11.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

vi /opt/cm-5.11.0/etc/cloudera-scm-agent/config.ini [server_host改为主节点名]

scp -r /opt/cm-5.11.0 root@cdh1:/opt/    【其它节点类同】

3)将*parcel、*parcel.sha1、mainfest.json拷贝到主节点的/opt/cloudera/parcel-repo  *parcel.sha1重命名为*parcel.sha

4)启动

/opt/cm-5.11.0/etc/init.d/cloudera-scm-server start  #only 主机 master

/opt/cm-5.11.0/etc/init.d/cloudera-scm-agent start  #所有主机 slave

5）登录webCM管理安装，逐一安装组件（以便排查具体的错误，幸好这样离线安装几乎不会有什么意外的错误）

组件安装顺序 zookeeper、hdfs、yarn（include mapreduce2）、hive、ooize、hue（这个顺序看停止集群服务的关停顺序时可以侧面反映出）,然后安装 impala,hbase,spark(spark安装直接选择 spark [on yarn]),不要选择什么 spark singlealone 安装 hive和ooize时，

记得把 MySQL mysql-connector-java*.jar拷贝到/opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/hive/lib 和 /var/lib/oozie

参考推荐：http://www.cnblogs.com/codedevelop/p/6762555.html

安装错误排除：

一、常规排查法：

1.sysout,syseer,查看完整错误信息->2.找到错误处根据提示判断出错是权限不够还是文件缺失或信息不一致等准确定位，可以大致锁定错误范围，看是否有

另外的输入日志如 /var/log/X ,如果没有则根据判断的出错范围方向google

二、重复安装导致的问题

特别是重复安装导致的问题，由于删除不干净，或用户名遗留的问题，需要定位出部位然后手工修改删除

三、实在不行,可能原步骤错误导致乱样，重新安装，还是不行，只有换版本

安装的几个地方遇到的问题集锦：

旧用户名的问题，/var/log/X 和/var/lib/X都有原来遗留的文件，导致新安装的时候名称不对或权限不够

http://blog.sina.com.cn/s/blog_7ea3d46f0101ljlz.html

hdfs的目录命名实际是和Linux的一致，/dfs/

旧版本安装CDH 5.3.3或是不同于tar.gz解压安装的方式，安装hive时mysql的jdbc包需要在/usr/share/java/mysql-connector-java.jar[jar重命名]

安装迂回策略：

1.当上传权限不够时，如，电信WiFi集群里，只有WiFi账户可以上传，但CDH实际操作是需要root权限，所以可以采用迂回策略，先把jar等上传到主机，然后用

mv 命令移动到指定地点，然后用chown修改所属用户和所属用户组，chmod修改用户权限；

2、yum工具安装软件包

当我们的集群内网无法上外网时，我们需要安装一下软件如ntp,但是这些安装包邮很多依赖，为保证我们一次性有保证的找到所有包安装，我们可以在其他可以上网的

机子上修改yum使用下载缓存，缓存安装包到目录，yum安装后将包拷贝到不能上网的集群，设置yum安装使用本地目录，这样就可以离线yum安装了，同时可以使用httpd

配置，使多个机子都到同一主机目录获取安装包安装；

centos 设置时间,分两次设置，先设置年月日，然后设置时分秒

date -s 20170817

date -s 10:27:12

/opt/cm-5.12.2/etc/init.d/cloudera-scm-server: line 109: pstree: command not found

yum install psmisc

#yum -y install perl perl-devel

rm -rf /opt/cm-5.12.2/lib/cloudera-scm-agent/*

cdh 安装时提示 ERROR  Failure due to stall on seeded torrent.

一个是要关闭 ipv6 ,一个是要必须先启动cm Server完成（能看到web管理页面），后再启动agent

=====================================================

rpm -qa | grep java

rpm -e --nodeps 包名

oracle 下载jdk rpm

rpm -ivh 包名

systemctl stop firewalld.service

systemctl disable firewalld.service

vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

修改主机名

hostnamectl set-hostname cdh0

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

创建目录

/opt/cloudera/parcel-repo

/opt/cm-5.13.1/etc/init.d/cloudera-scm-server start

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start

你可能感兴趣的:(CDH集群安装)

  • 2023 下半年信息安全工程师考试真题答案 rockmelodies 安全网络安全
    一、单项选择如下有关信息安全管理员职责旳论述，不对旳旳是（）A.信息安全管理员应当对网络旳总体安全布局进行规划B.信息安全管理员应当对信息系统安全事件进行处理C.信息安全管理员应当负责为顾客编写安全应用程序D.信息安全管理员应当对安全设备进行优化配置国家密码管理局于2023年公布了“无线局域网产品须使用旳系列密码算法”，其中规定密钥协商算法应使用旳是（）A.DHB.ECDSAC.ECDHD.CPK
  • Kafka2.8.0集群安装教程 请叫我你好 安装教程kafka
    Kafka2.8.0集群安装教程准备工作node01~node04（四个节点机器，三台也可以），kafka安装node01~~node03启动zookeeper，这里依次启动node131，node132，node133上的zk。（关于zookeeper集群安装请看https://blog.csdn.net/qq_41578037/article/details/123809220）[root@n
  • 大数据系列 | Kafka架构分析及应用 降世神童 大数据技术专栏大数据kafka架构
    大数据系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka自启动服务5.kafka生产者和消费者的应用5.1.生产者使用5.2.消费者使用6.KafkaController控制器1.消息系统介绍  常用消息系统对比：  ■RabbitMQ：Erlan
  • kafka消费者重复消费同一个topic 小琳ai 大数据kafka重复消费consumer
    我的需求是我有多个消费者，需要重复消费某一个topic。场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用，发现会发生后起来的应用消费不到数据。按理来讲不同的groupid属于不同的消费组，不会相互影响。由于是使用的cdh集成的kafka，不知道cdh里的zookeeper管理kafka的数据存在了
  • Django HelloWorld 部署 SkTj
    第一阶段：搭建Django框架mkdirdjango//创建一个文件夹命名为djangocddjango//进入django文件夹django-adminstartprojectHelloWorld//创建一个Project命名为HelloWorldcdHelloWorld//进入HelloWorld查看一下目录，结果有两个文件：HelloWorld//该目录用于存放一些配置信息manage.py
  • hue升级文档 101之歌
    首先，确定我们的两个安装包：hue.zip（这个包也可以从我们的git仓库下载，具体链接我会发给你）huetool.zip然后，在CDH的管理界面停止hue的服务：1，进入hue2，选择实例3，选择HueServer4，选择“操作”-->“停止此HueServer”停止了hue服务以后，进入shell，开始安装kerberos：1，解压huetool.zip2，进入，打开krb5.conf3，修改
  • zookeeper分布式锁案例 shuair zookeeper分布式zookeeper云原生
    zookeeper分布式锁案例文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper集群安装zookeeper客户端命令行操作、节点类型及监听器zookeeper集群写数据原理java操作zookeeper手写分布式锁案例原理线程获取锁时，在/locks节点下创建临时有序号节点，需要注意的是，有序号的节点序号是递增的crea
  • 实训day37（8.27） Tʀᴜsᴛ⁴¹⁷487 linux
    一、dockerfile应用[root@docker~]#mkdirhttp0[root@docker~]#cdhttp0/[root@dockerhttp0]#vimabc.sh[root@dockerhttp0]#lsabc.sh[root@dockerhttp0]#vimabc.sh#!/bin/bashrm-rf/run/*httpd*exec/sbin/httpd-DFOREGROUND
  • 学习笔记六：ceph介绍以及初始化配置 风车带走过往 K8S相关应用学习笔记ceph
    k8s对接cephceph是一种开源的分布式的存储系统，包含以下几种存储类型：块存储（rbd）文件系统cephfs对象存储分布式存储的优点：Ceph核心组件介绍安装Ceph集群初始化配置Ceph安装源安装基础软件包安装ceph集群安装ceph-deploy创建monitor节点修改ceph配置文件配置初始monitor、收集所有的密钥部署osd服务创建ceph文件系统ceph是一种开源的分布式的存
  • CDH 之 hive 数据迁移 啊 这 CDHhivehadoop大数据迁移学习
    当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下1.导出元数据信息#database即是数据库名称hive-e"use;showtables;"|xargs-I'{}'sh-c'hive-e"use;showcreatetable'{}';"'>tables.sql2.将原服务器中h
  • Gitlab CI/CD 配置 netkiller- 运维手札编程手札gitlabci/cdgit
    CI/CDhttps://gitlab.com/gitlab-examplesGitlab(仓库)->GitlabRunner（持续集成/部署）->Remotehost（远程部署主机）11.5.1.远程服务器配置为远程服务器创建www用户，我们将使用该用户远程部署，远程启动程序。[root@netkiller~]#groupadd-g80www[root@netkiller~]#adduser-o
  • [java][集群]consul集群安装 awonw javajava-consuljavaconsul
    /usr/local/bin/consulagent-server-data-dir=/tmp/consul-node=server-1-bind=192.168.3.110-bootstrap-expect3-client=0.0.0.0-ui/usr/local/bin/consulagent-server-data-dir=/tmp/consul-node=server-2-bind=192
  • java操作zookeeper shuair zookeeperzookeeper
    java操作zookeeper文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper集群安装zookeeper客户端命令行操作、节点类型及监听器zookeeper集群写数据原理java操作zookeeper依赖信息junitjunittestorg.apache.logging.log4jlog4j-core2.8.2org
  • zookeeper单机安装 shuair zookeeperzookeeperjava
    zookeeper单机安装文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper集群安装zookeeper客户端命令行操作、节点类型及监听器zookeeper集群写数据原理java操作zookeeper下载地址官网：https://zookeeper.apache.org/最新版本下载页面：https://zookeeper
  • 在linux机器中安装配置hadoop BigData_C linuxhadoop
    1.首先我们要把hadoop包上传到我们的liunx机器中（运用外链软件上传如：Xshell+xftp）（用我们的外链软件连接成功后，进行hadoop包的上传）上传到我们想要的目录路径下，比如我的是上传到/home/hadoop目录下。（我们可以看到红色字体的hadoop包已经上传成功）2.进行解压，运用命令：tar-zxvfhadoop-2.6.0-cdh5.7.6.tar.gz进行解压，解压后
  • Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程） william.zhang(张) hadoop大数据分布式
    一、环境准备1.集群规划首先，需要为集群中的每台机器设置角色和网络配置。在此示例中，我们使用三台机器：角色主机名IP地址NameNodemaster192.168.1.101DataNode1slave1192.168.1.102DataNode2slave2192.168.1.1032.软件要求操作系统：CentOS7或Ubuntu20.04JavaJDK：Hadoop需要JDK8或更高版本安装
  • zookeeper集群安装 shuair zookeeperzookeeper
    zookeeper集群安装文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装说明版本选择：apache-zookeeper-3.5.7-bin.tar.gz下载地址：https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.ta
  • 天猫超市优惠获取渠道，天猫超市内部优惠劵领取方法使用教程 氧惠全网优惠
    天猫超市是一个不错的购物平台，满足用户所需，基本次日达，很方便的购物平台，那么有人问我，天猫超市优惠获取渠道在哪？怎么能够优惠的购买，今天分享给大家；1、天猫超市优惠券抢好券：天猫超市首页每天可以领取满199减30、满235减35、满299减50、满399减60、满166减30等优惠券，领劵方法复制下条口令打开淘宝进入领劵会场；隐藏神券、实时爆款、天天更新！戳>(CZ9185ZatcdhNADlJ
  • CDH 启停使用HiveServer2 金刚_30bf
    翻译：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hiveserver2_start_stop.html版本：5.14.2HiveServer2是HiveServer的改进版本，支持Kerberos身份验证和多客户端并发访问。您可以使用Beeline客户端访问HiveServer2。警告：如果以远程模
  • 大数据开源框架技术汇总 浪尖聊大数据-浪尖 数据仓库hiveflume分布式scipymakefilecrmlighttpd
    主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
  • 【python】密码字典生成器 HarryXYC 我的Python朋友python网络安全密码字典生成
    项目源码仓库：harry-passwd-dict-creator:根据简单的表达式生成密码字典文件(gitee.com)一、介绍harry-passwd-dict-creator（下简称pdc）集合了一些哈里自写的密码字典生成工具。二、安装确保已安装gitgitclonehttps://gitee.com/harryxiaocn/harry-passwd-dict-creator.gitcdhar
  • 使用 kind 集群安装运行极狐GitLab Runner【上】 极小狐 kindgitlab云原生runner
    GitLab是一个全球知名的一体化DevOps平台，很多人都通过私有化部署GitLab来进行源代码托管。极狐GitLab是GitLab在中国的发行版，专门为中国程序员服务。可以一键式部署极狐GitLab。关于kindkind是一个用来运行本地Kubernetes机群的工具，主要使用Docker容器来做为“nodes”。kind的主要设计目的是为了测试Kubernetes本身，但是也可以在本地研发或
  • 开源大数据管理平台选型 大数据AI 大数据从入门到精通大数据
    随着CDH和HDP的闭源，还有国内信创需求，经过前期调研和后期实践，目前主要有两个产品满足要求：apachebigtop和DataSophon符合要求。因为这两个产品都是完全开源的，自助可控。一apachebigtop项目地址：https://bigtop.apache.orgApacheBigtop是一个开源项目，旨在提供一套完整的开源软件栈，用于构建、测试和部署大数据应用程序。该项目的主要目标
  • 16.用Hadoop命令向CDH集群提交MR作业 大勇任卷舒
    16.1实验环境介绍内容概述环境准备Kerberos环境和非Kerberos集群测试环境Kerberos集群CDH5.11.2，OS为Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop命令提交时会加载集群的配置信息（如hdfs
  • [CDH] Spark 属性、内存、CPU相关知识梳理 枪枪枪 Sparksparkscalabigdata
    version：2.4.0-cdh6.3.0文章目录sparkproperties常用配置sparktasksparktask使用的cpu核数sparkarchitecturesparkmemorysparkonyarn问题1：什么情况下使用spark.executor.memoryOverhead问题2:什么情况下使用spark.executor.memory小总结：归根结底，spark中的cp
  • 大数据分析学习第十五课 自建云服务器集群离线安装Ambari2.7.5和HDP3.1.5(一) 猫头鹰数据分析 大数据JavaHivehadoopambari大数据centoshdfs
    之前了解了很多关于大数据平台一站式部署管理的工具，比如ApacheAmbari和CDH，目前最新的CDH已经没有了社区版，也就是说以后使用新版本的ClouderaManager和CDH都是要收费的，这对于很多小公司来说，可能无法承受。转向Ambari是他们的一个可选项。Ambari是Apache的一个顶级开源项目，开源是其最大的优势，开源也意味着Ambari可以灵活地进行扩展，集成更多的数据组件，
  • centos7下elasticsearch6.5集群安装和基本使用 zwb_jianshu
    elasticsearch官网地址为：https://www.elastic.co/本文档详细描述elasticsearch集群安装和基本使用。本例采用3台服务器，搭建四节点elasticsearch集群，其中一台服务器上运行两个elasticsearch程序。安装环境如下：CPU：六核心内存：8GB操作系统版本centos7.6elasticsearch-6.5.4、kibana-6.5.4、c
  • 生产环境下，应用模式部署flink任务，通过hdfs提交 但行益事莫问前程 flinkflink
    前言  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR=/home/conf/authexportHADOOP_CLASSPATH=`hadoopclasspath`  （2）上传flink的lib和plugins、自己
  • 2.15日学习打卡----初学Zookeeper(二) 中北萌新程序员 每日学习学习zookeeperdebianjava分布式
    2.15日学习打卡目录:2.15日学习打卡一.Zookeeper部署运行伪集群安装集群安装服务管理二.Zookeeper系统模型数据模型节点特性客户端命令行节点数据信息Watcher监听机制权限控制ACL三.原生api操作Zookeeper四.zkclient库操作Zookeeper五.ApacheCurator操作Zookeeper六.Zookeeper高级四字命令选举机制一.Zookeeper
  • Apache DolphinScheduler中ZooKeeperCDH不兼容问题的解决方案 DolphinScheduler社区 大数据
    背景看到ApacheDolphinScheduler社区群有很多用户反馈和讨论这块问题，针对不兼容的问题，不仅需要自己重新编译各一个新包，而且因为默认是使用zk-3.8的配置，所以会出现不兼容问题。使用zk-3.4配置即可适配3.4.x解决办法（一）#切换到项目源码的根路径中执行mvncleanpackage-T1C-Prelease'-Dmaven.test.skip=true''-Dcheck
  • java解析APK 3213213333332132 javaapklinux解析APK
    解析apk有两种方法 1、结合安卓提供apktool工具，用java执行cmd解析命令获取apk信息 2、利用相关jar包里的集成方法解析apk 这里只给出第二种方法，因为第一种方法在linux服务器下会出现不在控制范围之内的结果。 public class ApkUtil { /** * 日志对象 */ private static Logger
  • nginx自定义ip访问N种方法 ronin47 nginx 禁止ip访问
    　　　因业务需要，禁止一部分内网访问接口，　由于前端架了F5，直接用deny或allow是不行的，这是因为直接获取的前端Ｆ５的地址。 　　　所以开始思考有哪些主案可以实现这样的需求，目前可实施的是三种： 　　　一：把ip段放在redis里，写一段lua           二：利用geo传递变量，写一段
  • mysql timestamp类型字段的CURRENT_TIMESTAMP与ON UPDATE CURRENT_TIMESTAMP属性 dcj3sjt126com mysql
    timestamp有两个属性，分别是CURRENT_TIMESTAMP 和ON UPDATE CURRENT_TIMESTAMP两种，使用情况分别如下：   1.   CURRENT_TIMESTAMP    当要向数据库执行insert操作时，如果有个timestamp字段属性设为   CURRENT_TIMESTAMP，则无论这
  • struts2+spring+hibernate分页显示 171815164 Hibernate
    分页显示一直是web开发中一大烦琐的难题，传统的网页设计只在一个JSP或者ASP页面中书写所有关于数据库操作的代码，那样做分页可能简单一点，但当把网站分层开发后，分页就比较困难了，下面是我做Spring+Hibernate+Struts2项目时设计的分页代码，与大家分享交流。 　　1、DAO层接口的设计，在MemberDao接口中定义了如下两个方法： public in
  • 构建自己的Wrapper应用 g21121 rap
            我们已经了解Wrapper的目录结构，下面可是正式利用Wrapper来包装我们自己的应用，这里假设Wrapper的安装目录为:/usr/local/wrapper。           首先，创建项目应用   &nb
  • [简单]工作记录_多线程相关 53873039oycg 多线程
         最近遇到多线程的问题,原来使用异步请求多个接口(n*3次请求)     方案一 使用多线程一次返回数据,最开始是使用5个线程,一个线程顺序请求3个接口,超时终止返回     缺点       测试发现必须3个接
  • 调试jdk中的源码，查看jdk局部变量 程序员是怎么炼成的 jdk 源码
    转自：http://www.douban.com/note/211369821/    学习jdk源码时使用--   学习java最好的办法就是看jdk源代码，面对浩瀚的jdk（光源码就有40M多，比一个大型网站的源码都多）从何入手呢，要是能单步调试跟进到jdk源码里并且能查看其中的局部变量最好了。 可惜的是sun提供的jdk并不能查看运行中的局部变量
  • Oracle RAC Failover 详解 aijuans oracle
    Oracle RAC 同时具备HA(High Availiablity) 和LB(LoadBalance). 而其高可用性的基础就是Failover(故障转移). 它指集群中任何一个节点的故障都不会影响用户的使用，连接到故障节点的用户会被自动转移到健康节点，从用户感受而言， 是感觉不到这种切换。 Oracle 10g RAC 的Failover 可以分为3种： 1. Client-Si
  • form表单提交数据编码方式及tomcat的接受编码方式 antonyup_2006 JavaScripttomcat浏览器互联网servlet
    原帖地址：http://www.iteye.com/topic/266705 form有2中方法把数据提交给服务器，get和post,分别说下吧。 （一）get提交 1.首先说下客户端（浏览器）的form表单用get方法是如何将数据编码后提交给服务器端的吧。    对于get方法来说，都是把数据串联在请求的url后面作为参数，如：http://localhost:
  • JS初学者必知的基础 百合不是茶 js函数js入门基础
    JavaScript是网页的交互语言,实现网页的各种效果, JavaScript 是世界上最流行的脚本语言。 JavaScript 是属于 web 的语言，它适用于 PC、笔记本电脑、平板电脑和移动电话。 JavaScript 被设计为向 HTML 页面增加交互性。 许多 HTML 开发者都不是程序员，但是 JavaScript 却拥有非常简单的语法。几乎每个人都有能力将小的
  • iBatis的分页分析与详解 bijian1013 javaibatis
            分页是操作数据库型系统常遇到的问题。分页实现方法很多，但效率的差异就很大了。iBatis是通过什么方式来实现这个分页的了。查看它的实现部分，发现返回的PaginatedList实际上是个接口，实现这个接口的是PaginatedDataList类的对象，查看PaginatedDataList类发现，每次翻页的时候最
  • 精通Oracle10编程SQL(15)使用对象类型 bijian1013 oracle数据库plsql
    /* *使用对象类型 */ --建立和使用简单对象类型 --对象类型包括对象类型规范和对象类型体两部分。 --建立和使用不包含任何方法的对象类型 CREATE OR REPLACE TYPE person_typ1 as OBJECT( name varchar2(10),gender varchar2(4),birthdate date ); drop type p
  • 【Linux命令二】文本处理命令awk bit1129 linux命令
    awk是Linux用来进行文本处理的命令，在日常工作中，广泛应用于日志分析。awk是一门解释型编程语言，包含变量，数组，循环控制结构，条件控制结构等。它的语法采用类C语言的语法。   awk命令用来做什么？ 1.awk适用于具有一定结构的文本行，对其中的列进行提取信息 2.awk可以把当前正在处理的文本行提交给Linux的其它命令处理，然后把直接结构返回给awk 3.awk实际工
  • JAVA(ssh2框架)+Flex实现权限控制方案分析 白糖_ java
      目前项目使用的是Struts2+Hibernate+Spring的架构模式，目前已经有一套针对SSH2的权限系统，运行良好。但是项目有了新需求：在目前系统的基础上使用Flex逐步取代JSP，在取代JSP过程中可能存在Flex与JSP并存的情况，所以权限系统需要进行修改。 【SSH2权限系统的实现机制】 权限控制分为页面和后台两块：不同类型用户的帐号分配的访问权限是不同的，用户使
  • angular.forEach boyitech AngularJSAngularJS APIangular.forEach
    angular.forEach 描述: 循环对obj对象的每个元素调用iterator, obj对象可以是一个Object或一个Array. Iterator函数调用方法: iterator(value, key, obj), 其中obj是被迭代对象，key是obj的property key或者是数组的index，value就是相应的值啦. (此函数不能够迭代继承的属性.)
  • java-谷歌面试题-给定一个排序数组，如何构造一个二叉排序树 bylijinnan 二叉排序树
    import java.util.LinkedList; public class CreateBSTfromSortedArray { /** * 题目:给定一个排序数组，如何构造一个二叉排序树 * 递归 */ public static void main(String[] args) { int[] data = { 1, 2, 3, 4,
  • action执行2次 Chen.H JavaScriptjspXHTMLcssWebwork
    xwork 写道 <action name="userTypeAction" class="com.ekangcount.website.system.view.action.UserTypeAction"> <result name="ssss" type="dispatcher">
  • [时空与能量]逆转时空需要消耗大量能源 comsci 能源
            无论如何,人类始终都想摆脱时间和空间的限制....但是受到质量与能量关系的限制,我们人类在目前和今后很长一段时间内,都无法获得大量廉价的能源来进行时空跨越.....         在进行时空穿梭的实验中,消耗超大规模的能源是必然
  • oracle的正则表达式(regular expression)详细介绍 daizj oracle正则表达式
        正则表达式是很多编程语言中都有的。可惜oracle8i、oracle9i中一直迟迟不肯加入，好在oracle10g中终于增加了期盼已久的正则表达式功能。你可以在oracle10g中使用正则表达式肆意地匹配你想匹配的任何字符串了。 正则表达式中常用到的元数据(metacharacter)如下： ^ 匹配字符串的开头位置。 $ 匹配支付传的结尾位置。 *
  • 报表工具与报表性能的关系 datamachine 报表工具birt报表性能润乾报表
    在选择报表工具时，性能一直是用户关心的指标，但是，报表工具的性能和整个报表系统的性能有多大关系呢？ 要回答这个问题，首先要分析一下报表的处理过程包含哪些环节，哪些环节容易出现性能瓶颈，如何优化这些环节。   一、报表处理的一般过程分析 1、用户选择报表输入参数后，报表引擎会根据报表模板和输入参数来解析报表，并将数据计算和读取请求以SQL的方式发送给数据库。   2、
  • 初一上学期难记忆单词背诵第一课 dcj3sjt126com wordenglish
    what 什么  your 你 name 名字 my 我的 am 是 one 一 two 二 three 三 four 四 five 五 class 班级，课   six 六 seven 七 eight 八 nince 九 ten 十 zero 零 how 怎样 old 老的 eleven 十一 twelve 十二 thirteen
  • 我学过和准备学的各种技术 dcj3sjt126com 技术
    语言VB https://msdn.microsoft.com/zh-cn/library/2x7h1hfk.aspxJava http://docs.oracle.com/javase/8/C# https://msdn.microsoft.com/library/vstudioPHP http://php.net/manual/en/Html 
  • struts2中token防止重复提交表单 蕃薯耀 重复提交表单struts2中token
    struts2中token防止重复提交表单   >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年7月12日 11:52:32 星期日 ht
  • 线性查找二维数组 hao3100590 二维数组
    1.算法描述 有序（行有序，列有序，且每行从左至右递增，列从上至下递增）二维数组查找，要求复杂度O(n)   2.使用到的相关知识： 结构体定义和使用，二维数组传递（http://blog.csdn.net/yzhhmhm/article/details/2045816）   3.使用数组名传递 这个的不便之处很明显，一旦确定就是不能设置列值 //使
  • spring security 3中推荐使用BCrypt算法加密密码 jackyrong Spring Security
    spring security 3中推荐使用BCrypt算法加密密码了，以前使用的是md5， Md5PasswordEncoder 和 ShaPasswordEncoder，现在不推荐了，推荐用bcrpt Bcrpt中的salt可以是随机的，比如： int i = 0; while (i < 10) { String password = "1234
  • 学习编程并不难,做到以下几点即可! lampcy javahtml编程语言
    不论你是想自己设计游戏，还是开发iPhone或安卓手机上的应用，还是仅仅为了娱乐，学习编程语言都是一条必经之路。编程语言种类繁多，用途各 异，然而一旦掌握其中之一，其他的也就迎刃而解。作为初学者，你可能要先从Java或HTML开始学，一旦掌握了一门编程语言，你就发挥无穷的想象，开发 各种神奇的软件啦。 1、确定目标 学习编程语言既充满乐趣，又充满挑战。有些花费多年时间学习一门编程语言的大学生到
  • 架构师之mysql----------------用group+inner join,left join ,right join 查重复数据（替代in) nannan408 right join
    1.前言。   如题。 2.代码 (1)单表查重复数据,根据a分组   SELECT m.a,m.b, INNER JOIN （select a,b,COUNT(*) AS rank FROM test.`A` A GROUP BY a HAVING rank>1 )k ON m.a=k.a （2）多表查询 ， 使用改为le
  • jQuery选择器小结 VS 节点查找（附css的一些东西） Everyday都不同 jquerycssname选择器追加元素查找节点
    最近做前端页面，频繁用到一些jQuery的选择器，所以特意来总结一下：   测试页面： <html> <head> <script src="jquery-1.7.2.min.js"></script> <script> /*$(function() { $(documen
  • 关于EXT tntxia ext
      ExtJS是一个很不错的Ajax框架，可以用来开发带有华丽外观的富客户端应用，使得我们的b/s应用更加具有活力及生命力。ExtJS是一个用 javascript编写，与后台技术无关的前端ajax框架。因此，可以把ExtJS用在.Net、Java、Php等各种开发语言开发的应用中。       ExtJs最开始基于YUI技术，由开发人员Jack
  • 一个MIT计算机博士对数学的思考 xjnine Math
     在过去的一年中，我一直在数学的海洋中游荡，research进展不多，对于数学世界的阅历算是有了一些长进。为什么要深入数学的世界？作为计算机的学生，我没有任何企图要成为一个数学家。我学习数学的目的，是要想爬上巨人的肩膀，希望站在更高的高度，能把我自己研究的东西看得更深广一些。说起来，我在刚来这个学校的时候，并没有预料到我将会有一个深入数学的旅程。我的导师最初希望我去做的题目，是对appe
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他