快速搭建 LDAP 服务器与Hive集成

快速搭建 LDAP 服务器与Hive集成

1 前言

LDAP (Lightweight Directory Access Protocol) 是轻型目录访问协议，以目录形式存储信息（基于目录的数据库），具有良好的读性能。

本文的目的是帮助你快速搭建 LDAP 服务器。

本文所使用的服务器是 centos7

2 关闭防火墙

首先使用systemctl status firewalld确认防火墙是否打开，如过打开，则关闭：

systemctl stop firewalld
systemctl disable firewalld

3 安装 OpenLDAP 组件

yum install -y openldap openldap-servers openldap-clients openldap-devel compat-openldap migrationtools

4 修改LDAP配置

这里就是重点中的重点了，从openldap2.4.23版本开始，所有配置都保存在/etc/openldap/slapd.d目录下的cn=config文件夹内，不再使用slapd.conf作为配置文件。配置文件的后缀为 ldif，且每个配置文件都是通过命令自动生成的，任意打开一个配置文件，在开头都会有一行注释，说明此为自动生成的文件，请勿编辑，使用ldapmodify命令进行修改

安装openldap后，会有三个命令用于修改配置文件，分别为ldapadd, ldapmodify, ldapdelete，顾名思义就是添加，修改和删除。而需要修改或增加配置时，则需要先写一个ldif后缀的配置文件，然后通过命令将写的配置更新到slapd.d目录下的配置文件中去。

总而言之:/etc/openldap/slapd.d 下的文件不能手动添加、修改和删除。

4.1 生成管理员密码

$ slappasswd -s 123456
{SSHA}ifcLacR1RubRTM5P7Ox+UlMMV+7GQFAy

4.2 复制配置模板

cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG

4.3 生成数据库文件

使用如下命令生成数据库文件，不必担心报错信息。

$ slaptest
5fcef848 hdb_db_open: database "dc=my-domain,dc=com": db_open(/var/lib/ldap/id2entry.bdb) failed: No such file or directory (2).
5fcef848 backend_startup_one (type=hdb, suffix="dc=my-domain,dc=com"): bi_db_open failed! (2)
slap_startup failed (test would succeed using the -u switch)

4.4 修改 LDAP 数据库所属用户与组

OpenLDAP有一个主要用户，它被称为“rootdn（Root Distinguished Name）”，这个用户已经在应用中被写死，不可更改。

chown ldap:ldap /var/lib/ldap/*

4.5 SElinux配置

$ setsebool -P httpd_can_connect_ldap on
$ getsebool httpd_can_connect_ldap
httpd_can_connect_ldap --> on

或者使用命令getenforce查看结果是否为Disabled，若不是，则关闭 Selinux：

• 临时的生效：执行setenforce 0;
• 永久生效：修改配置文件/etc/sysconfig/selinux，把SELINUX=disabled，然后重启 。

4.6 启动 LDAP 进程 slapd

OpenLDAP 软件安装完成后，要使用它，需要启动 slapd 进程来调用程序：

$ systemctl start slapd
$ systemctl enable slapd

4.7 新增修改密码文件

ldif为后缀，文件名随意，不要在/etc/openldap/slapd.d/目录下创建类似文件

生成的文件为需要通过命令去动态修改ldap现有配置，如下，在家目录下，创建文件

$ mkdir ~/ldap
$ cd ldap
$ vim changepwd.ldif

dn: olcDatabase={0}config,cn=config
changetype: modify
add: olcRootPW
olcRootPW: {SSHA}ifcLacR1RubRTM5P7Ox+UlMMV+7GQFAy

注意：olcRootPW的值来自于章节“4.1 生成管理员密码”

文件内容说明：

1. 第一行执行配置文件，这里就表示指定为 cn=config/olcDatabase={0}config 文件。你到/etc/openldap/slapd.d/目录下就能找到此文件
2. 第二行 changetype 指定类型为修改
3. 第三行 add 表示添加 olcRootPW 配置项
4. 第四行指定 olcRootPW 配置项的值

在执行下面的命令前，你可以先查看原本的/etc/openldap/slapd.d/cn\=config/olcDatabase\=\{0\}config.ldif文件，里面是没有olcRootPW这个项的，执行命令后，你再看就会新增了olcRootPW项，而且内容是我们文件中指定的值加密后的字符串

4.8 执行命令修改ldap配置

ldapadd -Y EXTERNAL -H ldapi:/// -f ~/ldap/changepwd.ldif

查看olcDatabase={0}config内容,新增了一个olcRootPW项。

olcRootPW:: e1NTSEF9d1JMbnEzWDhGTWVQekZkZFp6S3JQTU5mMmVHWEhTTTU=

上面就是一个完整的修改配置的过程，再次重申不要直接修改/etc/openldap/slapd.d/目录下的配置。

4.9 LDAP中导入基本的 Schema

需要向 LDAP 中导入一些基本的 Schema。这些 Schema 文件位于 /etc/openldap/schema/ 目录中，schema控制着条目拥有哪些对象类和属性，可以自行选择需要的进行导入， 依次执行下面的命令，导入基础的一些配置,这里将所有的都导入一下，其中core.ldif是默认已经加载了的，不用导入。

ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/cosine.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/nis.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/inetorgperson.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/collective.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/corba.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/duaconf.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/dyngroup.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/java.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/misc.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/openldap.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/pmi.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/ppolicy.ldif

4.10 修改域名

新增changedomain.ldif, 这里我自定义的域名为fengxc.com，管理员用户账号为admin。

如果要修改，则修改文件中相应的dc=fengxc,dc=com为自己的域名

$ vim /etc/openldap/changedomain.ldif

dn: olcDatabase={1}monitor,cn=config
changetype: modify
replace: olcAccess
olcAccess: {0}to * by dn.base="gidNumber=0+uidNumber=0,cn=peercred,cn=external,cn=auth" read by dn.base="cn=admin,dc=fengxc,dc=com" read by * none

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=fengxc,dc=com

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootDN
olcRootDN: cn=admin,dc=fengxc,dc=com

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootPW
olcRootPW: {SSHA}fLe3LLnKYQYG+DQzViYr1Hyb04+7Pt6u

dn: olcDatabase={2}hdb,cn=config
changetype: modify
add: olcAccess
olcAccess: {0}to attrs=userPassword,shadowLastChange by dn="cn=admin,dc=fengxc,dc=com" write by anonymous auth by self write by * none
olcAccess: {1}to dn.base="" by * read
olcAccess: {2}to * by dn="cn=admin,dc=fengxc,dc=com" write by * read

执行命令，修改配置。

$ ldapmodify -Y EXTERNAL -H ldapi:/// -f ~/ldap/changedomain.ldif

SASL/EXTERNAL authentication started
SASL username: gidNumber=0+uidNumber=0,cn=peercred,cn=external,cn=auth
SASL SSF: 0
modifying entry "olcDatabase={1}monitor,cn=config"

modifying entry "olcDatabase={2}hdb,cn=config" 

modifying entry "olcDatabase={2}hdb,cn=config" 

modifying entry "olcDatabase={2}hdb,cn=config"

modifying entry "olcDatabase={2}hdb,cn=config"

4.11 启用memberof功能

新增add-memberof.ldif, 开启memberof支持并新增用户支持memberof配置

$ vim ~/ldap/add-memberof.ldif 

dn: cn=module{0},cn=config
cn: modulle{0}
objectClass: olcModuleList
objectclass: top
olcModuleload: memberof.la
olcModulePath: /usr/lib64/openldap

dn: olcOverlay={0}memberof,olcDatabase={2}hdb,cn=config
objectClass: olcConfig
objectClass: olcMemberOf
objectClass: olcOverlayConfig
objectClass: top
olcOverlay: memberof
olcMemberOfDangling: ignore
olcMemberOfRefInt: TRUE
olcMemberOfGroupOC: groupOfUniqueNames
olcMemberOfMemberAD: uniqueMember
olcMemberOfMemberOfAD: memberOf

新增refint1.ldif文件

$ vim ~/ldap/refint1.ldif

dn: cn=module{0},cn=config
add: olcmoduleload
olcmoduleload: refint

新增refint2.ldif文件

$ vim ~/ldap/refint2.ldif

dn: olcOverlay=refint,olcDatabase={2}hdb,cn=config
objectClass: olcConfig
objectClass: olcOverlayConfig
objectClass: olcRefintConfig
objectClass: top
olcOverlay: refint
olcRefintAttribute: memberof uniqueMember  manager owner

依次执行下面命令，加载配置，顺序不能错

ldapadd -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/add-memberof.ldif
ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/refint1.ldif
ldapadd -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/refint2.ldif

4.12 创建组织角色

到此，配置修改完了，在上述基础上，创建一个叫做 “fengxc company” 的组织，并在其下创建一个 “admin” 的组织角色（该组织角色内的用户具有管理整个 LDAP 的权限）和 “People” 和 “Group” 两个组织单元：

vim ~/ldap/base.ldif

dn: dc=fengxc,dc=com
objectClass: top
objectClass: dcObject
objectClass: organization
o: fengxc Company
dc: fengxc

dn: cn=admin,dc=fengxc,dc=com
objectClass: organizationalRole
cn: admin

dn: ou=People,dc=fengxc,dc=com
objectClass: organizationalUnit
ou: People

dn: ou=Group,dc=fengxc,dc=com
objectClass: organizationalRole
cn: Group

说明：

执行命令，添加配置, 这里要注意修改域名为自己配置的域名，然后需要输入上面我们生成的密码

ldapadd -x -D cn=admin,dc=fengxc,dc=com -W -f ~/ldap/base.ldif

通过以上的所有步骤，我们就设置好了一个 LDAP 目录树：其中基准 “dc=fengxc,dc=com” 是该树的根节点，其下有一个管理域 “cn=admin,dc=fengxc,dc=com” 和两个组织单元 “ou=People,dc=fengxc,dc=com” 及 “ou=Group,dc=fengxc,dc=com”。

5 安装启动phpldapadmin

yum remove php*
rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
rpm -Uvh http://rpms.remirepo.net/enterprise/remi-release-7.rpm
yum localinstall http://rpms.famillecollet.com/enterprise/remi-release-7.rpm
yum install php70w
yum install php70w-fpm
yum install php70w-ldap
yum install phpldapadmin
yum install nginx

5.1 修改配置用DN登录ldap

vim /etc/phpldapadmin/config.php

# 398行，默认是使用uid进行登录，我这里改为cn，也就是用户名
$servers->setValue('login','attr','cn');

# 460行，关闭匿名登录，否则任何人都可以直接匿名登录查看所有人的信息
$servers->setValue('login','anon_bind',false);

5.2 Nginx配置添加对phpldapadmin的反向代理

location /htdocs {
    alias /usr/share/phpldapadmin/htdocs;
    index index.php;
    location ~ \.php$ {
        alias /usr/share/phpldapadmin;
        fastcgi_pass 127.0.0.1:9000;
        fastcgi_index index.php;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;
    }
}

5.3 启动 php-fpm

systemctl start php-fpm
systemctl enable php-fpm

5.4 启动nginx

systemctl start nginx
systemctl enable nginx

5.5 登录 phpLDAPadmin

6 使用migrationtools 创建用户

详见章节2.3

很好，到这一步你已经成功一半了，再接再厉！

回归正文，本章重点是如何创建LDAP用户。

migrationtools 这个工具我们之前已经安装好了。如果没有安装可以通过yum安装。

6.1 修改migrate_common.ph文件

# vim /usr/share/migrationtools/migrate_common.ph
# Default DNS domain
$DEFAULT_MAIL_DOMAIN = "fengxc.com";

# Default base 
$DEFAULT_BASE = "dc=fengxc,dc=com";

6.2 利用pl脚本将/etc/passwd 和/etc/group生成LDAP能读懂的文件格式

使用一个linux普通用户来测试。

$ useradd test
$ cat /etc/passwd | grep test > /tmp/passwd
$ cat /etcgroup | grep test > /tmp/group
$ /usr/share/migrationtools/migrate_base.pl > /tmp/base.ldif  
$ /usr/share/migrationtools/migrate_passwd.pl  /tmp/passwd > /tmp/passwd.ldif  
$ /usr/share/migrationtools/migrate_group.pl  /tmp/group > /tmp/group.ldif

6.3 将文件导入LDAP

$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/base.ldif 
$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/passwd.ldif 
$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/group.ldif

6.4 设置密码

登录phpLDAPadmin，定位到test账号，如下图中的 uid=test。

点击“赋值”

输入密码，点击“Check password”可以验证输入密码。

7 Hive配置LDAP

在 hive-site.xml 中配置添加以下配置

  
  <property>
    <name>hive.server2.authenticationname>
    <value>LDAPvalue>
    <description>客户端身份认证方式description>
  property>
  <property>
    <name>hive.server2.authentication.ldap.urlname>
    <value>ldap://centos3value>
    <description>LDAP Urldescription>
  property>
  <property>
    <name>hive.server2.authentication.ldap.baseDNname>
    <value>ou=People,dc=fengxc,dc=comvalue>
    <description>LDAP搜索的baseDNdescription>
  property>

8 验证

8.1 启动HiveServer2

$ $HIVE_HOME/bin/hiveserver2

8.2 启动 LDAP

$ systemctl start slapd

8.1 使用Beeline验证

用于验证连接的用户名和密码来源于章节6

8.1.1 输入正确的用户名和密码

输入正确的用户名和密码连接成功。

8.1.1 输入错误的用户名和密码

输入错误的用户名和密码连接失败。

8.2 使用SpringBoot验证

8.2.1 Maven 依赖

测试Java程序能否连接上hive，下面3个依赖是关键。

<dependency>
    <groupId>org.mybatis.spring.bootgroupId>
    <artifactId>mybatis-spring-boot-starterartifactId>
    <version>1.3.2version>
dependency>

<dependency>
    <groupId>com.alibabagroupId>
    <artifactId>druid-spring-boot-starterartifactId>
    <version>1.1.23version>
dependency>

<dependency>
    <groupId>org.apache.hivegroupId>
    <artifactId>hive-jdbcartifactId>
    <version>2.3.7version>
    <exclusions>
        <exclusion>
            <groupId>org.eclipse.jetty.aggregategroupId>
            <artifactId>*artifactId>
        exclusion>
    exclusions>
dependency>

8.2.2 application.yml中配置错误的密码

在配置文件中，下面的这些配置是spring boot 应用连上hive的关键配置，故意输入错误的密码。

spring:
  datasource:
    url: jdbc:hive2://localhost:10000/airline
    type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: org.apache.hive.jdbc.HiveDriver
    username: test
    password: 654321

验证结果如下图所示：

程序启动失败，错误提示为“create connection SQLException, url: jdbc:hive2://localhost:10000/airline, errorCode 0, state 08S01”

8.2.3 application.yml中配置正确的密码

在配置文件中，下面的这些配置是spring boot 应用连上hive的关键配置，输入正确的密码。

spring:
  datasource:
    url: jdbc:hive2://localhost:10000/airline
    type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: org.apache.hive.jdbc.HiveDriver
    username: test
    password: 123456

验证结果如下图所示：

程序正常运行。

至此，本文结束。

参考资源

LDAP 中 CN, OU, DC 的含义

LDAP数据模型定义

LDAP系列（1）：快速搭建 LDAP 服务器

CentOS7采用yum方式安装PHP7

如何在OpenLDAP服务器上更改帐户密码

hive、impala集成ldap