Kerberized Hadoop系列(2)-Kerberized HDFS
本文为系列文章kerberized_hadoop中的一篇，相关文章：
#集群配置##
Hadoop集群中有三个节点，/etc/hosts文件内容如下：
168.16.1.21 node21
168.16.1.22 node22
168.16.1.23 node23
必须配置集群hosts。Namenode在节点node21上，Datanode在三个节点都有安装。
#安装Kerberos##
##安装###
将KDC server安装到node21，集群中所有的节点都要安装krb5-workstation，因为每个节点都是一个workstation，即kerberos的client。
安装KDC(在node21):
#yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation -y
在所有节点安装workstation:
#yum install krb5-devel krb5-workstation -y
##配置###
我的realm名为HADOOP，在配置kerberos时使用。
###配置KDC####
在node21上修改文件/etc/krb5.conf，内容如下：
[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log
[libdefaults]
default_realm = HADOOP
dns_lookup_realm = false
dns_lookup_kdc = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
allow_weak_crypto = true
default_tkt_enctypes = rc4-hmac
default_tgs_enctypes = rc4-hmac
[realms]
HADOOP = {
kdc = node21
admin_server = node21
}[logging]是配置日志文件路径；配置默认realm为HADOOP；[realms]则是配置每个realm的kdc和admin_server所在节点，此处只有HADOOP的信息，如果有多个realms，可直接追加即可。在admin_server所在节点，如果管理员有root权限，就可以直接执行命令kadmin.local，进入kerberos shell，执行一系列操作，如添加principal等。
修改/var/kerberos/krb5kdc/kdc.conf，内容如下：
[kdcdefaults]
kdc_ports = 88
kdc_tcp_ports = 88
[realms]
HADOOP = {
kadmind_port = 749
#master_key_type = aes256-cts
acl_file = /var/kerberos/krb5kdc/kadm5.acl
dict_file = /usr/share/dict/words
admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
supported_enctypes = aes256-cts:normal aes128-cts:normal des3hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
}上述是对realm进行详细配置，如访问控制列表（ACL）文件路径，支持的加密方式等。
修改ACL文件内容，即/var/kerberos/krb5kdc/kadm5.acl，内容如下：
*/admin@HADOOP *
之前提到过可以在admin_server所在节点以root身份直接进入kerberos shell进行admin操作，但是，并不是所有的管理员都具有root权限，所以配置ACL文件，给予格式为*/admin@HADOOP的principals管理权限，即使不在admin_server节点，也能够远程登录KDC执行授权的admin操作。
###配置workstation####
将在KDC server配置的文件/etc/krb5.conf 拷贝到集群中所有的workstations即可。
(省去node21，因为已有）
# scp /etc/krb5.conf node22:/etc/krb5.conf
# scp /etc/krb5.conf node23:/etc/krb5.conf
##初始化###
为realm HADOOP创建相应的数据库，在node21上执行命令
# kdb5_util -P 123456 -r HADOOP create -s
该命令默认创建一个名为principal的数据库，当然也可以指定要创建的数据库名，使用-d。如果遇到数据库已经存在的情况，直接删除掉 /var/kerberos/krb5kdc/下与数据库名相关的文件。
##启动Kerberos###
在node21上执行如下命令启动kerberos服务：
# chkconfig --level 35 krb5kdc on
# chkconfig --level 35 kadmin on
# service krb5kdc start
# service kadmin start
##创建管理员###
管理kerberose，可以使用kadmin.local或kadmin。如果有访问 kdc 服务器的 root 权限，但是没有 kerberos admin 账户，使用 kadmin.local。如果没有访问 kdc 服务器的 root 权限，但是用 kerberos admin 账户，使用 kadmin。
创建远程管理的管理员，在node21上执行命令：
# kadmin.local -q "addprinc root/admin@HADOOP"
手动输入两次密码即可。
##Java相关###
在配置kdc.conf时，支持的加密方式有AES-256，对于使用 centos5. 6及以上的系统，默认使用 AES-256 来加密的，java默认不支持，需换jar包。到oracle官网下载相应版本的JCE jar（点击下载java7 JCE），解压zip文件后，将jar文件拷贝到目录$JAVA_HOME/jre/lib/security。
#配置Kerberized HDFS##
主要分为两个部分：在KDC为HDFS添加相关信息，如principal；修改HDFS配置文件，启用安全模式，并设置kerberos相关信息。
##Kerberos端的工作###
###创建HDFS principals####
NameNode 和 DataNode 是通过用户hdfs启动的，故为集群中每个服务器节点添加hdfs的principal；另外为每个节点添加HTTP的principal。
在KDC (即node21)上创建hdfs principle，并随机生成密钥
#kadmin.local
addprinc -randkey hdfs/node21@HADOOP
addprinc -randkey hdfs/node22@HADOOP
addprinc -randkey hdfs/node23@HADOOP
创建HTTP principle：
addprinc -randkey hdfs/node21@HADOOP
addprinc -randkey hdfs/node22@HADOOP
addprinc -randkey hdfs/node23@HADOOP
###生成keytab文件####
每个节点上只存储自己对应的principals的keytab文件。 keytab文件名必须是生成principals对应的服务名称，如果你为 HDFS 生成一个 keytab文件，则文件名必须为 hdfs.keytab 。
创建一个名为/tmp/hdfs_keytabs 的目录。 在该目录下，执行
# kadmin.local
ktadd -k hdfs_21.keytab hdfs/node21@HADOOP
ktadd -k hdfs_21.keytab HTTP/node21@HADOOP
ktadd -k hdfs_22.keytab hdfs/node22@HADOOP
ktadd -k hdfs_22.keytab HTTP/node22@HADOOP
ktadd -k hdfs_23.keytab hdfs/node23@HADOOP
ktadd -k hdfs_23.keytab HTTP/node23@HADOOP
生成的keytab文件就在 /tmp/hdfs_keytabs下。
###部署keytab文件####
将每个keytab文件拷贝到相应的节点的/etc下，并命名为hdfs.keytab文件：
# scp hdfs_21.keytab root@node21:/etc/hdfs.keytab
# scp hdfs_22.keytab root@node22:/etc/hdfs.keytab
# scp hdfs_23.keytab root@node23:/etc/hdfs.keytab
keytab文件内容敏感，在每个节点上将其owner改为hdfs:hadoop，权限改为400:
# chown hdfs:hadoop /etc/hdfs.keytab; chmod 400 /etc/hdfs.keytab
##HDFS端的工作###
停掉集群。
###启动安全模式####
修改集群中所有节点的core-site.xml，添加如下内容：
<property>
<name>hadoop.security.authentication</name>
<value>kerberos</value>
</property>
<property>
<name>hadoop.security.authorization</name>
<value>true</value>
</property>###配置hdfs-site.xml####
分别为NameNode、JounalNode、Secondary NameNode、DataNode等配置principal及其keytab文件的路径。
为NameNode添加安全配置：
<property>
<name>dfs.namenode.keytab.file</name>
<value>/etc/hdfs.keytab</value>
</property>
<property>
<name>dfs.namenode.kerberos.principal</name>
<value>hdfs/_HOST@HADOOP</value>
</property>
<property>
<name>dfs.namenode.kerberos.internal.spnego.principal</name>
<value>HTTP/_HOST@HADOOP</value>
</property>
<property>
<name>dfs.journalnode.keytab.file</name>
<value>/etc/hdfs.keytab</value>
</property>
<property>
<name>dfs.journalnode.kerberos.principal</name>
<value>hdfs/_HOST@HADOOP</value>
</property>
<property>
<name>dfs.journalnode.kerberos.internal.spnego.principal</name>
<value>HTTP/_HOST@HADOOP</value>
</property>_HOST会在HDFS启动登录KDC时替换为hostname。在以上配置中看到，对jounalnode进行了配置，这样的话，就要求此时Zookeeper已经配置了Kerberos，同时不需要再配置secondary namenode了，但是如果需要配置secondary namenode，就再添加如下内容：
<property>
<name>dfs.secondary.namenode.keytab.file</name>
<value>/etc/hdfs.keytab</value>
</property>
<property>
<name>dfs.secondary.namenode.kerberos.principal</name>
<value>hdfs/_HOST@HADOOP</value>
</property>
<property>
<name>dfs.secondary.namenode.kerberos.internal.spnego.principal</name>
<value>HTTP/_HOST@HADOOP</value>
</property>为DataNode进行安全配置：
<property>
<name>dfs.datanode.data.dir.perm</name> <!--该属性原文件已有，此处修改-->
<value>700</value>
</property>
<property>
<name>dfs.datanode.keytab.file</name>
<value>/etc/hdfs.keytab</value>
</property>
<property>
<name>dfs.datanode.kerberos.principal</name>
<value>hdfs/_HOST@HADOOP</value>
</property>
<property>
<name>dfs.web.authentication.kerberos.principal</name>
<value>HTTP/_HOST@HADOOP</value>
</property>
<property>
<name>dfs.web.authentication.kerberos.keytab</name>
<value>/etc/hdfs.keytab</value>
</property>
<property>
<name>dfs.datanode.address</name> <!--该属性原文件已有，此处修改-->
<value>0.0.0.0:1002</value>
</property>
<property>
<name>dfs.datanode.http.address</name> <!--该属性原文件已有，此处修改-->
<value>0.0.0.0:1004</value>
</property>dfs.datanode.address表示 data transceiver RPC server 所绑定的 hostname 或 IP 地址，如果开启 security，端口号必须小于 1024(privileged port)，否则的话启动 datanode 时候会报 Cannot start secure cluster without privileged resources 错误。
###启动集群####
重启已经停掉的集群
####启动NameNode#####
在node21上启动，启动前先获取所需要的ticket，即用户hdfs的principal hdfs/node21@HADOOP的TGT：
# kinit -k -t /etc/hdfs.keytab hdfs/node21@HADOOP
# klist //查看ticket信息
# service hadoop-hdfs-namenode start //启动NameNode
# service hadoop-hdfs-namenode status //看一下是否启动成功。
####启动DataNode#####
启动node21 DataNode：
# service hadoop-hdfs-datanode start
启动node22 DataNode（在node22）：
# kinit -k -t /etc/hdfs.keytab hdfs/node22@HADOOP
# service hadoop-hdfs-datanode start
node23 DataNode的启动如node22一样.
##测试###
执行： # klist
查看当前是否有Ticket，因为之前在每个节点上都执行了kinit，所以应该是有的。但是，一个HDFS用户一般是没有hdfs principal的Ticket的，所以默认应该是没有Ticket的，执行：
# kdestroy
清空一下cache。
在cache中没有任何Ticket的情况下执行：
# hdfs dfs -ls /
报错：会报出错误No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]，就是说，当前用户没有通过认证，无法访问HDFS。
所以现在为当前用户添加一个principal，在node21上：
# kadmin.local
kadmin.local: addprinc test@HADOOP //会要求输入密码，输入即可，记住此密码
kadmin.local: exit
# kinit test@HADOOP
# hdfs dfs -ls / //成功