HDFS 部署 Kerberos 认证

分类：hadoop| 发布时间：2018-12-03 11:18:00

概述

本文主要描述了如何在一个 HDFS 集群中部署 Kerberos 认证，假设集群中有以下节点，所有节点都是使用 Ubuntu 14.04 系统：

namenode：作为 namenode
datanode1：数据节点
datanode2：数据节点

为了部署 Kerberos 认证，需要添加一台服务器用于部署 KDC（key distribution center），部署 Kerberos 认证后整个集群有如下节点：

namenode：作为 namenode
datanode1：数据节点
datanode2：数据节点
KDC：作为 KDC 以及 admin-server

安装 KDC

首先使用如下命令安装 KDC 和 admin-server

$ sudo apt-get install krb5-kdc krb5-admin-server

安装过程中，会提示配置默认 realm（比如：HADOOPKRB），可用以下命令重新配置

$ sudo dpkg-reconfigure krb5-config

在本文中以默认 realm 为 HADOOPKRB 为例，如果你配置了不同的默认 realm 需要作相应修改

创建 KRB5 数据库和管理员密码

$ sudo krb5_newrealm

创建相应的 Principal

创建 hdfs Principal

$ sudo kadmin.local -q "addprinc -randkey hdfs/namenode@HADOOPKRB"
$ sudo kadmin.local -q "addprinc -randkey hdfs/datanode1@HADOOPKRB"
$ sudo kadmin.local -q "addprinc -randkey hdfs/datanode2@HADOOPKRB"

创建 HTTP Principal

$ sudo kadmin.local -q "addprinc -randkey HTTP/namenode@HADOOPKRB"
$ sudo kadmin.local -q "addprinc -randkey HTTP/datanode1@HADOOPKRB"
$ sudo kadmin.local -q "addprinc -randkey HTTP/datanode2@HADOOPKRB"

这里一共为每个 HDFS 节点创建了两条 Principal，一个用于 HDFS 协议，一个用于 HTTP 协议。在这里 -randkey 标志表示 kadmin 为 Principal 创建一个随机密码而不是由用户设置密码。之所以在这里使用这个标志，是因为此 Principal 不需要用户交互。

创建客户端 Principal

$ sudo kadmin.local
kadmin.local addprinc hdfs/client@HADOOPKRB

这里创建的 Principal 主要用于客户端登录用。

查看已有的 Principal

$ kadmin.local -q "listprincs"

创建 keytab 文件，keytab 保存了一个或多个 principals 的长期密钥。通过 keytab 文件可以实现无交互的 Kerberos 认证。

创建包含所有节点 hdfs principal 的 hdfs keytab

$ sudo kadmin.local -q "xst -norandkey -k hdfs.keytab hdfs/namenode@HADOOPKRB hdfs/datanode1@HADOOPKRB hdfs/datanode2@HADOOPKRB"

创建包含所有节点 HTTP principal 的 HTTP keytab

$ sudo kadmin.local -q "xst -norandkey -k http.keytab HTTP/namenode@HADOOPKRB HTTP/datanode1@HADOOPKRB HTTP/datanode2@HADOOPKRB"

安装 krb5 客户端

在所有 KDC 外的节点安装 krb5 客户端

$ sudo apt-get install krb5-user krb5-config

将上一步创建的 keytab 文件复制到各个节点

配置 HDFS

公共配置

修改所有节点的 core-site.xml

<property>
    <name>hadoop.security.auth_to_local</name>
    <value>
        RULE:[2:$1@$0](.*@HADOOPKRB)s/.*/hadoop/
        DEFAULT
    </value>
</property>
<property>
    <name>hadoop.security.authentication</name>
    <value>kerberos</value>
</property>

hadoop.security.auth_to_local 映射 Kerberos 的 principals 到本地用户，这里将所有的 HADOOPKRB realm 的 principals 映射为本地的 hadoop 用户, 你可能需要根据实际情况进行修改。这里是映射规则的说明 Configuring the Mapping from Kerberos Principals to Short Names
hadoop.security.authentication 将认证方式设置为 kerberos
修改所有节点的 hdfs-site.xml

<property>
    <name>dfs.block.access.token.enable</name>
    <value>true</value>
</property>

NameNode

hdfs-site.xml

<property>
    <name>dfs.namenode.kerberos.principal</name>
    <value>hdfs/_HOST@HADOOPKRB</value>
</property>
<property>
    <name>dfs.namenode.keytab.file</name>
    <value>/etc/hadoop/hdfs.keytab</value>
</property>
<property>
    <name>dfs.namenode.kerberos.internal.spnego.principal</name>
    <value>HTTP/_HOST@HADOOPKRB</value>
</property>
<property>
    <name>dfs.web.authentication.kerberos.keytab</name>
    <value>/etc/hadoop/http.keytab</value>
</property>
<property>
    <name>dfs.web.authentication.kerberos.principal</name>
    <value>HTTP/_HOST@HADOOPKRB</value>
</property>

需要将 _HOST 修改为具体的主机名
hdfs.keytab 和 http.keytab 的路径请根据实际情况进行修改

Secondary NameNode

hdfs-site.xml

<property>
    <name>dfs.secondary.namenode.kerberos.principal</name>
    <value>hdfs/_HOST@HADOOPKRB</value>
</property>
<property>
    <name>dfs.secondary.namenode.keytab.file</name>
    <value>/etc/hadoop/hdfs.keytab</value>
</property>
<property>
    <name>dfs.secondary.namenode.kerberos.internal.spnego.principal</name>
    <value>HTTP/_HOST@HADOOPKRB</value>
</property>
<property>
    <name>dfs.secondary.web.authentication.kerberos.keytab</name>
    <value>/etc/hadoop/http.keytab</value>
</property>
<property>
    <name>dfs.secondary.web.authentication.kerberos.principal</name>
    <value>HTTP/_HOST@HADOOPKRB</value>
</property>

需要将 _HOST 修改为具体的主机名

DataNode

在安全模式下 DataNode 有两种方式认证本身，一种是通过 SASL，另外一种是通过使用特权端口的方式。这里使用通过特权端口的方式。

安装 jsvc

$ sudo apt-get install jsvc

修改 hdfs-site.xml

<property>
    <name>dfs.datanode.kerberos.principal</name>
    <value>hdfs/_HOST@HADOOPKRB</value>
</property>
<property>
    <name>dfs.datanode.keytab.file</name>
    <value>/etc/hadoop/hdfs.keytab</value>
</property>
<property>
    <name>dfs.datanode.address</name>
    <value>0.0.0.0:578</value>
</property>
<property>
    <name>dfs.datanode.http.address</name>
    <value>0.0.0.0:579</value>
</property>

需要将 _HOST 替换为具体的主机名
dfs.datanode.address 和 dfs.datanode.http.address 修改为小于 1024 的未使用的值即可
hdfs.keytab 的路径需要根据具体情况进行修改
修改 hadoop-env.sh

export HDFS_DATANODE_SECURE_USER=hadoop
export JSVC_HOME=/usr/bin

如果你使用的是 3.0 以下的 HDFS 需要将 HDFS_DATANODE_SECURE_USER 改为 HADOOP_SECURE_DN_USER

通过特权端口来认证 DataNode 的方式需要首先使用 root 用户启动 DataNode 的进程监听特权端口然后再切换到非 root 用户。为了能在 NameNode 使用 start-dfs.sh 能启动各个 DataNode 的进程需要配置 NameNode 到各个 DataNode 的 root 用户的 SSH 认证。关于 SSH 密钥认证的配置可以查看这里：How To Configure SSH Key-Based Authentication on a Linux Server

这里给出一个例子（/home/hadoop/.ssh/config）：

host datanode1
    user root
    IdentityFile /home/hadoop/.ssh/node1_id_rsa

host datanode2
    user root
    IdentityFile /home/hadoop/.ssh/node2_id_rsa

测试

启动 HDFS 集群在 NameNode 节点调用：

$ start-dfs.sh

测试验证配置是否有效
- 验证 RPC port
```
$ kinit hdfs/client@HADOOPKRB
$ hdfs dfs -ls /
$ kdestroy
$ hdfs dfs -ls /
```
- 验证 REST port
```
$ kinit hdfs/client@HADOOPKRB
$ hdfs dfs -ls webhdfs://namenode:9000/
```
端口 9000 需要根据你的实际情况进行修改，可以查看 namenode 的 core-site.xml 中的 fs.default.name 配置项得到当前配置的端口号
- 遇到问题时，可以开启 debug 模式，如下：
```
$ export HADOOP_ROOT_LOGGER=TRACE,console
$ export HADOOP_OPTS="-Dsun.security.krb5.debug=true"
$ hdfs dfs -ls /
```

凌云的博客

行胜于言