ElasticSearch 集群安全

公号：码农充电站pro

主页：https://codeshellme.github.io

在安装完 ES 后，ES 默认是没有任何安全防护的。

ES 的安全管理主要包括以下内容：

身份认证：鉴定访问用户是否合法。
用户鉴权：设置用户有哪些访问权限。
传输加密：数据在传输的过程中，要加密。
日志审计：记录集群操作。
等

这里有一些免费的安全方案：

设置 Nginx 方向代理。
安装免费的安全插件，比如：
- Search Guard：一个安全和报警的 ES 插件，分收费版和免费版。
- Readonly REST
X-Pack 的 Basic 版：可参考这里。

1，身份认证

ES 中提供的认证叫做 Realms，有以下几种方式，可分为两类：

内部的：不需要与 ES 外部方通信。
- file（免费）：用户名和密码保存在 ES 索引中。
- native（免费）：用户名和密码保存在 ES 索引中。
外部的：需要与 ES 外部组件通信。
- ldap（收费）
- active_directory（收费）
- pki（收费）
- saml（收费）
- kerberos（收费）

2，用户鉴权

用户鉴权通过定义一个角色，并分配一组权限；然后将角色分配给用户，使得用户拥有这些权限。

ES 中的权限有不同的级别，包括集群级别（30 多种）和索引级别（不到 20 种）。

ES 中提供了很多内置角色（不到 30 种）可供使用。

ES 中提供了很多关于用户与角色的 API：

关于用户：
- Change passwords：修改密码。
- Create or update users：创建更新用户。
- Delete users：删除用户。
- Enable users：打开用户。
- Disable users：禁止用户。
- Get users：查看用户信息。
关于角色：
- Create or update roles：创建更新角色。
- Delete roles：删除角色。
- Get roles：查看角色信息。

3，启动 ES 安全功能

下面演示如何使用 ES 的安全功能。

启动 ES 并通过 xpack.security.enabled 参数打开安全功能：

bin\elasticsearch -E node.name=node0 -E cluster.name=mycluster -E path.data=node0_data -E http.port=9200 -E xpack.security.enabled=true

使用 elasticsearch-setup-passwords 命令启用 ES内置用户及初始 6 位密码（需要手动输入，比如是 111111）：

bin\elasticsearch-setup-passwords interactive

该命令会启用下面这些用户：

elastic：超级用户。
kibana：用于 ES 与 Kibana 之间的通信。
kibana_system：用于 ES 与 Kibana 之间的通信。
apm_system
logstash_system
beats_system
remote_monitoring_user

启用 ES 的安全功能后，访问 ES 就需要输入用户名和密码：

在这里插入图片描述

也可以通过 curl 命令（并指定用户）来访问 ES：

curl -u elastic 'localhost:9200'

更多内容可参考这里。

4，启动 Kibana 安全功能

打开 Kibana 的配置文件 kibana.yml，写入下面内容：

elasticsearch.username: "kibana_system"  # 用户名
elasticsearch.password: "111111"         # 密码

然后使用 bin\kibana 命令启动 Kibana。

访问 Kibana 也需要用户和密码（这里使用的是超级用户）：

在这里插入图片描述

5，使用 Kibana 创建角色和用户

下面演示如何使用 Kibana 创建角色和用户。登录 Kibana 之后进行如下操作：

在这里插入图片描述

点击 Stack Management 后进入下面页面：

在这里插入图片描述

5.1，创建角色

点击 Create role 创建角色：

在这里插入图片描述

创建角色需要填写如下内容：

角色名称
角色对哪些索引有权限及索引的权限级别
添加一个 Kibana 权限
最后创建角色

在这里插入图片描述

经过上面的操作，创建的角色名为 test_role，该角色对 test_index 索引有只读权限；如果进行超越范围的操作，将发生错误。

5.2，创建用户

进入到创建用户的界面，点击 Create user 创建用户：

在这里插入图片描述

填写用户名和密码，并将角色 test_role 赋予该用户。

在这里插入图片描述

5.3，使用用户

使用新创建的用户登录 Kibana：

在这里插入图片描述

该用户只对 test_index 索引有只读权限；如果进行超越范围的操作，将发生错误。

6，传输加密

传输加密指的是在数据的传输过程中，对数据进行加密（可防止数据被抓包）。

传输加密分为集群内加密和集群间加密：

集群内加密指的是 ES 集群内部各节点之间的数据传输时的加密。
- 通过 TLS 协议完成。
集群间加密指的是外部客户访问 ES 时，数据传输的加密。
- 通过 HTTPS 协议完成。

更多的内容可参考这里。

6.1，集群内部传输加密

在 ES 中可以使用 TLS 协议对数据进行加密，需要进行以下步骤：

创建 CA
为 ES 节点创建证书和私钥
配置证书

1，创建 CA 证书

使用如下命令创建 CA：

bin\elasticsearch-certutil ca

成功后，可以看到当前文件夹下多了一个文件：

elastic-stack-ca.p12

2，生成证书和私钥

使用如下命令为 ES 中的节点生成证书和私钥

bin\elasticsearch-certutil cert --ca elastic-stack-ca.p12

成功后，可以看到当前文件夹下多了一个文件：

elastic-certificates.p12

3，配置证书

将创建好的证书 elastic-certificates.p12 放在 config/certs 目录下。

4，启动集群

# 启动第一个节点
bin\elasticsearch 
-E node.name=node0 
-E cluster.name=mycluster
-E path.data=node0_data 
-E http.port=9200 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12

# 启动第二个节点
bin\elasticsearch 
-E node.name=node1 
-E cluster.name=mycluster 
-E path.data=node1_data 
-E http.port=9201 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12

不提供证书的节点将无法加入集群：

bin\elasticsearch 
-E node.name=node2 
-E cluster.name=mycluster 
-E path.data=node2_data 
-E http.port=9202 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate
# 加入失败

也可以将配置写在配置文件 elasticsearch.yml 中，如下：

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

6.2，集群外部传输加密

通过配置如下三个参数，使得 ES 支持 HTTPS：

xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.http.ssl.truststore.path: certs/elastic-certificates.p12

在命令行启动：

bin\elasticsearch 
-E node.name=node0 
-E cluster.name=mycluster
-E path.data=node0_data 
-E http.port=9200 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12
-E xpack.security.http.ssl.enabled=true 
-E xpack.security.http.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.http.ssl.truststore.path=certs\elastic-certificates.p12

启动成功后，可以通过 HTTPS 协议访问 ES：

https://localhost:5601/

6.3，配置 Kibana 链接 ES HTTPS

1，为 Kibana 生成 pem 文件

首先用 openssl 为 kibana 生成 pem：

openssl pkcs12 -in elastic-certificates.p12 -cacerts -nokeys -out elastic-ca.pem

成功后会生成如下文件：

elastic-ca.pem

将该文件放在 config\certs 目录下。

2，配置 kibana.yml

在 Kibana 的配置文件 kibana.yml 中配置如下参数：

elasticsearch.hosts: ["https://localhost:9200"]
elasticsearch.ssl.certificateAuthorities: ["C:\\elasticsearch-7.10.1\\config\\certs\\elastic-ca.pem"]
elasticsearch.ssl.verificationMode: certificate

3，运行 Kibana

bin\kibana

6.4，配置 Kibana 支持 HTTPS

1，为 Kibana 生成 pem

bin/elasticsearch-certutil ca --pem

上面命令执行成功后会生成如下 zip 文件：

elastic-stack-ca.zip

将该文件解压，会有两个文件：

ca.crt
ca.key

将这两个文件放到 Kibana 的配置文件目录 config\certs。

2，配置 kibana.yml

在 Kibana 的配置文件 kibana.yml 中配置如下参数：

server.ssl.enabled: true
server.ssl.certificate: config\\certs\\ca.crt
server.ssl.key: config\\certs\\ca.key

3，运行 Kibana

bin\kibana

启动成功后，可以通过 HTTPS 协议访问 Kibana：

https://localhost:5601/

（本节完。）

推荐阅读：

ElasticSearch 搜索模板与建议

ElasticSearch 聚合分析

ElasticSearch 中的 Mapping

ElasticSearch 数据建模

ElasticSearch 分布式集群

欢迎关注作者公众号，获取更多技术干货。

码农充电站pro