背景 :
docker版的ES7集群 (集群搭建见文章 ELK合集持续更新(十五):ELK所有部署与集成)
已安装Kibana
ES数据备份到HDFS文件系统 (默认已有现成的HDFS可用)
再从HDFS恢复数据到任一ES7集群 (当前的集群和跨集群分别演示)

snapshot概述

snapshot 可以将ES集群的状态和数据存储到一个外部文件系统(例如 HDFS)

首次备份是全量备份之后增量备份

操作

0.安装repository-hdfs插件 (每个节点操作)

方式一 (慢不用)

ES命令安装远程插件

$ ./bin/elasticsearch-plugin install repository-hdfs

重启集群

方式二
下载插件包版本和ES一致

# 浏览器访问
https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-7.2.0.zip

上传到Linux服务器
cp到docker中/usr/share/elasticsearch/bin/下
docker命令安装本地插件包

$ cd /usr/share/elasticsearch
$ .bin/elasticsearch-plugin install file:///usr/share/elasticsearch/bin/repository-hdfs-7.2.0.zip

1.验证安装成功

重启ES容器

# 操作每个节点
$ docker restart 容器ID

查看插件列表

# 浏览器访问
http://10.255.175.240:9200/_cat/plugins?v

2.创建备份仓库

ES数据的备份需要存储在一个地方这里存储在了HDFS文件系统上 ES自动将备份数据放在HDFS中的自定义目录(指定目录就是备份仓库了) 需要先创建这个目录并给es用户附权限使可操作这个目录

在HDFS中创建目录并附权限

# 进入HDFS主机终端
# 切换到hdfs用户
$ su hdfs
# 创建目录
$ hdfs dfs -mkdir /es7_repository
# 给/es7_repository目录附es用户权限 (docker中默认es用户和组是elasticsearch)
$ hdfs dfs -chown -R elasticsearch:elasticsearch /es7_repository

查看效果

kibana中 -> 点击[管理工具按钮] -> 点击[Snapshot Repositories] -> 点击[Register a repository]

填写仓库信息

验证存储库 (确保该存储库在集群的所有节点上都可正常运行)
POST /_snapshot/es7_repository/_verify

3.快照索引

就是给索引备份

方式一快照所有索引
PUT /_snapshot/仓库名/自定义快照名

# kibana操作
PUT /_snapshot/es7_repository/snapshot_1

方式二快照指定索引
PUT /_snapshot/仓库名/自定义快照名
{
“indices”: “索引名1,索引名2”,
“ignore_unavailable”: true, # 忽略不存在的索引
“include_global_state”: false # 不备份集群状态只备份数据
}

# kibana操作
PUT /_snapshot/es7_repository/snapshot_1
{
  "indices": "kibana_sample_data_logs",
  "ignore_unavailable": true,
  "include_global_state": false
}

4.查看快照信息

监控指定快照/恢复运行状态
GET /_snapshot/仓库名/快照名
GET /snapshot/仓库名/快照名*,快照名2

GET /_snapshot/es7_repository/snapshot_1

或
监控指定快照/恢复详细运行状态
GET /_snapshot/仓库名/快照名/_status
GET /_snapshot/仓库名/快照名1,快照名2/_status

GET /_snapshot/es7_repository/snapshot_1/_status

从快照恢复数据restore

快照(就是备份)存在HDFS中也就是从HDFS中恢复数据到ES集群

确保目标索引是close的

如果目标索引不存在则自动新建索引直接恢复数据

如果目标索引已存在需关闭索引

POST /rename_kibana_sample_data_logs/_close?wait_for_active_shards=1

方式一恢复索引
POST _snapshot/仓库名/快照名/_restore

POST _snapshot/es7_repository/snapshot_1/_restore

方式二恢复索引并重命名
POST /_snapshot/仓库名/快照名/_restore
{
“indices”: “index1name”,
“ignore_unavailable”: true, # 忽略不存在的索引
“include_global_state”: true, # 不恢复集群状态只恢复数据
“rename_pattern”: “index1name”, # 匹配原索引名
“rename_replacement”: “rename_index1name” # 新索引名
}

POST /_snapshot/es7_repository/snapshot_1/_restore
{
  "indices": "kibana_sample_data_logs",
  "ignore_unavailable": true,
  "include_global_state": true,
  "rename_pattern": "kibana_sample_data_logs",
  "rename_replacement": "rename_kibana_sample_data_logs"
}

查看恢复数据进度
GET 索引名/_recovery

GET kibana_sample_data_logs/_recovery

查看备份效果

其他可能遇到的操作

其他可能用到的操作快照和仓库的API

停止并删除快照
DELETE /_snapshot/仓库名/快照名

DELETE /_snapshot/es7_repository/snapshot_1

查询所有快照信息
GET /_snapshot/仓库名/_all

GET /_snapshot/es7_repository/_all

查询当前运行的快照

GET /_snapshot/仓库名/_current

GET /_snapshot/es7_repository/_current

查询当前运行的快照状态
GET /_snapshot/es7_repository/_status

GET /_snapshot/es7_repository/_status

删除仓库
DELETE /_snapshot/仓库名

DELETE /_snapshot/es7_repository

其他可能用到的HDFS命令

删除仓库目录

# 删除
$ hdfs dfs -rm -r /es7_repository
# 查看确认
$ hdfs dfs -ls /

Elasticsearch5版本会遇到的问题

0.创建快照时报错could not read repository data from index blob

背景 : ES5 单点服务

原因
- repository-hdfs插件中配置的java的权限问题

解决

修改插件和ES配置

0.修改plugin-security.policy文件

# 进入插件安装目录
$ cd /opt/elasticsearch-5.3.3/plugins/repository-hdfs
$ vi plugin-security.policy
添加如下
grant {
  // Hadoop UserGroupInformation, HdfsConstants, PipelineAck clinit
  permission java.lang.RuntimePermission "getClassLoader";

  // UserGroupInformation (UGI) Metrics clinit
  permission java.lang.RuntimePermission "accessDeclaredMembers";
  permission java.lang.reflect.ReflectPermission "suppressAccessChecks";

  // org.apache.hadoop.util.StringUtils clinit
  permission java.util.PropertyPermission "*", "read,write";

  // org.apache.hadoop.util.ShutdownHookManager clinit
  permission java.lang.RuntimePermission "shutdownHooks";

  // JAAS is used always, we use a fake subject, hurts nobody
  permission javax.security.auth.AuthPermission "getSubject";
  permission javax.security.auth.AuthPermission "doAs";
  permission javax.security.auth.AuthPermission "modifyPrivateCredentials";
##### ------ 以下为我添加的配置 -------------------
  permission java.lang.RuntimePermission "accessDeclaredMembers";
  permission java.lang.RuntimePermission "getClassLoader";
  permission java.lang.RuntimePermission "shutdownHooks";
  permission java.lang.reflect.ReflectPermission "suppressAccessChecks";
  permission javax.security.auth.AuthPermission "doAs";
  permission javax.security.auth.AuthPermission "getSubject";
  permission javax.security.auth.AuthPermission "modifyPrivateCredentials";
  permission java.security.AllPermission;
  permission java.util.PropertyPermission "*", "read,write";
  permission javax.security.auth.PrivateCredentialPermission "org.apache.hadoop.security.Credentials * \"*\"", "read";
};

1.修改ES的JVM配置

# 进入ES配置目录
$ cd /opt/elasticsearch-5.3.3/config
$ vi jvm.options
最后一行添加
-Djava.security.policy=/opt/elasticsearch-5.3.3/plugins/repository-hdfs/plugin-security.policy

2.重启ES服务
3.可以正常创建快照了

淘先锋技术网

ELK合集持续更新(二十二):Elasticsearch集群的数据备份和迁移

Elasticsearch集群的数据备份和迁移 – snapshot快照