自建ElasticSearch迁移阿里云

1 自建 ElasticSearch迁移阿里云 场景描述 解决的问题 以ElasticSearch为例，演示搭建模拟业务系 ⚫ 自建ElasticSearch的云上/跨云备份需求。 统、VPN网关和 IPSec VPN隧道，介绍如何通过 ⚫ 自建ElasticSearch迁移到阿里云 快照的方式，将 ElasticSearch索引数据安全备 ElasticSearch服务实例。 份到阿里云 OSS存储空间，以及介绍如何将备份 在OSS的快照仓库恢复到阿里云 ElasticSearch 实例，进一步达到 ElasticSearch迁移上云的目 的。 产品列表 VPC，ECS，VPN网关，OSS，阿里云 ElasticSearch，云速搭 CADT 文档版本：20191203

2文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称） 标题 to the text that you want to appear here. 阿里云 自建 ElasticSearch快照 备份 OSS 文档版本：20150122（发布日期） II

3自建 ElasticSearch快照备份 OSS 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 自建 ElasticSearch快照备份 OSS 文档编号 095 文档版本 V1.3 版本日期 2021-08-02 文档状态 外部发布 制作人 游士 审阅人 游圣、云滴、毕役 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/09/06 云魁 游圣、云滴、毕役 创建 V1.1 2019/09/19 筱晖 - 文档优化 V1.2 2019/12/03 云魁 增加快照恢复 到阿里云 ElasticSearch 实例 V1.3 2021/08/02 游士 使用 CADT迭 代文档并优化 文档版本：20210802 I

4自建 ElasticSearch快照备份 OSS 前言 前言 概述 客户业务系统部署在 IDC或者公有云环境，通常会部署基于 ELK的日志收集、存 储、分析和展现系统。于数据高可用和灾备需求，将 ElasticSearch中存储的索引数 据，备份至阿里云 OSS的存储空间，同时备份数据流基于 IPSec VPN/专线进行安 全传输。使用者可以进一步将保存在 OSS存储空间中的快照，恢复到自建 ElasticSearch服务器或者阿里云的 ElasticSearch实例。 名词解释 ⚫ 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可 以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详 见：https://www.aliyun.com/product/developerservices/cadt ⚫ OSS 阿里云对象存储服务（Object Storage Service，简称 OSS）为您提供基于网 络的数据存取服务。使用 OSS，您可以通过网络随时存储和调用包括文本、图 片、音频和视频等在内的各种非结构化数据文件。 ⚫ ElasticSearch Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速并 接近实时地存储、搜索和分析大量数据。它通常用作底层引擎/技术，为具有复 杂搜索功能和要求的应用程序提供支持。 ⚫ 阿里云 Elasticsearch 提供 100%兼容开源 Elasticsearch的功能，以及 Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服 务。与开源社区背后商业公司 Elastic战略合作，为客户提供企业级权限管控、 安全监控告警、自动报表生成等场景服务。 ⚫ Logstash 文档版本：20210802 III

5自建 ElasticSearch快照备份 OSS 前言 Logstash是一个开源数据收集引擎，具有实时流水线功能。 Logstash可以动 态统一来自不同来源的数据，并将数据规范化之后投递到您选择的目的地。为 各种高级下游分析和可视化用例清理和准备所有数据 ⚫ Kibana Kibana是一个开源分析和可视化平台，旨在与 Elasticsearch协同工作。您使用 Kibana搜索，查看和与存储在 Elasticsearch索引中的数据进行交互。您可以轻 松执行高级数据分析，并在各种图表，表格和地图中可视化您的数据。 ⚫ VPN网关 VPN网关是一款基于 Internet的网络连接服务，通过加密通道的方式实现企业 数据中心、企业办公网络或 Internet终端与阿里云专有网络（VPC）安全可靠 的连接。VPN网关提供 IPsec-VPN连接和 SSL-VPN连接。 ⚫ IPSec VPN 基于路由的 IPsec-VPN，不仅可以更方便的配置和维护 VPN策略，而且还提供 了灵活的流量路由方式。您可以使用 IPsec-VPN功能将本地数据中心与 VPC 或不同的 VPC之间进行连接。IPsec-VPN支持 IKEv1和 IKEv2协议。只要支 持这两种协议的设备都可以和阿里云 VPN网关互连，比如华为、华三、山石、 深信服、Cisco ASA、Juniper、SonicWall、Nokia、IBM 和 Ixia等。 文档版本：20210802 IV

6自建 ElasticSearch快照备份 OSS 目录 目录 文档版本信息 .................................................................... I 法律声明 ....................................................................... II 前言 .......................................................................... III 目录 ............................................................................ V 最佳实践概述 .................................................................... 1 前置条件 ........................................................................ 3 资源规划说明 .................................................................... 4 1. 基础环境搭建 ................................................................. 5 1.1. 使用云速搭 CADT快速创建资源 .......................................... 5 1.2. 搭建ELK日志管理系统 ................................................ 12 1.3. 搭建Magento系统 .................................................... 13 2. 创建 IPSec VPN隧道 ......................................................... 16 2.1. 创建杭州区域的 VPN网关 .............................................. 16 2.2. 创建杭州区域的 IPSec VPN连接 ........................................ 16 2.3. 创建客户 IDC的FlexGW VPN网关和隧道 ................................. 20 2.4. 在客户 IDC添加到阿里云 OSS服务的路由 ................................ 22 2.5. 连通性验证 .......................................................... 23 3. ElasticSearch快照备份到阿里云 OSS .......................................... 24 3.1. 创建ElasticSearch快照 .............................................. 24 4. 快照恢复到 ElasticSearch ................................................... 28 4.1. 恢复到自建 ElasticSearch ............................................. 28 4.2. 恢复到阿里云 ElasticSearch实例 ...................................... 31 4.2.1. 创建阿里云 ElasticSearch实例 .................................... 31 4.2.2. 创建并关联快照仓库 .............................................. 32 4.2.3. 恢复快照 ........................................................ 33 文档版本：20210802 V

7自建 ElasticSearch快照备份 OSS 最佳实践概述 最佳实践概述 应用场景 客户业务系统部署在 IDC或者公有云环境，为保障高可用，对自建 ELK搜索分析中 的数据有云上备份和跨云备份需求。本最佳实践方案以 ElasticSearch为例，演示搭 建模拟业务系统、VPN网关和 IPSec VPN隧道，并介绍如何通过快照的方式，将 快照数据安全备份到阿里云 OSS存储空间。最后介绍如果将备份在 OSS的快照仓 库恢复到阿里云 ElasticSearch实例 目标客户：IDC/公有云客户对自建 ELK日志系统有云上、跨云备份、迁移到阿里云 的 ElasticSearch的客户。 技术架构 本实践基于如下图所示的技术架构和主要流程。 方案优势 ⚫ 安全性 基于 IPSec VPN/专线的方式进行数据安全传输 ⚫ 低成本 可以在 OSS Bucket设置对象的生命周期，分层存储节省存储的成本 ⚫ ElasticSearch索引的快照机制 文档版本：20210802 1

8自建 ElasticSearch快照备份 OSS 最佳实践概述 备份过程是“智能”的，第一个快照是索引数据的完整拷贝，但是所有后续的快 照会保留的是已存快照和新数据之间的差异。随着数据进行快照的进行，备份也 在增量的添加和删除。这意味着后续备份会相当快速，因为它们只传输很小的数 据量。 ⚫ 快照仓库可共享 创建在 OSS上的 ElasticSearch快照仓库可以被其他 ElasticSearch实例（例如 ECS上自建 ES，或者阿里云 ES实例）所使用，达到快速迁移和恢复 ElasticSearch实例的目的。 文档版本：20210802 2