统一日志中心关键设计揭秘 -索引生命周期管理

Elasticsearch是一个开源的分布式、RESTful风格的搜索和数据分析引擎，可用于时序数据（如日志、监控数据）的管理和存储。对于一个全文搜索引擎来说，索引是灵魂。

这里先了解下什么是索引。索引（index）是具有相似特性的文档（Document）集合，索引就相当于MySQL中的数据库，文档相当于MySQL中的表。日志数据可以通过索引名称进行标识，并引用索引名称完成日志数据的创建、搜索、更新及删除操作。

提到日志管理，不得不说“hot-warm-cold”分层体系架构，该架构常用于日志或指标类的时序数据，将节点分为hot、warm、cold节点。hot节点存放用户最关心的热数据，提供数据写入和查询；warm节点或cold节点存放用户不太关心或者关心优先级低的暖数据或冷数据，仅提供数据查询不再写入数据。这样做可以合理分配资源，如CPU、内存、硬盘，提高数据查询效率。这种架构实现的本质是对索引的管理。

所以说，在海量数据场景下，索引管理是非常有必要，同时也是非常有挑战性的事情。而索引的管理可以交给ES的索引生命周期管理功能。

索引生命周期管理（Index Lifecycle Management，ILM），是在ES 6.6首次引入并在6.7版正式推出的一项功能，负责索引从设置、创建、打开、关闭到删除的全生命周期过程的管理。比如，我们可以使用ILM执行以下操作：

• 当某索引达到一定容量或日志条数后，创建新索引；

• 按时间（每天、每周或每月）创建一个新索引并归档先前的索引；

• 删除旧索引以执行数据保留策略。

ILM定义了四个索引生命周期阶段：

• Hot：主要处理数据的实时写入和索引查询；

• Warm：不再写入数据，但仍提供查询；

• Cold：不再写入数据，提供很少的查询；

• Delete：不再写入数据，数据将被删除。

生命周期最多可以有四个阶段：hot、warm、cold和delete。生命周期管理的创建可以通过ILM API创建，也可以通过Kibana界面进行配置。

下面举例一个简单的场景：在hot、delete两个阶段进行配置，使索引在hot阶段保留15天后进入delete阶段，然后delete阶段再保留15天后删除索引，即索引保留30天。

在整个过程中会涉及到以下三个步骤：

• 创建生命周期策略：指定索引生命周期中各个阶段以及每个阶段要执行的操作。

• 创建索引模板：定义索引模式，设置该索引使用的生命周期策略，以及在hot阶段执行Rollover操作时要更新的索引别名。

• 将策略应用于索引：使生命周期策略在指定索引上生效。

在hot阶段，Rollover操作的依据有三种：

• max_age：在当前阶段索引保留最长时间；

• max_size：在当前阶段索引保留最大大小；

• max_docs：在当前阶段索引保留最多日志条数。

PUT _ilm/policy/test_policy{  \"policy\": {    \"phases\": {      \"hot\": {                             \"actions\": {          \"rollover\": {               \"max_age\": \"15d\"          }        }      },      \"delete\": {        \"min_age\": \"15d\",                  \"actions\": {          \"delete\": {}                     }      }    }  }}

通过Kibana界面配置：

打开Kibana–>管理–>索引生命周期策略–>创建策略，然后填写相关项。

接下来需要将上述策略与索引模板关联起来，然后创建索引时使用该索引模板。如果不进行关联，而是将策略直接应用到索引，那么策略中rollover操作执行时创建的新索引就会无法沿用指定的策略。

通过API创建：

打开Kibana–>管理–>索引管理–>索引模板–>创建模板，然后填写相关项。

等待索引模板创建完毕后，还需要创建一个初始索引，并将其指定为索引模板中rollover_alias的写索引。该索引的名称必须与模板的索引模式匹配，并以数字结尾。Rollover时，此值将递增以生成新索引的名称。

索引生命周期管理策略指定了适用于哪些阶段，在每个阶段中执行了哪些操作以及何时在各个阶段之间进行转换。索引生命周期管理的各阶段允许的操作如下：

以上操作简单介绍如下：

• Allocate：将分片移动到具有不同性能特征的节点，并减少副本的数量。

• Delete：永久删除索引。

• Force merge：减少索引段的数量并清除已删除的文档，使索引为只读。

• Freeze：冻结索引以最小化其内存占用量。

• Migrate：将索引分片移动到与当前{ilm-init]阶段相对应的数据层。

• Read only：阻止对索引的写操作。

• Rollover：删除索引为rollover alias的写索引，然后开始索引到新索引。

• Set priority：降低索引在生命周期中的优先级，以确保首先恢复热索引。

• Shrink：通过缩小索引减少主分片的数量进入新索引。

• Unfollow：将关注者索引转换为常规索引。在rollover、shrink、searchable snapshot操作之前自动执行。

• Wait for snapshot：删除索引之前，确保快照已存在。

• Searchable snapshot[beta]：为配置的存储库中的托管索引拍摄快照，并将其作为可搜索快照。

默认情况下，ILM服务处于RUNNING状态，并管理具有生命周期策略的所有索引。

• 查看ILM服务的当前状态

  GET _ilm/status，在正常操作下，响应显示ILM为RUNNING：\”operation_mode\”: \”RUNNING\”。

• 停止ILM服务

  POST _ilm/stop，ILM服务会将所有策略运行到可以安全停止的地步。当ILM服务关闭时，状态API显示ILM处于STOPPING模式：\”operation_mode\”: \”STOPPING\”；一旦所有策略都处于安全停止点，ILM就会进入STOPPED模式：\”operation_mode\”: \”STOPPED\”。

• 重新启动ILM并恢复执行策略

  POST _ilm/start，将ILM服务置于RUNNING状态，并且ILM从中断处开始执行策略。