🕰️ 작성일 : 2024.03.22

1. OpenSearch 스토리지 구조

• Hot Storage - Data Node(EBS)
  • Hot Storage로 데이터를 각 EBS에 저장하는 구조로 가장 빠른 Access를 제공함.
  • Data Node는 가장 빠른 Access를 제공하기 때문에, Real-time Dashboard를 구성하는데 활용.
• Warm Storage - Ultra Warm Node(S3)
  • Data Node와는 다르게 데이터를 S3에 저장하고 활용할 수 있으며 S3에 저장된 데이터를 UltraWarm Node로 가져와서 Cache처럼 사용 가능함.
  • Data의 수정이 불가능(’RO’)하며 데이터를 수정 할 경우 Data Node로 옮겨와야함.
  • OpenSearch or Elasticsearch 6.8 or higher.
  • Data Node보다 가격 저렴
• Cold Storage - No Computing(S3)
  • Ultra Warm Node에 Attach/Detach 하는 방식으로 사용하는 구조.
  • 오래된 데이터를 아카이브 형식으로 사용하는 구조로 S3에 저장하는 구조
  • Cold Storage를 사용하기 위해서는 Ultra Warm Node를 활성화해야함.
  • Cold storage requires OpenSearch or Elasticsearch version 7.9 or later.

2. Warm/Cold Storage Manual Migration Test

1. 테스트용 Index를 하나 생성 및 확인 - Kibana에서도 확인 가능

1. coinone-test’ 인덱스를 Warm으로 이동 및 확인

# Index를 warm으로 이동
POST _ultrawarm/migration/coinone-test/_warm

# Warm Index 조회
GET _warm

1. Cold Storage로 이동 및 읽기 쿼리 테스트

• Cold Storage로 이동 시 Time Stamp 지정이 필요하며, 자세한 Parameters는 AWS 링크 확인

# Cold Storage로 이동
POST _ultrawarm/migration/coinone-test/_cold?ignore=timestamp

# Cold Storage의 인덱스 확인
GET _cold/indices/_search

# Cold Storage의 인덱스 읽기 시도 -> 읽기 시도 실패(Cold에 있기 때문)
GET coinone-test/_search

3. Index State Management를 통한 자동화 - Sample

• Hot Index의 10일 이후 Warm으로 이동
• Warm Index의 80일 이후 Cold로 이동
• 생성 된 지 총 1년 이후 최종 삭제

{
  "policy": {
    "description": "Demonstrate a hot-warm-cold-delete workflow.",
    "default_state": "hot",
    "schema_version": 1,
    "states": [{
        "name": "hot",
        "actions": [],
        "transitions": [{
          "state_name": "warm",
          "conditions": {
            "min_index_age": "10d"
          }
        }]
      },
      {
        "name": "warm",
        "actions": [{
          "warm_migration": {},
          "retry": {
            "count": 5,
            "delay": "1h"
          }
        }],
        "transitions": [{
          "state_name": "cold",
          "conditions": {
            "min_index_age": "90d"
          }
        }]
      },
      {
        "name": "cold",
        "actions": [{
            "cold_migration": {
              "timestamp_field": "<your timestamp field>"
            }
          }
        ],
        "transitions": [{
          "state_name": "delete",
          "conditions": {
             "min_index_age": "365d"
          }
        }]
      },
      {
        "name": "delete",
        "actions": [{
          "notification": {
            "destination": {
              "chime": {
                "url": "<URL>"
              }
            },
            "message_template": {
              "source": "The index {{ctx.index}} is being deleted."
            }
          }
        },
        {
          "cold_delete": {}
        }]
      }
    ]
  }
}