ingest pipeline 기능

PUT _ingest/pipeline/dbl-pipeline
{
  "description": "daily dbl index naming",
  "processors": [
    {
      "date_index_name": {
        "field": "clock",
        "date_formats": [
          "UNIX"
        ],
        "index_name_prefix": "dbl-",
        "date_rounding": "d"
      }
    }
  ]
}

수집 파이프라인을 사용하면 인덱싱하기 전에 데이터에 대한 일반적인 변환을 수행할 수 있다. 예를 들어 파이프라인을 사용하여 필드를 제거하고, 텍스트에서 값을 추출하고, 데이터를 보강할 수 있다.

파이프라인은 프로세서라고 하는 구성 가능한 일련의 작업으로 구성된다. 각 프로세서는 순차적으로 실행되어 들어오는 문서에 특정 변경 사항을 적용한다. 프로세서가 실행된 후 Elasticsearch는 변환된 문서를 데이터 스트림 또는 인덱스에 추가한다.

키바나의 수집 노드 파이프라인 기능 또는 수집 API를 사용하여 수집 파이프라인을 생성하고 관리할 수 있다.

전제조건
   - 노드 ingest역할 이 있는 노드는 파이프라인 처리를 처리한다.
   - 수집 파이프라인을 사용하려면 클러스터에 ingest역할이 있는 노드가 하나 이상있어야한다.
   - 수집 로드가 많은 경우 전용 수집 노드를 만드는 것이 좋다.
   - elasticsearch 보안 기능이 활성화된 경우 수집 파이프라인을 관리 하려면 manage_pipeline 클러스터 권한이 있어야 한다.
   - kibana의 ingest node Pipelines 기능을 사용하려면 cluster:monitor/nodes/info 클러스터 권한도 필요하다.