그냥저냥 끄적이는 SE

내년에 자빅스를 mysql -> elasticsearch로 메트릭을 저장하려고 한다. 처음에 모든데이터를 다 es에 저장이 가능한줄 알았는데, 메트릭만 저장이 가능하다. Item value type Database table Elasticsearch type Numeric (unsigned) history_uint uint Numeric (float) history dbl Character history_str str Log history_log log Text history_text text zabbix 설정 및 자세한 내용은 아래 링크를 참조하면 될듯 https://www.zabbix.com/documentation/current/en/manual/appendix/install/elastic_sear..

샤드가 무너진 idc에 한쪽에 몰려 있을 경우, 데이터를 못읽는 경우가 생길 수 있기 때문에.. 급하게 shard를 강제로 옮겨야 하는 일이 생겼다. primary shards는 그대로 두고 replica shard만 수동으로 옮기는 짓을 아래 json으로 작업을 했다. POST /_cluster/reroute { "commands": [ { "move": { "index": "testlog-2021.12.11", "shard": 0, "from_node": "ralph-infra-es02", "to_node": "ralph-infra-es01" } } ] } ps. 잘못된 정보 있으면 과감없이 태클 걸어 주세요. 바로 수정하도록 하겠습니다.

a. 클러스터 내 샤드 할당 기능 비활성 #kibana PUT _cluster/settings { "persistent": { "cluster.routing.allocation.enable": "none" } } "cluster.routing.allocation.enable: none" => 샤드를 재분배 하지 않도록 한다. all - (기본값) 모든 종류의 샤드에 샤드 할당을 허용합니다. primaries - 기본 샤드에 대해서만 샤드 할당을 허용합니다. new_primaries - 새 인덱스의 기본 샤드에 대해서만 샤드 할당을 허용합니다. none - 모든 인덱스에 대해 어떤 종류의 샤드 할당도 허용되지 않습니다. b. 프라이머리 샤드와 레플리카 샤드 데이터 동기화 #kibana POST _flush..

PUT _ingest/pipeline/dbl-pipeline { "description": "daily dbl index naming", "processors": [ { "date_index_name": { "field": "clock", "date_formats": [ "UNIX" ], "index_name_prefix": "dbl-", "date_rounding": "d" } } ] } 수집 파이프라인을 사용하면 인덱싱하기 전에 데이터에 대한 일반적인 변환을 수행할 수 있다. 예를 들어 파이프라인을 사용하여 필드를 제거하고, 텍스트에서 값을 추출하고, 데이터를 보강할 수 있다. 파이프라인은 프로세서라고 하는 구성 가능한 일련의 작업으로 구성된다. 각 프로세서는 순차적으로 실행되어 들어오는 문서에 특정..