그냥저냥 끄적이는 SE

  • 홈
  • 태그
  • 방명록

filebeat 1

filebeat를 통해 kafka로 전송하기

간단하게 설명을 하면 각 로그별로 카프카 토픽으로 전송을 하는 방법이다. 여기서 중요하게 다루어야 할 부분은 3가지가 있다. 1. max_procs (동시에 실행할 수있는 최대 CPU 수를 설정합니다. 기본값은 시스템에서 사용할 수있는 논리 CPU 수입니다.) => 이전 회사에서 사용을 했었을 때 해당 옵션을 빼고 하니깐 guest 서버 cpu사용률이 올라갔다...(아주 약간 더 올라갔지만..) => xen이나 가상화 환경을 사용을 한다면 반드시 고려해볼만한 옵션이다. 2. required_acks (브로커에 필요한 ACK 안정성 수준입니다. 0 = 응답 없음, 1 = 로컬 커밋 대기, -1 = 모든 복제본이 커밋 될 때까지 기다립니다. 기본값은 1입니다.) => 정말 유실이 없어야 한다고 한다면 -1,..

open source 설정 및 끄적/kafka 2021.03.16
이전
1
다음
더보기
프로필사진

그냥저냥 끄적이는 SE

그냥 notion이 느려서 여기에다 끄적이기도 합니다...

  • 분류 전체보기 (44)
    • 시스템엔지니어 (14)
      • glusterfs (2)
      • hp (3)
      • 시스템 (2)
    • 개발 (7)
      • bash script (4)
      • python (3)
    • open source 설정 및 끄적 (14)
      • kafka (6)
      • elasticsearch (4)
      • DNS (1)
    • 기타 잡 (2)
    • 오픈소스 모니터링 프로젝트 (1)
    • 랄슐랭가이드 (5)

Tag

Bash, omkafka, tls1.3, 브루클린조인트, 판교식당, linux, 맛집을찾아서, 청량리식당, glusterfs, Kafka, rsyslog, python, ubuntu, 판교맛집, shellscript, elasticsearch, OpenSSL, python3.11, SE, shell script,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바