그냥저냥 끄적이는 SE

  • 홈
  • 태그
  • 방명록

omkafka 2

filebeat를 통해 kafka로 전송하기

간단하게 설명을 하면 각 로그별로 카프카 토픽으로 전송을 하는 방법이다. 여기서 중요하게 다루어야 할 부분은 3가지가 있다. 1. max_procs (동시에 실행할 수있는 최대 CPU 수를 설정합니다. 기본값은 시스템에서 사용할 수있는 논리 CPU 수입니다.) => 이전 회사에서 사용을 했었을 때 해당 옵션을 빼고 하니깐 guest 서버 cpu사용률이 올라갔다...(아주 약간 더 올라갔지만..) => xen이나 가상화 환경을 사용을 한다면 반드시 고려해볼만한 옵션이다. 2. required_acks (브로커에 필요한 ACK 안정성 수준입니다. 0 = 응답 없음, 1 = 로컬 커밋 대기, -1 = 모든 복제본이 커밋 될 때까지 기다립니다. 기본값은 1입니다.) => 정말 유실이 없어야 한다고 한다면 -1,..

open source 설정 및 끄적/kafka 2021.03.16

omkafka

[ubuntu18.04 기준] [install] #apt-get install rsyslog-kafka [rsyslog.conf] module(load="imuxsock") # provides support for local system logging module(load="omkafka") action(type="omkafka" topic="dslog" broker="172.30.1.54:9092") module(load="imklog" permitnonkernelfacility="on") $ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat $RepeatedMsgReduction on $FileOwner syslog $FileGroup adm $File..

open source 설정 및 끄적/kafka 2021.03.01
이전
1
다음
더보기
프로필사진

그냥저냥 끄적이는 SE

그냥 notion이 느려서 여기에다 끄적이기도 합니다...

  • 분류 전체보기 (44)
    • 시스템엔지니어 (14)
      • glusterfs (2)
      • hp (3)
      • 시스템 (2)
    • 개발 (7)
      • bash script (4)
      • python (3)
    • open source 설정 및 끄적 (14)
      • kafka (6)
      • elasticsearch (4)
      • DNS (1)
    • 기타 잡 (2)
    • 오픈소스 모니터링 프로젝트 (1)
    • 랄슐랭가이드 (5)

Tag

shellscript, OpenSSL, python3.11, elasticsearch, python, 청량리식당, rsyslog, Bash, 판교식당, 브루클린조인트, shell script, ubuntu, 맛집을찾아서, linux, 판교맛집, SE, glusterfs, omkafka, tls1.3, Kafka,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바