首页 > 日志服务 > ELK日志服务使用-kafka传输日志
2016
02-26

ELK日志服务使用-kafka传输日志

对于日志传输,使用rsyslog传输或者logstash的indexer、shipper也就够用了,一般的redis,kafka,主要是作为缓冲或序列防止logstash挂掉后,日志中断,下面写kafka的使用。

ELK日志服务使用-kafka传输日志 - 第1张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

ELK日志服务使用-rsyslog传输日志文章写了日志传输的几种方式,主要是根据自己的需求调整,如下列几种:

如果是用logstash的shipper和indexer,中间用kafka做传输的存储,请点击 logstash使用zookeeper建立kafka集群对日志收集

下面文章是用kafka作为通道发送日志,不建议使用此方式

在用kafka之前,需要rsyslog模块支持,所以需要对rsyslog升级,并且启用omkafka,我们简单的话用yum安装,如果想享受编译过程,请参考下面(编译安装rsyslog特别麻烦)

下面对rsyslog升级同时加入omhiredis:
下载https://github.com/rsyslog/rsyslog/archive/master.zip

rsyslog编译安装过程中会遇到种种问题,如下:

下面为rsyslog安装升级步骤:

上述编译的过程中,因为rsyslog版本变更,所以出现了一些问题,下面为解决方法

最终rsyslog编译过程为

#kafka的rsyslog模块        http://bbotte.com/
ls /usr/lib64/rsyslog/omkafka.so
# ls /usr/lib64/rsyslog
ELK日志服务使用-kafka传输日志 - 第2张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

ELK日志服务使用-kafka传输日志 - 第3张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

发送日志服务器

kafka的设置

接收日志服务器

发送方写入一条日志:

从两个方面验证日志的传输

 

参考文档:
http://blog.sematext.com/tag/rsyslog/
http://www.rsyslog.com/doc/v8-stable/installation/install_from_source.html

by http://bbotte.com/

最后编辑:
作者:bbotte

ELK日志服务使用-kafka传输日志》有 3 条评论

  1. 哈密 说:

    站主qq多少或者群号请教个问题

  2. Hi there! Do you know if they make any plugins to safeguard against hackers?
    I’m kinda paranoid about losing everything I’ve worked hard on. Any tips?

Watch Jav Online Free - JavMama的回复 取消回复

你的email不会被公开。