logstash-input-redis插件使用详解

input {#redis {#host=> "10.246.187.12"#redis地址#host=> "10.246.152.116"#redis地址#port => "6379" #redis端口号#password => "123qwe" #如果有安全认证,此项为密码#key => "logstash:redis"#type => "redis-input"#data_type => "list"#threads =>8 #启用线程数量#batch_count => 10 #EVAL命令返回的事件数目#db => 0 #redis数据库的编号#}file {ignore_older => 87400path => ["/app/audit/idpws-login-audit.log"]#path => ["/tmp/test.log"]start_position => beginningsincedb_path => "/app/logstash-7.12.1/sincedb-access"}}

工作流程:

 

  • logstash启动redis插件
  • redis插件获取参数,进行校验工作
  • 判断监听模式(list,channel,pattern_channel等),根据不同的监听模式创建监听任务
  • 创建redis实例,绑定EVAL脚本;通过指定的redis模式,发送请求,监听数据
  • redis返回指定内容的数(可能是列表list,也可能是某个特定的频道中的数据)
  • 得到的数据,进行处理,返回给logstash
  • 如果发送了停止信号,则根据不同的模式,发送不同的命令退出redis。

db

Redis里面有数据库的概念,一般是16个,默认登录后是0,可以通过命令选择。如果应用系统选择使用了不同的数据库,那么可以通过配置这个参数从指定的数据库中读取信息。

key

Redis中的数据都是通过键值来索引的,不管是字符串还是列表,所以这个key相当于数据库中的表。
如果是list或者channel模式,key都是指定的键值;而如果是pattern_channel,那么key可以通过glob通配的方式来指定。

password

有的Redis为了安全,是需要进行验证的。只有设置了password,才能正确的读取信息。相反,如果redis没有设置密码,而logstash中配置了密码,也会报错!

batch_count

这个属性设置了服务器端返回的事件数目,比如设置了5条,那么每次请求最多会直接获取5条日志返回。

data_type logstash工作的类型

logstash中的redis插件,指定了三种方式来读取redis队列中的信息。

  • list=>BLPOP
  • channel=>SUBSCRIBE
  • pattern_channel=>PSUBSCRIBE

其中list,相当于队列;channel相当于发布订阅的某个特定的频道;pattern_channel相当于发布订阅某组频道。channel与pattern_channel区别就在于一个是监听特定的键值,一个是监听某一组键值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/535377.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/535377.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

logstash-input-redis源码解析

首先是程序的自定义,这里设置了redis插件需要的参数,默认值,以及校验等。 然后注册Redis实例需要的信息,比如key的名字或者url等,可以看到默认的data_type是list模式。 程序运行的主要入口,根据不同的dat…

logstash-filter模块

Fillters 在Logstash处理链中担任中间处理组件。他们经常被组合起来实现一些特定的行为来,处理匹配特定规则的事件流。常见的filters如下: grok:解析无规则的文字并转化为有结构的格式。Grok 是目前最好的方式来将无结构的数据转换为有结构可…

weblogic启动慢

1.最差的解决办法 执行命令 mv /dev/random /dev/random.ORIG ln /dev/urandom /dev/random   将/dev/random 指向/dev/urandom 2. 较好的解决办法: 在weblogic启动脚本里setDomainEnv.sh: 加入以下内容 JAVA_OPTIONS"${JAVA_OPTIONS}" -Dja…

SSL双向认证和SSL单向认证的区别

双向认证 SSL 协议要求服务器和用户双方都有证书。单向认证 SSL 协议不需要客户拥有CA证书,具体的过程相对于上面的步骤,只需将服务器端验证客户证书的过程去掉,以及在协商对称密码方案,对称通话密钥时,服务器发送给客…

双向认证SSL原理

文中首先解释了加密解密的一些基础知识和概念,然后通过一个加密通信过程的例子说明了加密算法的作用,以及数字证书的出现所起的作用。接着对数字证书做一个详细的解释,并讨论一下windows中数字证书的管理,最后演示使用makecert生成…

Xtrabackup备份与恢复

一、Xtrabackup介绍 Percona-xtrabackup是 Percona公司开发的一个用于MySQL数据库物理热备的备份工具,支持MySQL、Percona server和MariaDB,开源免费,是目前较为受欢迎的主流备份工具。xtrabackup只能备份innoDB和xtraDB两种数据引擎的表&…

实时备份工具之inotify+rsync

1.inotify简介 inotify 是一个从 2.6.13 内核开始,对 Linux 文件系统进行高效率、细粒度、异步地监控机制, 用于通知用户空间程序的文件系统变化。可利用它对用户空间进行安全、性能、以及其他方面的监控。Inotify 反应灵敏,用法非常简单&…

nginx proxy_cache缓存详解

目录 1. 关于缓冲区指令 1.1 proxy_buffer_size1.2 proxy_buffering1.3 proxy_buffers1.4 proxy_busy_buffers_size1.5 proxy_max_temp_file_size1.6 proxy_temp_file_write_size1.7 缓冲区配置实例2. 常用配置项 2.1 proxy_cache_path2.2 proxy_temp_path2.3 proxy_cache2.4 …

mysql主从延迟

在实际的生产环境中,由单台MySQL作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面 因此,一般来说都是通过集群主从复制(Master-Slave)的方式来同步数据&#xff0c…

16张图带你吃透高性能 Redis 集群

现如今 Redis 变得越来越流行,几乎在很多项目中都要被用到,不知道你在使用 Redis 时,有没有思考过,Redis 到底是如何稳定、高性能地提供服务的? 你也可以尝试回答一下以下这些问题: 我使用 Redis 的场景很…

Redis与MySQL双写一致性如何保证

谈谈一致性 一致性就是数据保持一致,在分布式系统中,可以理解为多个节点中数据的值是一致的。 强一致性:这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验好,…

weblogic忘记console密码

进入 cd /sotware/oracle_ldap/Middleware/user_projects/domains/base_domain/security/ 目录 执行 java -classpath /sotware/oracle_ldap/Middleware/wlserver_10.3/server/lib/weblogic.jar weblogic.security.utils.AdminAccount weblogic(账号) weblogic123(密码) . …

Mysql高性能优化技能总结

数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个…

Redis的AOF日志

如果 Redis 每执行一条写操作命令,就把该命令以追加的方式写入到一个文件里,然后重启 Redis 的时候,先去读取这个文件里的命令,并且执行它,这不就相当于恢复了缓存数据了吗? 这种保存写操作命令到日志的持久…

Redis 核心技术与实战

目录 开篇词 | 这样学 Redis,才能技高一筹 01 | 基本架构:一个键值数据库包含什么? 02 | 数据结构:快速的Redis有哪些慢操作? 键和值用什么结构组织? 为什么哈希表操作变慢了? 有哪些底层数…

redis核心技术与实战(二)缓存应用篇

1.《旁路缓存:redis 在缓存中工作原理》 1.缓存的两个特征 1.什么是缓存,有什么特征? 磁盘->内存->cpu 之间读写速度差异巨大,为了平衡他们之间的差异,操作系统默认使用了两种缓存; CPU 里面的末级…

redis核心技术与实战(三) 性能篇

影响redis性能主要有以下部分: Redis 内部的阻塞式操作; CPU核和NUMA架构 Redis关键系统配置 Redis内存碎片 Redis缓冲区 下面一个个来介绍这些地方 1.《redis 有哪些阻塞点?》 redis实例主要交互的对象有以下几点,我们依据下面这…

redis核心与实战(一)数据结构篇

1.《redis数据结构概览》 1.数据结构概览 数据模型:一共5种,String(字符串)、List(列表)、Hash(哈希)、Set(集合)和 Sorted Set(有序集合&#xf…

redis核心技术与实战(四)高可用高扩展篇

1.《redis架构组成》 1.redis学习维度 2.一个基本的键值型数据库包括什么? 1.访问框架 redis通过网络框架进行访问,使得 Redis 可以作为一个基础性的网络服务进行访问,扩大了redis应用范围; 过程:如果客户端发送“pu…

tomcat监控脚本

#!/bin/sh# func:自动监控tomcat脚本并且执行重启操作# 获取tomcat进程ID(其中[grep -w .....]中的.....需要替换为实际部署的tomcat文件夹名,如下) TomcatID$(ps -ef |grep tomcat |grep -w /usr/local/tomcat/apache-tomcat-8.5.31|grep -v…