上一节:
下一节:

  Logstash - 支持的输出

  • 简述

    Logstash 提供了多个插件来支持各种数据存储或搜索引擎。日志的输出事件可以发送到输出文件、标准输出或 Elasticsearch 等搜索引擎。Logstash 支持三种类型的输出，它们是 -
    • 标准输出
    • 文件输出
    • 空输出
    现在让我们详细讨论其中的每一个。

  • 标准输出 (stdout)

    它用于将过滤后的日志事件作为数据流生成到命令行界面。这是一个将数据库事务的总持续时间生成到标准输出的示例。

    logstash.conf

    此配置文件包含一个标准输出插件，用于将总 sql_duration 写入标准输出。 
    
input {
   file {
      path => "C:/tpwork/logstash/bin/log/input.log"
   }
} 
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid}
            - %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" 
      ]
   }
   if [logger] == "TRANSACTION_START" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] = 0"
         map_action => "create"
      }
   }
   if [logger] == "SQL" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] ||= 0 ;
            map['sql_duration'] += event.get('duration')"
      }
   }
   if [logger] == "TRANSACTION_END" {
      aggregate {
         task_id => "%{taskid}"
         code => "event.set('sql_duration', map['sql_duration'])"
         end_of_task => true
         timeout => 120
      }
   }
}
output {
   if [logger] == "TRANSACTION_END" {
      stdout {
         codec => line{format => "%{sql_duration}"}
      }
   }
}
    Note− 如果尚未安装，请安装聚合过滤器。 
    
>logstash-plugin install Logstash-filter-aggregate

    运行 Logstash

    我们可以使用以下命令运行 Logstash。 
    
>logstash –f logsatsh.conf

    输入日志

    以下代码块显示了输入日志数据。 
    
INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END – end
    stdout（它将是 Windows 中的命令提示符或 UNIX 中的终端）
    这是总 sql_duration 320 + 200 = 520。 
    
520

  • 文件输出

    Logstash 还可以将过滤器日志事件存储到输出文件中。我们将使用上述示例并将输出存储在文件中，而不是 STDOUT。

    logstash.conf

    此 Logstash 配置文件指示 Logstash 将总 sql_duration 存储到输出日志文件。 
    
input {
   file {
      path => "C:/tpwork/logstash/bin/log/input1.log"
   }
} 
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} -
            %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" 
      ]
   }
   if [logger] == "TRANSACTION_START" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] = 0"
         map_action => "create"
      }
   }
   if [logger] == "SQL" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] ||= 0 ;
            map['sql_duration'] += event.get('duration')"
      }
   }
   if [logger] == "TRANSACTION_END" {
      aggregate {
         task_id => "%{taskid}"
         code => "event.set('sql_duration', map['sql_duration'])"
         end_of_task => true
         timeout => 120
      }
   }
}
output {
   if [logger] == "TRANSACTION_END" {
      file {
         path => "C:/tpwork/logstash/bin/log/output.log"
         codec => line{format => "%{sql_duration}"}
      }
   }
}

    运行logstash

    我们可以使用以下命令运行 Logstash。 
    
>logstash –f logsatsh.conf

    输入日志

    以下代码块显示了输入日志数据。 
    
INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END – end

    输出日志

    以下代码块显示了输出日志数据。 
    
520

  • 空输出

    这是一个特殊的输出插件，用于分析输入和过滤插件的性能。
上一节:
下一节: