input{ jdbc{ #是否记录上次执行结果, 如果为真,将会把上次执行到的 tracking_column 字段的值记录下来,保存到 last_run_metadata_path 指定的文件中 record_last_run => true #是否需要记录某个column 的值,如果 record_last_run 为真,可以自定义我们需要 track 的 column 名称，此时该参数就要为 true. 否则默认 track 的是 timestamp 的值. use_column_value => true #如果 use_column_value 为真,需配置此参数. track 的数据库 column 名,该 column 必须是递增的.比如：ID. tracking_column => MY_ID #指定文件,来记录上次执行到的 tracking_column 字段的值 #我们只需要在 SQL 语句中 WHERE MY_ID > :last_sql_value 即可. 其中 :last_sql_value 取得就是该文件中的值(10000). last_run_metadata_path => "/etc/logstash/run_metadata.d/my_info" #是否清除 last_run_metadata_path 的记录,清除相当于从头开始查询所有的数据库记录 clean_run => false #是否将 column 名称转小写 lowercase_column_names => false #存放需要执行的 SQL 语句的文件位置 statement_filepath => "/etc/logstash/statement_file.d/my_info.sql" } }

Windows安装ELK步骤具体的使用说明，详细的也可点击本人博客搜索了解。支持Windows和linux下安装使用，elk一般用作日志监控平台等等，提供高效快速的数据搜索和大容量的存储，配合kafka异步，实现高性能。

logstash jdbc插件，已压缩成zip格式，可以直接集成到logstash

自测好用，请大佬们警惕部分博主用源码包或其他包代替程序包。避免上当

基于VMware实现 ElasticSearch集群+Logstash集群+Kibana+kafka集群+Filebeat 实现日志管理系统

资源主要能用于使用logstash将oracle数据导入到es中，logstash的版本为5.6.1

本人完全从Linux零基础一步步摸索总结出来的部署步骤。 ELK大致工作流程：Filebeat → Redis → Logstash → Elasticsearch → Kibana，Elastalert定时查询Elasticsearch保存的数据，当数据符合设定的规则时触发告警，发送 短信、微信、邮件通知。 ELK相关软件的版本都是7.2.0，Redis是5.0.4版本，Elastalert是0.1.39（需安装Python2），CentOS7.3。

这个资源可以直接使用 ./logstash-plugin install file:///path/to/logstash-input-jdbc-4.2.3.zip 这种命令安装；不需要联网；适用于logstash-5.5.3左右版本使用

x-pack-5.6.3.jar 是 elk 必备文件 5.6.3 X-Pack elasticsearch logstash kibana 参考： https://www.waitig.com/x-pack破解.html http://blog.csdn.net/qq_20641565/article/details/78286894 # curl -u elastic:changeme 'http://192.168.72.130:9200/_xpack/license' "type" : "platinum", "expiry_date" : "9999-10-19T00:00:00.000Z", "expiry_date_in_millis" : 253395907200000,

logstash 原本是ruby编写的，现在出了java版本，相比ruby在java版本中增加了消息丢失队列，防止消息丢失