开源的数据收集引擎

elasticsearch_loader 主要特点 批量上传CSV（实际上是任何* SV）文件到Elasticsearch 批量上传JSON文件/ JSON行到Elasticsearch 将镶木地板文件批量上传到Elasticsearch 预定义自定义映射 上传前删除索引 使用文档本身的_id索引文档 直接从网址加载数据 SSL和基本身份验证 Unicode支持 :victory_hand: 外挂程式 为了安装插件，只需运行pip install plugin-name 从redis列表中连续读取并索引到elasticsearch 用于列出和索引来自S3的文件的插件 测试矩阵 python / es 5.

logstash离线安装插件步骤： 在一个联网的虚拟机上下载好插件 ./logstash-plugin install logstash-input-jdbc 查看插件是否安装 ./logstash-plugin list 打包下载好的插件（可能会有错误；多试几次） ./logstash-plugin prepare-offline-pack --overwrite --output logstash-input-jdbc.zip logstash-input-jdbc 最后成功会出现以下信息 You can install it with this command `bin/logstash-plugin install file:///usr/share/logstash/bin/logstash-input-jdbc.zip` 这里是已经打包好的logstash-output-jdbc.zip,直接使用install即可

大型日志分析 ElasticSearch+Logstash+Kibana教程从部署到日志采集到日志展示完整流程.

logback+logstash自定义日志级别控制

logstash grok 添加了自定义的正则表达式，可以提取出日志的等级，日志的时间，日志的线程号

Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题，ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。 因为ELK是可以跨平台部署，因此非常适用于多平台部署的应用。 二 环境准备 1. 安装JDK1.8环境 2. 下载ELK软件包 logstash: https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip elasticsearch：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip kibana: https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-windows-x86.zip 分别解压下载的软件，elasticsearch，logstash，kibana 可以放在一个统一文件夹下 三 部署 1.配置logstash 在logstash文件夹的下bin目录创建配置文件logstash.conf ,内容如下： input { # 以文件作为来源 file { # 日志文件路径 path => "F:\test\dp.log" } } filter { #定义数据的格式，正则解析日志（根据实际需要对日志日志过滤、收集） grok { match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"} } #根据需要对数据的类型转换 mutate { convert => { "duration" => "integer" }} } # 定义输出 output { elasticsearch { hosts => ["localhost:9200"] #Elasticsearch 默认端口 } }　　 在bin目录下创建run.bat，写入一下脚本： logstash.bat -f logstash.conf 执行run.bat启动logstash。 2. 配置Elasticsearch elasticsearch.bat即可启动。 启动后浏览器访问 127.0.0.1:9200 ，出现以下的json表示成功。 3.配置kibana Kibana启动时从文件kibana.yml读取属性。默认设置配置Kibana运行localhost:5601。要更改主机或端口号，或者连接到在其他机器上运行的Elasticsearch，需要更新kibana.yml文件。 kibana.bat启动Kibana。

log4j-2-弹性 我创建了这个项目，以共享和增强附加程序，该附加程序将消息直接记录到集群中。 在某些特定情况下，这种将日志聚合到Elasticsearch中的方法可以很好地替代Elastic Beats。 特征 该产品包括一些标准和某些特定功能： 利用具有批量存储请求的Log4j2异步日志记录。 批处理模式会自动识别。 可以配置基于超时的缓冲区刷新。 将@Logged带注释的日志消息参数对象作为嵌入式JSON字段存储到Elasticsearch中存储的日志文档中。 映射诊断上下文（MDC）支持。 连接到多个群集节点。 基本身份验证。 Log4j的“ ignoreExceptions”选项支持。 Log4j的“ includeLocation”选项支持。 Log4j布局和过滤器支持。 入门 如果要创建自己的本地开发环境，则只需在首选的IDE中将此代码作为标准Maven项

logstash-6.8.4.tar.gz elk版本需要一致 包括插件版本