wLogger,一款Web日志管理工具

wLogger 是虚拟集合采集日志,解析持久化存储,web 实时流量监控日志。简单的配置一下,开箱用。

  • 可以在日志采集的时候按照日志文件的大小,或者在指定的时间自动对日志进行切割日志,到指定目录(已测2周的切割日志不丢数据)
  • 它可以不用像去访问那样必须配置指定格式才能解析到数据,只用指定当前使用的nginx/apache日志格式名称解析数据
  • 它可以指定不同的项目走不同的服务,分别解析存储到不同的数据库,完全属于自己的灵活配置
  • 它是天然支持的,收录的采集服务结构,已经引入redis LIST,可自行借鉴,mq等其他网咖服务
  • 它支持自定义持久化存储引擎,解析持久化存储服务已经内置 mongodb 和 mysql,可参考其他数据库
  • 简单,箱即用,无插件,高导入,丰富配置,开启应用
  • 运行环境:python3+ linux平台如果该项目对您有帮助,请不要吝啬随手给个明星你也从数据库中取数据自己流量监控的UI界面和数据可以定义形态;大屏实时监控效果图本人显示器太小,截图略显稀薄;QQ交流群 : 862251895

功能说明

采集器 inputer

* 实时日志采集,同时支持多个web日志同时采集 
* 可指定按照日志文件大小或指定时间,自动切割文件到指定目录, (日志切割不丢数据.)
* 可自定义队列服务软件,接受采集的日志信息. 已内置redis 如需kafka  等其它mq队列可自行拓展
* 极低的cpu内存占用 ,低配小主机也能愉快的玩耍

解析存储器 outputer

* 实时解析日志并存储到指定的数据库, 已内置 mysql 和 mongodb 如需使用elastic全家桶或其它存储引擎 可自行拓展
* 采集器,解析器,web服务均可 独立分布到不同的服务器节点上运行
* 目前已内置 nginx,apache 解析器, 可随意指定日志格式, 只需在配置文件里面指定格式名称即可正确解析并存储
* 支持按日期天,周,月,年. 自动分表或集合存储日志
* 支持指定工作进程来快速消费队列数据,大流量也能实时解析并存储日志, 虚拟机中ab 实测2W并发延迟小于1秒
* 注: 当海量流量来的时候发现解析存储延迟过高的情况,可将解析器部署到集群中其它多个节点同时消费队列数据,提升解析存储效率


web服务 web

* 已内置大屏监控web面板,流量情况一目了然 
* 同时支持 mysql 或者 mongodb 作为 数据源 

wLogger官网地址:https://github.com/jyolo/wLogger

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注