300eaf4b0eeb6fc47ac7c959c87a7a5be1489d77
项目仍在优化中,以下为预发布版 README 草案,您可以关注项目获取最新的体验资格。
FastWLAT(Fast Web Log Analysis Tool)
基于 Electron + Vue 3 + TypeScript 的高性能 Web 日志分析工具。支持本地内存模式与 Redis 高性能模式,面向数十万级日志的导入、检索、分析与可视化。
- 跨平台桌面应用:Windows/macOS/Linux
- 大数据优化:虚拟滚动、聚合树、分批导入、增量分析
- 智能分析:威胁规则引擎、可视化图表、动态采样
- 模式可切换:本地内存模式(轻量、极速)/ Redis 模式(高性能)
预发布说明
- 此 README 为预发布版,用于展示产品能力与操作指引。
- 新版 Redis 模式正在持续优化:全量显示、服务器端聚合、搜索分页、导入加速方案已就绪;计划补充更高级的服务端过滤,进一步提升搜索性能。
功能总览
-
数据导入
- 支持 Apache/Nginx/IIS/Tomcat/自定义 JSON 等格式
- Web Workers 并行解析(UI 不阻塞)
- 超大文件自动分片、增量进度反馈
- 本地模式存内存;Redis 模式入库流处理
-
日志视图(Log View)
- 列表/树状/分析三种视图模式
- 高性能虚拟滚动
- 过滤与搜索(状态码、IP、方法、路径、时间范围等)
- 树状视图(Redis 模式)采用服务器端聚合(Top URLs)秒级构建
-
仪表盘(Dashboard)
-
威胁分析(Threat Analysis)
-
规则管理(Rules)
-
设置(Settings)
界面导航简介
- 导入页面(Import):选择文件/示例/粘贴文本,查看格式检测、解析进度、分批存储进度;支持超大数据自动分片与进度条反馈。
- 日志页面(Log View):
- 列表:分页与虚拟滚动
- 树状:本地模式使用全量构建;Redis 模式使用 Top URLs 聚合秒级生成
- 分析:大数据下自动采样(可切换强制全量)
- 仪表盘(Dashboard):总览统计图与 TOP 榜单,实时指标(模拟或来源统计)。
- 威胁分析(Threat Analysis):规则引擎、图表视图、分类/规则筛选、动态加载日志。
- 规则管理(Rules):新增/编辑/启用/禁用规则。
- 设置(Settings):Redis 连接、数据模式、清理数据、调试信息。
数据模式
-
本地内存模式(local)
- 适合小中等数据量(<40 万)
- 解析后直接写入内存 store
- 所有分析在本地完成
-
Redis 模式(redis)
- 适合大数据量(数十万至上百万)
- 解析后分批写入 Redis(默认每批 10000)
- 树视图使用服务端聚合(Top URLs)秒开
- 仪表盘/分析页优先读取统计,避免全量拉取
在设置页面可切换模式;应用在启动时会自动检测 Redis 连接(断网/不可用时回退到本地模式)。
使用流程
-
导入日志
- 从文件/示例/粘贴导入
- 自动格式检测(或手动指定)
- 并行解析 + 分片入库(Redis)
- 进度实时显示(解析 0-80%;存储 80%-100%)
-
浏览与过滤
- 日志页面切换列表/树/分析
- 按 IP/方法/状态码/路径/时间范围过滤
- Redis 模式下搜索:优先聚合辅助 + 分段回填(计划增强为服务器端分页过滤)
-
威胁分析
- 加载规则 → 采样/全量分析
- 查看图表、分类、TOP IP/方法、时间线
- 可启用/禁用规则并重新分析
性能优化(已内置)
- 并行解析:Web Workers,避免 UI 阻塞
- 分批入库:默认 10000/批,聚合统计合并一次性提交
- 树状聚合:Redis 模式使用
Top URLs聚合构建树 - 虚拟滚动:大列表渲染优化
- 分析采样:>5 万自动采样(可强制全量)
- 轻量统计:仪表盘与分析先读 Redis 统计,再补全明细
已知问题与说明(预发布)
- Redis 搜索过滤在极大数据集下仍可能偏慢:短期通过“聚合辅助 + 分段回填”已优化;后续将增补主进程
queryLogs的 path/method/status 基础过滤与分页游标,彻底后端化。 - 导入时控制台可能出现少量 URL 解码告警:已加严格判断(仅在合法
%xx时解码),不会中断导入。 - 首次切换到 Redis 模式后建议重启应用:确保预加载 API(如
getTopUrls)完成注入,避免 “not a function”。
路线图(Roadmap)
- 服务器端分页过滤:
queryLogs支持 path/method/status + offset/limit - 更丰富的图表与报表导出
- 更强规则引擎(分组、权重、动作、告警)
- 多源采集与实时流(WebSocket/Stream)
- 国际化(i18n)与更多主题
Description
FastWLAT (Fast Web Log Analysis Tool) 是基于 Electron + Vue 3 构建的跨平台高性能 Web 日志分析工具,支持本地内存模式与 Redis 分布式处理,专为海量WEB日志分析场景设计。提供日志解析、威胁规则引擎、可视化仪表盘及树状聚合分析,优化了百万级数据的导入速度与查询性能,助力网络安全人员快速洞察访问流量与安全威胁。支持 Windows/macOS/Linux,开箱即用。