Update README.md

.github/workflows/check-generated-files.yml

@@ -1,45 +0,0 @@
-name: Check Generated Files
-
-on:
-  workflow_call:  # 只在被其他 workflow 调用时运行
-
-permissions:
-  contents: read
-
-jobs:
-  check:
-    runs-on: ubuntu-latest
-    steps:
-      - uses: actions/checkout@v4
-
-      - name: Set up Go
-        uses: actions/setup-go@v5
-        with:
-          go-version: 1.21
-
-      - name: Generate files for all workflows
-        working-directory: worker
-        run: make generate
-
-      - name: Check for differences
-        run: |
-          if ! git diff --exit-code; then
-            echo "❌ Generated files are out of date!"
-            echo "Please run: cd worker && make generate"
-            echo ""
-            echo "Changed files:"
-            git status --porcelain
-            echo ""
-            echo "Diff:"
-            git diff
-            exit 1
-          fi
-          echo "✅ Generated files are up to date"
-
-      - name: Run metadata consistency tests
-        working-directory: worker
-        run: make test-metadata
-
-      - name: Run all tests
-        working-directory: worker
-        run: make test

.github/workflows/docker-build.yml

@@ -19,13 +19,8 @@ permissions:
   contents: write
 
 jobs:
-  # 在构建前检查生成文件
-  check:
-    uses: ./.github/workflows/check-generated-files.yml
-
   # AMD64 构建（原生 x64 runner）
   build-amd64:
-    needs: check  # 依赖检查通过
     runs-on: ubuntu-latest
     strategy:
       matrix:
@@ -101,7 +96,6 @@ jobs:
 
   # ARM64 构建（原生 ARM64 runner）
   build-arm64:
-    needs: check  # 依赖检查通过
     runs-on: ubuntu-22.04-arm
     strategy:
       matrix:

.gitignore

@@ -1,51 +1,137 @@
-# Go
-*.exe
-*.exe~
-*.dll
-*.so
-*.dylib
-*.test
-*.out
-vendor/
-go.work
+# ============================
+# 操作系统相关文件
+# ============================
+.DS_Store
+.DS_Store?
+._*
+.Spotlight-V100
+.Trashes
+ehthumbs.db
+Thumbs.db
 
-# Build artifacts
-dist/
-build/
-bin/
+# ============================
+# 前端 (Next.js/Node.js) 相关
+# ============================
+# 依赖目录
+front-back/node_modules/
+front-back/.pnpm-store/
 
-# IDE
+# Next.js 构建产物
+front-back/.next/
+front-back/out/
+front-back/dist/
+
+# 环境变量文件
+front-back/.env
+front-back/.env.local
+front-back/.env.development.local
+front-back/.env.test.local
+front-back/.env.production.local
+
+# 运行时和缓存
+front-back/.turbo/
+front-back/.swc/
+front-back/.eslintcache
+front-back/.tsbuildinfo
+
+# ============================
+# 后端 (Python/Django) 相关
+# ============================
+# Python 虚拟环境
+.venv/
+venv/
+env/
+ENV/
+
+# Python 编译文件
+*.pyc
+*.pyo
+*.pyd
+__pycache__/
+*.py[cod]
+*$py.class
+
+# Django 相关
+backend/db.sqlite3
+backend/db.sqlite3-journal
+backend/media/
+backend/staticfiles/
+backend/.env
+backend/.env.local
+
+# Python 测试和覆盖率
+.pytest_cache/
+.coverage
+htmlcov/
+*.cover
+.hypothesis/
+
+# ============================
+# 后端 (Go) 相关
+# ============================
+# 编译产物
+backend/bin/
+backend/dist/
+backend/*.exe
+backend/*.exe~
+backend/*.dll
+backend/*.so
+backend/*.dylib
+
+# 测试相关
+backend/*.test
+backend/*.out
+backend/*.prof
+
+# Go workspace 文件
+backend/go.work
+backend/go.work.sum
+
+# Go 依赖管理
+backend/vendor/
+
+# ============================
+# IDE 和编辑器相关
+# ============================
 .vscode/
 .idea/
+.cursor/
+.claude/
+.kiro/
+.playwright-mcp/
 *.swp
 *.swo
 *~
-.DS_Store
 
-# Environment
-.env
-.env.local
-.env.*.local
+# ============================
+# Docker 相关
+# ============================
+docker/.env
+docker/.env.local
+
+# SSL 证书和私钥（不应提交）
+docker/nginx/ssl/*.pem
+docker/nginx/ssl/*.key
+docker/nginx/ssl/*.crt
+
+# ============================
+# 日志文件和扫描结果
+# ============================
 *.log
-.venv/
+logs/
+results/
 
-# Testing
-coverage.txt
-*.coverprofile
-.hypothesis/
+# 开发脚本运行时文件（进程 ID 和启动日志）
+backend/scripts/dev/.pids/
 
-# Temporary files
-*.tmp
+# ============================
+# 临时文件
+# ============================
 tmp/
 temp/
+.cache/
 
-.kiro/
-.claude/
-.specify/
-
-# AI Assistant directories
-codex/
-openspec/
-specs/
-AGENTS.md
-WARP.md
+HGETALL
+KEYS
+vuln_scan/input_endpoints.txt
+open-in-v0

.vscode/settings.json

@@ -1,4 +0,0 @@
-{
-    "typescript.autoClosingTags": false,
-    "kiroAgent.configureMCP": "Enabled"
-}

README.md

@@ -0,0 +1,333 @@
+<h1 align="center">XingRin - 星环</h1>
+
+<p align="center">
+  <b>攻击面管理平台 (ASM) | 自动化资产发现与漏洞扫描系统</b>
+</p>
+
+<p align="center">
+  <a href="https://github.com/yyhuni/xingrin/stargazers"><img src="https://img.shields.io/github/stars/yyhuni/xingrin?style=flat-square&logo=github" alt="GitHub stars"></a>
+  <a href="https://github.com/yyhuni/xingrin/network/members"><img src="https://img.shields.io/github/forks/yyhuni/xingrin?style=flat-square&logo=github" alt="GitHub forks"></a>
+  <a href="https://github.com/yyhuni/xingrin/issues"><img src="https://img.shields.io/github/issues/yyhuni/xingrin?style=flat-square&logo=github" alt="GitHub issues"></a>
+  <a href="https://github.com/yyhuni/xingrin/blob/main/LICENSE"><img src="https://img.shields.io/badge/license-PolyForm%20NC-blue?style=flat-square" alt="License"></a>
+</p>
+
+<p align="center">
+  <a href="#功能特性">功能特性</a> •
+  <a href="#全局资产搜索">资产搜索</a> •
+  <a href="#快速开始">快速开始</a> •
+  <a href="#文档">文档</a> •
+  <a href="#反馈与贡献">反馈与贡献</a>
+</p>
+
+<p align="center">
+  <sub>关键词: ASM | 攻击面管理 | 漏洞扫描 | 资产发现 | 资产搜索 | Bug Bounty | 渗透测试 | Nuclei | 子域名枚举 | EASM</sub>
+</p>
+
+---
+## 在线 Demo
+
+ **[https://xingrin.vercel.app/](https://xingrin.vercel.app/)**
+
+> 仅用于 UI 展示，未接入后端数据库
+
+---
+
+<p align="center">
+  <b>现代化 UI</b>
+</p>
+
+<p align="center">
+  <img src="docs/screenshots/light.png" alt="Light Mode" width="24%">
+  <img src="docs/screenshots/bubblegum.png" alt="Bubblegum" width="24%">
+  <img src="docs/screenshots/cosmic-night.png" alt="Cosmic Night" width="24%">
+  <img src="docs/screenshots/quantum-rose.png" alt="Quantum Rose" width="24%">
+</p>
+
+## 文档
+
+- [技术文档](./docs/README.md) - 技术文档导航（持续完善中）
+- [快速开始](./docs/quick-start.md) - 一键安装和部署指南
+- [版本管理](./docs/version-management.md) - Git Tag 驱动的自动化版本管理系统
+- [Nuclei 模板架构](./docs/nuclei-template-architecture.md) - 模板仓库的存储与同步
+- [字典文件架构](./docs/wordlist-architecture.md) - 字典文件的存储与同步
+- [扫描流程架构](./docs/scan-flow-architecture.md) - 完整扫描流程与工具编排
+
+
+---
+
+## 功能特性
+
+### 扫描能力
+
+| 功能 | 状态 | 工具 | 说明 |
+|------|------|------|------|
+| 子域名扫描 | 已完成 | Subfinder, Amass, PureDNS | 被动收集 + 主动爆破，聚合 50+ 数据源 |
+| 端口扫描 | 已完成 | Naabu | 自定义端口范围 |
+| 站点发现 | 已完成 | HTTPX | HTTP 探测，自动获取标题、状态码、技术栈 |
+| 指纹识别 | 已完成 | XingFinger | 2.7W+ 指纹规则，多源指纹库 |
+| URL 收集 | 已完成 | Waymore, Katana | 历史数据 + 主动爬取 |
+| 目录扫描 | 已完成 | FFUF | 高速爆破，智能字典 |
+| 漏洞扫描 | 已完成 | Nuclei, Dalfox | 9000+ POC 模板，XSS 检测 |
+| 站点截图 | 已完成 | Playwright | WebP 高压缩存储 |
+
+### 平台能力
+
+| 功能 | 状态 | 说明 |
+|------|------|------|
+| 目标管理 | 已完成 | 多层级组织，支持域名/IP 目标 |
+| 资产快照 | 已完成 | 扫描结果对比，追踪资产变化 |
+| 黑名单过滤 | 已完成 | 全局 + Target 级，支持通配符/CIDR |
+| 定时任务 | 已完成 | Cron 表达式，自动化周期扫描 |
+| 分布式扫描 | 已完成 | 多 Worker 节点，负载感知调度 |
+| 全局搜索 | 已完成 | 表达式语法，多字段组合查询 |
+| 通知推送 | 已完成 | 企业微信、Telegram、Discord |
+| API 密钥管理 | 已完成 | 可视化配置各数据源 API Key |
+
+### 扫描流程架构
+
+完整的扫描流程包括：子域名发现、端口扫描、站点发现、指纹识别、URL 收集、目录扫描、漏洞扫描等阶段
+
+```mermaid
+flowchart LR
+    START["开始扫描"]
+    
+    subgraph STAGE1["阶段 1: 资产发现"]
+        direction TB
+        SUB["子域名发现<br/>subfinder, amass, puredns"]
+        PORT["端口扫描<br/>naabu"]
+        SITE["站点识别<br/>httpx"]
+        FINGER["指纹识别<br/>xingfinger"]
+        SUB --> PORT --> SITE --> FINGER
+    end
+    
+    subgraph STAGE2["阶段 2: 深度分析"]
+        direction TB
+        URL["URL 收集<br/>waymore, katana"]
+        DIR["目录扫描<br/>ffuf"]
+        SCREENSHOT["站点截图<br/>playwright"]
+    end
+    
+    subgraph STAGE3["阶段 3: 漏洞检测"]
+        VULN["漏洞扫描<br/>nuclei, dalfox"]
+    end
+    
+    FINISH["扫描完成"]
+    
+    START --> STAGE1
+    FINGER --> STAGE2
+    STAGE2 --> STAGE3
+    STAGE3 --> FINISH
+    
+    style START fill:#34495e,stroke:#2c3e50,stroke-width:2px,color:#fff
+    style FINISH fill:#27ae60,stroke:#229954,stroke-width:2px,color:#fff
+    style STAGE1 fill:#3498db,stroke:#2980b9,stroke-width:2px,color:#fff
+    style STAGE2 fill:#9b59b6,stroke:#8e44ad,stroke-width:2px,color:#fff
+    style STAGE3 fill:#e67e22,stroke:#d35400,stroke-width:2px,color:#fff
+    style SUB fill:#5dade2,stroke:#3498db,stroke-width:1px,color:#fff
+    style PORT fill:#5dade2,stroke:#3498db,stroke-width:1px,color:#fff
+    style SITE fill:#5dade2,stroke:#3498db,stroke-width:1px,color:#fff
+    style FINGER fill:#5dade2,stroke:#3498db,stroke-width:1px,color:#fff
+    style URL fill:#bb8fce,stroke:#9b59b6,stroke-width:1px,color:#fff
+    style DIR fill:#bb8fce,stroke:#9b59b6,stroke-width:1px,color:#fff
+    style SCREENSHOT fill:#bb8fce,stroke:#9b59b6,stroke-width:1px,color:#fff
+    style VULN fill:#f0b27a,stroke:#e67e22,stroke-width:1px,color:#fff
+```
+
+详细说明请查看 [扫描流程架构文档](./docs/scan-flow-architecture.md)
+
+### 分布式架构
+- **多节点扫描** - 支持部署多个 Worker 节点，横向扩展扫描能力
+- **本地节点** - 零配置，安装即自动注册本地 Docker Worker
+- **远程节点** - SSH 一键部署远程 VPS 作为扫描节点
+- **负载感知调度** - 实时感知节点负载，自动分发任务到最优节点
+- **节点监控** - 实时心跳检测，CPU/内存/磁盘状态监控
+- **断线重连** - 节点离线自动检测，恢复后自动重新接入
+
+```mermaid
+flowchart TB
+    subgraph MASTER["主服务器 (Master Server)"]
+        direction TB
+        
+        REDIS["Redis 负载缓存"]
+        
+        subgraph SCHEDULER["任务调度器 (Task Distributor)"]
+            direction TB
+            SUBMIT["接收扫描任务"]
+            SELECT["负载感知选择"]
+            DISPATCH["智能分发"]
+            
+            SUBMIT --> SELECT
+            SELECT --> DISPATCH
+        end
+        
+        REDIS -.负载数据.-> SELECT
+    end
+    
+    subgraph WORKERS["Worker 节点集群"]
+        direction TB
+        
+        W1["Worker 1 (本地)<br/>CPU: 45% | MEM: 60%"]
+        W2["Worker 2 (远程)<br/>CPU: 30% | MEM: 40%"]
+        W3["Worker N (远程)<br/>CPU: 90% | MEM: 85%"]
+    end
+    
+    DISPATCH -->|任务分发| W1
+    DISPATCH -->|任务分发| W2
+    DISPATCH -->|高负载跳过| W3
+    
+    W1 -.心跳上报.-> REDIS
+    W2 -.心跳上报.-> REDIS
+    W3 -.心跳上报.-> REDIS
+```
+
+### 全局资产搜索
+- **多类型搜索** - 支持 Website 和 Endpoint 两种资产类型
+- **表达式语法** - 支持 `=`（模糊）、`==`（精确）、`!=`（不等于）操作符
+- **逻辑组合** - 支持 `&&` (AND) 和 `||` (OR) 逻辑组合
+- **多字段查询** - 支持 host、url、title、tech、status、body、header 字段
+- **CSV 导出** - 流式导出全部搜索结果，无数量限制
+
+#### 搜索语法示例
+
+```bash
+# 基础搜索
+host="api"                    # host 包含 "api"
+status=="200"                 # 状态码精确等于 200
+tech="nginx"                  # 技术栈包含 nginx
+
+# 组合搜索
+host="api" && status=="200"   # host 包含 api 且状态码为 200
+tech="vue" || tech="react"    # 技术栈包含 vue 或 react
+
+# 复杂查询
+host="admin" && tech="php" && status=="200"
+url="/api/v1" && status!="404"
+```
+
+### 可视化界面
+- **数据统计** - 资产/漏洞统计仪表盘
+- **实时通知** - WebSocket 消息推送
+- **通知推送** - 实时企业微信，tg，discard消息推送服务
+
+---
+
+## 快速开始
+
+### 环境要求
+
+- **操作系统**: Ubuntu 20.04+ / Debian 11+ 
+- **系统架构**: AMD64 (x86_64) / ARM64 (aarch64)
+- **硬件**: 2核 4G 内存起步，20GB+ 磁盘空间
+
+### 一键安装
+
+```bash
+# 克隆项目
+git clone https://github.com/yyhuni/xingrin.git
+cd xingrin
+
+# 安装并启动（生产模式）
+sudo ./install.sh
+
+# 中国大陆用户推荐使用镜像加速（第三方加速服务可能会失效，不保证长期可用）
+sudo ./install.sh --mirror
+```
+
+> **--mirror 参数说明**
+> - 自动配置 Docker 镜像加速（国内镜像源）
+> - 加速 Git 仓库克隆（Nuclei 模板等）
+
+### 访问服务
+
+- **Web 界面**: `https://ip:8083` 
+- **默认账号**: admin / admin（首次登录后请修改密码）
+
+### 常用命令
+
+```bash
+# 启动服务
+sudo ./start.sh
+
+# 停止服务
+sudo ./stop.sh
+
+# 重启服务
+sudo ./restart.sh
+
+# 卸载
+sudo ./uninstall.sh
+```
+
+## 反馈与贡献
+
+- **发现 Bug，有新想法，比如UI设计，功能设计等** 欢迎点击右边链接进行提交建议 [Issue](https://github.com/yyhuni/xingrin/issues) 或者公众号私信
+
+## 联系
+- 微信公众号: **塔罗安全学苑**
+- 微信群去公众号底下的菜单，有个交流群，点击就可以看到了，链接过期可以私信我拉你
+
+<img src="docs/wechat-qrcode.png" alt="微信公众号" width="200">
+
+### 关注公众号免费领取指纹库
+
+| 指纹库 | 数量 |
+|--------|------|
+| ehole.json | 21,977 |
+| ARL.yaml | 9,264 |
+| goby.json | 7,086 |
+| FingerprintHub.json | 3,147 |
+
+> 关注公众号回复「指纹」即可获取
+
+## 赞助支持
+
+如果这个项目对你有帮助，谢谢请我能喝杯蜜雪冰城，你的star和赞助是我免费更新的动力
+
+<p>
+  <img src="docs/wx_pay.jpg" alt="微信支付" width="200">
+  <img src="docs/zfb_pay.jpg" alt="支付宝" width="200">
+</p>
+
+
+
+## 免责声明
+
+**重要：请在使用前仔细阅读**
+
+1. 本工具仅供**授权的安全测试**和**安全研究**使用
+2. 使用者必须确保已获得目标系统的**合法授权**
+3. **严禁**将本工具用于未经授权的渗透测试或攻击行为
+4. 未经授权扫描他人系统属于**违法行为**，可能面临法律责任
+5. 开发者**不对任何滥用行为负责**
+
+使用本工具即表示您同意：
+- 仅在合法授权范围内使用
+- 遵守所在地区的法律法规
+- 承担因滥用产生的一切后果
+
+## Star History
+
+如果这个项目对你有帮助，请给一个 Star 支持一下！
+
+[![Star History Chart](https://api.star-history.com/svg?repos=yyhuni/xingrin&type=Date)](https://star-history.com/#yyhuni/xingrin&Date)
+
+## 许可证
+
+本项目采用 [GNU General Public License v3.0](LICENSE) 许可证。
+
+### 允许的用途
+
+- 个人学习和研究
+- 商业和非商业使用
+- 修改和分发
+- 专利使用
+- 私人使用
+
+### 义务和限制
+
+- **开源义务**：分发时必须提供源代码
+- **相同许可**：衍生作品必须使用相同许可证
+- **版权声明**：必须保留原始版权和许可证声明
+- **责任免除**：不提供任何担保
+- 未经授权的渗透测试
+- 任何违法行为

VERSION

@@ -0,0 +1 @@
+v1.5.8

agent/go.mod

@@ -1,32 +0,0 @@
-module github.com/yyhuni/orbit/agent
-
-go 1.24.5
-
-require (
-	github.com/docker/docker v28.5.2+incompatible
-	github.com/gorilla/websocket v1.5.3
-	github.com/shirou/gopsutil/v3 v3.24.5
-)
-
-require (
-	github.com/Microsoft/go-winio v0.6.2 // indirect
-	github.com/cespare/xxhash/v2 v2.3.0 // indirect
-	github.com/containerd/errdefs v1.0.0 // indirect
-	github.com/containerd/errdefs/pkg v0.3.0 // indirect
-	github.com/distribution/reference v0.6.0 // indirect
-	github.com/docker/go-connections v0.6.0 // indirect
-	github.com/docker/go-units v0.5.0 // indirect
-	github.com/felixge/httpsnoop v1.0.4 // indirect
-	github.com/go-logr/logr v1.4.3 // indirect
-	github.com/go-logr/stdr v1.2.2 // indirect
-	github.com/moby/docker-image-spec v1.3.1 // indirect
-	github.com/opencontainers/go-digest v1.0.0 // indirect
-	github.com/opencontainers/image-spec v1.1.1 // indirect
-	github.com/pkg/errors v0.9.1 // indirect
-	go.opentelemetry.io/auto/sdk v1.2.1 // indirect
-	go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp v0.64.0 // indirect
-	go.opentelemetry.io/otel v1.39.0 // indirect
-	go.opentelemetry.io/otel/metric v1.39.0 // indirect
-	go.opentelemetry.io/otel/trace v1.39.0 // indirect
-	golang.org/x/sys v0.39.0 // indirect
-)

agent/go.sum

@@ -1,78 +0,0 @@
-github.com/Microsoft/go-winio v0.6.2 h1:F2VQgta7ecxGYO8k3ZZz3RS8fVIXVxONVUPlNERoyfY=
-github.com/Microsoft/go-winio v0.6.2/go.mod h1:yd8OoFMLzJbo9gZq8j5qaps8bJ9aShtEA8Ipt1oGCvU=
-github.com/cespare/xxhash/v2 v2.3.0 h1:UL815xU9SqsFlibzuggzjXhog7bL6oX9BbNZnL2UFvs=
-github.com/cespare/xxhash/v2 v2.3.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs=
-github.com/containerd/errdefs v1.0.0 h1:tg5yIfIlQIrxYtu9ajqY42W3lpS19XqdxRQeEwYG8PI=
-github.com/containerd/errdefs v1.0.0/go.mod h1:+YBYIdtsnF4Iw6nWZhJcqGSg/dwvV7tyJ/kCkyJ2k+M=
-github.com/containerd/errdefs/pkg v0.3.0 h1:9IKJ06FvyNlexW690DXuQNx2KA2cUJXx151Xdx3ZPPE=
-github.com/containerd/errdefs/pkg v0.3.0/go.mod h1:NJw6s9HwNuRhnjJhM7pylWwMyAkmCQvQ4GpJHEqRLVk=
-github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
-github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
-github.com/distribution/reference v0.6.0 h1:0IXCQ5g4/QMHHkarYzh5l+u8T3t73zM5QvfrDyIgxBk=
-github.com/distribution/reference v0.6.0/go.mod h1:BbU0aIcezP1/5jX/8MP0YiH4SdvB5Y4f/wlDRiLyi3E=
-github.com/docker/docker v24.0.7+incompatible/go.mod h1:eEKB0N0r5NX/I1kEveEz05bcu8tLC/8azJZsviup8Sk=
-github.com/docker/docker v28.5.2+incompatible h1:DBX0Y0zAjZbSrm1uzOkdr1onVghKaftjlSWt4AFexzM=
-github.com/docker/docker v28.5.2+incompatible/go.mod h1:eEKB0N0r5NX/I1kEveEz05bcu8tLC/8azJZsviup8Sk=
-github.com/docker/go-connections v0.6.0 h1:LlMG9azAe1TqfR7sO+NJttz1gy6KO7VJBh+pMmjSD94=
-github.com/docker/go-connections v0.6.0/go.mod h1:AahvXYshr6JgfUJGdDCs2b5EZG/vmaMAntpSFH5BFKE=
-github.com/docker/go-units v0.5.0 h1:69rxXcBk27SvSaaxTtLh/8llcHD8vYHT7WSdRZ/jvr4=
-github.com/docker/go-units v0.5.0/go.mod h1:fgPhTUdO+D/Jk86RDLlptpiXQzgHJF7gydDDbaIK4Dk=
-github.com/felixge/httpsnoop v1.0.4 h1:NFTV2Zj1bL4mc9sqWACXbQFVBBg2W3GPvqp8/ESS2Wg=
-github.com/felixge/httpsnoop v1.0.4/go.mod h1:m8KPJKqk1gH5J9DgRY2ASl2lWCfGKXixSwevea8zH2U=
-github.com/go-logr/logr v1.2.2/go.mod h1:jdQByPbusPIv2/zmleS9BjJVeZ6kBagPoEUsqbVz/1A=
-github.com/go-logr/logr v1.4.3 h1:CjnDlHq8ikf6E492q6eKboGOC0T8CDaOvkHCIg8idEI=
-github.com/go-logr/logr v1.4.3/go.mod h1:9T104GzyrTigFIr8wt5mBrctHMim0Nb2HLGrmQ40KvY=
-github.com/go-logr/stdr v1.2.2 h1:hSWxHoqTgW2S2qGc0LTAI563KZ5YKYRhT3MFKZMbjag=
-github.com/go-logr/stdr v1.2.2/go.mod h1:mMo/vtBO5dYbehREoey6XUKy/eSumjCCveDpRre4VKE=
-github.com/go-ole/go-ole v1.2.6/go.mod h1:pprOEPIfldk/42T2oK7lQ4v4JSDwmV0As9GaiUsvbm0=
-github.com/google/go-cmp v0.5.6/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE=
-github.com/google/go-cmp v0.5.9/go.mod h1:17dUlkBOakJ0+DkrSSNjCkIjxS6bF9zb3elmeNGIjoY=
-github.com/google/go-cmp v0.6.0/go.mod h1:17dUlkBOakJ0+DkrSSNjCkIjxS6bF9zb3elmeNGIjoY=
-github.com/gorilla/websocket v1.5.3 h1:saDtZ6Pbx/0u+bgYQ3q96pZgCzfhKXGPqt7kZ72aNNg=
-github.com/gorilla/websocket v1.5.3/go.mod h1:YR8l580nyteQvAITg2hZ9XVh4b55+EU/adAjf1fMHhE=
-github.com/lufia/plan9stats v0.0.0-20211012122336-39d0f177ccd0/go.mod h1:zJYVVT2jmtg6P3p1VtQj7WsuWi/y4VnjVBn7F8KPB3I=
-github.com/moby/docker-image-spec v1.3.1 h1:jMKff3w6PgbfSa69GfNg+zN/XLhfXJGnEx3Nl2EsFP0=
-github.com/moby/docker-image-spec v1.3.1/go.mod h1:eKmb5VW8vQEh/BAr2yvVNvuiJuY6UIocYsFu/DxxRpo=
-github.com/opencontainers/go-digest v1.0.0 h1:apOUWs51W5PlhuyGyz9FCeeBIOUDA/6nW8Oi/yOhh5U=
-github.com/opencontainers/go-digest v1.0.0/go.mod h1:0JzlMkj0TRzQZfJkVvzbP0HBR3IKzErnv2BNG4W4MAM=
-github.com/opencontainers/image-spec v1.1.1 h1:y0fUlFfIZhPF1W537XOLg0/fcx6zcHCJwooC2xJA040=
-github.com/opencontainers/image-spec v1.1.1/go.mod h1:qpqAh3Dmcf36wStyyWU+kCeDgrGnAve2nCC8+7h8Q0M=
-github.com/pkg/errors v0.9.1 h1:FEBLx1zS214owpjy7qsBeixbURkuhQAwrK5UwLGTwt4=
-github.com/pkg/errors v0.9.1/go.mod h1:bwawxfHBFNV+L2hUp1rHADufV3IMtnDRdf1r5NINEl0=
-github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
-github.com/power-devops/perfstat v0.0.0-20210106213030-5aafc221ea8c/go.mod h1:OmDBASR4679mdNQnz2pUhc2G8CO2JrUAVFDRBDP/hJE=
-github.com/shirou/gopsutil/v3 v3.23.12/go.mod h1:1FrWgea594Jp7qmjHUUPlJDTPgcsb9mGnXDxavtikzM=
-github.com/shirou/gopsutil/v3 v3.24.5 h1:i0t8kL+kQTvpAYToeuiVk3TgDeKOFioZO3Ztz/iZ9pI=
-github.com/shirou/gopsutil/v3 v3.24.5/go.mod h1:bsoOS1aStSs9ErQ1WWfxllSeS1K5D+U30r2NfcubMVk=
-github.com/shoenig/go-m1cpu v0.1.6/go.mod h1:1JJMcUBvfNwpq05QDQVAnx3gUHr9IYF7GNg9SUEw2VQ=
-github.com/shoenig/test v0.6.4/go.mod h1:byHiCGXqrVaflBLAMq/srcZIHynQPQgeyvkvXnjqq0k=
-github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
-github.com/stretchr/objx v0.4.0/go.mod h1:YvHI0jy2hoMjB+UWwv71VJQ9isScKT/TqJzVSSt89Yw=
-github.com/stretchr/objx v0.5.0/go.mod h1:Yh+to48EsGEfYuaHDzXPcE3xhTkx73EhmCGUpEOglKo=
-github.com/stretchr/testify v1.7.1/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
-github.com/stretchr/testify v1.8.0/go.mod h1:yNjHg4UonilssWZ8iaSj1OCr/vHnekPRkoO+kdMU+MU=
-github.com/stretchr/testify v1.8.4/go.mod h1:sz/lmYIOXD/1dqDmKjjqLyZ2RngseejIcXlSw2iwfAo=
-github.com/tklauser/go-sysconf v0.3.12/go.mod h1:Ho14jnntGE1fpdOqQEEaiKRpvIavV0hSfmBq8nJbHYI=
-github.com/tklauser/numcpus v0.6.1/go.mod h1:1XfjsgE2zo8GVw7POkMbHENHzVg3GzmoZ9fESEdAacY=
-github.com/yusufpapurcu/wmi v1.2.3/go.mod h1:SBZ9tNy3G9/m5Oi98Zks0QjeHVDvuK0qfxQmPyzfmi0=
-go.opentelemetry.io/auto/sdk v1.2.1 h1:jXsnJ4Lmnqd11kwkBV2LgLoFMZKizbCi5fNZ/ipaZ64=
-go.opentelemetry.io/auto/sdk v1.2.1/go.mod h1:KRTj+aOaElaLi+wW1kO/DZRXwkF4C5xPbEe3ZiIhN7Y=
-go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp v0.64.0 h1:ssfIgGNANqpVFCndZvcuyKbl0g+UAVcbBcqGkG28H0Y=
-go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp v0.64.0/go.mod h1:GQ/474YrbE4Jx8gZ4q5I4hrhUzM6UPzyrqJYV2AqPoQ=
-go.opentelemetry.io/otel v1.39.0 h1:8yPrr/S0ND9QEfTfdP9V+SiwT4E0G7Y5MO7p85nis48=
-go.opentelemetry.io/otel v1.39.0/go.mod h1:kLlFTywNWrFyEdH0oj2xK0bFYZtHRYUdv1NklR/tgc8=
-go.opentelemetry.io/otel/metric v1.39.0 h1:d1UzonvEZriVfpNKEVmHXbdf909uGTOQjA0HF0Ls5Q0=
-go.opentelemetry.io/otel/metric v1.39.0/go.mod h1:jrZSWL33sD7bBxg1xjrqyDjnuzTUB0x1nBERXd7Ftcs=
-go.opentelemetry.io/otel/trace v1.39.0 h1:2d2vfpEDmCJ5zVYz7ijaJdOF59xLomrvj7bjt6/qCJI=
-go.opentelemetry.io/otel/trace v1.39.0/go.mod h1:88w4/PnZSazkGzz/w84VHpQafiU4EtqqlVdxWy+rNOA=
-golang.org/x/sys v0.0.0-20190916202348-b4ddaad3f8a3/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs=
-golang.org/x/sys v0.0.0-20201204225414-ed752295db88/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs=
-golang.org/x/sys v0.8.0/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
-golang.org/x/sys v0.11.0/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
-golang.org/x/sys v0.15.0/go.mod h1:/VUhepiaJMQUp4+oa/7Zr1D23ma6VTLIYjOOTFZPUcA=
-golang.org/x/sys v0.39.0 h1:CvCKL8MeisomCi6qNZ+wbb0DN9E5AATixKsvNtMoMFk=
-golang.org/x/sys v0.39.0/go.mod h1:OgkHotnGiDImocRcuBABYBEXf8A9a87e/uXjp9XT3ks=
-golang.org/x/xerrors v0.0.0-20191204190536-9bdfabe68543/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0=
-gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
-gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
-gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=

backend/apps/asset/repositories/snapshot/host_port_mapping_snapshot_repository.py

@@ -195,32 +195,3 @@ class DjangoHostPortMappingSnapshotRepository:
         
         for row in qs.iterator(chunk_size=batch_size):
             yield row
-
-    def iter_unique_host_ports_by_scan(
-        self,
-        scan_id: int,
-        batch_size: int = 1000
-    ) -> Iterator[dict]:
-        """
-        流式获取扫描下的唯一 host:port 组合（去重）
-        
-        用于生成 URL 时避免重复，同一个 host:port 可能对应多个 IP，
-        但生成 URL 时只需要一个。
-        
-        Args:
-            scan_id: 扫描 ID
-            batch_size: 每批数据量
-        
-        Yields:
-            {'host': 'example.com', 'port': 80}
-        """
-        qs = (
-            HostPortMappingSnapshot.objects
-            .filter(scan_id=scan_id)
-            .values('host', 'port')
-            .distinct()
-            .order_by('host', 'port')
-        )
-        
-        for row in qs.iterator(chunk_size=batch_size):
-            yield row

backend/apps/asset/services/screenshot_service.py

@@ -146,9 +146,7 @@ class ScreenshotService:
         """
         from apps.asset.models import Screenshot, ScreenshotSnapshot
         
-        # 使用 iterator() 避免 QuerySet 缓存大量 BinaryField 数据导致内存飙升
-        # chunk_size=50: 每次只加载 50 条记录，处理完后释放内存
-        snapshots = ScreenshotSnapshot.objects.filter(scan_id=scan_id).iterator(chunk_size=50)
+        snapshots = ScreenshotSnapshot.objects.filter(scan_id=scan_id)
         count = 0
         
         for snapshot in snapshots:

backend/apps/asset/services/snapshot/endpoint_snapshots_service.py

@@ -1,18 +1,72 @@
 """Endpoint Snapshots Service - 业务逻辑层"""
 
 import logging
-from typing import Iterator, List, Optional
+from typing import List, Iterator
 
-from apps.asset.dtos.snapshot import EndpointSnapshotDTO
 from apps.asset.repositories.snapshot import DjangoEndpointSnapshotRepository
 from apps.asset.services.asset import EndpointService
+from apps.asset.dtos.snapshot import EndpointSnapshotDTO
 
 logger = logging.getLogger(__name__)
 
 
 class EndpointSnapshotsService:
     """端点快照服务 - 统一管理快照和资产同步"""
-
+    
+    def __init__(self):
+        self.snapshot_repo = DjangoEndpointSnapshotRepository()
+        self.asset_service = EndpointService()
+    
+    def save_and_sync(self, items: List[EndpointSnapshotDTO]) -> None:
+        """
+        保存端点快照并同步到资产表（统一入口）
+        
+        流程：
+        1. 保存到快照表（完整记录）
+        2. 同步到资产表（去重）
+        
+        Args:
+            items: 端点快照 DTO 列表（必须包含 target_id）
+        
+        Raises:
+            ValueError: 如果 items 中的 target_id 为 None
+            Exception: 数据库操作失败
+        """
+        if not items:
+            return
+        
+        # 检查 Scan 是否仍存在（防止删除后竞态写入）
+        scan_id = items[0].scan_id
+        from apps.scan.repositories import DjangoScanRepository
+        if not DjangoScanRepository().exists(scan_id):
+            logger.warning("Scan 已删除，跳过端点快照保存 - scan_id=%s, 数量=%d", scan_id, len(items))
+            return
+        
+        try:
+            logger.debug("保存端点快照并同步到资产表 - 数量: %d", len(items))
+            
+            # 步骤 1: 保存到快照表
+            logger.debug("步骤 1: 保存到快照表")
+            self.snapshot_repo.save_snapshots(items)
+            
+            # 步骤 2: 转换为资产 DTO 并保存到资产表
+            # 使用 upsert：新记录插入，已存在的记录更新
+            logger.debug("步骤 2: 同步到资产表（通过 Service 层）")
+            asset_items = [item.to_asset_dto() for item in items]
+            
+            self.asset_service.bulk_upsert(asset_items)
+            
+            logger.info("端点快照和资产数据保存成功 - 数量: %d", len(items))
+            
+        except Exception as e:
+            logger.error(
+                "保存端点快照失败 - 数量: %d, 错误: %s",
+                len(items),
+                str(e),
+                exc_info=True
+            )
+            raise
+    
     # 智能过滤字段映射
     FILTER_FIELD_MAPPING = {
         'url': 'url',
@@ -22,89 +76,26 @@ class EndpointSnapshotsService:
         'webserver': 'webserver',
         'tech': 'tech',
     }
-
-    def __init__(self):
-        self.snapshot_repo = DjangoEndpointSnapshotRepository()
-        self.asset_service = EndpointService()
-
-    def save_and_sync(self, items: List[EndpointSnapshotDTO]) -> None:
-        """
-        保存端点快照并同步到资产表（统一入口）
-
-        流程：
-        1. 保存到快照表（完整记录）
-        2. 同步到资产表（去重）
-
-        Args:
-            items: 端点快照 DTO 列表（必须包含 target_id）
-
-        Raises:
-            ValueError: 如果 items 中的 target_id 为 None
-            Exception: 数据库操作失败
-        """
-        if not items:
-            return
-
-        # 检查 Scan 是否仍存在（防止删除后竞态写入）
-        scan_id = items[0].scan_id
-        from apps.scan.repositories import DjangoScanRepository
-        if not DjangoScanRepository().exists(scan_id):
-            logger.warning("Scan 已删除，跳过端点快照保存 - scan_id=%s, 数量=%d", scan_id, len(items))
-            return
-
-        try:
-            logger.debug("保存端点快照并同步到资产表 - 数量: %d", len(items))
-
-            # 步骤 1: 保存到快照表
-            self.snapshot_repo.save_snapshots(items)
-
-            # 步骤 2: 转换为资产 DTO 并保存到资产表（upsert）
-            asset_items = [item.to_asset_dto() for item in items]
-            self.asset_service.bulk_upsert(asset_items)
-
-            logger.info("端点快照和资产数据保存成功 - 数量: %d", len(items))
-
-        except Exception as e:
-            logger.error("保存端点快照失败 - 数量: %d, 错误: %s", len(items), str(e), exc_info=True)
-            raise
-
-    def get_by_scan(self, scan_id: int, filter_query: Optional[str] = None):
-        """
-        获取指定扫描的端点快照
-
-        Args:
-            scan_id: 扫描 ID
-            filter_query: 过滤查询字符串
-
-        Returns:
-            QuerySet: 端点快照查询集
-        """
+    
+    def get_by_scan(self, scan_id: int, filter_query: str = None):
         from apps.common.utils.filter_utils import apply_filters
-
+        
         queryset = self.snapshot_repo.get_by_scan(scan_id)
         if filter_query:
             queryset = apply_filters(queryset, filter_query, self.FILTER_FIELD_MAPPING)
         return queryset
 
-    def get_all(self, filter_query: Optional[str] = None):
-        """
-        获取所有端点快照
-
-        Args:
-            filter_query: 过滤查询字符串
-
-        Returns:
-            QuerySet: 端点快照查询集
-        """
+    def get_all(self, filter_query: str = None):
+        """获取所有端点快照"""
         from apps.common.utils.filter_utils import apply_filters
-
+        
         queryset = self.snapshot_repo.get_all()
         if filter_query:
             queryset = apply_filters(queryset, filter_query, self.FILTER_FIELD_MAPPING)
         return queryset
 
     def iter_endpoint_urls_by_scan(self, scan_id: int, chunk_size: int = 1000) -> Iterator[str]:
-        """流式获取某次扫描下的所有端点 URL"""
+        """流式获取某次扫描下的所有端点 URL。"""
         queryset = self.snapshot_repo.get_by_scan(scan_id)
         for snapshot in queryset.iterator(chunk_size=chunk_size):
             yield snapshot.url
@@ -112,10 +103,10 @@ class EndpointSnapshotsService:
     def iter_raw_data_for_csv_export(self, scan_id: int) -> Iterator[dict]:
         """
         流式获取原始数据用于 CSV 导出
-
+        
         Args:
             scan_id: 扫描 ID
-
+        
         Yields:
             原始数据字典
         """

backend/apps/asset/services/snapshot/host_port_mapping_snapshots_service.py

@@ -91,25 +91,3 @@ class HostPortMappingSnapshotsService:
             原始数据字典 {ip, host, port, created_at}
         """
         return self.snapshot_repo.iter_raw_data_for_export(scan_id=scan_id)
-
-    def iter_unique_host_ports_by_scan(
-        self,
-        scan_id: int,
-        batch_size: int = 1000
-    ) -> Iterator[dict]:
-        """
-        流式获取扫描下的唯一 host:port 组合（去重）
-        
-        用于生成 URL 时避免重复。
-        
-        Args:
-            scan_id: 扫描 ID
-            batch_size: 每批数据量
-        
-        Yields:
-            {'host': 'example.com', 'port': 80}
-        """
-        return self.snapshot_repo.iter_unique_host_ports_by_scan(
-            scan_id=scan_id,
-            batch_size=batch_size
-        )

backend/apps/common/prefect_django_setup.py

@@ -1,43 +1,43 @@
 """
-Django 环境初始化模块
+Prefect Flow Django 环境初始化模块
 
-在所有 Worker 脚本开头导入此模块即可自动配置 Django 环境。
+在所有 Prefect Flow 文件开头导入此模块即可自动配置 Django 环境
 """
 
 import os
 import sys
 
 
-def setup_django():
+def setup_django_for_prefect():
     """
-    配置 Django 环境
-
+    为 Prefect Flow 配置 Django 环境
+    
     此函数会：
     1. 添加项目根目录到 Python 路径
     2. 设置 DJANGO_SETTINGS_MODULE 环境变量
     3. 调用 django.setup() 初始化 Django
     4. 关闭旧的数据库连接，确保使用新连接
-
+    
     使用方式：
-        from apps.common.django_setup import setup_django
-        setup_django()
+        from apps.common.prefect_django_setup import setup_django_for_prefect
+        setup_django_for_prefect()
     """
     # 获取项目根目录（backend 目录）
     current_dir = os.path.dirname(os.path.abspath(__file__))
     backend_dir = os.path.join(current_dir, '../..')
     backend_dir = os.path.abspath(backend_dir)
-
+    
     # 添加到 Python 路径
     if backend_dir not in sys.path:
         sys.path.insert(0, backend_dir)
-
+    
     # 配置 Django
     os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'config.settings')
-
+    
     # 初始化 Django
     import django
     django.setup()
-
+    
     # 关闭所有旧的数据库连接，确保 Worker 进程使用新连接
     # 解决 "server closed the connection unexpectedly" 问题
     from django.db import connections
@@ -47,7 +47,7 @@ def setup_django():
 def close_old_db_connections():
     """
     关闭旧的数据库连接
-
+    
     在长时间运行的任务中调用此函数，可以确保使用有效的数据库连接。
     适用于：
     - Flow 开始前
@@ -59,4 +59,4 @@ def close_old_db_connections():
 
 
 # 自动执行初始化（导入即生效）
-setup_django()
+setup_django_for_prefect()