ARL-Next - 现代化资产测绘与漏洞监控平台 (ARL-Next)。经典 ARL 架构重构，聚焦企业资产关联、异步解

项目说明

<di="center">

# ARL-Next
现代化资产测绘与漏洞监控平台

*Modern Attack Surface Reconnaissance & Asset Intelligence Platform*

<p><b>企业资产关联 · 异步解耦调度 · 原生 MCP 协议集成 · 容器化开箱部署</b></p>

<p>
<a href=" src=" alt="Release"></a>
<a href=" src=" alt="Stars"></a>
<a href=" src=" alt="Forks"></a>
<a href="./LICENSE"><img src=" alt="License"></a>
</p>

<p>
<img src=" alt="Docker">
<img src=" alt="Python">
<img src=" alt="Nmap">
<img src=" alt="MongoDB">
<img src=" alt="Vue">
<img src=" alt="MCP">
</p>

<p>
<a href="#quick-deploy"><b>⚡ 快速部署指南</b></a> •
<a href="#comparison"><b>💡 架构演进对比</b></a> •
<a href="#core-features"><b>✨ 核心特性</b></a> •
<a href="./mcp-ser.md"><b>🤖 MCP配置指南</b></a> •
<a href="./CHANGELOG.md"><b>📜 更新日志</b></a> •
<a href="./LICENSE"><b>📄 开源协议</b></a>
</p>
</div>

<br/>

---

💡 什么是 ARL-Next？

> ARL-Next 是基于经典开源项目 ARL (资产侦察灯塔) 进行架构重构与持续演进的资产测绘平台。
> 针对大规模扫描场景下的任务队列阻塞、长时间运行内存增长以及历史依赖过时等工程瓶颈，系统实施了微服务拆分与异步任务解耦，全面升级现代运行时环境与测绘工具链，并集成了 Model Context Protocol (MCP) 标准协议，支持自动化资产透视与 AI 协同分析。

---

<span id="comparison"></span>💡 架构演进与技术方案基准对比

| 评估维度 | ARL 原始架构与实现 | ARL-Next 重构方案 |
| :--- | :--- | :--- |
| 并发与调度架构 | 任务执行共用单 Celery 队列，复杂任务高并发时易发生队列阻塞与假死 | 拆分 OSINT 与截图为独立微服务，引入轻重分离队列与批量落库，显著收敛队列阻塞与并发瓶颈 |
| 自动化协议集成 | 无标准化外部调度接口，仅支持 Web 控制台人工交互 | 内置原生 MCP Server，支持通过标准协议进行 13 维全景资产画像检索与统计分析 |
| 企业资产拓扑 | 无关联企业与全类型数字资产下钻链路 | 资产分组融合管理：支持企业股权关联与全类型 ICP 检索（网站 / APP / 小程序 / 快应用），构建多级集团拓扑与全景暴露面画像 |
| 容器构建与部署 | 依赖陈旧且缺乏镜像加速，构建拉取易受外部网络波动影响 | 多阶段容器构建与阿里云国内镜像源预编译，提升构建速度与部署稳定性 |
| 底层技术栈基线 | Python 3.6 / Vue 2 / MongoDB 3.x / Nmap 7.70 | Python 3.13 / Vue 3.5 / MongoDB 7.0 / Nmap 7.95 稳定版 现代运行环境基线全面对齐 |
| 敏感信息提取 | 基于外部 Go 二进制工具，跨平台存在依赖与编译维护成本 | 纯 Python 原生提取引擎，无外部二进制依赖，支持敏感凭证与信息的流式提取 |
| Web 交互体验 | 大数据长列表无固定表头，分页状态未持久化，字典与策略配置分散于多级子菜单 | 表头与操作栏 Sticky 悬浮吸附、分页状态本地持久化、三栏式字典管理器 |
| 威胁情报协同 | 缺乏持续情报同步机制，时间戳处理不统一易产生冗余告警 | CVE 与 GitHub 代码泄露监听、基于数据库原子更新锁去重、严格时区归一化 |

---

<span id="core-features"></span>✨ 核心特性矩阵

* 🤖 MCP 标准协议集成：内置基于 Python 标准库的原生 MCP 服务，支持外部 Agent 对接检索 13 维全景资产画像与统计大盘数据（任务下发与策略调度能力持续接入中）。（👉 MCP 配置指南）
* ⚙️ 异步解耦并发调度：微服务拆分与独立任务队列分流，结合批量数据落库优化，保障高吞吐扫描平稳运行。
* 🌐 多级资产分组与全维融合：企业资产查询深度融入资产分组管理架构，支持集团多级架构管理、全类型 ICP 与生态资产自动化关联及网络暴露面统一测绘。
* 🔍 现代资产测绘基准：基于 Nmap 7.95 稳定版；内置原生 Python 敏感凭据与信息流式提取引擎。
* 🛡️ 漏洞与代码泄露监控：持续同步权威 CVE 漏洞情报，监听 GitHub 关联代码与凭据泄露，支持基于原子更新的去重机制。
* ⚡ 高可用运维与容错机制：集成容器健康探活、就绪轮询与异常自动重启机制，支持管理后台在线平滑升级。
* 📦 预构建镜像加速：提供阿里云国内镜像源预编译构建制品，规避跨国网络波动导致的镜像拉取与依赖安装失败。

---

📸 界面预览

* 全局仪表盘 (Dashboard)：实时呈现资产暴露面态势、今日侦察动向、漏洞风险矩阵与威胁情报；集成系统资源占用（CPU/内存/磁盘）与扫描调度队列监控、风险演进趋势分析、全景安全调度日志流、Web 组件指纹 TOP 5 分布及实时侦察流水线追踪。

<p align="center">
<img src="./img/dashboard.png" alt="ARL-Next 全局仪表盘" width="850">
</p>

<details open>
<summary><b>🖼️ 点击收起 / 展开更多核心业务界面</b></summary>

<br/>

* 多级资产分组与全景资产画像：原企业资产查询现已深度整合至资产分组统一架构。支持集团多级组织架构管理、企业生态资产关联分析 (OSINT)、网络暴露面测绘 (ASM) 与 13 维全景资产画像下钻。

<p align="center">
<img src="./img/asset-group-o.png" alt="集团多级资产分组与覆盖度" width="850">
</p>

<p align="center">
<img src="./img/asset-group-osint.png" alt="企业生态资产 (OSINT) 维度" width="850">
</p>

<p align="center">
<img src="./img/asset-group-asm.png" alt="网络暴露面 (ASM) 测绘" width="850">
</p>

<p align="center">
<img src="./img/asset-group-profile.png" alt="13 维全景资产画像抽屉" width="850">
</p>

* 任务下发与策略调度：深度联动 Nuclei、100+ 专属漏洞 PoC 插件池及近万级 Web 指纹库 (8800+)，支持全生命周期下发与追踪。

<p align="center">
<img src="./img/task-new.png" alt="任务新建与策略选择" width="800">
</p>

<p align="center">
<img src="./img/task-management1.png" alt="任务全生命周期管理" width="800">
</p>

* 威胁情报与代码泄露雷达：实时追踪全球最新 CVE 漏洞，自动化监听 GitHub 敏感代码与凭证泄露。

<p align="center">
<img src="./img/threat-intel-radar.png" alt="威胁情报雷达" width="800">
</p>

* 系统设置与现代字典管理：全新现代三栏式字典管理（支持在线预览/呼吸灯提示）、队列并发热扩缩容及告警通道。

<p align="center">
<img src="./img/system-settings.png" alt="系统设置与字典管理" width="800">
</p>

</details>

---

🏗️ 架构设计

ARL-Next 采用前后端解耦、异步分布式任务队列与轻量微服务集群架构。整体数据流与模块交互如下：

核心架构要点：

1. 🖥️ 展示与网关 (Frontend / Nginx)：基于 Vue 3.5 + Nginx，支持全站表格与操作栏 Sticky 悬浮吸附及 Basic Auth 前置网关防护。
2. ⚙️ 业务与协议接入 (Backend / MCP)：基于 Python 3.13 + Gunicorn；内置 原生 Python MCP 服务，提供标准协议接口与 13 维全景资产画像导出能力。
3. 🧩 OSINT 独立微服务：专职企业资产与 ICP 异步情报采集，由 Backend 直调协程池，独立于 Celery 扫描队列以规避长耗时任务阻塞。
4. ⚡ 多队列 Worker 集群：划分轻量/重载/威胁情报独立队列；通过 Worker 子进程生命周期轮转机制控制内存增长；测绘执行引擎统一至 Nmap 7.95 稳定版。
5. 🛡️ 微服务与守护探针 (Puppeteer / Autoheal)：无头截图容器化隔离并支持请求计数轮转；Autoheal 守护进程定时探活扫描 Worker 并自动重启异常容器；纯 Python 引擎高效提取敏感信息。
6. 🗄️ 高吞吐持久层与并发优化 (MongoDB 7.0)：数据写入全面迁移至 bulk_write 批量接口，核心集合覆盖联合唯一索引并设 1GB 内存池保护；解除不合理的内存硬限制，保障高吞吐扫描平稳性。

---

<span id="quick-deploy"></span>🚀 部署指南

生产部署 (推荐)

适用环境：公网云服务器 (Ubuntu / Debian / CentOS / 统信等)、企业内网服务器。
预估耗时：自带 Docker 环境约需 1~2 分钟；全新裸机从零安装约 3~5 分钟。

核心机制与优势：
* ⚡ 国内镜像加速：直连阿里云国内镜像私库，规避跨国网络超时与拉取阻断。
* 📦 开箱即用：预构建交付，无需在宿主机配置复杂编译链与工具库。
* 🛡️ 双层安全防护：内置 SSL 证书与 Basic Auth 前置网关防护，核心组件全私有网络隔离。
* 🔄 后台平滑热更：支持直接在管理后台一键触发升级流程，自动同步编排脚本与最新镜像。
* 🩺 服务健康探活：内置 API 就绪轮询机制与内存防护配置，服务就绪再放行，保障启动稳定性。

---

#### 🚀 部署方式选择

##### 方法一：国内镜像快速部署（推荐 · 规避 GitHub 网络波动）

在服务器终端 (需 root 权限) 粘贴并执行对应系统的连缀指令。脚本将从阿里云国内镜像提取全套部署编排，并自动配置 Swap、安装/补齐 Docker 与 Compose 插件后一键拉起：

> [!TIP]
> start-prod.sh 内置全套环境探针，支持自动安装 Docker、补齐 Docker Compose 插件并调优内核，裸机亦可顺畅运行。

Ubuntu / Debian / 统信 系统：

CentOS / RHEL / Alibaba Cloud Linux / TencentOS 系统：

##### 方法二：GitHub 源码克隆部署（适用于海外服务器 / 源码部署）

> [!TIP]
> start-prod.sh 内置全套环境探针，裸机运行亦会自动安装 Docker 并优化内核配置。

---

#### 🔑 访问与初始凭据

部署完成后，在浏览器中访问：（首次自签名证书请无视浏览器不安全提示）。

| 验证层级 | 默认账号 | 默认密码 | 说明 |
| :--- | :--- | :--- | :--- |
| 第一层：Nginx Basic Auth 网关 | admin | arl_next | 前置防扫描器爆破（默认关闭，可在顶部导航栏通过安全开关一键热开启或关闭，修改密码可在关闭后重新开启配置） |
| 第二层：ARL-Next 系统登录 | admin | arlpass | 平台主账号，首次登录后建议立即修改 |

> [!TIP]
> - 网络与防火墙开放：请确保云服务器控制台安全组及系统本地防火墙（如 ufw allow 5173/tcp 或 firewall-cmd --permanent --add-port=5173/tcp && firewall-cmd --reload）已放行 5173 TCP 端口。
> - 商业证书替换 (可选)：将您申请的真实 SSL 证书重命名为 arl.crt 和 arl.key 放至 ssl-certs/ 目录，然后再次执行 bash start-prod.sh 即可。

---

🔄 生产环境版本升级

ARL-Next 支持 Web 管理后台一键热更新（在「系统设置」中在线升级）与 终端标准手动升级：

#### 方案一：Web 管理后台一键热更新（推荐）

登录 ARL-Next 平台 ➔ 进入 「系统设置」 页面 ➔ 点击 「一键系统更新」。<br/>
宿主机更新守护进程将自动拉取最新构建、同步最新编排脚本与版本文件，并在后台完成容器热重启与服务就绪检查，全程无需登录终端。

#### 方案二：终端标准手动升级

在服务器终端进入 ARL-Next 部署目录，根据您的初次安装方式执行对应升级命令：

* Git 源码克隆用户 (方法二部署)：

* 免 Git 一键部署用户 (方法一部署)：
在终端执行以下连缀指令，重新同步最新的编排脚本并平滑拉起：

> [!TIP]
> 升级保障机制：
> - 数据增量平滑迁移：内置版本增量迁移逻辑，自动维护集合结构与联合唯一索引，降低升级冲突风险。
> - 运行镜像备份标签：升级前自动为当前运行的服务镜像（Web、Worker、Puppeteer、OSINT等）打上 backup-stable 标签，保障异常时可快速回滚。
> - 镜像加速与就绪探针：直连阿里云国内镜像仓库拉取构建制品，API 动态探活就绪后再行放行。

---

🔌 API 调用约定

任务操作（注意 HTTP 方法）

| 操作 | 方法及路径 | 参数 |
| --- | --- | --- |
| 查询任务 | GET /api/task/ | 可选查询参数 target、status、page、size |
| 停止单个任务 | GET /api/task/stop/<task_id> | 路径中的任务 ID；这是会改变任务状态的操作 |
| 批量停止 | POST /api/task/batch_stop/ | 以接口文档所示请求体为准 |
| 删除任务 | POST /api/task/delete/ | JSON：{"task_id": ["<task_id>"], "del_task_data": false} |
| 重启任务 | POST /api/task/restart/ | JSON：{"task_id": ["<task_id>"]} |

删除接口只接受状态为 done、stop 或 error 的任务；其他状态返回业务码 104（“任务运行中”）。如需删除，先核对任务状态，必要时通过停止接口结束任务，再调用删除。停止接口使用 GET 是现有实现，不应将它误认为只读查询；也不要猜测使用 DELETE /api/task/<id> 或 POST /api/task/stop/。

查询结果的命名空间

任务结果在 /api/domain/、/api/ip/、/api/site/ 等接口下查询；同步到资产分组后的结果则位于 /api/asset_domain/、/api/asset_ip/、/api/asset_site/ 等 asset_* 命名空间。两者不是同一数据集合：按任务查询时使用 task_id，按分组查询时使用 scope_id。具体字段、分页方式和其他维度请以 /api/doc 的当前接口定义为准。

---

❓ 常见问题与运维排错 (FAQ)

<details open>
<summary><b>Q1: 首次通过 HTTPS 访问时，浏览器提示“不安全 / 您的连接不是私密连接”？</b></summary>
<br/>

A: 系统首次启动时会自动签发本地自签名 SSL 证书。

<details>
<summary><b>Q2: 忘记系统登录密码或 Basic Auth 防爆破凭证怎么办？</b></summary>
<br/>

A: 在服务器终端执行以下操作即可一键重置：

> [!NOTE]
> 平台启动时默认保护现有密码，追加 --reset 参数将强制将 admin 密码重置为初始密码 arlpass。请在宿主机受信环境下执行。

<details>
<summary><b>Q3: 点击 Web 端的“一键系统更新”时，提示 <code>[ERROR]触发更新失败</code>？</b></summary>
<br/>

A: 这种情况通常是因为宿主机更新守护进程未响应。您可以通过以下两种方式解决：

</details>

<details>
<summary><b>Q4: 扫描任务较多时，如何调整系统并发性能？</b></summary>
<br/>

A: ARL-Next 支持动态热调整并发，无需重启容器！

<details>
<summary><b>Q5: 常用 Docker 容器维护与日志排查命令速查？</b></summary>
<br/>

</details>

---

📜 更新日志

详细的版本演进历史、各版本特性与问题修复记录，请参阅 ➔ CHANGELOG.md

---

🤝 致谢

本项目站在巨人的肩膀上，特此鸣谢以下项目与团队：

* 核心架构：基于经典开源项目 ARL 资产侦察灯塔 深度重构，并参考了 Aabyss-Team/ARL 与 adysec/ARL 等优秀实践。
* 指纹数据：特别鸣谢 威零安全团队 (<img src="./img/weiling.jpg" width="18" height="18" align="absmiddle" /> 公众号) 提供的万级高质量 Web 指纹库支撑。
* 功能灵感：OSINT 企业查询深度借鉴了 ICP_Query，威胁监控模块汲取了 github-c 的优雅设计。

ARL-Next 将始终秉持开源互助的黑客初心，持续为网络安全攻防与企业防御建设贡献力量！

---

💖 赞助与支持

ARL-Next 的持续高频迭代离不开社区伙伴的慷慨支持。特别致谢以下赞助者：

<p align="center">
<img src="./img/buymeacoffee.png" width="180" alt="Buy Me A Coffee" />
</p>

<p align="center">
<a href=" target="_blank">
<img src=" width="48" height="48" style="border-radius: 50%; margin: 0 8px;" alt="robotfish-001" title="感谢 robotfish-001 的支持！"/>
</a>
<a href=" target="_blank">
<img src=" width="48" height="48" style="border-radius: 50%; margin: 0 8px;" alt="phpmac" title="感谢 phpmac 的支持！"/>
</a>
<a href=" target="_blank">
<img src=" width="48" height="48" style="border-radius: 50%; margin: 0 8px;" alt="123lpone" title="感谢 123lpone 的支持！"/>
</a>
<a href=" target="_blank">
<img src=" width="48" height="48" style="border-radius: 50%; margin: 0 8px;" alt="Qexzi" title="感谢 Qexzi 的支持！"/>
</a>
</p>

---

⚠️ 法律与免责声明

> [!CAUTION]
> 合规红线与免责条款：
> 本平台仅供经过合法授权的企业安全建设、SRC 漏洞挖掘、学术攻防演练及安全研究使用。使用本工具开展任何探测与扫描前，使用者必须确保已获得目标资产所有者的明确书面授权，并严格遵守《中华人民共和国网络安全法》及当地法律法规。
> 严禁利用本工具从事任何未授权的入侵、攻击或破坏行为！ 任何因违规滥用导致的网络安全事故或法律责任，均由使用者本人独立承担，本项目作者与贡献者不承担任何直接或连带责任。

---

📄 开源协议 (License)

ARL-Next 项目遵循 GNU General Public License v3.0 (GPL-3.0) 开源许可证协议。

* 🆓 自由与开源：您可以免费用于企业自建、安全研究、资产测绘与攻防演练，并享有自由阅读、修改与定制源码的权利。
* 🌐 传染与同协议共享：若您在二次开发中修改或基于本项目构建衍生作品并向第三方分发，必须保持在相同的 GPL-3.0 许可证下完整开源相关代码。
* ⚖️ 署名与免责保留：任何形式的源码复制与再分发，均须保留原始作者版权声明、许可证全文以及免责条款。

---

💬 交流群与反馈通道

<table align="center">
<tr>
<td align="center" style="padding: 10px 25px;"><b>👤 个人微信</b></td>
<td align="center" style="padding: 10px 25px;"><b>📢 微信公众号 (owl安全)</b></td>
<td align="center" style="padding: 10px 25px;"><b>🐧 QQ 技术交流群</b></td>
</tr>
<tr>
<td align="center" style="padding: 10px 25px;"><img src="./img/wechat.png" alt="个人微信" width="210" /></td>
<td align="center" style="padding: 10px 25px;"><img src="./img/wechat_public.jpg" alt="微信公众号 owl安全" width="210" /></td>
<td align="center" style="padding: 10px 25px;"><img src="./img/qq_group.jpg" alt="QQ交流群" width="210" /></td>
</tr>
</table>

---

🌟 Star History

<di="center">

<a href="
<picture>
<source media="(prefers-color-scheme: dark)" srcset=" />
<source media="(prefers-color-scheme: light)" srcset=" />
<img alt="Star History Chart" src=" />
</picture>
</a>

</div>

项目信息

开发语言：Python

Star 数：448

技术要点

该项目属于安全软件方向的开源资源，代码结构清晰，适合安全研究人员学习参考。项目围绕现代化资产测绘与漏洞监控平台 (ARL-Next)。经典 ARL 架构重构，聚焦企业资产关联、异步解耦并发调度与原生 MCP 协议集成，容器化开箱部署。展开，提供了可运行的实现，对理解相关安全机制、工具原理与攻防技术具有较高的研究价值。

从技术实现角度看，此类项目的核心在于对底层原理的深入理解与工程化落地。开发者在研究过程中可以结合官方文档与社区讨论，梳理项目的初始化流程、核心模块职责与数据流转，逐步掌握其中的技术细节与设计思路。

使用与学习建议

1. 下载源码压缩包，解压到本地环境。

2. 根据项目类型准备对应的运行环境与依赖。

3. 按照 README 中的步骤完成配置与部署。

4. 在隔离的测试环境中运行验证，避免影响生产系统。

免责声明

本资源来源于开源社区，仅供安全研究、技术学习与合法授权范围内的攻防演练使用，请勿用于任何非法或侵害他人权益的用途。使用本项目产生的一切后果由使用者自行承担。