DevDocs by CyberAGI 🚀

🎯 适合对象

🏢 企业软件开发者

跳过数周的文档阅读和技术债务处理。通过让 DevDocs 处理繁重的文档理解工作，更快地实现任何技术。

🕸️ 网络爬虫

智能发现子 URL，最多可达 5 层深度，抓取整个网站的内容。适用于内部和外部网站文档的智能爬取。

👥 开发团队

利用内置的 MCP 服务器和 Claude 集成进行智能数据查询。将团队的知识库转变为可操作的资源。

🚀 独立黑客

DevDocs + VSCode(cline) + 你的想法 = 使用任何技术快速发布产品。在构建下一个大项目时，不再陷入文档地狱。

✨ 功能特点

🧠 智能爬取

• 智能深度控制：从 1 到 5 层选择爬取深度
• 自动链接发现：查找并分类所有相关内容
• 选择性爬取：精确选择要提取的内容
• 子 URL 检测：自动发现并映射网站结构

⚡ 性能与速度

• 并行处理：同时爬取多个页面
• 智能缓存：不会浪费时间在重复内容上
• 懒加载支持：轻松处理现代 Web 应用
• 速率限制：尊重爬取，不会使服务器过载

🎯 内容处理

• 干净提取：获取无冗余的内容
• 多种格式：导出为 MD 或 JSON 格式，用于 LLM 微调
• 结构化输出：逻辑组织的内容
• MCP 服务器集成：准备好进行 AI 处理

🛡️ 企业级功能

• 错误恢复：失败时自动重试
• 完整日志记录：跟踪每个操作
• API 访问：与您的工具集成
• 团队管理：多个席位和角色

🤔 为什么选择 DevDocs？

问题

文档无处不在，而 LLM 的知识已经过时。即使是高级工程师，阅读、理解和实施这些文档也需要数周的研究和开发。我们将其时间缩短到几小时。

我们的解决方案

DevDocs 将文档带到您面前。指向任何技术文档 URL，然后观察它如何：

1. 发现与该技术相关的所有页面
2. 提取有意义的内容，去除冗余部分
3. 在 MCP 服务器中逻辑地组织信息，准备好供您的 LLM 查询
4. 以干净、可搜索的 MD 或 JSON 格式呈现，用于微调 LLM 目的

🔥 我们希望世界上任何人都能够使用最尖端的 LLM 技术快速构建出色的产品。

💰 价格比较

功能	DevDocs	Firecrawl
免费层级	无限页面	无
起始价格	永远免费	$16/月
企业计划	定制	$333/月
爬取速度	1000/分钟	20/分钟
深度级别	最多5级	有限
团队席位	无限	1-5个席位
导出格式	MD, JSON, 针对LLM优化的MCP服务器	有限格式
API访问	即将推出	有限
模型上下文协议集成	✅	❌
支持	通过Discord提供优先支持	仅标准支持
自托管（免费使用）	✅	❌

🚀 开始使用

DevDocs 设计为易于使用 Docker，新用户需要进行最少的设置。

前提条件

• Docker 已安装在您的系统上
• Git 用于克隆仓库

使用 Docker 快速开始（推荐）

对于 Mac/Linux 用户：

# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git

# Navigate to the project directory
cd DevDocs

# Configure environment variables
# Copy the template file to .env
cp .env.template .env

# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)
# This allows the frontend (running in your browser) to communicate with the backend service.


# Start all services using Docker
./docker-start.sh

对于 Windows 用户：实验性（尚未测试）

# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git

# Navigate to the project directory

cd DevDocs

# Configure environment variables
# Copy the template file to .env

copy .env.template .env

# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)

# This allows the frontend (running in your browser) to communicate with the backend service.

# Prerequisites: Install WSL 2 and Docker Desktop
# Docker Desktop for Windows requires WSL 2. Please ensure you have WSL 2 installed and running first.
# 1. Install WSL 2: Follow the official Microsoft guide: https://learn.microsoft.com/en-us/windows/wsl/install
# 2. Install Docker Desktop for Windows: Download and install from the official Docker website. Docker Desktop includes Docker Compose.



# Start all services using Docker
docker-start.bat

如果遇到权限问题，可能需要以管理员身份运行脚本或手动设置 logs、storage 和 crawl_results 目录的权限。脚本使用 icacls 命令来设置权限，在某些 Windows 系统上这可能需要提升权限。

在 Windows 上手动设置权限:

如果需要手动设置权限，可以使用 Windows GUI 或命令行：

使用 Windows Explorer:

1. 右键点击每个目录 (logs, storage, crawl_results)
2. 选择 "属性"
3. 转到 "安全" 选项卡
4. 点击 "编辑" 更改权限
5. 点击 "添加" 添加用户/组
6. 输入 "Everyone" 并点击 "检查名称"
7. 点击 "确定"
8. 在列表中选择 "Everyone"
9. 在 "允许" 下勾选 "完全控制"
10. 点击 "应用" 和 "确定"

使用命令提示符 (作为管理员):

icacls logs /grant Everyone:F /T
icacls storage /grant Everyone:F /T
icacls crawl_results /grant Everyone:F /T

如果遇到 docker-compose.yml 文件的问题（例如 "顶级对象必须是映射" 错误），docker-start.bat 脚本会自动修复此问题，确保文件具有正确的格式和编码。每次运行脚本时都会应用此修复，因此您无需手动修改文件。

这个单一命令将：

1. 创建所有必要的目录
2. 设置适当的权限
3. 构建并启动所有 Docker 容器
4. 监控服务以确保它们正常运行

访问 DevDocs

一旦服务开始运行：

• 前端 UI: http://localhost:3001
• 后端 API: http://localhost:24125
• Crawl4AI 服务: http://localhost:11235

日志和监控

使用 Docker 时，可以通过以下方式访问日志：

1. 容器日志（推荐用于调试）:

   # 查看特定容器的日志
   docker logs devdocs-frontend
   docker logs devdocs-backend
   docker logs devdocs-mcp
   docker logs devdocs-crawl4ai
   
   # 实时跟踪日志
   docker logs -f devdocs-backend
   

要停止所有服务，在运行 docker-start 的终端中按 Ctrl+C。

📜 脚本及其用途

DevDocs 包含各种实用脚本，以帮助开发、测试和维护。以下是快速参考：

启动脚本

• start.sh / start.bat / start.ps1 - 启动所有服务（前端、后端、MCP）以进行本地开发。
• docker-start.sh / docker-start.bat - 使用 Docker 容器启动所有服务。

MCP 服务器脚本

• check_mcp_health.sh - 验证 MCP 服务器的健康状况和配置状态。
• restart_and_test_mcp.sh - 用更新后的 MCP 配置重启 Docker 容器并测试连接性。

Crawl4AI 脚本

• check_crawl4ai.sh - 检查 Crawl4AI 服务的状态和健康状况。
• debug_crawl4ai.sh - 以调试模式运行 Crawl4AI，并启用详细日志记录以进行故障排除。
• test_crawl4ai.py - 运行针对 Crawl4AI 服务的测试以验证功能。
• test_from_container.sh - 从 Docker 容器内部测试 Crawl4AI 服务。

实用脚本

• view_result.sh - 以格式化视图显示爬取结果。
• find_empty_folders.sh - 识别项目结构中的空目录。
• analyze_empty_folders.sh - 分析空文件夹并按风险级别分类。
• verify_reorganization.sh - 验证代码重组是否成功。

这些脚本组织在以下目录中：

• 根目录：用于常见操作的主要脚本
• scripts/general/：通用实用脚本
• scripts/docker/：Docker 特定脚本
• scripts/mcp/：MCP 服务器管理脚本
• scripts/test/：测试和验证脚本

🌍 为开发者打造，由开发者打造

DevDocs 不仅仅是一个工具——它是你的文档伴侣，能够：

• 节省时间：将数周的研究时间缩短到几小时
• 提高理解力：获取清晰、有条理的文档
• 促进创新：更快地构建任何技术
• 支持团队：高效分享知识
• LLM 就绪：现代时代需要现代解决方案，使用 LLM 与 DevDocs 结合非常简单直观。只需最少的配置，你就可以运行 Devdocs 和 Claude App，并且它们能识别 DevDocs 的 MCP 服务器，准备好与你的数据聊天。

🛠️ 设置 Cline/Roo Cline 以实现快速软件开发

1. 打开“模式”界面

   • 在 Roo Code 中，点击 + 创建一个新的特定模式提示。
     

2. 命名

   • 给该模式一个名称（例如：Research_MCP）。
     

3. 角色定义提示

Expertise and Personality: Expertise: Developer documentation retrieval, technical synthesis, and documentation search. Personality: Systematic, detail-oriented, and precise. Provide well-structured answers with clear references to documentation sections.

Behavioral Mandate: Always use the Table Of Contents and Section Access tools when addressing any query regarding the MCP documentation. Maintain clarity, accuracy, and traceability in your responses.

1. 特定模式自定义指令提示

1. Table Of Contents Tool: Returns a full or filtered list of documentation topics. 
2. Section Access Tool: Retrieves the detailed content of specific documentation sections.

General Process: Query Interpretation: Parse the user's query to extract key topics, keywords, and context. Identify the likely relevant sections (e.g., API configurations, error handling) from the query.

Discovery via Table Of Contents: Use the Table Of Contents tool to search the documentation index for relevant sections. Filter or scan titles and metadata for matching keywords.

Drill-Down Using Section Access: For each identified relevant document or section, use the Section Access tool to retrieve its content. If multiple parts are needed, request all related sections to ensure comprehensive coverage.

Synthesis and Response Formation: Combine the retrieved content into a coherent and complete answer. Reference section identifiers or document paths for traceability. Validate that every aspect of the query has been addressed.

Error Handling: If no matching sections are found, adjust the search parameters and retry. Clearly report if the query remains ambiguous or if no relevant documentation is available.

Mandatory Tool Usage: 
Enforcement: Every time a query is received that requires information from the MCP server docs, the agent MUST first query the Table Of Contents tool to list potential relevant topics, then use the Section Access tool to retrieve the necessary detailed content.

Search & Retrieve Workflow: 
Interpret and Isolate: Identify the key terms and data points from the user's query.

Index Lookup: Immediately query the Table Of Contents tool to obtain a list of relevant documentation sections.

Targeted Retrieval: For each promising section, use the Section Access tool to get complete content.

Information Synthesis: Merge the retrieved content, ensuring all necessary details are included and clearly referenced.

Fallback and Clarification: If initial searches yield insufficient data, adjust the query parameters and retrieve additional sections as needed.

Custom Instruction Loading: Additional custom instructions specific to Research_MCP mode may be loaded from the .clinerules-research-mcp file in your workspace. These may include further refinements or constraints based on evolving documentation structures or query types.

Final Output Construction: The final answer should be organized, directly address the query, and include clear pointers (e.g., section names or identifiers) back to the MCP documentation. Ensure minimal redundancy while covering all necessary details.

🤝 加入我们的社区

• 🌟 在 GitHub 上为我们点星
• 👋🏽 通过 LinkedIn 联系我们的创始人
• 💬 加入我们的 Discord 社区

🏆 成功案例

"DevDocs 将我们三周的实施时间线缩短到了两天。它不仅仅是一个爬虫工具，更是一个开发加速器。" —— 某财富 100 强公司的高级工程师

"通过使用 DevDocs 快速理解和实施新技术，我将我的 SaaS 产品发布所需时间缩短了一半。" —— 成功的独立黑客

📝 技术合作伙伴

星标历史