Usagi-org/ai-goofish-monitor

[中文] ｜ English

基于 Playwright 和 AI 的闲鱼多任务实时监控，提供完整的 Web 管理界面。

• Web 可视化管理: 任务管理、账号管理、AI 标准编辑、运行日志、结果浏览
• AI 驱动: 自然语言创建任务，多模态模型深度分析商品
• 多任务并发: 独立配置关键词、价格、筛选条件和 AI Prompt
• 高级筛选: 包邮、新发布时间范围、省/市/区三级区域筛选
• 即时通知: 支持 ntfy.sh、企业微信、Bark、Telegram、Webhook等多渠道
• 定时调度: 支持 Cron 配置周期性任务
• 账号与代理轮换: 多账号管理、任务绑定账号、代理池轮换与失败重试
• Docker 部署: 一键容器化部署

git clone https://github.com/Usagi-org/ai-goofish-monitor && cd ai-goofish-monitor
cp .env.example .env
vim .env # 填写相关配置项
docker compose up -d
docker compose logs -f app
docker compose down

如果镜像无法访问或下载速度慢，可尝试使用加速：

docker pull ghcr.nju.edu.cn/usagi-org/ai-goofish:latest
docker tag ghcr.nju.edu.cn/usagi-org/ai-goofish:latest ghcr.io/usagi-org/ai-goofish:latest
docker compose up -d

• 默认 Web UI 地址：http://127.0.0.1:8000
• Docker 镜像已内置 Chromium，无需宿主机额外安装浏览器。
• 官方镜像地址：ghcr.io/usagi-org/ai-goofish:latest
• 更新镜像：docker compose pull && docker compose up -d
• 如果你修改了 .env 中的 SERVER_PORT，请同步更新 docker-compose.yaml 里的端口映射。
• docker-compose.yaml 默认会把 SQLite 主库挂载到 ./data:/app/data，数据库文件默认为 data/app.sqlite3
• 目前默认持久化这些目录：
  • data/ SQLite 主存储（任务、结果、价格历史）
  • state/ 登录状态 cookie 文件
  • prompts/ 任务提示词
  • logs/ 运行日志
  • images/ 商品图片与任务临时图片目录
  • config.json、jsonl/、price_history/ 首次升级到 SQLite 时用于兼容导入的旧数据源

• 当前在线主存储为 SQLite，默认路径 data/app.sqlite3
• 可通过环境变量 APP_DATABASE_FILE 自定义数据库路径；Docker 默认设置为 /app/data/app.sqlite3
• 应用启动时会自动建库建表，并尝试从旧的 config.json、jsonl/、price_history/ 导入一次历史数据
• state/、prompts/、logs/、images/ 仍然是文件系统目录，不在 SQLite 中
• 商品图片会临时落到 images/task_images_<task_name>/，任务结束后默认会清理
• 首次升级完成并确认 data/app.sqlite3 中数据正确后，可视部署方式决定是否继续保留旧的 config.json、jsonl/、price_history/ 挂载

其余配置见下方“配置说明”。

1. 打开默认 Web UI http://127.0.0.1:8000 并登录。
2. 进入“闲鱼账号管理”，使用 Chrome 扩展 导出并粘贴闲鱼登录态 JSON。
3. 登录态文件会保存到 state/ 目录，例如 state/acc_1.json。
4. 回到“任务管理”，创建任务并绑定账号后即可运行。

• AI判断：填写“详细需求”，提交后会弹出独立进度弹窗，后台异步生成分析标准。
• 关键词判断：填写关键词规则，任务会直接创建，不经过 AI 生成流程。
• 区域筛选：已改为省 / 市 / 区三级选择器，数据基于闲鱼页面抓取快照内置。

• Python 3.10+
• Node.js + npm（本地验证 Node v20.18.3 可完成前端构建）
• Playwright CLI 与 Chromium，首次运行前建议执行 python3 -m pip install playwright && python3 -m playwright install chromium
• Chrome / Edge 浏览器（Linux 环境也可使用 Chromium；start.sh 会先检查浏览器是否存在）

git clone https://github.com/Usagi-org/ai-goofish-monitor
cd ai-goofish-monitor
cp .env.example .env

chmod +x start.sh
./start.sh

start.sh 会先检查 Playwright CLI 和浏览器前置条件；在前置条件满足后自动安装项目依赖、构建前端、复制构建产物并启动后端。

# 后端
python -m src.app
# 或
uvicorn src.app:app --host 0.0.0.0 --port 8000 --reload

# 前端
cd web-ui
npm install
npm run dev

• FastAPI 启动时会自动初始化 SQLite，并在首次启动时尝试导入旧的 config.json/jsonl/price_history
• spider_v2.py 默认从 SQLite 读取任务；只有显式传入 --config <path> 时才会走 JSON 配置兼容模式
• 默认数据库路径为 data/app.sqlite3
• Vite 开发服务器会将 /api、/auth、/ws 代理到 http://127.0.0.1:8000。
• npm run build 先生成 web-ui/dist/，start.sh 再复制到仓库根目录 dist/。
• FastAPI 负责提供根目录 dist/index.html 和 dist/assets/。
• ./start.sh 默认输出访问地址 http://localhost:8000 和 API 文档 http://localhost:8000/docs。

PYTEST_DISABLE_PLUGIN_AUTOLOAD=1 pytest
cd web-ui && npm run build

下图描述了单个监控任务从启动到完成的核心处理逻辑。主服务运行于 src.app，按用户操作或定时调度启动一个或多个任务进程。

graph TD
    A[启动监控任务] --> B[选择账号/代理配置];
    B --> C[任务: 搜索商品];
    C --> D{发现新商品?};
    D -- 是 --> E[抓取商品详情 & 卖家信息];
    E --> F[下载商品图片];
    F --> G[调用AI进行分析];
    G --> H{AI是否推荐?};
    H -- 是 --> I[发送通知];
    H -- 否 --> J[保存记录到 SQLite];
    I --> J;
    D -- 否 --> K[翻页/等待];
    K --> C;
    J --> C;
    C --> L{触发风控/异常?};
    L -- 是 --> M[账号/代理轮换并重试];
    M --> C;