Update README.md
This commit is contained in:
马一丁
215
README.md
215
README.md
@@ -123,115 +123,124 @@ LLM模型API赞助：<a href="https://aihubmix.com/?aff=8Ds9" target="_blank"><i
|
||||
|
||||
```
|
||||
BettaFish/
|
||||
├── QueryEngine/ # 国内外新闻广度搜索Agent
|
||||
│ ├── agent.py # Agent主逻辑
|
||||
│ ├── llms/ # LLM接口封装
|
||||
│ ├── nodes/ # 处理节点
|
||||
│ ├── tools/ # 搜索工具
|
||||
│ ├── utils/ # 工具函数
|
||||
│ └── ... # 其他模块
|
||||
├── MediaEngine/ # 强大的多模态理解Agent
|
||||
│ ├── agent.py # Agent主逻辑
|
||||
│ ├── nodes/ # 处理节点
|
||||
│ ├── llms/ # LLM接口
|
||||
│ ├── tools/ # 搜索工具
|
||||
│ ├── utils/ # 工具函数
|
||||
│ └── ... # 其他模块
|
||||
├── InsightEngine/ # 私有数据库挖掘Agent
|
||||
│ ├── agent.py # Agent主逻辑
|
||||
│ ├── llms/ # LLM接口封装
|
||||
│ │ └── base.py # 统一的 OpenAI 兼容客户端
|
||||
│ ├── nodes/ # 处理节点
|
||||
│ │ ├── base_node.py # 基础节点类
|
||||
│ │ ├── formatting_node.py # 格式化节点
|
||||
│ │ ├── report_structure_node.py # 报告结构节点
|
||||
│ │ ├── search_node.py # 搜索节点
|
||||
│ │ └── summary_node.py # 总结节点
|
||||
│ ├── tools/ # 数据库查询和分析工具
|
||||
│ │ ├── keyword_optimizer.py # Qwen关键词优化中间件
|
||||
│ │ ├── search.py # 数据库操作工具集
|
||||
│ │ └── sentiment_analyzer.py # 情感分析集成工具
|
||||
│ ├── state/ # 状态管理
|
||||
├── QueryEngine/ # 国内外新闻广度搜索Agent
|
||||
│ ├── agent.py # Agent主逻辑
|
||||
│ ├── llms/ # LLM接口封装
|
||||
│ ├── nodes/ # 处理节点
|
||||
│ ├── tools/ # 搜索工具
|
||||
│ ├── utils/ # 工具函数
|
||||
│ └── ... # 其他模块
|
||||
├── MediaEngine/ # 强大的多模态理解Agent
|
||||
│ ├── agent.py # Agent主逻辑
|
||||
│ ├── nodes/ # 处理节点
|
||||
│ ├── llms/ # LLM接口
|
||||
│ ├── tools/ # 搜索工具
|
||||
│ ├── utils/ # 工具函数
|
||||
│ └── ... # 其他模块
|
||||
├── InsightEngine/ # 私有数据库挖掘Agent
|
||||
│ ├── agent.py # Agent主逻辑
|
||||
│ ├── llms/ # LLM接口封装
|
||||
│ │ └── base.py # 统一的 OpenAI 兼容客户端
|
||||
│ ├── nodes/ # 处理节点
|
||||
│ │ ├── base_node.py # 基础节点类
|
||||
│ │ ├── formatting_node.py # 格式化节点
|
||||
│ │ ├── report_structure_node.py # 报告结构节点
|
||||
│ │ ├── search_node.py # 搜索节点
|
||||
│ │ └── summary_node.py # 总结节点
|
||||
│ ├── tools/ # 数据库查询和分析工具
|
||||
│ │ ├── keyword_optimizer.py # Qwen关键词优化中间件
|
||||
│ │ ├── search.py # 数据库操作工具集
|
||||
│ │ └── sentiment_analyzer.py # 情感分析集成工具
|
||||
│ ├── state/ # 状态管理
|
||||
│ │ ├── __init__.py
|
||||
│ │ └── state.py # Agent状态定义
|
||||
│ ├── prompts/ # 提示词模板
|
||||
│ │ └── state.py # Agent状态定义
|
||||
│ ├── prompts/ # 提示词模板
|
||||
│ │ ├── __init__.py
|
||||
│ │ └── prompts.py # 各类提示词
|
||||
│ └── utils/ # 工具函数
|
||||
│ │ └── prompts.py # 各类提示词
|
||||
│ └── utils/ # 工具函数
|
||||
│ ├── __init__.py
|
||||
│ ├── config.py # 配置管理
|
||||
│ └── text_processing.py # 文本处理工具
|
||||
├── ReportEngine/ # 多轮报告生成Agent
|
||||
│ ├── agent.py # 串联模板→布局→篇幅→章节→渲染的总调度
|
||||
│ ├── flask_interface.py # Flask/SSE入口，管理任务排队与流式事件
|
||||
│ ├── llms/ # OpenAI兼容LLM封装
|
||||
│ │ └── base.py # 统一的流式/重试客户端
|
||||
│ ├── core/ # 模板切片、章节落盘与装订工具
|
||||
│ │ ├── template_parser.py # Markdown模板切片与slug生成
|
||||
│ │ ├── chapter_storage.py # 章节run目录、manifest与raw流写入
|
||||
│ │ └── stitcher.py # Document IR装订器，补齐锚点/元数据
|
||||
│ ├── ir/ # 报告IR契约与校验
|
||||
│ │ ├── schema.py # 块/标记Schema常量
|
||||
│ │ └── validator.py # 章节JSON结构校验器
|
||||
│ ├── nodes/ # 全流程推理节点
|
||||
│ │ ├── base_node.py # 节点基类+日志/状态钩子
|
||||
│ │ ├── template_selection_node.py # 模板候选收集与LLM筛选
|
||||
│ │ ├── document_layout_node.py # 标题/目录/主题设计
|
||||
│ │ ├── word_budget_node.py # 篇幅规划与章节指令
|
||||
│ │ └── chapter_generation_node.py # 章节级JSON生成+校验
|
||||
│ ├── prompts/ # 提示词库与Schema说明
|
||||
│ │ └── prompts.py # 模板选择/布局/篇幅/章节提示词
|
||||
│ ├── renderers/ # IR渲染器
|
||||
│ │ └── html_renderer.py # Document IR → 交互式HTML
|
||||
│ ├── state/ # 任务/元数据状态模型
|
||||
│ │ └── state.py # ReportState与序列化工具
|
||||
│ ├── utils/ # 配置与日志工具
|
||||
│ │ └── config.py # Pydantic Settings与打印助手
|
||||
│ ├── report_template/ # Markdown模板库
|
||||
│ │ ├── 社会公共热点事件分析.md
|
||||
│ │ ├── 商业品牌舆情监测.md
|
||||
│ │ └── ... # 更多模板
|
||||
│ └── ... # 其余缓存/__init__.py等
|
||||
├── ForumEngine/ # 论坛引擎简易实现
|
||||
│ ├── monitor.py # 日志监控和论坛管理
|
||||
│ └── llm_host.py # 论坛主持人LLM模块
|
||||
├── MindSpider/ # 微博爬虫系统
|
||||
│ ├── main.py # 爬虫主程序
|
||||
│ ├── config.py # 爬虫配置文件
|
||||
│ ├── BroadTopicExtraction/ # 话题提取模块
|
||||
│ │ ├── database_manager.py # 数据库管理器
|
||||
│ │ ├── get_today_news.py # 今日新闻获取
|
||||
│ │ ├── main.py # 话题提取主程序
|
||||
│ │ └── topic_extractor.py # 话题提取器
|
||||
│ ├── DeepSentimentCrawling/ # 深度舆情爬取
|
||||
│ │ ├── keyword_manager.py # 关键词管理器
|
||||
│ │ ├── main.py # 深度爬取主程序
|
||||
│ │ ├── MediaCrawler/ # 媒体爬虫核心
|
||||
│ │ └── platform_crawler.py # 平台爬虫管理
|
||||
│ └── schema/ # 数据库结构
|
||||
│ ├── db_manager.py # 数据库管理器
|
||||
│ ├── init_database.py # 数据库初始化
|
||||
│ └── mindspider_tables.sql # 数据库表结构
|
||||
├── SentimentAnalysisModel/ # 情感分析模型集合
|
||||
│ ├── WeiboSentiment_Finetuned/ # 微调BERT/GPT-2模型
|
||||
│ ├── WeiboMultilingualSentiment/# 多语言情感分析（推荐）
|
||||
│ ├── WeiboSentiment_SmallQwen/ # 小参数Qwen3微调
|
||||
│ └── WeiboSentiment_MachineLearning/ # 传统机器学习方法
|
||||
├── SingleEngineApp/ # 单独Agent的Streamlit应用
|
||||
│ ├── config.py # 配置管理
|
||||
│ ├── db.py # SQLAlchemy异步引擎与只读查询封装
|
||||
│ └── text_processing.py # 文本处理工具
|
||||
├── ReportEngine/ # 多轮报告生成Agent
|
||||
│ ├── agent.py # 串联模板→布局→篇幅→章节→渲染的总调度
|
||||
│ ├── flask_interface.py # Flask/SSE入口，管理任务排队与流式事件
|
||||
│ ├── llms/ # OpenAI兼容LLM封装
|
||||
│ │ └── base.py # 统一的流式/重试客户端
|
||||
│ ├── core/ # 模板切片、章节落盘与装订工具
|
||||
│ │ ├── template_parser.py # Markdown模板切片与slug生成
|
||||
│ │ ├── chapter_storage.py # 章节run目录、manifest与raw流写入
|
||||
│ │ └── stitcher.py # Document IR装订器，补齐锚点/元数据
|
||||
│ ├── ir/ # 报告IR契约与校验
|
||||
│ │ ├── schema.py # 块/标记Schema常量
|
||||
│ │ └── validator.py # 章节JSON结构校验器
|
||||
│ ├── nodes/ # 全流程推理节点
|
||||
│ │ ├── base_node.py # 节点基类+日志/状态钩子
|
||||
│ │ ├── template_selection_node.py # 模板候选收集与LLM筛选
|
||||
│ │ ├── document_layout_node.py # 标题/目录/主题设计
|
||||
│ │ ├── word_budget_node.py # 篇幅规划与章节指令
|
||||
│ │ └── chapter_generation_node.py # 章节级JSON生成+校验
|
||||
│ ├── prompts/ # 提示词库与Schema说明
|
||||
│ │ └── prompts.py # 模板选择/布局/篇幅/章节提示词
|
||||
│ ├── renderers/ # IR渲染器
|
||||
│ │ └── html_renderer.py # Document IR → 交互式HTML
|
||||
│ ├── state/ # 任务/元数据状态模型
|
||||
│ │ └── state.py # ReportState与序列化工具
|
||||
│ ├── utils/ # 配置与日志工具
|
||||
│ │ └── config.py # Pydantic Settings与打印助手
|
||||
│ ├── report_template/ # Markdown模板库（企业/市场/例行/政策/热点/突发场景）
|
||||
│ └── ... # 其余缓存/__init__.py等
|
||||
├── ForumEngine/ # 论坛引擎简易实现
|
||||
│ ├── monitor.py # 日志监控和论坛管理
|
||||
│ └── llm_host.py # 论坛主持人LLM模块
|
||||
├── MindSpider/ # 微博爬虫系统
|
||||
│ ├── main.py # 爬虫主程序
|
||||
│ ├── config.py # 爬虫配置文件
|
||||
│ ├── BroadTopicExtraction/ # 话题提取模块
|
||||
│ │ ├── database_manager.py # 数据库管理器
|
||||
│ │ ├── get_today_news.py # 今日新闻获取
|
||||
│ │ ├── main.py # 话题提取主程序
|
||||
│ │ └── topic_extractor.py # 话题提取器
|
||||
│ ├── DeepSentimentCrawling/ # 深度舆情爬取
|
||||
│ │ ├── keyword_manager.py # 关键词管理器
|
||||
│ │ ├── main.py # 深度爬取主程序
|
||||
│ │ ├── MediaCrawler/ # 媒体爬虫核心
|
||||
│ │ └── platform_crawler.py # 平台爬虫管理
|
||||
│ └── schema/ # 数据库结构
|
||||
│ ├── db_manager.py # 数据库管理器
|
||||
│ ├── init_database.py # 数据库初始化
|
||||
│ ├── mindspider_tables.sql # 数据库表结构
|
||||
│ ├── models_bigdata.py # 大规模媒体舆情表的SQLAlchemy映射
|
||||
│ └── models_sa.py # DailyTopic/Task等扩展表ORM
|
||||
├── SentimentAnalysisModel/ # 情感分析模型集合
|
||||
│ ├── WeiboSentiment_Finetuned/ # 微调BERT/GPT-2模型
|
||||
│ ├── WeiboMultilingualSentiment/ # 多语言情感分析（推荐）
|
||||
│ ├── WeiboSentiment_SmallQwen/ # 小参数Qwen3微调
|
||||
│ └── WeiboSentiment_MachineLearning/ # 传统机器学习方法
|
||||
├── SingleEngineApp/ # 单独Agent的Streamlit应用
|
||||
│ ├── query_engine_streamlit_app.py
|
||||
│ ├── media_engine_streamlit_app.py
|
||||
│ └── insight_engine_streamlit_app.py
|
||||
├── templates/ # Flask模板
|
||||
│ └── index.html # 主界面前端
|
||||
├── static/ # 静态资源
|
||||
├── logs/ # 运行日志目录
|
||||
├── final_reports/ # 最终生成的HTML报告文件
|
||||
├── utils/ # 通用工具函数
|
||||
│ ├── forum_reader.py # Agent间论坛通信
|
||||
│ └── retry_helper.py # 网络请求重试机制工具
|
||||
├── app.py # Flask主应用入口
|
||||
├── config.py # 全局配置文件
|
||||
└── requirements.txt # Python依赖包清单
|
||||
├── query_engine_streamlit_reports/ # QueryEngine单应用运行生成的Markdown与state
|
||||
├── media_engine_streamlit_reports/ # MediaEngine单应用运行生成的Markdown与state
|
||||
├── insight_engine_streamlit_reports/ # InsightEngine单应用运行生成的Markdown与state
|
||||
├── templates/ # Flask模板
|
||||
│ └── index.html # 主界面前端
|
||||
├── static/ # 静态资源
|
||||
├── logs/ # 运行日志目录
|
||||
├── final_reports/ # 最终生成的HTML报告文件
|
||||
├── utils/ # 通用工具函数
|
||||
│ ├── forum_reader.py # Agent间论坛通信
|
||||
│ ├── github_issues.py # 统一生成GitHub Issue链接与错误提示
|
||||
│ └── retry_helper.py # 网络请求重试机制工具
|
||||
├── tests/ # 关键功能测试（论坛监控、渲染安全性等）
|
||||
│ ├── run_tests.py # pytest入口
|
||||
│ ├── test_monitor.py # ForumEngine监控单测
|
||||
│ └── test_report_engine_sanitization.py # ReportEngine章节清洗测试
|
||||
├── app.py # Flask主应用入口
|
||||
├── config.py # 全局配置文件
|
||||
├── docker-compose.yml # 多服务一键部署
|
||||
└── requirements.txt # Python依赖包清单
|
||||
```
|
||||
|
||||
## 🚀 快速开始（Docker）
|
||||
|
||||
Reference in New Issue
Block a user