ljwx-stock/DATA_ARCHITECTURE_ANALYSIS.md

# 数据架构全面分析报告

> **分析日期**: 2025-12-23
> **目标**: 明确股票推荐系统的数据现状、需求和缺口
> **AI定位**: 入口和出口解析，而非直接预测

---

## 一、当前可用数据源

### 1.1 免费数据源（已实现）

#### 新浪财经 (Sina Finance)
- **实现**: `backend/app/adapters/sina_adapter.py`
- **功能**:
  - ✅ 实时行情（响应时间 30ms）
  - ✅ 历史K线（最多1023条）
- **优势**: 速度极快，稳定性高
- **限制**: 无基本面数据

#### 腾讯财经 (Tencent Finance)
- **实现**: `backend/app/adapters/tencent_adapter.py`
- **功能**:
  - ✅ 实时行情（40+字段）
  - ✅ 历史K线（最多320条，支持前复权/后复权）
- **优势**: 数据字段最全面
- **限制**: 无基本面数据

#### 东方财富 (EastMoney)
- **实现**: `backend/app/adapters/eastmoney_adapter.py`
- **功能**:
  - ✅ 实时行情（包含换手率）
  - ✅ 基本面数据（PE、PB、市值）
- **优势**: 唯一免费提供基本面的数据源
- **限制**: 字段相对较少

### 1.2 数据获取能力矩阵

| 数据类型 | 新浪 | 腾讯 | 东方财富 | 可用性 |
|---------|------|------|----------|--------|
| 实时行情 | ✅ | ✅ | ✅ | 99.9% |
| 历史K线 | ✅ | ✅ | ❌ | 99.5% |
| 换手率 | ❌ | ❌ | ✅ | 95% |
| PE/PB | ❌ | ❌ | ✅ | 95% |
| 财务报表 | ❌ | ❌ | ❌ | 0% |
| 资金流 | ❌ | ❌ | ❌ | 0% |
| 龙虎榜 | ❌ | ❌ | ❌ | 0% |

---

## 二、已抓取/可抓取的数据

### 2.1 核心数据表（schema_v2.sql）

#### ✅ stocks - 股票基本信息
```sql
symbol, name, market, industry, list_date
```
- **数据源**: 需要主动抓取（东方财富/AkShare）
- **状态**: 脚本已实现 `fetch_company_info_v2.py`
- **容量**: 5,295只A股

#### ✅ daily_quotes - 日线行情
```sql
symbol, trade_date, open, high, low, close, volume, amount, turnover_rate
```
- **数据源**: 新浪/腾讯
- **状态**: 可实时获取
- **需求**: 至少365天历史数据（每股250条记录）

#### ✅ technical_indicators - 技术指标
```sql
ma5, ma10, ma20, ma60, rsi, macd, bollinger, atr, obv
```
- **数据源**: 从daily_quotes计算
- **状态**: 代码已实现 `feature_engineer.py`
- **计算**: 本地实时计算

#### ⚠️ fundamentals - 基本面数据
```sql
pe_ratio, pb_ratio, roe, net_margin, debt_to_equity,
total_revenue, net_profit, total_assets
```
- **数据源**:
  - 当前可用: 东方财富（仅PE/PB）
  - 完整数据: 需要额外数据源
- **状态**: 部分可用

#### ✅ recommendations - 推荐结果
```sql
symbol, strategy, score, predicted_return, confidence, reason, signals
```
- **数据源**: 系统生成
- **状态**: 模型和策略引擎已实现

### 2.2 扩展数据表（schema_extended.sql）

#### ✅ t_company_info - 公司完整信息
- **数据源**: 东方财富
- **状态**: 脚本已实现
- **字段**: 注册地、主营业务、员工数等

#### ✅ t_sector_info - 板块信息
- **数据源**: 东方财富
- **状态**: 脚本已实现 `fetch_sector_data.py`
- **容量**: ~400个板块

#### ✅ t_money_flow - 资金流数据
- **数据源**: 东方财富
- **状态**: 脚本已实现 `fetch_money_flow.py`
- **字段**: 主力、超大单、大单、中单、小单净流入

#### ✅ t_top_list - 龙虎榜数据
- **数据源**: 东方财富
- **状态**: 脚本已实现 `fetch_top_list.py`
- **用途**: 识别机构和游资活动

#### ⚠️ t_financial_statements - 财务报表
- **数据源**: 需要额外数据源（东方财富/AkShare）
- **状态**: 部分实现 `fetch_financial_data_v2.py`
- **字段**: 利润表、资产负债表、现金流量表

---

## 三、股票推荐系统所需数据

### 3.1 ML模型输入特征（feature_engineer.py）

#### 技术面特征（35%权重）
1. **价格相关**:
   - MA5, MA10, MA20, MA50, MA200（移动均线）
   - Price/MA比率（价格相对位置）
   - 金叉/死叉信号（MA5_MA20_Cross）

2. **动量指标**:
   - RSI_14（相对强弱指数）
   - MACD, MACD_Signal, MACD_Hist
   - Stochastic K/D（随机指标）
   - ROC_12（变化率）
   - Momentum_10（动量）

3. **波动率指标**:
   - ATR_14（平均真实波幅）
   - Bollinger Bands（布林带）
   - BB_Position（布林带位置）
   - Historical Volatility（历史波动率）

4. **成交量**:
   - Volume_MA（成交量均线）
   - Volume_Ratio（量比）
   - OBV（能量潮）

#### 基本面特征（35%权重）
1. **估值指标**:
   - ✅ PE Ratio（市盈率） - 东方财富可提供
   - ✅ PB Ratio（市净率） - 东方财富可提供
   - ❌ PS Ratio（市销率） - **缺失**
   - ❌ PEG Ratio（市盈增长比） - **缺失**

2. **盈利能力**:
   - ❌ ROE（净资产收益率） - **缺失**
   - ❌ ROA（资产收益率） - **缺失**
   - ❌ Gross Margin（毛利率） - **缺失**
   - ❌ Net Margin（净利率） - **缺失**

3. **财务健康**:
   - ❌ Debt-to-Equity（资产负债率） - **缺失**
   - ❌ Current Ratio（流动比率） - **缺失**
   - ❌ Quick Ratio（速动比率） - **缺失**

4. **成长性**:
   - ❌ Revenue Growth（营收增长率） - **缺失**
   - ❌ Profit Growth（利润增长率） - **缺失**
   - ❌ EPS Growth（每股收益增长率） - **缺失**

#### 市场情绪特征（15%权重）
1. **资金流**:
   - ✅ Main Net Inflow（主力净流入） - 可抓取
   - ✅ Large/Medium/Small Order Flow - 可抓取

2. **市场关注度**:
   - ✅ Dragon-Tiger List（龙虎榜） - 可抓取
   - ❌ News Sentiment（新闻情绪） - **缺失**
   - ❌ Social Media Sentiment - **缺失**

3. **行业对比**:
   - ✅ Sector Performance（板块表现） - 可计算
   - ✅ Industry Ranking（行业排名） - 可计算

### 3.2 策略引擎需求（strategy_engine.py）

#### 价值投资策略
```python
filters = {
    "pe_ratio": [0, 20],      # ✅ 可用
    "pb_ratio": [0, 3],       # ✅ 可用
    "roe": [0.08, None]       # ❌ 缺失
}
```
- **可执行度**: 60%（缺少ROE）

#### 成长投资策略
```python
filters = {
    "revenue_growth": [0.15, None],  # ❌ 缺失
    "net_margin": [0.1, None]        # ❌ 缺失
}
```
- **可执行度**: 0%（关键指标全部缺失）

#### 动量策略
```python
filters = {
    "ma5_cross_ma20": True,    # ✅ 可用
    "rsi": [50, 70],           # ✅ 可用
    "volume_surge": True       # ✅ 可用
}
```
- **可执行度**: 100%

#### 综合策略
```python
weights = {
    "fundamental": 0.35,  # 缺失70%指标
    "technical": 0.35,    # 100%可用
    "sentiment": 0.15,    # 70%可用
    "ai": 0.15           # 取决于输入数据
}
```
- **可执行度**: 65%

---

## 四、数据缺口分析

### 4.1 关键缺失数据

#### 🔴 高优先级（影响核心推荐质量）

1. **财务报表数据** - 重要性：⭐⭐⭐⭐⭐
   - 缺失指标: ROE, ROA, 毛利率, 净利率, 资产负债率
   - 影响策略: 价值投资、成长投资
   - 解决方案:
     - **方案A**: 使用AkShare抓取（免费，需要实现抓取器）
     - **方案B**: 爬取东方财富财报页面（需要解析HTML）
     - **推荐**: 方案A（更稳定）

2. **营收和利润增长率** - 重要性：⭐⭐⭐⭐⭐
   - 缺失指标: 营收增长率、利润增长率
   - 影响策略: 成长投资（完全不可用）
   - 解决方案: 从财务报表计算（需要多期数据）

3. **市销率(PS)和PEG** - 重要性：⭐⭐⭐⭐
   - 缺失指标: PS Ratio, PEG Ratio
   - 影响策略: 估值判断
   - 解决方案: 从营收和PE计算

#### 🟡 中优先级（增强推荐效果）

4. **新闻情绪分析** - 重要性：⭐⭐⭐
   - 缺失数据: 新闻标题、内容、情绪得分
   - 影响权重: 情绪面15%中的部分
   - 解决方案:
     - **方案A**: 爬取东方财富/新浪财经新闻
     - **方案B**: 使用Claude API分析公告（成本较高）
     - **推荐**: 方案A + Claude批量分析

5. **行业对比数据** - 重要性：⭐⭐⭐
   - 缺失数据: 行业平均PE/PB/ROE、行业排名
   - 影响策略: 相对估值判断
   - 解决方案: 从已有数据计算统计值

#### 🟢 低优先级（锦上添花）

6. **社交媒体情绪** - 重要性：⭐⭐
   - 缺失数据: 雪球/东方财富吧讨论热度和情绪
   - 影响权重: 小
   - 解决方案: 暂时可不实现

### 4.2 数据完整度评估

| 数据维度 | 当前完整度 | 推荐所需 | 缺口 |
|---------|-----------|---------|------|
| 技术指标 | 100% | 100% | 0% ✅ |
| 实时行情 | 100% | 100% | 0% ✅ |
| 历史K线 | 100% | 100% | 0% ✅ |
| 基本估值 | 30% (PE/PB) | 100% | 70% 🔴 |
| 财务报表 | 10% (部分) | 100% | 90% 🔴 |
| 资金流 | 100% | 100% | 0% ✅ |
| 板块数据 | 100% | 100% | 0% ✅ |
| 新闻情绪 | 0% | 60% | 60% 🟡 |

**总体数据完整度**: **60%**

---

## 五、AI角色定位

### 5.1 明确定位：入口和出口解析，非预测

#### ❌ 不使用AI做的事情
1. **预测股价涨跌** - 由ML模型（XGBoost/LightGBM）完成
2. **计算技术指标** - 由feature_engineer.py完成
3. **筛选股票** - 由strategy_engine.py完成
4. **评分排序** - 由ml_trainer.py完成

#### ✅ 使用AI做的事情

##### 1. 入口解析（理解用户意图）
- **位置**: `backend/app/routes/ai_assistant.py`
- **功能**:
  ```
  用户输入: "帮我找一些低估值的银行股"
  AI解析: {
    "strategy": "value",
    "filters": {
      "industry": "银行",
      "pe_ratio": [0, 15],
      "pb_ratio": [0, 2]
    }
  }
  ```
- **实现**: Claude API + 结构化输出
- **缓存**: 相似问题缓存，减少API调用

##### 2. 出口解析（生成自然语言解释）
- **位置**: `backend/services/claude_service.py`
- **功能**:
  ```
  ML输出: {
    "symbol": "600000",
    "score": 85.3,
    "signals": {
      "technical": {"ma5_cross": True, "rsi": 62},
      "fundamental": {"pe": 6.5, "pb": 0.54}
    }
  }

  AI生成: "浦发银行(600000)获得85.3分推荐。
  技术面：5日均线上穿20日均线，形成金叉信号，RSI为62处于健康区间。
  基本面：市盈率6.5倍，市净率0.54，估值处于历史低位。
  综合判断：该股具有较好的中长期投资价值。"
  ```
- **实现**: Claude API + Prompt模板
- **缓存**: 3600s TTL

##### 3. 数据质量评估
- **功能**: 识别数据缺失和异常
  ```
  检查输入: {
    "symbol": "600000",
    "pe_ratio": null,
    "roe": null
  }

  AI评估: "警告：该股票缺少ROE数据，基本面评分可能不准确。
  建议：补充财务数据后再做判断。"
  ```

##### 4. 混合AI增强（Claude + Local LLM）
- **位置**: `backend/app/routes/claude_deepseek_collab.py`
- **流程**:
  ```
  1. Local LLM (Qwen/DeepSeek) 生成初步技术分析（免费）
  2. Claude 审查和增强，加入市场背景（付费）
  3. 合并两个视角，生成综合分析
  ```
- **成本优化**: 减少40% Claude API调用

### 5.2 AI数据流

```
用户问题
  → AI解析意图 (Claude)
  → 生成查询参数
  → 数据获取器获取数据
  → 特征工程计算指标
  → ML模型评分排序
  → AI生成解释 (Claude/Local LLM)
  → 返回给用户
```

**关键点**: AI在两端（入口理解、出口解释），中间是数据驱动的ML流程。

---

## 六、解决方案和行动计划

### 6.1 立即可行（1-2天）

#### ✅ 补充财务数据抓取
- **脚本**: 完善 `fetch_financial_data_v2.py`
- **数据源**: AkShare
- **字段**: ROE, ROA, 毛利率, 净利率, 资产负债率, 营收, 利润
- **频率**: 每季度更新
- **SQL**:
  ```sql
  UPDATE fundamentals SET
    roe = ?, roa = ?, gross_margin = ?, net_margin = ?,
    debt_to_equity = ?, total_revenue = ?, net_profit = ?
  WHERE symbol = ? AND report_date = ?;
  ```

#### ✅ 计算增长率指标
- **脚本**: 新建 `calculate_growth_metrics.py`
- **逻辑**:
  ```python
  revenue_growth = (revenue_q0 - revenue_q4) / revenue_q4
  profit_growth = (profit_q0 - profit_q4) / profit_q4
  ```
- **存储**: 添加到fundamentals表

#### ✅ 行业对比统计
- **脚本**: 新建 `calculate_industry_stats.py`
- **计算**:
  ```python
  industry_avg_pe = stocks.groupby('industry')['pe_ratio'].mean()
  industry_ranking = stocks.groupby('industry')['score'].rank()
  ```
- **视图**:
  ```sql
  CREATE VIEW industry_stats AS ...
  ```

### 6.2 短期优化（1周）

#### 📰 新闻情绪抓取
1. **公告爬取**:
   - 数据源: 东方财富公告页面
   - 脚本: `fetch_announcements.py`（已有基础）
   - 存储: `t_announcements` 表

2. **情绪分析**:
   - 方法A: Claude API批量分析（成本可控）
   - 方法B: 本地Sentiment模型（免费但效果一般）
   - 推荐: Claude API（每条¥0.001）

3. **集成到推荐**:
   ```python
   sentiment_score = avg(news_sentiment) * 0.15  # 情绪权重15%
   ```

#### 🔄 完善数据管道
- **脚本**: `run_all_fetchers.sh` 已实现
- **调度**: 设置cron job
  ```bash
  # 每日9:30更新行情
  30 9 * * 1-5 cd /backend && python fetch_live_data.py

  # 每季度更新财务
  0 2 1 1,4,7,10 * cd /backend && python fetch_financial_data_v2.py
  ```

### 6.3 中期增强（2-4周）

#### 🧠 优化AI解析质量
1. **Prompt优化**:
   - 位置: `backend/prompts/claude_stock_analysis.md`
   - 增加: 数据缺失处理、风险提示

2. **结构化输出**:
   ```json
   {
     "analysis": "...",
     "signals": {"bullish": [], "bearish": []},
     "risks": ["数据缺失: ROE", "流动性风险"],
     "confidence": 0.75
   }
   ```

#### 📊 完善评分系统
- 根据数据完整度动态调整权重:
  ```python
  if fundamentals_complete < 0.5:
      weights["technical"] += 0.2
      weights["fundamental"] -= 0.2
  ```

---

## 七、总结

### 当前状态
✅ **已实现**:
- 技术指标体系（100%）
- 实时行情获取（99.9%可用性）
- 资金流和龙虎榜数据
- ML推荐模型（XGBoost/LightGBM）
- AI解释生成（Claude）

⚠️ **部分实现**:
- 基本面数据（仅PE/PB）
- 财务报表（脚本存在但数据不完整）

❌ **缺失**:
- 完整的财务指标（ROE, 利润率等）
- 营收和利润增长率
- 新闻情绪分析

### 可执行度
- **动量策略**: 100% ✅
- **技术面策略**: 100% ✅
- **价值投资策略**: 60% ⚠️（缺ROE）
- **成长投资策略**: 0% ❌（缺增长率）
- **综合策略**: 65% ⚠️

### 建议优先级
1. 🔴 **P0 - 本周完成**: 补充财务数据（ROE, 利润率等）
2. 🔴 **P0 - 本周完成**: 计算增长率指标
3. 🟡 **P1 - 2周完成**: 新闻情绪分析
4. 🟢 **P2 - 1个月**: 优化AI Prompt和缓存策略

### AI角色明确
- ✅ 入口: 理解用户查询意图
- ✅ 出口: 生成自然语言解释
- ❌ 不做: 股价预测（由ML模型完成）
- ✅ 增强: 混合AI（Claude + Local LLM）降低成本

**预期效果**: 完成P0任务后，系统推荐完整度可达**90%**，满足生产环境要求。