ljwx-stock/FINANCIAL_DATA_PIPELINE_GUIDE.md

完整财务数据抓取管道使用指南

目标: 抓取全量A股财务数据，包括ROE、利润率、增长率、新闻情绪等关键指标 执行时间: 测试模式2-3分钟 | 完整模式3-5小时 更新: 2024-12-23

---

📋 目录

1. 系统概述
2. 数据覆盖
3. 快速开始
4. 详细步骤
5. 数据验证
6. 常见问题
7. 技术细节

---

系统概述

目标数据

本系统抓取和计算以下关键财务指标，填补现有数据缺口：

指标类型	指标名称	说明	数据源
盈利能力	ROE	净资产收益率	计算
	ROA	资产收益率	计算
	毛利率	(收入-成本)/收入	计算
	净利率	净利润/收入	计算
偿债能力	资产负债率	负债/资产	计算
	流动比率	流动资产/流动负债	计算
成长性	营收增长率(YoY)	同比增长	计算
	利润增长率(YoY)	同比增长	计算
情绪面	新闻情绪得分	-1.0 到 1.0	抓取+分析

数据流程

1. 抓取财务报表
   ↓
   AkShare API → t_income_statement (利润表)
                → t_balance_sheet (资产负债表)
                [原始财务数据]

2. 计算财务指标
   ↓
   Python计算 → fundamentals表
                [ROE, 利润率, 增长率等]

3. 抓取新闻情绪
   ↓
   东方财富API → sentiment_data表
                 [新闻标题 + 情绪得分]

---

数据覆盖

完成后的数据完整度

推荐策略	当前完整度	完成后完整度	提升
技术面策略	100%	100%	-
动量策略	100%	100%	-
价值投资	60%	100%	+40%
成长投资	0%	100%	+100%
综合策略	65%	90%	+25%
总体	60%	90%	+30%

股票覆盖

• A股数量: 5,295只
• 有财务数据: 4,800+ 只（90%+）
• 有新闻数据: 2,000+ 只（活跃股票）

---

快速开始

前置条件

1. 数据库准备:

   # 确保PostgreSQL运行
   brew services start postgresql@16  # macOS
   sudo systemctl start postgresql     # Linux
   
   # 创建sentiment_data表
   psql -U stockai -d stockai -f backend/database/create_sentiment_table.sql
   

2. Python环境:

   cd backend
   
   # 激活虚拟环境
   source .venv/bin/activate
   
   # 安装依赖
   pip install akshare psycopg2-binary requests beautifulsoup4
   

一键执行（推荐）

cd backend

# 测试模式（前10只股票，2-3分钟）
./run_complete_data_pipeline.sh
# 选择选项 2: 测试模式

# 完整模式（全部股票，3-5小时）
./run_complete_data_pipeline.sh
# 选择选项 1: 完整模式

分步执行

如果需要更细粒度的控制：

# Step 1: 抓取财务报表（1-2小时）
python fetch_financial_data_v2.py --quarters 4

# Step 2: 计算财务指标（30分钟）
python calculate_financial_indicators.py

# Step 3: 抓取新闻情绪（1-2小时）
python fetch_news_sentiment.py --days 30

---

详细步骤

Step 1: 抓取财务报表数据

脚本: fetch_financial_data_v2.py 数据源: AkShare (免费) 目标表: t_income_statement, t_balance_sheet

# 完整抓取（所有股票，最近4个季度）
python fetch_financial_data_v2.py --quarters 4

# 测试模式（前10只）
python fetch_financial_data_v2.py --limit 10 --quarters 4

# 增量抓取（跳过已有数据的股票）
python fetch_financial_data_v2.py --mode incremental

抓取字段:

• 利润表: 营业收入、营业成本、净利润、EPS等
• 资产负债表: 总资产、总负债、股东权益等

预计时间:

• 测试(10只): 1-2分钟
• 完整(5000只): 1-2小时

输出示例:

✅ [1/5000] 600000: 利润表=4季, 资产负债表=4季
✅ [2/5000] 600001: 利润表=4季, 资产负债表=4季
...

Step 2: 计算财务指标

脚本: calculate_financial_indicators.py 依赖: Step 1完成 目标表: fundamentals

# 完整计算
python calculate_financial_indicators.py

# 测试模式
python calculate_financial_indicators.py --test

# 指定数量
python calculate_financial_indicators.py --limit 100

计算内容:

1. 盈利能力:

   ROE = 净利润 / 股东权益 * 100%
   ROA = 净利润 / 总资产 * 100%
   毛利率 = (营收 - 成本) / 营收 * 100%
   净利率 = 净利润 / 营收 * 100%
   

2. 偿债能力:

   资产负债率 = 总负债 / 总资产 * 100%
   流动比率 = 流动资产 / 流动负债
   

3. 成长性:

   营收增长率(YoY) = (本季度 - 去年同期) / 去年同期 * 100%
   利润增长率(YoY) = (本季度 - 去年同期) / 去年同期 * 100%
   

预计时间: 30分钟（5000只股票）

输出示例:

✅ [1/5000] 600000: ROE=15.5% 净利率=12.5% 营收增长=8.5%
✅ [2/5000] 600001: ROE=18.2% 净利率=15.3% 营收增长=12.3%
...

Step 3: 抓取新闻情绪

脚本: fetch_news_sentiment.py 数据源: 东方财富公告 + 新浪财经（可选） 目标表: sentiment_data

# 完整抓取（最近30天）
python fetch_news_sentiment.py --days 30

# 测试模式（前5只）
python fetch_news_sentiment.py --test

# 自定义天数
python fetch_news_sentiment.py --days 7 --limit 100

情绪分析方法:

1. 关键词法（默认，免费）:

   正面词: ['增长', '上涨', '盈利', '分红', '超预期', ...]
   负面词: ['下跌', '亏损', '处罚', '风险', '诉讼', ...]
   
   得分 = (正面词数 - 负面词数) / 总词数
   

2. Claude API（可选，成本每条¥0.001）:

   • 需要配置 OPENROUTER_API_KEY
   • 更准确的情绪判断
   • 批量调用降低成本

预计时间:

• 测试(5只): 1-2分钟
• 完整(5000只): 1-2小时

输出示例:

✅ [1/5000] 600000: 15 条新闻
✅ [2/5000] 600001: 8 条新闻
...

---

数据验证

检查数据完整性

执行以下SQL查询验证数据：

-- 1. 检查财务指标覆盖率
SELECT
    COUNT(DISTINCT symbol) as total_stocks,
    COUNT(DISTINCT CASE WHEN roe IS NOT NULL THEN symbol END) as has_roe,
    COUNT(DISTINCT CASE WHEN gross_margin IS NOT NULL THEN symbol END) as has_margin,
    COUNT(DISTINCT CASE WHEN debt_to_equity IS NOT NULL THEN symbol END) as has_debt_ratio
FROM fundamentals;

-- 预期结果: has_roe, has_margin, has_debt_ratio >= 4500 (90%+)

-- 2. 检查新闻情绪数据
SELECT
    COUNT(*) as total_news,
    COUNT(DISTINCT symbol) as stocks_with_news,
    AVG(sentiment_score) as avg_sentiment,
    MIN(news_date) as oldest_news,
    MAX(news_date) as latest_news
FROM sentiment_data;

-- 预期结果: total_news >= 50000, stocks_with_news >= 2000

-- 3. 查看单只股票的完整数据
SELECT
    s.symbol,
    s.name,
    f.roe,
    f.gross_margin,
    f.net_margin,
    f.debt_to_equity,
    f.revenue_growth_yoy,
    f.profit_growth_yoy,
    (SELECT AVG(sentiment_score) FROM sentiment_data WHERE symbol = s.symbol) as avg_sentiment
FROM stocks s
LEFT JOIN fundamentals f ON s.symbol = f.symbol
WHERE s.symbol = '600000';

使用测试脚本

# 创建测试脚本
cat > backend/test_data_completeness.py << 'EOF'
import psycopg2
from app.config import get_settings

settings = get_settings()

# 连接数据库
# ... (连接代码)

# 执行统计查询
cursor.execute("""
    SELECT
        COUNT(DISTINCT symbol) as total,
        COUNT(DISTINCT CASE WHEN roe IS NOT NULL THEN symbol END) as has_roe,
        COUNT(DISTINCT CASE WHEN gross_margin IS NOT NULL THEN symbol END) as has_margin
    FROM fundamentals
""")

result = cursor.fetchone()
print(f"财务指标覆盖率: {result[1]}/{result[0]} ({result[1]/result[0]*100:.1f}%)")
EOF

python backend/test_data_completeness.py

---

常见问题

Q1: 抓取过程中断了怎么办？

A: 系统支持断点续传，重新运行脚本即可：

# 财务数据支持增量模式
python fetch_financial_data_v2.py --mode incremental

# 财务指标计算会自动更新
python calculate_financial_indicators.py

# 新闻数据会自动去重
python fetch_news_sentiment.py --days 30

Q2: 某些股票没有数据怎么办？

A: 可能原因：

1. 新股上市时间短，无历史数据
2. ST股票或退市股票
3. 数据源暂时不可用

建议：跳过这些股票，不影响整体分析。

Q3: 如何更新数据？

A: 建议定期更新：

# 每季度更新财务数据（财报季后）
crontab -e
0 2 1 1,4,7,10 * cd /path/to/backend && ./run_complete_data_pipeline.sh

# 每周更新新闻情绪
0 2 * * 1 cd /path/to/backend && python fetch_news_sentiment.py --days 7

Q4: 数据抓取失败率多少正常？

A:

• 财务数据: <10%失败（新股、ST股等）
• 新闻数据: <20%失败（小盘股新闻少）

Q5: 如何优化抓取速度？

A:

1. 使用测试模式先验证: --test
2. 分批抓取: --limit 1000
3. 并行执行（需要自己实现）
4. 只抓取必要的季度: --quarters 1

---

技术细节

数据表结构

t_income_statement (利润表)

symbol, report_date, report_type,
total_revenue, operating_cost, net_profit, eps, ...

t_balance_sheet (资产负债表)

symbol, report_date, total_assets, total_liabilities,
total_equity, current_assets, current_liabilities, ...

fundamentals (财务指标)

symbol, report_date,
roe, roa, gross_margin, net_margin, debt_to_equity, current_ratio,
total_revenue, net_profit, total_assets, total_equity

sentiment_data (新闻情绪)

symbol, news_date, title, sentiment_score, source, url

计算公式参考

指标	公式	说明
ROE	净利润 / 股东权益	衡量盈利能力
毛利率	(收入-成本) / 收入	产品竞争力
资产负债率	负债 / 资产	财务风险
YoY增长率	(当期-去年同期) / 去年同期	成长性

数据源说明

数据源	用途	API限制	稳定性
AkShare	财务报表	无限制	⭐⭐⭐⭐⭐
东方财富	公告、新闻	无限制	⭐⭐⭐⭐
新浪财经	新闻（可选）	无限制	⭐⭐⭐

---

下一步

完成数据抓取后，可以：

1. 验证推荐系统:

   cd backend
   python -m app.modules.strategy_engine
   

2. 查看数据质量:

   psql -U stockai -d stockai
   SELECT * FROM fundamentals LIMIT 10;
   

3. 启动完整系统:

   ./start_app.sh
   

4. 测试API:

   curl http://localhost:8000/api/recommendations?strategy=comprehensive
   

---

附录

A. 脚本参数完整列表

fetch_financial_data_v2.py:

• --limit N: 限制股票数量
• --quarters N: 抓取最近N个季度（默认4）
• --mode full|incremental: 全量/增量模式
• --test: 测试模式（前10只）

calculate_financial_indicators.py:

• --limit N: 限制股票数量
• --test: 测试模式（前10只）

fetch_news_sentiment.py:

• --limit N: 限制股票数量
• --days N: 抓取最近N天的新闻（默认30）
• --test: 测试模式（前5只）

B. 日志位置

• 一键脚本日志: backend/logs/complete_pipeline_YYYYMMDD_HHMMSS/
• 单独脚本日志: 输出到stdout/stderr

C. 支持

遇到问题请查看:

1. TROUBLESHOOTING.md
2. DATA_ARCHITECTURE_ANALYSIS.md
3. GitHub Issues

---

最后更新: 2024-12-23 维护者: Stock AI Team 版本: v1.0.0