ljwx-stock/EXECUTION_PLAN.md

完整财务数据抓取执行计划

目标: 填补数据缺口，将推荐系统完整度从60%提升至90% 执行时间: 测试2-3分钟 | 完整3-5小时 日期: 2024-12-23

---

✅ 已完成的准备工作

1. 创建的脚本

脚本	功能	状态
calculate_financial_indicators.py	计算ROE、利润率、增长率等	✅
fetch_news_sentiment.py	抓取新闻并分析情绪	✅
run_complete_data_pipeline.sh	一键执行所有步骤	✅
verify_financial_data.py	验证数据完整性	✅

2. 创建的文档

文档	内容	状态
DATA_ARCHITECTURE_ANALYSIS.md	数据架构分析和缺口识别	✅
FINANCIAL_DATA_PIPELINE_GUIDE.md	完整使用指南	✅
EXECUTION_PLAN.md	本执行计划	✅

3. 数据库准备

项目	说明	状态
create_sentiment_table.sql	sentiment_data表结构	✅
fundamentals表	已存在于schema_v2.sql	✅
t_income_statement	已存在于schema_extended.sql	✅
t_balance_sheet	已存在于schema_extended.sql	✅

---

🚀 执行步骤（按顺序）

前置检查

# 1. 确保PostgreSQL运行
brew services list | grep postgresql
# 或
sudo systemctl status postgresql

# 2. 确保Redis运行
brew services list | grep redis
# 或
sudo systemctl status redis

# 3. 确保数据库已创建
psql -U stockai -d stockai -c "\dt" | head

Step 0: 创建sentiment_data表（首次运行）

cd backend

# 创建新闻情绪表
psql -U stockai -d stockai -f database/create_sentiment_table.sql

# 验证表创建成功
psql -U stockai -d stockai -c "\d sentiment_data"

Step 1: 测试模式（强烈推荐先执行）

cd backend

# 激活虚拟环境
source .venv/bin/activate

# 安装依赖（如果还没安装）
pip install akshare psycopg2-binary requests beautifulsoup4 tabulate

# 运行测试模式（前10只股票，2-3分钟）
./run_complete_data_pipeline.sh
# 选择选项 2: 测试模式

预期结果:

✅ 步骤 1/3: 抓取财务报表数据 完成
✅ 步骤 2/3: 计算财务指标 完成
✅ 步骤 3/3: 抓取新闻情绪数据 完成

数据统计:
  ✓ 有ROE数据的股票: 10 只
  ✓ 有利润率数据的股票: 10 只
  ✓ 新闻条数: ~150 条

Step 2: 验证测试数据

# 运行验证脚本
python verify_financial_data.py

预期输出:

📊 1. 财务报表数据
  利润表股票数: 10
  资产负债表股票数: 10

💰 2. 财务指标数据（计算结果）
  有ROE数据: 10 (100.0%)
  有利润率数据: 10 (100.0%)

📰 3. 新闻情绪数据
  总新闻数: ~150
  有新闻的股票数: 10

✅ 所有数据检查通过！

Step 3: 完整模式执行（可选择分步或一键）

方案A: 一键执行（推荐）

cd backend

# 运行完整模式（全部5000+股票，3-5小时）
./run_complete_data_pipeline.sh
# 选择选项 1: 完整模式

# 可以后台运行
nohup ./run_complete_data_pipeline.sh > pipeline.log 2>&1 &

# 查看进度
tail -f pipeline.log

方案B: 分步执行（更可控）

cd backend

# Step 1: 抓取财务报表（1-2小时）
python fetch_financial_data_v2.py --quarters 4
# 预期: 4000+ 股票成功

# Step 2: 计算财务指标（30分钟）
python calculate_financial_indicators.py
# 预期: 4000+ 股票计算成功

# Step 3: 抓取新闻情绪（1-2小时）
python fetch_news_sentiment.py --days 30
# 预期: 2000+ 股票有新闻数据

Step 4: 最终验证

# 运行完整验证
python verify_financial_data.py

期望结果:

💰 财务指标数据
  总股票数: 4500+
  有ROE数据: 4000+ (85%+)
  有利润率数据: 4000+ (85%+)
  平均ROE: 10-15%

📰 新闻情绪数据
  总新闻数: 50000+
  有新闻的股票数: 2000+

✅ 所有数据检查通过！系统已ready for production

---

📊 数据完整度对比

执行前

数据类型	完整度	影响
技术指标	100%	✅
实时行情	100%	✅
PE/PB	30%	⚠️
ROE	0%	❌
利润率	0%	❌
增长率	0%	❌
新闻情绪	0%	❌
总体	60%	⚠️

执行后（预期）

数据类型	完整度	影响
技术指标	100%	✅
实时行情	100%	✅
PE/PB	95%	✅
ROE	85%+	✅
利润率	85%+	✅
增长率	80%+	✅
新闻情绪	40%	⚠️ (可选)
总体	90%	✅

---

🎯 策略可用性提升

策略	执行前	执行后	提升
技术面	100%	100%	-
动量	100%	100%	-
价值投资	60%	100%	+40% ⭐
成长投资	0%	100%	+100% ⭐⭐
综合	65%	90%	+25%

---

⚠️ 常见问题

Q1: 执行过程中断了怎么办？

A: 所有脚本都支持断点续传，直接重新运行即可。

Q2: 某些股票抓取失败正常吗？

A: 正常！10-20%的失败率可接受（新股、ST股等）。

Q3: 如何只重新计算财务指标？

python calculate_financial_indicators.py

Q4: 如何只抓取最近7天的新闻？

python fetch_news_sentiment.py --days 7

Q5: 数据库空间不够怎么办？

预计需要:

• 财务数据: ~500MB
• 新闻数据: ~200MB
• 总计: ~1GB

清理方法:

-- 删除旧新闻（保留最近30天）
DELETE FROM sentiment_data
WHERE news_date < CURRENT_DATE - INTERVAL '30 days';

---

🔄 定期更新建议

财务数据

# 每季度更新（财报季后1-2周）
# 1月、4月、7月、10月
cd backend
python fetch_financial_data_v2.py --quarters 1
python calculate_financial_indicators.py

新闻情绪

# 每周更新
cd backend
python fetch_news_sentiment.py --days 7

自动化（Cron）

# 每季度财报季后更新（1月15日、4月15日、7月15日、10月15日）
0 2 15 1,4,7,10 * cd /path/to/backend && ./run_complete_data_pipeline.sh << EOF
4
EOF

# 每周一更新新闻
0 2 * * 1 cd /path/to/backend && source .venv/bin/activate && python fetch_news_sentiment.py --days 7

---

📝 执行检查清单

• PostgreSQL和Redis正常运行
• 虚拟环境已激活
• 依赖包已安装（akshare, psycopg2, requests, beautifulsoup4, tabulate）
• sentiment_data表已创建
• 测试模式执行成功
• 测试数据验证通过
• 完整模式执行完成
• 最终数据验证通过
• 推荐系统测试通过

---

🎉 执行完成后

1. 启动系统

# 返回项目根目录
cd ..

# 一键启动
./start_app.sh

2. 访问应用

• 前端: http://localhost:5173
• API文档: http://localhost:8000/docs
• 测试推荐: http://localhost:8000/api/recommendations?strategy=comprehensive

3. 测试推荐效果

# 测试价值投资策略（现在应该100%可用）
curl http://localhost:8000/api/recommendations?strategy=value

# 测试成长投资策略（现在应该100%可用）
curl http://localhost:8000/api/recommendations?strategy=growth

# 测试综合策略
curl http://localhost:8000/api/recommendations?strategy=comprehensive

---

📞 支持

遇到问题请查看:

1. FINANCIAL_DATA_PIPELINE_GUIDE.md - 完整使用指南
2. DATA_ARCHITECTURE_ANALYSIS.md - 数据架构分析
3. TROUBLESHOOTING.md - 故障排查
4. 日志文件: backend/logs/complete_pipeline_*/

---

准备就绪！现在可以开始执行了！ 🚀

建议：先执行测试模式验证一切正常，再运行完整模式。