第15章 数据管理¶
本章介绍 Lean 数据格式、数据目录结构、数据下载和自定义数据导入。
15.1 数据目录结构¶
15.1.1 完整目录树¶
Data/
├── equity/ # 股票数据:equity/{market}/{resolution}/{symbol}.zip
│ └── usa/
│ ├── daily/
│ │ └── spy.zip # SPY 日线数据
│ ├── minute/ # 分钟数据
│ ├── hour/ # 小时数据
│ ├── tick/ # 逐笔数据
│ ├── map_files/ # 映射文件:data/equity/usa/map_files/{SYMBOL}.csv
│ │ └── spy.csv
│ └── factor_files/ # 复权因子:data/equity/usa/factor_files/{SYMBOL}.csv
│ └── spy.csv
├── forex/ # 外汇数据:forex/{market}/{resolution}
│ └── fxcm/
│ ├── daily/
│ └── minute/
├── crypto/ # 加密货币:crypto/{market}/{resolution}
│ └── binance/
│ ├── daily/
│ └── minute/
├── future/ # 期货数据:future/{market}/{resolution}
│ ├── cme/ # 芝加哥商品交易所
│ │ ├── daily/
│ │ └── minute/
│ ├── cbot/ # 芝加哥期货交易所
│ │ └── daily/
│ └── ...
├── option/ # 期权数据:option/{market}/{resolution}/{underlying}/
│ └── usa/
│ ├── daily/
│ │ └── spy/
│ │ └── ...
│ └── minute/
└── cfd/ # CFD数据:cfd/{market}/{resolution}
└── fxcm/
└── daily/
15.1.2 数据文件格式¶
股票数据格式 (zip + csv)¶
zip 内是无表头的 CSV,每行恰好 6 个字段,顺序为 [时间, Open, High, Low, Close, Volume]:
20130102 00:00,1440000,1449000,1431000,1440000,128499600
...
字段说明:
- 时间:daily/hour 数据为
yyyyMMdd HH:mm格式(如20130102 00:00);minute/tick 数据为自午夜起的毫秒整数(如57000000表示 15:50:00.000)。 - Open/High/Low/Close:以整数存储,实际价格 = 值 / 10000。例如
1440000对应 144.0000 美元。 - Volume:成交股数(整数)。
- 注意:不存在独立的 date/time 两列,也没有浮点价格;股票数据不含 openinterest 列。
映射文件与复权因子文件¶
映射文件位于 data/equity/usa/map_files/{SYMBOL}.csv(不在 daily/ 目录下),每行格式为 yyyymmdd,映射后代码,P,日期为该代码的生效日期,文件末行通常为 20501231:
# data/equity/usa/map_files/spy.csv
19980102,SPY,P
...
20501231,SPY,P
复权因子文件位于 data/equity/usa/factor_files/{SYMBOL}.csv,列为 date,priceFactor,splitFactor,分别表示价格因子和拆股因子,引擎据此把历史价格还原为所选复权模式的价格。
15.2 使用 Lean CLI 下载数据¶
15.2.1 下载数据集¶
数据文件放于 data/ 目录(来自 QuantConnect Datasets),本地回测时引擎按 15.1 节的目录结构读取。
# 下载特定数据集
lean data download --dataset "QuantConnect - USA Equity Price Data"
# 具体下载参数因数据集而异,围绕 --dataset 指定数据集 ID,
# 其余选项详见 lean data download --help
lean data download --dataset "<数据集ID>"
# 下载期权数据
lean data download --dataset "QuantConnect - USA Option Price Data"
15.2.2 数据提供商¶
| 提供商 | 类型 | 说明 |
|---|---|---|
| QuantConnect | 综合数据 | 云端数据,需要订阅 |
| Local | 本地文件 | 从本地文件读取 |
| Interactive Brokers | 实时数据 | 实盘交易时使用 |
| CoinAPI | 加密货币 | 加密货币实时数据 |
15.3 自定义数据导入¶
15.3.1 CSV 数据导入¶
class CustomCsvData(PythonData):
"""
自定义CSV数据导入
CSV格式要求:
date,open,high,low,close,volume
2023-01-01,100.00,102.00,99.50,101.00,1000000
"""
def GetSource(self, config, date, isLiveMode):
"""定义数据源"""
return SubscriptionDataSource(
"data/my_custom_data.csv",
SubscriptionTransportMedium.LocalFile,
FileFormat.Csv
)
def Reader(self, config, line, date, isLiveMode):
"""解析CSV行"""
if not line.strip():
return None
parts = line.split(',')
if len(parts) < 7:
return None
# 解析数据
data = CustomCsvData()
data.Symbol = config.Symbol
data.Time = datetime.strptime(parts[0], "%Y-%m-%d")
data.EndTime = data.Time + timedelta(days=1)
data.Value = float(parts[4]) # Close price
return data
15.3.2 添加自定义数据¶
def Initialize(self):
# 注册自定义数据类型
self.AddData(CustomCsvData, "CUSTOM", Resolution.Daily)
# 或指定数据时区
self.AddData(
CustomCsvData,
"CUSTOM",
Resolution.Daily,
TimeZones.NewYork
)
15.3.3 URL数据源¶
class UrlDataSource(PythonData):
"""从URL获取数据"""
def GetSource(self, config, date, isLiveMode):
"""定义URL数据源"""
return SubscriptionDataSource(
"https://api.example.com/data.csv",
SubscriptionTransportMedium.Rest,
FileFormat.Csv
)
15.4 数据转换工具¶
15.4.1 使用 ToolBox¶
Lean 提供了 ToolBox 项目用于数据转换。
# 运行 ToolBox
cd ToolBox
dotnet run
15.4.2 数据转换器¶
Lean 内置了多个数据转换器:
| 转换器 | 用途 |
|---|---|
| AlgoSeekFuturesConverter | AlgoSeek 期货数据转换 |
| KaikoDataConverter | Kaiko 加密货币数据转换 |
| CoarseUniverseGenerator | 生成粗粒度 Universe |
| RandomDataGenerator | 生成随机测试数据 |
15.5 数据质量检查¶
15.5.1 检查数据完整性¶
def CheckDataQuality(self):
"""检查数据质量"""
# 获取历史数据
history = self.History(self.spy, TimeSpan.FromDays(30), Resolution.Daily)
if history.empty:
self.Error("No data available!")
return False
# 检查缺失值
missing = history.isnull().sum()
if missing > 0:
self.Log(f"Missing {missing} data points")
# 检查异常值
close_prices = history['close']
extreme_changes = close_prices.pct_change().abs() > 0.5
if extreme_changes.any():
extreme_count = extreme_changes.sum()
self.Log(f"Found {extreme_count} extreme price changes (>50%)")
# 检查数据连续性
expected_days = 30 # 预期30天
actual_days = len(history)
if actual_days < expected_days * 0.8:
self.Log(f"Data gap: expected {expected_days} days, got {actual_days}")
return True
15.5.2 数据预热策略¶
def Initialize(self):
self.spy = self.AddEquity("SPY", Resolution.Daily).Symbol
# 方式1:使用 SetWarmUp
self.SetWarmUp(TimeSpan.FromDays(60))
# 方式2:手动预热指标
self.sma = self.SMA(self.spy, 50)
# 预热特定指标
self.WarmUpIndicator(
self.spy,
self.sma,
TimeSpan.FromDays(50)
)
def OnData(self, data):
# 指标立即可用
if self.sma.IsReady:
# ...
15.6 完整示例:自定义数据策略¶
from AlgorithmImports import *
class CustomDataStrategy(QCAlgorithm):
"""
使用自定义数据的策略
"""
def Initialize(self):
self.SetStartDate(2020, 1, 1)
self.SetEndDate(2023, 12, 31)
self.SetCash(100000)
# 添加标准数据
self.spy = self.AddEquity("SPY", Resolution.Daily).Symbol
# 添加自定义数据(假设已有文件)
# self.AddData(CustomCsvData, "CUSTOM", Resolution.Daily)
# 指标
self.sma_fast = self.SMA(self.spy, 20)
self.sma_slow = self.SMA(self.spy, 50)
self.SetWarmUp(TimeSpan.FromDays(60))
def OnData(self, data):
# 数据质量检查
if not self.ValidateDataQuality(data):
return
# 正常逻辑
if self.sma_fast.IsReady:
if self.sma_fast.Current.Value > self.sma_slow.Current.Value:
if not self.Portfolio[self.spy].IsLong:
self.SetHoldings(self.spy, 1)
else:
if self.Portfolio[self.spy].IsLong:
self.Liquidate(self.spy)
def ValidateDataQuality(self, data):
"""验证数据质量"""
# 检查数据可用性
if not data.ContainsKey(self.spy):
return False
# 检查价格合理性
price = data[self.spy].Price
if price <= 0:
self.Log(f"Invalid price: ${price}")
return False
# 检查数据是否过时(self.Time 与 LocalTime 均为引擎 .NET DateTime,
# 差值为 .NET TimeSpan,需使用 TotalSeconds)
data_time = self.Securities[self.spy].LocalTime
time_diff = (self.Time - data_time).TotalSeconds
if time_diff > 86400: # 超过1天
self.Log(f"Data stale: {time_diff} seconds old")
return False
return True
15.7 数据管理最佳实践¶
- 定期更新数据:保持数据是最新的
- 验证数据质量:检查缺失值和异常值
- 使用合适的分辨率:避免使用不必要的高频数据
- 本地缓存:减少重复下载
- 备份数据:定期备份重要数据
- 监控数据源:确保数据源稳定可用