跳转至

第15章 数据管理

本章介绍 Lean 数据格式、数据目录结构、数据下载和自定义数据导入。

15.1 数据目录结构

15.1.1 完整目录树

Data/
├── equity/                    # 股票数据:equity/{market}/{resolution}/{symbol}.zip
│   └── usa/
│       ├── daily/
│       │   └── spy.zip       # SPY 日线数据
│       ├── minute/            # 分钟数据
│       ├── hour/              # 小时数据
│       ├── tick/              # 逐笔数据
│       ├── map_files/         # 映射文件:data/equity/usa/map_files/{SYMBOL}.csv
│       │   └── spy.csv
│       └── factor_files/      # 复权因子:data/equity/usa/factor_files/{SYMBOL}.csv
│           └── spy.csv
├── forex/                    # 外汇数据:forex/{market}/{resolution}
│   └── fxcm/
│       ├── daily/
│       └── minute/
├── crypto/                    # 加密货币:crypto/{market}/{resolution}
│   └── binance/
│       ├── daily/
│       └── minute/
├── future/                   # 期货数据:future/{market}/{resolution}
│   ├── cme/                   # 芝加哥商品交易所
│   │   ├── daily/
│   │   └── minute/
│   ├── cbot/                  # 芝加哥期货交易所
│   │   └── daily/
│   └── ...
├── option/                   # 期权数据:option/{market}/{resolution}/{underlying}/
│   └── usa/
│       ├── daily/
│       │   └── spy/
│       │       └── ...
│       └── minute/
└── cfd/                      # CFD数据:cfd/{market}/{resolution}
    └── fxcm/
        └── daily/

15.1.2 数据文件格式

股票数据格式 (zip + csv)

zip 内是无表头的 CSV,每行恰好 6 个字段,顺序为 [时间, Open, High, Low, Close, Volume]:

20130102 00:00,1440000,1449000,1431000,1440000,128499600
...

字段说明:

  • 时间:daily/hour 数据为 yyyyMMdd HH:mm 格式(如 20130102 00:00);minute/tick 数据为自午夜起的毫秒整数(如 57000000 表示 15:50:00.000)。
  • Open/High/Low/Close:以整数存储,实际价格 = 值 / 10000。例如 1440000 对应 144.0000 美元。
  • Volume:成交股数(整数)。
  • 注意:不存在独立的 date/time 两列,也没有浮点价格;股票数据不含 openinterest 列。

映射文件与复权因子文件

映射文件位于 data/equity/usa/map_files/{SYMBOL}.csv(不在 daily/ 目录下),每行格式为 yyyymmdd,映射后代码,P,日期为该代码的生效日期,文件末行通常为 20501231:

# data/equity/usa/map_files/spy.csv
19980102,SPY,P
...
20501231,SPY,P

复权因子文件位于 data/equity/usa/factor_files/{SYMBOL}.csv,列为 date,priceFactor,splitFactor,分别表示价格因子和拆股因子,引擎据此把历史价格还原为所选复权模式的价格。

15.2 使用 Lean CLI 下载数据

15.2.1 下载数据集

数据文件放于 data/ 目录(来自 QuantConnect Datasets),本地回测时引擎按 15.1 节的目录结构读取。

# 下载特定数据集
lean data download --dataset "QuantConnect - USA Equity Price Data"

# 具体下载参数因数据集而异,围绕 --dataset 指定数据集 ID,
# 其余选项详见 lean data download --help
lean data download --dataset "<数据集ID>"

# 下载期权数据
lean data download --dataset "QuantConnect - USA Option Price Data"

15.2.2 数据提供商

提供商 类型 说明
QuantConnect 综合数据 云端数据,需要订阅
Local 本地文件 从本地文件读取
Interactive Brokers 实时数据 实盘交易时使用
CoinAPI 加密货币 加密货币实时数据

15.3 自定义数据导入

15.3.1 CSV 数据导入

class CustomCsvData(PythonData):
    """
    自定义CSV数据导入

    CSV格式要求:
    date,open,high,low,close,volume
    2023-01-01,100.00,102.00,99.50,101.00,1000000
    """

    def GetSource(self, config, date, isLiveMode):
        """定义数据源"""
        return SubscriptionDataSource(
            "data/my_custom_data.csv",
            SubscriptionTransportMedium.LocalFile,
            FileFormat.Csv
        )

    def Reader(self, config, line, date, isLiveMode):
        """解析CSV行"""
        if not line.strip():
            return None

        parts = line.split(',')
        if len(parts) < 7:
            return None

        # 解析数据
        data = CustomCsvData()
        data.Symbol = config.Symbol
        data.Time = datetime.strptime(parts[0], "%Y-%m-%d")
        data.EndTime = data.Time + timedelta(days=1)
        data.Value = float(parts[4])  # Close price

        return data

15.3.2 添加自定义数据

def Initialize(self):
    # 注册自定义数据类型
    self.AddData(CustomCsvData, "CUSTOM", Resolution.Daily)

    # 或指定数据时区
    self.AddData(
        CustomCsvData,
        "CUSTOM",
        Resolution.Daily,
        TimeZones.NewYork
    )

15.3.3 URL数据源

class UrlDataSource(PythonData):
    """从URL获取数据"""

    def GetSource(self, config, date, isLiveMode):
        """定义URL数据源"""
        return SubscriptionDataSource(
            "https://api.example.com/data.csv",
            SubscriptionTransportMedium.Rest,
            FileFormat.Csv
        )

15.4 数据转换工具

15.4.1 使用 ToolBox

Lean 提供了 ToolBox 项目用于数据转换。

# 运行 ToolBox
cd ToolBox
dotnet run

15.4.2 数据转换器

Lean 内置了多个数据转换器:

转换器 用途
AlgoSeekFuturesConverter AlgoSeek 期货数据转换
KaikoDataConverter Kaiko 加密货币数据转换
CoarseUniverseGenerator 生成粗粒度 Universe
RandomDataGenerator 生成随机测试数据

15.5 数据质量检查

15.5.1 检查数据完整性

def CheckDataQuality(self):
    """检查数据质量"""
    # 获取历史数据
    history = self.History(self.spy, TimeSpan.FromDays(30), Resolution.Daily)

    if history.empty:
        self.Error("No data available!")
        return False

    # 检查缺失值
    missing = history.isnull().sum()
    if missing > 0:
        self.Log(f"Missing {missing} data points")

    # 检查异常值
    close_prices = history['close']
    extreme_changes = close_prices.pct_change().abs() > 0.5

    if extreme_changes.any():
        extreme_count = extreme_changes.sum()
        self.Log(f"Found {extreme_count} extreme price changes (>50%)")

    # 检查数据连续性
    expected_days = 30  # 预期30天
    actual_days = len(history)

    if actual_days < expected_days * 0.8:
        self.Log(f"Data gap: expected {expected_days} days, got {actual_days}")

    return True

15.5.2 数据预热策略

def Initialize(self):
    self.spy = self.AddEquity("SPY", Resolution.Daily).Symbol

    # 方式1:使用 SetWarmUp
    self.SetWarmUp(TimeSpan.FromDays(60))

    # 方式2:手动预热指标
    self.sma = self.SMA(self.spy, 50)

    # 预热特定指标
    self.WarmUpIndicator(
        self.spy,
        self.sma,
        TimeSpan.FromDays(50)
    )

def OnData(self, data):
    # 指标立即可用
    if self.sma.IsReady:
        # ...

15.6 完整示例:自定义数据策略

from AlgorithmImports import *

class CustomDataStrategy(QCAlgorithm):
    """
    使用自定义数据的策略
    """

    def Initialize(self):
        self.SetStartDate(2020, 1, 1)
        self.SetEndDate(2023, 12, 31)
        self.SetCash(100000)

        # 添加标准数据
        self.spy = self.AddEquity("SPY", Resolution.Daily).Symbol

        # 添加自定义数据(假设已有文件)
        # self.AddData(CustomCsvData, "CUSTOM", Resolution.Daily)

        # 指标
        self.sma_fast = self.SMA(self.spy, 20)
        self.sma_slow = self.SMA(self.spy, 50)

        self.SetWarmUp(TimeSpan.FromDays(60))

    def OnData(self, data):
        # 数据质量检查
        if not self.ValidateDataQuality(data):
            return

        # 正常逻辑
        if self.sma_fast.IsReady:
            if self.sma_fast.Current.Value > self.sma_slow.Current.Value:
                if not self.Portfolio[self.spy].IsLong:
                    self.SetHoldings(self.spy, 1)
            else:
                if self.Portfolio[self.spy].IsLong:
                    self.Liquidate(self.spy)

    def ValidateDataQuality(self, data):
        """验证数据质量"""
        # 检查数据可用性
        if not data.ContainsKey(self.spy):
            return False

        # 检查价格合理性
        price = data[self.spy].Price

        if price <= 0:
            self.Log(f"Invalid price: ${price}")
            return False

        # 检查数据是否过时(self.Time 与 LocalTime 均为引擎 .NET DateTime,
        # 差值为 .NET TimeSpan,需使用 TotalSeconds)
        data_time = self.Securities[self.spy].LocalTime
        time_diff = (self.Time - data_time).TotalSeconds

        if time_diff > 86400:  # 超过1天
            self.Log(f"Data stale: {time_diff} seconds old")
            return False

        return True

15.7 数据管理最佳实践

  1. 定期更新数据:保持数据是最新的
  2. 验证数据质量:检查缺失值和异常值
  3. 使用合适的分辨率:避免使用不必要的高频数据
  4. 本地缓存:减少重复下载
  5. 备份数据:定期备份重要数据
  6. 监控数据源:确保数据源稳定可用