Overfitting Trong Quant Trading: Nguyên Nhân, Nhận Diện Và Cách Phòng Tránh
· Overfitting, Curve Fitting, Quant Trading, QUANTVN, Backtest Tốt
Overfitting Trong Quant Trading: Nguyên Nhân, Nhận Diện Và Cách Phòng Tránh
Backtest của bạn cho kết quả hoàn hảo: Sharpe 3.5, Win Rate 75%, Maximum Drawdown chỉ 5%. Nhưng khi chạy thật, kết quả tệ hại. Bạn vừa là nạn nhân của Overfitting — kẻ thù số một trong Quant Trading.
Overfitting Là Gì?
Overfitting (hay curve fitting) xảy ra khi chiến lược giao dịch được tối ưu hóa quá mức để phù hợp với dữ liệu lịch sử, đến mức nó "học thuộc" noise thay vì học signal thực sự. Kết quả: Backtest đẹp, thực tế thất bại.
Hình dung thế này: Bạn thi học thuộc đáp án của 100 đề thi cũ, đến khi gặp đề mới hoàn toàn bị thua. Đó là overfitting.
Dấu Hiệu Nhận Biết Overfitting
❌ Sharpe Ratio > 3 với ít hơn 200 giao dịch backtest ❌ Win Rate > 70% — quá tốt để là thật trong hầu hết các trường hợp ❌ Max Drawdown < 5% với chiến lược high-frequency ❌ Chiến lược chỉ hoạt động trong một giai đoạn thị trường cụ thể ❌ Số lượng tham số nhiều hơn số lượng giao dịch ❌ Kết quả out-of-sample kém hơn in-sample > 50%
Nguyên Nhân Phổ Biến
1. Data Snooping Bias: Tìm kiếm chiến lược trên cùng tập dữ liệu nhiều lần. Mỗi lần thử là một lần "nhìn trộm" vào dữ liệu tương lai.
2. Quá nhiều tham số: Mỗi tham số thêm vào = thêm một bậc tự do. Với đủ tham số, bạn có thể fit bất kỳ chuỗi dữ liệu nào.
3. Lookback period quá ngắn: Backtest 1 năm dữ liệu không đủ để capture đủ các chế độ thị trường.
4. Không có out-of-sample test: Dùng toàn bộ dữ liệu để develop VÀ test chiến lược.
Cách Phòng Tránh Overfitting
1. Train/Test Split nghiêm ngặt
- 70% dữ liệu: Phát triển chiến lược
- 30% dữ liệu: Test cuối cùng, KHÔNG chạm vào cho đến khi hoàn thành phát triển
2. Walk-Forward Optimization Thay vì optimize trên toàn bộ lịch sử, optimize trên cửa sổ thời gian rolling và test trên giai đoạn tiếp theo.
3. Giới hạn số tham số Quy tắc ngón tay cái: Số giao dịch backtest / Số tham số > 30.
4. Kiểm tra Robustness Thay đổi tham số ±20%: Nếu kết quả thay đổi đột ngột, chiến lược không robust.
5. Cross-validation Test chiến lược trên nhiều thị trường và timeframe khác nhau.
6. Monte Carlo Simulation Mô phỏng ngẫu nhiên thứ tự giao dịch để kiểm tra tính ổn định.
Số Lượng Tham Số Tối Đa Cho Phép
| Số giao dịch backtest | Tham số tối đa | |---|---| | 50 | 1-2 | | 100 | 3 | | 500 | 10-15 | | 1,000 | 30 |
QUANTVN Và Phòng Tránh Overfitting
QUANTVN tích hợp các công cụ anti-overfitting:
- Walk-forward testing tự động
- Out-of-sample validation báo cáo
- Robustness testing với parameter perturbation
- Cảnh báo khi chiến lược có dấu hiệu overfitting
Kết Luận
Overfitting là nguyên nhân số một khiến backtest đẹp nhưng trading thực tế thất bại. Hãy luôn nghi ngờ những kết quả "quá hoàn hảo" và kiểm thử nghiêm ngặt trên dữ liệu out-of-sample.
Test chiến lược chống overfitting tại quantvn.com
Khám phá chiến lược trading tại quantvn.com