Quant Backtester — turtletrading.vn

Data config Symbol TF From To Override toolbar nếu cần — auto-sync khi mở modal

📊 Portfolio (multi-symbol) Tick ≥2 symbol để mỗi tổ hợp param chấm điểm trên đường equity danh mục (kèm dispersion qua từng symbol). 1 symbol = sweep thường.

Tham số phát hiện được từ on_init

Mode K samples / Pop size Objective

📊 Strategy Results Output thuần của backtest — P&L, risk-adjusted, drawdown, phân phối.

Charts

Equity Curve Buy & Hold ATH markers

Drawdown (%) ≥ %

Run-up / Drawdown Timeline

Underwater Duration Distribution (X = peak → recovery, only max DD ≥0.5%)

P&L Distribution (X = USD, Y = count)

R-multiple Distribution (chỉ lệnh có SL)

MAE Distribution (R-units, winners=green / losers=red)

MFE Distribution (R-units, winners=green / losers=red)

Duration vs Growth — scatter trade (winners=green ◆ / losers=red ●)

Edge Half-Life — Rolling 90-bar Sharpe (annualized) window:

Performance

Total P&L

—

Final Equity

—

Ann. Return

—

Trades

—

Win Rate

—

Profit Factor

—

Avg Win

—

Avg Loss

—

Expectancy

—

Avg R

—

Payoff Ratio

—

Largest Win

—

Largest Loss

—

Win % Gross

—

Loss % Gross

—

Outliers

—

Outliers P&L

—

Acct Size Req

—

Avg Hold

—

Avg Hold (W)

—

Avg Hold (L)

—

Total Fees

—

Fee Drag

—

Avg Fee/Trade

—

Total Funding

—

Funding Drag

—

Risk-Adjusted

Sharpe

—

Sortino

—

Calmar

—

Omega Ratio

—

PSR

—

DSR

—

Sharpe SE

—

Sharpe CI95 lo

—

Sharpe CI95 hi

—

Drawdown & Pain

Max DD

—

Ulcer Index

—

M-I Theoretical DD

—

M-I Ratio

—

Max UW Time

—

% Time UW

—

Avg DD Dur

—

Avg DD Depth

—

Avg Run-up Dur

—

Avg Run-up

—

RoR Closed (50%)

—

RoR MC (50%)

—

Tail & Distribution

CVaR 95%

—

CVaR 99%

—

VaR 95%

—

VaR 99%

—

Tail Ratio

—

Common Sense

—

Return Skew

—

Return Kurt

—

GARCH Excess Kurt

—

Trade Behavior

Max Loss Streak

—

Max Win Streak

—

Trade ρ(1)

—

Avg MAE (R)

—

Avg MFE (R)

—

Winner MFE (R)

—

Loser MAE (R)

—

Ambiguous Bars

—

vs Buy-Hold Benchmark

Bench Return

—

Alpha

—

Info Ratio

—

Trade Clusters (K=4)

Keep	Cluster	N	WR	Avg PnL	Avg R	Avg Hold	Avg Hour	Avg MAE-R	Avg MFE-R

Triple-Barrier Outcomes

% TP-hit

—

% SL-hit

—

% Timeout

—

WR (TP-hit)

—

WR (SL-hit)

—

WR (Timeout)

—

ML Helpers

Avg Uniqueness

—

🔗 Strategy × Market Regime Bridge: strategy hoạt động ra sao trong từng trạng thái thị trường. K-means auto. HMM lazy (Run button).

Regime Analysis (K-means, 30% warmup-fit)

% Trend-Up

—

% Chop

—

% Trend-Down

—

Sharpe (Up)

—

Sharpe (Chop)

—

Sharpe (Down)

—

Per-Trade Entry Regime — trades gắn nhãn regime lúc mở lệnh. Dự đoán hiệu quả của filter ctx.regime() khi chạy live.

Entry Regime	N	WR	PF	Total PnL	Avg PnL	Avg R	Avg Hold

Meta-Labeling Filter (threshold on regime WR)

⚠️ Filter trades theo entry-regime WR — chỉ giữ regime có WR ≥ threshold. Áp lên data table phía trên (regime source: K-means).

WR threshold 50%

Hướng dẫn: Lọc trade theo win-rate của từng entry regime (K-means). Workflow: bảng phía trên cho thấy WR mỗi regime → set threshold → bảng dưới preview tác động lọc. Áp live qua if (ctx.regime() === regime_to_skip) return; trong strategy. ⚠️ Cảnh báo: thống kê in-sample — validate qua CPCV hoặc IS/OOS trước khi tin live. Regime source: K-means.

HMM Regime (3-state Gaussian, EM-trained)

Click để chạy:

Per-Side Stats (Long vs Short)

N (Long)

—

WR (Long)

—

PF (Long)

—

Calmar (Long)

—

N (Short)

—

WR (Short)

—

PF (Short)

—

Calmar (Short)

—

Time Patterns

Time-of-Day (Day-of-Week × UTC Hour) — Metric:

Monthly Returns (Năm × Tháng, % thay đổi equity) — xem seasonality + regime drift

Monte Carlo Percentiles (1000 shuffles)

DD p05

—

DD p50

—

DD p95

—

DD p99

—

Loss Prob

—

🌐 Robustness & Depth Tests Bộ công cụ kiểm định độ bền — Monte Carlo, Null Test, IS/OOS, Stability, Permutation, Noise Injection.

Robustness Tests

MC variant Block size Paths

Spaghetti (mỗi path equity tương lai mô phỏng)

Thống kê tổng hợp qua N mô phỏng

Max DD distribution (qua {N} sims, observed = đỏ đứt nét)

Null Hypothesis Test

N random strategies

Profit Factor: random distribution vs observed (tím)

Sharpe (normalized): random distribution vs observed

Hướng dẫn: Mỗi "strategy ngẫu nhiên" cùng số lệnh, cùng thời gian giữ, nhưng entry random trên cùng bars. p-value = % strategy random vượt observed. p < 0.05 ⇒ strategy thật có edge thật. p > 0.20 ⇒ kết quả backtest có thể chỉ do may mắn.
Lưu ý multi-testing: nếu đã sweep 100 combo, áp Bonferroni — threshold thực = 0.05/100 = 0.0005.

In-Sample / Out-of-Sample Validation

Split ratio (phần IS) 75%

Regime Stability Analysis (rolling windows, N slices)

⚠️ Đo regime stability: cùng 1 bộ tham số, hiệu suất có ổn định qua các giai đoạn không.

History window % 40% N forward slices Mode

Window preview — history (vàng) + forward (teal, slice kế không overlap). Anchored: history neo t₀, expand mỗi slice. Rolling: history cố định kích thước, dịch dần.

Hướng dẫn: 2 mode — Anchored: history neo bar 0, expand mỗi slice; Rolling: history cố định kích thước, dịch dần (bỏ data cũ nhất). Forward window = slice kế, không overlap nhau. Tính metrics riêng từng window — CÙNG params cả 2 bên (phân tích post-hoc). Sharpe forward sụp so với history → strategy không stable qua regime. Stability Ratio ≥ 0.70 = stable; 0.40–0.70 = degrade dần; < 0.40 = regime drift / edge cũ đang fade.

CPCV + PBO (Overfit probability)

⚠️ CPCV: nhiều train-test combo hơn WFA → estimate OOS Sharpe tight hơn. PBO: bootstrap trades → đo xác suất backtest này là overfit.

k_groups k_test N trials

Hướng dẫn: CPCV mở rộng IS/OOS Validation thành nhiều train-test arrangements → distribution Sharpe OOS robust hơn (avoid pick-the-best-split overfit). PBO sử dụng bootstrap trade-resample làm proxy cho "strategy variation": nếu thay đổi nhỏ trades làm hiệu suất sụp ở OOS → strategy không robust. Note: PBO chuẩn yêu cầu N strategy variant từ sweep — version này là approximation đứng độc lập, không cần sweep trước.

Permutation Test (random price paths)

Variant Block size N permutations

Total PnL: permuted distribution vs observed (tím)

Profit Factor: permuted distribution vs observed

Sharpe (normalized): permuted distribution vs observed

Equity paths: permuted Monte Carlo fan vs observed (tím) — "có thể đã xảy ra" nếu price path khác

Hướng dẫn: Shuffle log-returns của bars → reconstruct random price series cùng phân phối return. Re-evaluate entry/exit P&L của observed trades. Verdict dùng p_PF (PF scale-invariant + ít bias với trend-strategy hơn PnL). p_PF < 0.05 ⇒ logic strategy bắt được signal thật.
⚠️ Bias với trend-follower: shuffle phá autocorrelation → trend strategy thua hệ thống trên permuted data → observed > random expected (không phải proof edge). Cho trend strategy, Null Test (random entry trên real data) fair hơn vì random cũng nuốt drift.
Khác Null Test: Null randomize entries (test baseline random-entry); Permutation giữ entries, randomize bars (test khai thác cấu trúc dữ liệu).

Noise Injection (slippage / signal sensitivity)

Mode Noise (×ATR) N iterations

PnL distribution under noise ▮ loss zone · ▮ ±1σ band · ┊ mean · ┃ observed

PF distribution under noise ▮ PF<1 (loss) · ▮ ±1σ band · ┃ observed

Hướng dẫn: 🎯 Trade re-price — entry+exit của observed trades bị perturb ±nhiễu×ATR, tính lại PnL (chỉ test execution slippage, nhanh ~ms). 🔁 Re-run signals — perturb OHLC mỗi bar + chạy lại full strategy mỗi iter, đo signal có còn trigger không khi giá nhiễu (true robustness, cost ≈ Sweep với N combo). Sensitivity = std/|PnL observed|. Thấp (< 0.3) = robust, cao (> 0.7) = fragile. % Lãi = % iter vẫn lãi.
Khi nào dùng Re-run signals: strategy có rule so giá (breakout, level, crossover) — bắt knife-edge signal mà Trade re-price không thấy. Default N = 20 (cap 100) — mỗi iter = 1 full backtest.

Parameter Sensitivity (overfit / plateau)

Range ±% Metric N samples

Calmar distribution dưới nhiễu tham số · ▮ loss zone · ▮ ±1σ band · ┃ chosen params

Hướng dẫn: Nhiễu mỗi ctx.params["X"] ngẫu nhiên ±range% quanh giá trị đang chọn (param integer tự round), chạy lại full backtest mỗi mẫu (cost ≈ Sweep N combo).
Plateau ratio = median(noised) / chosen. ≈1 = chosen nằm trên vùng phẳng (robust); <0.5 = chosen là đỉnh nhọn may mắn (overfit — đổi param nhẹ là sụp).
% Pass = % mẫu vẫn lãi (metric >0, PF >1). Sensitivity = std/|chosen| (CV). Verdict: 🟢 robust nếu %pass >80 & plateau >0.7; 🔴 fragile nếu %pass <50 hoặc plateau <0.4.
Lưu ý: nếu strategy hardcode số trong ctx.declare() thay vì đọc ctx.params["X"] → mọi mẫu giống hệt nhau (panel sẽ cảnh báo). Sửa: dùng ctx.params["X"] trong declare.

Export

Download data backtest để phân tích bên ngoài (Excel, Python, etc.)

Trade List

Sortable — click header. Showing first 500 trades.

#	Open Time	Close Time	Side	Size	Entry	Exit	PnL	Fee	Net	R	Hold (bars)	Barrier	Reason

Strategy Logs

Output từ ctx.log(msg) trong strategy. Showing first 1000.

Chạy backtest để xem log.

🛑 Breakpoints

Hits từ ctx.break(cond?, label?) — luôn ghi snapshot kể cả khi ▶ Run thường. Showing first 500.

👀 Watches

Eval mỗi bar từ ctx.watch(name, fn). Sparkline = full series.

📜 Strategy Versions — —

📚 History — backtest / sweep / matrix runs đã lưu

Robustness Matrix — Multi-Symbol × TF × Period

📊 Portfolio Synthesis — danh mục kết hợp

Parameter Sweep — quét params tìm vùng ổn định

Results

Walk-Forward Folds

Session Stats

Trade List

Strategy Logs

🛑 Breakpoints

👀 Watches

📊 Strategy Diff — side-by-side compare

🌐 Market Lab — Phân tích thị trường