Nexuscortex/train_full.bat at main · office233/Nexuscortex · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
@echo off
REM ═══════════════════════════════════════════════════════════════
REM  NEXUS CORTEX — Full Progressive Training Pipeline (CUDA)
REM  GTX 1660 Ti | CUDA 13.2 | SM 7.5
REM ═══════════════════════════════════════════════════════════════

set DATA_DIR=./data/cortex-smart
set TRAIN=nexus-train-gpu.exe

echo.
echo ================================================================
echo   PHASE 1: Foundation (general.jsonl) - 20 epochs
echo ================================================================
%TRAIN% --fresh --data-dir %DATA_DIR% --corpus ./data/corpus/general.jsonl --epochs 20 --curriculum --revisit --seed 42
if %ERRORLEVEL% NEQ 0 goto :error

echo.
echo ================================================================
echo   PHASE 2: Reasoning (reasoning.jsonl) - 15 epochs
echo ================================================================
%TRAIN% --data-dir %DATA_DIR% --corpus ./data/corpus/reasoning.jsonl --epochs 15 --curriculum --revisit --seed 42
if %ERRORLEVEL% NEQ 0 goto :error

echo.
echo ================================================================
echo   PHASE 3: Mathematics (gsm8k_converted.jsonl) - 10 epochs
echo ================================================================
%TRAIN% --data-dir %DATA_DIR% --corpus ./data/corpus/gsm8k_converted.jsonl --epochs 10 --curriculum --revisit --seed 42
if %ERRORLEVEL% NEQ 0 goto :error

echo.
echo ================================================================
echo   PHASE 4: Instructions (dolly.jsonl) - 10 epochs
echo ================================================================
%TRAIN% --data-dir %DATA_DIR% --corpus ./data/corpus/dolly.jsonl --epochs 10 --curriculum --revisit --seed 42
if %ERRORLEVEL% NEQ 0 goto :error

echo.
echo ================================================================
echo   PHASE 5: Stanford Alpaca (alpaca.jsonl) - 8 epochs
echo ================================================================
%TRAIN% --data-dir %DATA_DIR% --corpus ./data/corpus/alpaca.jsonl --epochs 8 --curriculum --revisit --seed 42
if %ERRORLEVEL% NEQ 0 goto :error

echo.
echo ================================================================
echo   PHASE 6: Romanian Knowledge (wikipedia_ro.jsonl) - 5 epochs
echo ================================================================
%TRAIN% --data-dir %DATA_DIR% --corpus ./data/corpus/wikipedia_ro.jsonl --epochs 5 --curriculum --revisit --seed 42
if %ERRORLEVEL% NEQ 0 goto :error

echo.
echo ================================================================
echo   ALL PHASES COMPLETE! Organism saved to %DATA_DIR%
echo ================================================================
goto :end

:error
echo.
echo *** TRAINING FAILED at phase above ***
exit /b 1

:end
echo Done!