GPU:     NVIDIA GeForce RTX 5090
PyTorch: 2.14.1+cu130  cuDNN: 92400

####################################################################################################
### dtype=f16  causal=False
####################################################################################################

-- FORWARD (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.060       0.022       0.016       0.016
small           512   8 |       0.361       0.072       0.040       0.039
gpt2-ish       1024  12 |       1.305       0.157       0.089       0.118
llama3 L=2k    2048  32 |       4.600       0.880       0.444       0.408
llama3 L=4k    4096  32 |      17.980       3.253       1.508       1.401
llama3 L=8k    8192  32 |      71.177      12.404       5.496       5.182

-- FULL GRADIENT, fwd+bwd (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.201       0.069       0.068       0.080
small           512   8 |       0.820       0.263       0.131       0.146
gpt2-ish       1024  12 |       2.805       0.626       0.315       0.372
llama3 L=2k    2048  32 |      10.427       4.856       1.416       1.490
llama3 L=4k    4096  32 |      40.749      18.610       4.988       5.292
llama3 L=8k    8192  32 |         n/s      72.780      18.945      19.569

####################################################################################################
### dtype=f16  causal=True
####################################################################################################

-- FORWARD (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.088       0.022       0.016       0.017
small           512   8 |       0.405       0.054       0.039       0.040
gpt2-ish       1024  12 |       1.577       0.110       0.060       0.082
llama3 L=2k    2048  32 |       5.297       0.492       0.255       0.245
llama3 L=4k    4096  32 |      21.985       1.716       0.818       0.796
llama3 L=8k    8192  32 |      87.205       6.372       2.853       2.786

-- FULL GRADIENT, fwd+bwd (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.259       0.069       0.068       0.084
small           512   8 |       0.876       0.187       0.115       0.139
gpt2-ish       1024  12 |       3.046       0.418       0.213       0.264
llama3 L=2k    2048  32 |      11.000       2.660       0.807       0.847
llama3 L=4k    4096  32 |      44.181       9.611       2.670       2.847
llama3 L=8k    8192  32 |         n/s      36.736       9.616      10.069

####################################################################################################
### dtype=bf16  causal=False
####################################################################################################

-- FORWARD (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.061       0.022       0.016       0.015
small           512   8 |       0.361       0.070       0.040       0.039
gpt2-ish       1024  12 |       1.303       0.156       0.089       0.118
llama3 L=2k    2048  32 |       4.586       0.879       0.443       0.406
llama3 L=4k    4096  32 |      17.899       3.253       1.502       1.386
llama3 L=8k    8192  32 |      70.952      12.399       5.493       5.162

-- FULL GRADIENT, fwd+bwd (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.201       0.070       0.069       0.084
small           512   8 |       0.819       0.262       0.131       0.145
gpt2-ish       1024  12 |       2.801       0.626       0.316       0.377
llama3 L=2k    2048  32 |      10.397       4.854       1.412       1.484
llama3 L=4k    4096  32 |      40.582      18.595       4.974       5.283
llama3 L=8k    8192  32 |         n/s      72.789      18.620      19.541

####################################################################################################
### dtype=bf16  causal=True
####################################################################################################

-- FORWARD (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.080       0.022       0.016       0.017
small           512   8 |       0.404       0.055       0.040       0.041
gpt2-ish       1024  12 |       1.577       0.111       0.060       0.083
llama3 L=2k    2048  32 |       5.292       0.492       0.253       0.244
llama3 L=4k    4096  32 |      21.948       1.716       0.814       0.788
llama3 L=8k    8192  32 |      87.066       6.348       2.847       2.779

-- FULL GRADIENT, fwd+bwd (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.231       0.069       0.069       0.085
small           512   8 |       0.874       0.186       0.114       0.139
gpt2-ish       1024  12 |       3.045       0.419       0.212       0.263
llama3 L=2k    2048  32 |      10.989       2.653       0.803       0.846
llama3 L=4k    4096  32 |      44.133       9.602       2.659       2.843
llama3 L=8k    8192  32 |         n/s      36.687       9.604      10.042

####################################################################################################
### dtype=f32  causal=False
####################################################################################################

-- FORWARD (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.050       0.030         n/s         n/s
small           512   8 |       0.319       0.182         n/s         n/s
gpt2-ish       1024  12 |       1.090       0.440         n/s         n/s
llama3 L=2k    2048  32 |       4.000       2.332         n/s         n/s
llama3 L=4k    4096  32 |      15.824       8.593         n/s         n/s
llama3 L=8k    8192  32 |      63.174      32.957         n/s         n/s

-- FULL GRADIENT, fwd+bwd (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.188       0.099         n/s         n/s
small           512   8 |       0.785       0.771         n/s         n/s
gpt2-ish       1024  12 |       2.590       1.920         n/s         n/s
llama3 L=2k    2048  32 |       9.900       9.762         n/s         n/s
llama3 L=4k    4096  32 |      38.744      36.216         n/s         n/s
llama3 L=8k    8192  32 |         n/s     139.340         n/s         n/s

####################################################################################################
### dtype=f32  causal=True
####################################################################################################

-- FORWARD (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.065       0.030         n/s         n/s
small           512   8 |       0.372       0.121         n/s         n/s
gpt2-ish       1024  12 |       1.362       0.285         n/s         n/s
llama3 L=2k    2048  32 |       4.708       1.277         n/s         n/s
llama3 L=4k    4096  32 |      19.871       4.503         n/s         n/s
llama3 L=8k    8192  32 |      79.201      16.868         n/s         n/s

-- FULL GRADIENT, fwd+bwd (ms) --
config            L   H |        math   efficient       flash       cudnn
tiny            128   4 |       0.197       0.099         n/s         n/s
small           512   8 |       0.833       0.481         n/s         n/s
gpt2-ish       1024  12 |       2.843       1.193         n/s         n/s
llama3 L=2k    2048  32 |      10.402       5.254         n/s         n/s
llama3 L=4k    4096  32 |      42.105      18.829         n/s         n/s
llama3 L=8k    8192  32 |         n/s      71.065         n/s         n/s
