CPU:           AMD Ryzen Threadripper PRO 9955WX 16-Cores (32 hardware threads)
Julia:         1.13.1, 32 threads
BLAS:          libopenblas64_.so, 16 threads
NNlib:         0.9.47
selection:     dtypes=Float32  impls=nnlib  causal=false,true  sizes=tiny,small,gpt2-ish,llama3 L=2k,llama3 L=4k,llama3 L=8k
sanity Float32  (vs nnlib, fused: true)  nnlib=0.00e+00

############################################################################################
### dtype=Float32  causal=false
############################################################################################

-- FORWARD --
config            L   H |       nnlib ms |      nnlib MiB
tiny            128   4 |          0.138 |          4.329
small           512   8 |          2.533 |         12.102
gpt2-ish       1024  12 |          7.212 |         16.619
llama3 L=2k    2048  32 |         37.161 |         42.147
llama3 L=4k    4096  32 |        140.053 |         78.212
llama3 L=8k    8192  32 |        547.539 |        142.212

-- FULL GRADIENT, fwd+bwd --
config            L   H |       nnlib ms |      nnlib MiB
tiny            128   4 |          0.988 |         14.730
small           512   8 |         10.350 |         51.649
gpt2-ish       1024  12 |         27.307 |         72.931
llama3 L=2k    2048  32 |        133.841 |        188.980
llama3 L=4k    4096  32 |        502.155 |        353.303
llama3 L=8k    8192  32 |       1885.120 |        673.803

############################################################################################
### dtype=Float32  causal=true
############################################################################################

-- FORWARD --
config            L   H |       nnlib ms |      nnlib MiB
tiny            128   4 |          0.117 |          4.329
small           512   8 |          1.583 |         12.102
gpt2-ish       1024  12 |          4.195 |         16.619
llama3 L=2k    2048  32 |         20.199 |         42.147
llama3 L=4k    4096  32 |         74.509 |         78.208
llama3 L=8k    8192  32 |        286.639 |        142.212

-- FULL GRADIENT, fwd+bwd --
config            L   H |       nnlib ms |      nnlib MiB
tiny            128   4 |          0.900 |         14.730
small           512   8 |          7.133 |         51.649
gpt2-ish       1024  12 |         17.108 |         72.931
llama3 L=2k    2048  32 |         78.288 |        188.980
llama3 L=4k    4096  32 |        276.717 |        353.299
llama3 L=8k    8192  32 |       1003.890 |        673.803
