RTX 4090
NVIDIARTX 40Ada Lovelace
VRAM
24 GB
Bandwidth
1,008 GB/s
Muestras
2
Benchmarks en esta GPU
| Modelo | Cuantización | Runtime | Mediana (tok/s) | Muestras | Tipo |
|---|---|---|---|---|---|
| Llama 3.1 8B Instruct | Q4_K_M | llama.cpp | 158 | 1 | Real |
| Llama 3.3 70B Instruct | Q4_K_M | llama.cpp | 41 | 1 | Real |