RTX 3090
NVIDIARTX 30Ampere
VRAM
24 GB
Bandwidth
936 GB/s
Muestras
1
Benchmarks en esta GPU
| Modelo | Cuantización | Runtime | Mediana (tok/s) | Muestras | Tipo |
|---|---|---|---|---|---|
| Llama 3.1 8B Instruct | Q4_K_M | llama.cpp | 115.4 | 1 | Real |
| Modelo | Cuantización | Runtime | Mediana (tok/s) | Muestras | Tipo |
|---|---|---|---|---|---|
| Llama 3.1 8B Instruct | Q4_K_M | llama.cpp | 115.4 | 1 | Real |