RTX 4080
NVIDIARTX 40Ada Lovelace
VRAM
16 GB
Bandwidth
717 GB/s
Muestras
1
Benchmarks en esta GPU
| Modelo | Cuantización | Runtime | Mediana (tok/s) | Muestras | Tipo |
|---|---|---|---|---|---|
| Llama 3.1 8B Instruct | Q4_K_M | Ollama | 118 | 1 | Estimado |
| Modelo | Cuantización | Runtime | Mediana (tok/s) | Muestras | Tipo |
|---|---|---|---|---|---|
| Llama 3.1 8B Instruct | Q4_K_M | Ollama | 118 | 1 | Estimado |