RTX 4060
NVIDIARTX 40Ada Lovelace
VRAM
8 GB
Bandwidth
272 GB/s
Muestras
2
Benchmarks en esta GPU
| Modelo | Cuantización | Runtime | Mediana (tok/s) | Muestras | Tipo |
|---|---|---|---|---|---|
| Qwen2.5 7B Instruct | Q4_K_M | Ollama | 38 | 1 | Estimado |
| Phi-3.5 Mini Instruct | Q4_K_M | Ollama | 43 | 1 | Real |
| Modelo | Cuantización | Runtime | Mediana (tok/s) | Muestras | Tipo |
|---|---|---|---|---|---|
| Qwen2.5 7B Instruct | Q4_K_M | Ollama | 38 | 1 | Estimado |
| Phi-3.5 Mini Instruct | Q4_K_M | Ollama | 43 | 1 | Real |