RTX 4070
NVIDIARTX 40Ada Lovelace
VRAM
12 GB
Bandwidth
504 GB/s
Muestras
3
Benchmarks en esta GPU
| Modelo | Cuantización | Runtime | Mediana (tok/s) | Muestras | Tipo |
|---|---|---|---|---|---|
| Llama 3.1 8B Instruct | Q4_K_M | Ollama | 82 | 1 | Estimado |
| Qwen2.5 Coder 7B | Q4_K_M | Ollama | 56 | 1 | Real |
| Gemma 2 9B | Q4_K_M | Ollama | 52 | 1 | Estimado |