Tarea: back · Meta
Llama 3.3 70B Instruct
chatLlamaLlama 3.3 Community License
parámetros
70,600,000,000
Context
131,072
Muestras
1
Benchmarks
RealMediana (tok/s)
41
Promedio (tok/s)
41
P25
41
P75
41
Explorador de benchmarks
| Cuantización | Runtime | GPU | Mediana (tok/s) | Muestras |
|---|---|---|---|---|
| Q4_K_M | llama.cpp | RTX 4090 | 41 | 1 |