Tarea: back · Alibaba
Qwen2.5 7B Instruct
chatQwenApache-2.0
parámetros
7,610,000,000
Context
32,768
Muestras
0
Todavía no hay datos de benchmarks para este modelo.
Explorador de benchmarks
| Cuantización | Runtime | GPU | Mediana (tok/s) | Muestras |
|---|---|---|---|---|
| Q4_K_M | Ollama | RTX 3060 | 32 | 1 |
| Q4_K_M | Ollama | RTX 4060 | 38 | 1 |
| Q4_K_M | Ollama | M3 Max (40 GPU cores) | 55 | 1 |