Квантування GGUF для Ollama: що означають Q4_K_M, Q8_0 та IQ4_XS яке вибрати під своє залізо
Якщо ви запускаєте моделі через Ollama або інші локальні рантайми, ви вже стикалися з назвами на кшталт Q4_K_M, Q8_0 або IQ4_XS. Що це означає? Яке обрати? Чому Q4 часто краще за Q8 — і коли це не так? У цій статті я розбираю квантування без зайвого теоретизування — з таблицями,...