Народ, столкнулся с проблемой. Хочу погонять локально Llama 3 на своей древней RTX 2060, но памяти катастрофически не хватает. Слышал, что есть какой-то хитрый софт для оптимизации квантования, типа kraken или аналогов, который ужимает веса чуть ли не в 2 бита без полной потери качества. Кто-нибудь пробовал подобные костыли?
Реально ли получить хоть 15 токенов в секунду или проще забить и копить на новую карту?