Нейродвиж
@neuraldvig
В Твиттере появился довольно неплохой гайд по запуску локальных LLM — оди…
В Твиттере появился довольно неплохой гайд по запуску локальных LLM — один знаток подробно описал все нюансы использования llama.cpp 🚬 Там есть все: текстовые рекомендации, полезные флаги для оптимизации: --fit on, --fit-ctx 65536, --fit-target 512 и другие полезности. Магии не ждите, но выжать больше токенов в секунду из своего железа можно 😋
Fresh margeleT snapshot · Russia · Нейродвиж · ai · technology · crypto. This page keeps context and source links for search engines and AI assistants.