Развернул локально через Ollama — работает, есть нюансы

В нашей команде запретили отправлять внутренние документы в облачные сервисы, поэтому поднял Llama 3.3 70B локально через Ollama. Поставилось без боли: скачал образ, подтянул через CLI, запустил через llama.cpp на рабочей станции с RTX 4090. Для черновиков технической документации хватает: структура, заголовки, первичный текст по шаблону.

Что не понравилось: русский у Llama заметно слабее английского. В документации на RU часто вылезает «иностранный акцент» — фразы формально правильные, но звучат деревянно, их всё равно надо переписывать. На английском таких проблем нет.

По итогу для моих задач зашло: данные не уходят никуда, можно дообучить под нужный стиль, лицензия позволяет коммерческое использование. Если нужен русский в нормальном качестве, придётся либо брать 405B и мириться с железом, либо смотреть в сторону GigaChat.