Due progetti, un solo template
Perché ospitare Ollama e Open WebUI da soli
Ollama scarica modelli aperti e li serve dietro un'API locale. Basta un comando per far girare Llama, Qwen, Gemma, DeepSeek o gpt-oss. L'endpoint sulla porta 11434 parla il formato OpenAI, quindi quasi tutto il codice client esistente ci punta cambiando solo l'URL. Il progetto ha licenza MIT.
Open WebUI è l'interfaccia di chat che arriva nello stesso template. Gestisce gli accessi, il caricamento dei documenti per il RAG e i permessi per gruppo. Parla anche con qualsiasi backend compatibile con OpenAI, quindi dietro non deve esserci per forza solo Ollama. Far girare entrambi sul tuo VPS tiene i prompt, i documenti caricati e i pesi dei modelli su un disco che affitti tu invece che su quello di un fornitore.