Två projekt, en mall
Varför köra Ollama och Open WebUI själv
Ollama hämtar öppna modeller och serverar dem bakom ett lokalt API. Ett enda kommando får igång Llama, Qwen, Gemma, DeepSeek eller gpt-oss. Endpointen på port 11434 talar OpenAI-formatet, så det mesta av befintlig klientkod pekar dit med ett byte av URL. Projektet är MIT-licensierat.
Open WebUI är chattgränssnittet som följer med i samma mall. Det sköter inloggningar, dokumentuppladdning för RAG och behörigheter per grupp. Det pratar dessutom med vilken OpenAI-kompatibel backend som helst, så Ollama behöver inte vara det enda bakom. Att köra båda på din egen VPS håller prompterna, de uppladdade dokumenten och modellvikterna på en disk du hyr i stället för en leverantörs.