Setup: Dein eigenes LLM mit Ollama

Ab jetzt wird es praktisch. In den folgenden Kapiteln lernst du Prompting-Techniken nicht nur kennen, sondern probierst jede einzelne selbst aus - auf deinem eigenen Laptop, ohne Account, ohne Kreditkarte, ohne dass deine Daten das Gerät verlassen.

Dafür nutzen wir Ollama: ein kleines Programm, das Sprachmodelle lokal ausführt. Du brauchst dafür keine Programmierkenntnisse - alles läuft über ein Terminalfenster.

Ollama installieren

Die Installation läuft auf jedem Betriebssystem etwas anders - Ollama beschreibt sie für Windows, macOS und Linux selbst und hält die Anleitung aktuell. Deshalb verweisen wir hier bewusst dorthin, statt eine zweite Version zu pflegen, die irgendwann veraltet:

Folge dort einfach der Anleitung für dein System. Danach läuft Ollama im Hintergrund - erkennbar am 🦙-Symbol in der Taskleiste (Windows) bzw. Menüleiste (macOS).

Terminal öffnen und Installation prüfen

Tippe im Terminal:

ollama --version

ollama version is 0.6.2

Wenn eine Versionsnummer erscheint, hat alles geklappt. 🎉

Modelle herunterladen

Ein Modell wird einmal heruntergeladen und liegt danach lokal auf deiner Festplatte. Für den gesamten Kurs brauchst du genau ein Modell:

Zum Installieren genügt ein Befehl im Terminal:

ollama pull gemma3:1b

Prüfe anschließend, ob es angekommen ist:

ollama list

NAME               ID              SIZE      MODIFIED
gemma3:1b          8648f39daa8f    815 MB    2 minutes ago

Das war's - damit haben wir unser erstes lokales LLM installiert.

ollama pull gemma3:270m
ollama pull gemma3:4b

Dein erster Prompt

Für einen einzelnen Prompt hängst du ihn direkt an den Befehl an:

ollama run gemma3:1b "Nenne drei Risiken eines Bio-Lieferdienstes."

Hier sind drei Risiken, die mit dem Betrieb eines Bio-Lieferdienstes verbunden sind:

1.  **Hohe Kosten und Margen:** Bio-Produkte sind oft teurer als konventionelle
    Produkte. Dies kann zu hohen Produktionskosten führen, was sich in geringeren
    Gewinnmargen für den Lieferdienst auswirken kann.
2.  **Lieferkettenprobleme und -risiken:** Der Bio-Sektor ist anfällig für
    Lieferkettenunterbrechungen aufgrund von Wetterbedingungen, Transportproblemen
    oder Schäden an Produkten während des Transports.
3.  **Nachhaltigkeits- und ethische Fragen:** Der Bio-Sektor ist oft mit
    Umweltfragen verbunden, etwa der Notwendigkeit, nachhaltige Anbaumethoden
    zu gewährleisten.

Diese Risiken können für Bio-Lieferdienste eine Herausforderung darstellen, da sie
die Rentabilität und Glaubwürdigkeit des Unternehmens beeinträchtigen können.

Der Chat-Modus

Ohne Prompt am Ende des ollama Aufrufs startet ein fortlaufender Chat:

ollama run gemma3:1b

Was ist ein Business Model Canvas?

Das Modell antwortet - Wort für Wort, genau wie in Station 5 beschrieben. Der Chat merkt sich dabei den bisherigen Verlauf (dein Kontextfenster).

Mehrzeilige Prompts eingeben

Das brauchst du ab Kapitel 2 ständig - gute Prompts sind selten einzeilig. Tippe im Chat drei Anführungszeichen, dann deinen Text über mehrere Zeilen, dann wieder drei Anführungszeichen:

"""
... # ROLLE
... Du bist Risikokapitalgeberin mit 15 Jahren Erfahrung.
...
... # AUFGABE
... Nenne die drei größten Risiken eines Bio-Lieferdienstes.
... """

Erst nach dem schließenden """ beginnt das Modell zu antworten.

Die Stellschrauben

Zwei Einstellungen verändern das Verhalten des Modells spürbar. Du setzt sie im Chat-Modus mit /set parameter:

/set parameter temperature 0
/clear

🔬 Ollama-Lab

📁 prompt-labor
├── 📄 idee.md          # Deine Geschäftsidee
└── 📄 lab_log.md       # Dein Laborbuch

# Laborbuch

## 00 Setup                 ← Ollama Setup
## 01 Beschreibung          ← Anatomie
## 02a Canvas (Few-Shot)    ← Shot Prompting
## 02b Canvas (iteriert)    ← Iteratives Prompting
## 03 Canvas strukturiert   ← Strukturierte Ausgaben
## 04 Rollen                ← Rollenbasiertes Prompting
## 05 Kette                 ← Prompt Chaining
## 06 Kritik                ← Kritisches Prompting

ollama run gemma3:1b "Schreib was über mein Café"

ollama run gemma3:1b "Schreibe genau 3 Sätze Werbetext für ein veganes Café in Innsbruck. Zielgruppe: Studierende. Ton: locker, ohne Superlative."

ollama run gemma3:1b

/clear
/set parameter temperature 0.0
Erfinde einen Namen für ein veganes Café in Innsbruck.
/clear
/set parameter temperature 0.7
Erfinde einen Namen für ein veganes Café in Innsbruck.
/clear
/set parameter temperature 1.5
Erfinde einen Namen für ein veganes Café in Innsbruck.

/set parameter num_ctx 512
Du antwortest ausschließlich auf Französisch.
Erzähl mir etwas über Innsbruck.

ollama run gemma3:270m "Schreib was über mein Café"
ollama run gemma3:1b   "Schreib was über mein Café"
ollama run gemma3:4b   "Schreib was über mein Café"

🐍 Optional: Ollama aus Python steuern

Diesen Abschnitt kannst du überspringen - für den Kurs brauchst du ihn nicht. Er lohnt sich, wenn du viele Varianten systematisch vergleichen willst: zehn Prompts, drei Modelle, fünf Wiederholungen. Von Hand wird das mühsam.

pip install ollama

import ollama

antwort = ollama.chat(
    model="gemma3:1b",
    messages=[
        {"role": "user", "content": "Nenne drei Risiken eines Bio-Lieferdienstes."}
    ],
)

print(antwort["message"]["content"])

1. Hohe Logistikkosten durch gekühlten Transport.
2. Verderbliche Ware führt zu Verlusten bei schwankender Nachfrage.
3. Starke Konkurrenz durch etablierte Supermärkte mit Lieferservice.

"""Kleiner Helfer für die optionalen Python-Übungen."""

import ollama

KURSMODELL = "gemma3:1b"


# temperatur=0 -> Antworten sind weitgehend wiederholbar.
# Genau das willst du beim Vergleichen von Prompts.
def frage(prompt, system=None, model=KURSMODELL, temperatur=0.0):
    """Schickt einen einzelnen Prompt an das Modell und gibt den Text zurück."""
    messages = []
    if system:
        messages.append({"role": "system", "content": system})
    messages.append({"role": "user", "content": prompt})

    antwort = ollama.chat(
        model=model,
        messages=messages,
        options={"temperature": temperatur},
    )
    return antwort["message"]["content"]

from llm import frage

print(frage("Was ist ein Business Model Canvas?"))
print(frage("Bewerte diese Idee: veganes Café.",
            system="Du bist ein skeptischer Investor."))

Das Business Model Canvas ist ein Werkzeug zur Darstellung eines
Geschäftsmodells auf einer Seite. Es besteht aus neun Feldern ...

Der Markt für vegane Gastronomie wächst, ist aber in Städten bereits
dicht besetzt. Entscheidend wären für mich die Mietkosten pro
Quadratmeter und der durchschnittliche Bon pro Gast ...

Quellen

Zur Ausarbeitung wurden generative Tools unterstützend eingesetzt.