Leistung · KI-Entwicklung

LLM Fine-Tuning, wenn es wirklich nötig ist — betrieben auf privater oder EU-Infrastruktur

Ich baue Private LLM-Setups für Unternehmen, die Datenflüsse kontrollieren müssen, und prüfe Fine-Tuning technisch statt verkäuferisch. Der Ablauf ist bewusst streng: erst Modell- und Hosting-Entscheidung, dann Prompting und Retrieval, erst danach Training mit Unsloth, LoRA oder PEFT, wenn die Evaluation zeigt, dass das Modell sein Verhalten ändern muss.

  • Open-Weight-Modelle auf eigener oder EU-Infrastruktur, wenn Daten das Unternehmen nicht verlassen dürfen
  • Ehrliche Abwägung zwischen gehostetem Modell mit EU-Vertrag und eigener Infrastruktur
  • Fine-Tuning nur, wenn Prompting und Retrieval nachweislich nicht reichen
  • Zusammenarbeit als Projekt-Sprint oder laufender Retainer

Woran es meistens hakt

  • Du suchst einen LLM Fine-Tuning Service, willst aber nicht mit sensiblen Kundendaten in irgendeinem Playground landen.

    Wir trennen Evaluationsdaten, Trainingsdaten, Prompts, Embeddings und Logs. Danach wird entschieden, ob ein Open-Weight-Modell intern läuft, ob ein EU-Anbieter mit AVV reicht oder ob der Use Case gar kein Fine-Tuning braucht.

  • Dein Team erwartet, dass Fine-Tuning internes Wissen in das Modell bringt.

    Das wird korrigiert, bevor Budget verbrennt. Fakten gehören meist in Retrieval, nicht ins Training. Fine-Tuning wird für Verhalten, Formatdisziplin, Klassifikation, Fachstil oder Tool-Aufrufe geprüft, nicht als Ersatz für eine Wissensdatenbank.

  • Du musst gegenüber Datenschutz, IT oder Betriebsrat erklären, welche Daten wohin gehen.

    Für österreichische Unternehmen werden DSGVO-Punkte wie AVV nach Art. 28, TOMs nach Art. 32, DSFA nach Art. 35 und der österreichische DSG-Grundrechtsschutz nach § 1 sauber in die Architektur übersetzt: Logs, Zugriff, Löschfristen und Testdaten werden nicht nebenbei entschieden.

  • Du weißt nicht, welches LLM passt: Mistral, Llama, Qwen, Mixtral, Mistral API oder Together AI Playground.

    Die „Which LLM“-Frage wird über Testfälle beantwortet: Deutschqualität, Lizenz, Kontextfenster, Latenz, GPU-Bedarf, strukturierte Ausgabe, RAG-Verhalten und Betriebsvorgaben. Öffentliche Benchmarks sind nur ein Filter.

  • Ein Prototyp läuft lokal in Ollama, aber niemand möchte ihn als internen Dienst verantworten.

    Aus dem Experiment wird ein Dienst mit Inferenz-Server, Authentifizierung, Netzwerkgrenzen, Modellversionen, Evaluationsläufen, Monitoring und klarer Rückfalloption. Ein Laptop-Prototyp ist kein Betriebskonzept.

Zusammenarbeit

Fine-Tuning-Readiness-Check

kurzer Einstieg

Prüfung von Use Case, Datenklassen, Beispielqualität, RAG-Potenzial, Modellkandidaten und Hosting-Optionen. Ergebnis ist eine klare Entscheidung: kein Training, RAG zuerst, gehostetes EU-Modell, eigenes Hosting oder Fine-Tuning als nächster Schritt. Budgetfragen hängen vom Umfang ab, Fixpreis nach dem Erstgespräch.

Anfragen

Projekt-Sprint für Hosting und Fine-Tuning-Evaluation

mehrwöchiges Projekt

Aufbau eines privaten LLM-Dienstes auf eigener oder EU-Infrastruktur inklusive Modellauswahl, Inferenz-API, Zugriffsschutz, Retrieval-Anbindung, Testdatensatz, Fehlerklassen und Entscheidungsvorlage für oder gegen LoRA-/QLoRA-Fine-Tuning.

Anfragen

Laufender Retainer für Betrieb, Evaluation und Modellpflege

laufend

Technische Begleitung nach dem Start: Modellupdates, Prompt- und Retrieval-Änderungen, Evaluation neuer Open-Weight-Modelle, Fine-Tuning-Experimente nur bei belegtem Bedarf, Incident-Analyse und Sparring für Produkt, IT und Datenschutz.

Anfragen

Stack

vLLM
Für GPU-Inferenz mit parallelen Requests, Prefix-Caching und OpenAI-kompatibler API. Sinnvoll, wenn ein internes LLM nicht nur eine Demo, sondern ein Dienst für mehrere Anwendungen sein soll.
llama.cpp
Für lokale Tests, Quantisierung und kleinere Setups auf CPU oder kleiner GPU. Gut für frühe Modellvergleiche; bei hoher Parallelität ist vLLM meist die bessere Wahl.
Hugging Face Transformers
Für reproduzierbare Modelltests, Tokenizer, Trainingsskripte und Adapter-Experimente. Wichtig, wenn du nicht an eine einzelne Tuning-as-a-Service-Plattform gebunden sein willst.
Unsloth
Für effizientes Fine-Tuning mit LoRA oder QLoRA, wenn die Evaluation zeigt, dass Training nötig ist. Unsloth spart Rechenaufwand, ersetzt aber keine sauberen Labels und keine Testfälle.
PEFT / LoRA
Für Adapter-basiertes Fine-Tuning statt Volltraining. Adapter lassen sich versionieren, vergleichen und zurückrollen, was in internen Freigabeprozessen deutlich angenehmer ist.
Qdrant oder pgvector
Für Retrieval auf Dokumenten, Tickets, Richtlinien oder Produktwissen. Viele angebliche Fine-Tuning-Fälle sind eigentlich Such- und Berechtigungsprobleme.
Mistral API, Together AI Playground, EU-Cloud-Optionen
Für schnelle Gegenproben gegen gehostete Modelle. Ein privates Setup muss gegen reale Alternativen bestehen; sonst baust du Infrastruktur aus Prinzip.
OpenTelemetry
Für Metriken, Traces und Fehlerklassen ohne Prompt-Chaos. Qualität wird messbar über Latenz, Abbruchgründe, Retrieval-Treffer, Modellversion und Fehlertypen.

So läuft ein Projekt

1 · Erstes Kennenlernen

Wir reden eine Woche lang in Ruhe über das, was du dir vorstellst - unverbindlich und kostenlos. Am Ende weißt du, was es kostet und wie lange es dauert. Auch dann, wenn du dich gegen mich entscheidest.

2 · Schritt für Schritt bauen

Ich arbeite in kleinen Etappen von zwei Wochen. Nach jeder Etappe siehst du etwas Fertiges und kannst sagen "passt" oder "lass uns das anders machen" - bevor zu viel Zeit oder Geld drinsteckt.

3 · Online-Schaltung & Übergabe

Wir gehen live. Die ersten zwei Wochen danach kümmere ich mich um alle kleinen Anpassungen ohne Extra-Kosten. Du bekommst alles, was zur Website gehört - Zugänge, Anleitungen, den gesamten Code.

4 · Erreichbar auch danach

Nach jedem Projekt halte ich Zeit für ehemalige Kund:innen frei. Für die schnelle Frage am Abend ("Ist das normal?") bin ich da - ohne neuen Vertrag, ohne Stundensatz im Hinterkopf.

Fine-Tuning, Retrieval, gehostetes Modell oder eigenes Hosting

Der Search Intent lautet oft „LLM Fine-Tuning Service“. In vielen Fällen ist die richtige Antwort aber eine kontrollierte Kombination aus Hosting, Retrieval und Evaluation. Training kommt erst, wenn es fachlich belegbar ist.

OptionPasst, wennScheitert oft an
PromptingSchnellster Einstieg für Format, Tonalität und einfache Arbeitsregeln.Die Aufgabe klar ist und das Modell die nötigen Fakten bereits kennt.Instabilen Ergebnissen, wenn Beispiele, Grenzen oder Tests fehlen.
Retrieval / RAGBesser für interne Dokumente, Richtlinien, Tickets und Produktwissen.Fakten aktuell bleiben müssen und Quellen nachvollziehbar sein sollen.Schlechter Dokumentqualität, unklaren Berechtigungen und fehlender Evaluation.
Fine-Tuning mit LoRA / QLoRASinnvoll für Verhalten, Klassifikation, Formatdisziplin oder Fachstil.Genug gute Beispiele vorhanden sind und RAG das Problem nicht löst.Zu kleinen Datensätzen, schlechten Labels und Erwartungen an neues Wissen.
Gehostetes EU-ModellPragmatisch mit Anbietern wie Mistral API, Together AI oder einem EU-Cloud-Dienst, sofern Vertrag und Logs passen.Der Use Case keine harte Datenlokalität verlangt und AVV, Subprozessoren sowie Löschregeln akzeptabel sind.Beschaffung, Audit-Vorgaben oder sehr sensible Daten dagegen sprechen.
Eigenes Private LLM-HostingKontrolle über Prompts, Logs, Modellversionen, Netzwerkgrenzen und Embeddings.Daten das Unternehmen nicht verlassen dürfen oder interne Regeln externe APIs ausschließen.GPU-Planung, Betriebspflichten, Modellupdates und mehr Verantwortung bei Incidents.

Risiken, die vor dem Training geklärt werden

  • Fine-Tuning auf falschen, veralteten oder politisch bereinigten Beispielen

    high

    Trainingsdaten werden versioniert, stichprobenartig geprüft und gegen aktuelle Fachregeln gehalten. Wenn diese Prüfung nicht möglich ist, wird nicht trainiert.

  • Eigene Infrastruktur wird gebaut, obwohl ein EU-Vertrag gereicht hätte

    medium

    Vor dem Aufbau wird der konkrete Datenabfluss betrachtet: Prompts, Anhänge, Embeddings, Logs, Monitoring, Backups und Supportzugriffe. Erst dann fällt die Hosting-Entscheidung.

  • RAG liefert falschen Kontext und das Modell klingt trotzdem plausibel

    high

    Retrieval wird mit Negativfällen, Quellenanzeige, Chunk-Strategie und Berechtigungstests geprüft. Antwortqualität ohne Quellen ist für interne Wissenssysteme zu wenig.

  • GPU-Kosten wachsen, weil niemand Latenz, Kontextlänge und Modellgröße begrenzt

    medium

    Modellgröße, Quantisierung, Batch-Verhalten und maximale Kontextlänge werden bewusst gewählt. Größer ist nicht automatisch besser.

  • Prompts oder Logs enthalten personenbezogene Daten und fallen unbemerkt in Monitoring, Backups oder Trainingsdaten

    high

    Die konkrete Frage ist Logging und Weiterverarbeitung: Werden personenbezogene Daten gespeichert, an Subprozessoren gesendet oder später für Training genutzt. Für Österreich werden DSGVO Art. 28, 32 und 35 sowie § 1 DSG früh geprüft; bei Mitarbeiterdaten auch Betriebsrats- und Zweckbindungsthemen.

Was ich vor dem ersten Training sehen will

Diese Punkte entscheiden, ob Fine-Tuning sinnvoll ist oder ob du mit RAG, Prompting oder einem gehosteten EU-Modell schneller zu einem kontrollierbaren Ergebnis kommst.

  • Use Case mit klarer Eingabe, Ausgabe und Fehlerdefinition

    Ohne erwartetes Ausgabeformat gibt es keine brauchbare Evaluation.

  • Repräsentative Beispiele statt Datenhalde

    Ein kleiner, geprüfter Datensatz schlägt viele unklare Exporte.

  • Datenklassen für Prompts, Dokumente, Embeddings und Logs

    Besonders wichtig bei Kunden-, Gesundheits-, Finanz- oder Mitarbeiterdaten.

  • Vergleich gegen RAG und gehostete Modelle

    Mistral API, Together AI Playground oder ein EU-Cloud-Modell können als technische Gegenprobe dienen.

  • Training als Standardpaket ohne Baseline

    Das ist meistens Vendor-Marketing, nicht Engineering.

  • Österreichische Compliance-Sicht

    DSG, Datenschutzbehörde, AVV, TOMs und DSFA werden nicht erst nach dem Deployment diskutiert.

Nächster Schritt

Prüfen wir zuerst, ob du Fine-Tuning brauchst

Sende Use Case, Datenarten, gewünschte Ausgabe und aktuelle Experimente über /de/contact?topic=private-llm-hosting. Ich antworte mit der nächsten sinnvollen technischen Prüfung: RAG, EU-Hosting, eigenes Hosting oder Fine-Tuning.

Häufige Fragen

  • Ist Fine-Tuning bei einem privaten LLM der richtige erste Schritt?

    Meistens nein. Fine-Tuning verändert Verhalten, Stil, Klassifikation oder Ausgabeformat eines Modells. Es bringt dem Modell nicht verlässlich dein aktuelles Unternehmenswissen bei. Wenn dein Problem lautet, dass das Modell interne Richtlinien, Verträge, Tickets oder Produktdaten nicht kennt, ist Retrieval der erste Kandidat. Fine-Tuning wird erst interessant, wenn das richtige Material im Kontext liegt und das Modell trotzdem wiederholt falsch klassifiziert, das falsche Format liefert oder deinen fachlichen Stil nicht einhält.

  • Was unterscheidet diese Arbeit von einem normalen LLM Fine-Tuning Service?

    Viele Fine-Tuning-Angebote starten beim Training. Ich starte bei der Frage, ob Training überhaupt die richtige technische Maßnahme ist und wo das Modell laufen darf. Private LLM-Hosting und Fine-Tuning gehören zusammen, sobald Prompts, Trainingsdaten oder Logs das Unternehmen nicht verlassen dürfen. Ein Modell mit gutem Adapter, aber ungeklärten Logs, ist kein seriöses Setup. Deshalb werden Datenfluss, Hosting, Evaluation und Trainingsmethode gemeinsam betrachtet.

  • Wann reicht ein gehostetes Modell mit EU-Vertrag?

    Ein gehostetes Modell kann reichen, wenn Datenstandort, AVV, Logging, Subprozessoren, Löschfristen und Zugriffskontrolle zu deinem Risiko passen. Beispiele für die Prüfung sind Mistral API, Together AI oder EU-Cloud-Setups, je nach Beschaffungsvorgaben. Eigene Infrastruktur lohnt sich erst, wenn Daten das Unternehmen nicht verlassen dürfen, wenn interne Auditregeln externe APIs ausschließen oder wenn du Modellversionen und Logs vollständig selbst kontrollieren musst.

  • Welche österreichischen Datenschutzthemen sind relevant?

    Neben der DSGVO ist in Österreich § 1 DSG praktisch relevant, weil er den Geheimhaltungsanspruch personenbezogener Daten ausdrücklich verankert. Bei Mitarbeiterdaten kommt oft der Betriebsrat ins Spiel, nicht erst bei produktivem Monitoring. Für Wiener Unternehmen in regulierten Bereichen ist die Datenschutzbehörde kein theoretisches Risiko: Du brauchst nachvollziehbare TOMs, Löschregeln, Zweckbindung und eine klare Aussage, ob Prompts, Embeddings und Logs personenbezogene Daten enthalten können.

  • Welche Daten brauchst du für die Fine-Tuning-Prüfung?

    Keine vollständige Datenhalde. Sinnvoll sind repräsentative Beispiele: typische Eingaben, gewünschte Antworten, schlechte Antworten, erlaubte und verbotene Datenklassen, Dokumentarten, Latenzanforderungen und Grenzfälle. Wenn personenbezogene Daten betroffen sind, starten wir mit anonymisierten oder synthetischen Beispielen. Illustrativ, nicht als Projektzahl: z. B. etwa 137 anonymisierte Tickets plus 23 absichtlich schwierige Grenzfälle können für eine erste Klassifikationsbewertung nützlicher sein als tausende ungeprüfte Zeilen.

  • Welche Modelle kommen infrage?

    Das hängt vom Use Case ab. Mistral- und Llama-Modelle sind oft gute Startpunkte, Qwen ist bei Code und strukturierten Aufgaben interessant, kleinere Modelle können für Extraktion oder Klassifikation ausreichen. Mixtral kann sinnvoll sein, wenn Durchsatz und Qualität in einem bestimmten Profil passen. Die Modellwahl wird nicht über eine Bestenliste entschieden, sondern über deine Testfälle, Sprache, Lizenzlage, Kontextlänge, Hardwarebedarf und Betriebsvorgaben.

  • Wie wird Qualität gemessen?

    Mit festen Testfällen, erwarteten Ergebnissen, Fehlerklassen und Wiederholungsläufen. Wir vergleichen Prompting, Retrieval, gehostete Modelle und private Modelle gegeneinander. Bewertet werden nicht nur richtige Antworten, sondern auch Quellenbezug, Format, verbotene Aussagen, Latenz, Abbruchverhalten und Stabilität über Modellversionen. Wenn Fine-Tuning keine messbare Verbesserung gegenüber RAG und Prompting zeigt, wird es nicht empfohlen.

  • Was kostet das?

    Das hängt vom Umfang ab, Fixpreis nach dem Erstgespräch. Ich nenne vor der technischen Sichtung keine Fantasiezahl, weil GPU-Bedarf, Datenlage, Compliance-Anforderungen, Nutzerzahl, Latenz und Trainingsbedarf stark variieren. Für Budget-Verantwortliche heißt das: Im Erstgespräch klären wir zuerst die Kostentreiber und ob ein kleiner Entscheidungs-Check genügt oder ob ein Projekt-Sprint sinnvoll ist.

Nächster Schritt

Private LLMs und Fine-Tuning ohne Trainingsreflex prüfen

Schick deinen Use Case, Datenrestriktionen und den aktuellen Prototypen an /de/contact?topic=private-llm-hosting. Danach klären wir, ob EU-Hosting reicht, eigenes Hosting nötig ist oder Fine-Tuning nur Aufwand erzeugt.