Leistung · KI-Entwicklung

RAG, das Quellen findet statt Text zu raten

Ich baue Retrieval-Augmented-Generation über eure Dokumente, Support-Tickets oder Codebase. Der Kern ist keine Demo mit drei PDFs, sondern eine Vector Search Implementierung, die Chunking, Metadaten, Hybrid-Suche, Rechte und Evaluation ernst nimmt. Für Teams in Österreich und DACH heißt das auch: Datenschutzbehörde, Aufbewahrungspflichten und interne Freigaben werden nicht nach dem Go-live diskutiert.

  • RAG über Dokumente, Support-Tickets oder Codebase mit Quellenangabe in der Antwort
  • Vektorsuche mit pgvector, Turbopuffer oder Pinecone; Chunking und Hybrid-Suche passend zu euren Daten
  • Evaluation-Harness mit echten Fragen vor Livegang; Prompt-Observability danach
  • Referenzprojekt: Content-Engine dieser Website mit Next.js, Fastify, Postgres/pgvector, Claude + OpenAI, Quality-Gate und Golden-Set-Evals

Woran es meistens hakt

  • Eure Suche findet exakte Wörter, aber nicht die gemeinte Antwort.

    Ich kombiniere Embeddings, klassische Volltextsuche und Metadatenfilter. Vector Search ist gut für Bedeutung, aber schlecht bei Artikelnummern, Kundencodes, Datumsangaben und Normenverweisen. Deshalb wird Hybrid-Suche so gewählt, dass semantische Treffer und harte Filter gemeinsam funktionieren.

  • Der Chatbot antwortet plausibel, aber niemand sieht, woher die Aussage kommt.

    Antworten bekommen Quellenangaben auf Chunk-, Dokument- oder Ticket-Ebene. Das Modell darf nur auf Basis der gefundenen Stellen antworten. Wenn Retrieval nichts Brauchbares liefert, wird nicht geraten, sondern ein kontrollierter Nichtfund zurückgegeben.

  • Eure Dokumente sind nicht für RAG geschrieben: PDFs, alte Wikis, Tickets, Code, Anhänge.

    Ich baue eine Ingestion-Pipeline mit Parsing, Normalisierung, Chunking, Metadaten und Re-Indexing. Chunkgrößen werden nicht aus einem Tutorial übernommen, sondern anhand echter Fragen und Antwortstellen geprüft.

  • Das Management will wissen, ob die Vector Search Implementierung vor dem Livegang messbar funktioniert.

    Vor Livegang gibt es ein Evaluation-Harness mit echten Fragen, erwarteten Quellen und Negativfällen. Nach dem Start wird Prompt-Observability eingerichtet, damit schlechte Treffer, leere Kontexte und teure Requests sichtbar werden.

  • Ihr wollt nicht in eine Vektor-Datenbank migrieren, nur weil ein Blogpost das sagt.

    Ich prüfe pgvector, Turbopuffer und Pinecone gegen eure Daten, Latenzanforderungen, Betriebsmodell und Datenschutzgrenzen. Oft ist Postgres/pgvector die vernünftige erste Wahl, wenn das Team bereits Postgres betreibt.

Zusammenarbeit

RAG-Projekt-Sprint

mehrwöchiges Projekt

Für Teams, die ein produktionsfähiges RAG-System über Dokumente, Tickets oder Codebase brauchen. Enthält Datenanalyse, Retrieval-Design, Vektorsuche, Quellenlogik, Evaluation-Harness und Übergabe an euer Team.

Anfragen

Laufender RAG-Retainer

laufend

Für Teams, die RAG bereits nutzen oder nach dem ersten Launch iterieren wollen. Fokus auf Retrieval-Qualität, neue Datenquellen, Prompt-Observability, Kostenkontrolle und Evaluation gegen ein wachsendes Golden Set.

Anfragen

Technischer Einstieg

kurzer Einstieg

Für CTOs, Produktteams oder interne Entwickler, die eine vorhandene Vector Search Implementierung prüfen wollen. Ergebnis ist eine technische Einschätzung zu Index, Chunking, Hybrid-Suche, Quellenqualität und den nächsten sinnvollen Änderungen.

Anfragen

Stack

Postgres mit pgvector
Gute Wahl, wenn eure Daten ohnehin in Postgres liegen und das Team keine zusätzliche Datenbank betreiben will. Praktisch für Filter, Rechte, Transaktionen und nachvollziehbares Re-Indexing.
Turbopuffer
Sinnvoll, wenn Vector Search als eigener Dienst betrieben werden soll und schnelle Iteration bei Indexen wichtiger ist als alles im Hauptsystem zu halten.
Pinecone
Passt, wenn ein verwalteter Vektor-Store gewünscht ist und Betrieb, Skalierung und Mandantentrennung nicht im eigenen Postgres landen sollen.
Hybrid-Suche
Kombiniert semantische Suche mit Keyword-, Volltext- und Metadatenfiltern. Das ist wichtig bei Support-Tickets, Code, Produktnamen, Paragrafen, SKUs und internen Abkürzungen.
Claude und OpenAI
Für Antwortgenerierung, Query-Rewriting, Zusammenfassung und Research-Stufen. Das Modell wird nicht als Suchmaschine missbraucht, sondern bekommt kontrollierten Kontext aus dem Retrieval.
Fastify
Schlanke API-Schicht für Retrieval-Endpunkte, Ingestion-Jobs und interne Admin-Aktionen. Gut testbar, wenig Magie, brauchbar für Teams, die Node.js bereits kennen.
Next.js
Für interne Such- und Review-Interfaces, Quellenansicht, Feedback-Flows und Admin-Oberflächen. Besonders nützlich, wenn Produkt- und Content-Team Treffer selbst beurteilen sollen.
Prompt-Observability
Zeigt, welche Fragen gestellt werden, welche Chunks im Kontext landen, wo Latenz entsteht und welche Antworten abgelehnt werden. Ohne diese Daten bleibt RAG Bauchgefühl.

So läuft ein Projekt

1 · Erstes Kennenlernen

Wir reden eine Woche lang in Ruhe über das, was du dir vorstellst - unverbindlich und kostenlos. Am Ende weißt du, was es kostet und wie lange es dauert. Auch dann, wenn du dich gegen mich entscheidest.

2 · Schritt für Schritt bauen

Ich arbeite in kleinen Etappen von zwei Wochen. Nach jeder Etappe siehst du etwas Fertiges und kannst sagen "passt" oder "lass uns das anders machen" - bevor zu viel Zeit oder Geld drinsteckt.

3 · Online-Schaltung & Übergabe

Wir gehen live. Die ersten zwei Wochen danach kümmere ich mich um alle kleinen Anpassungen ohne Extra-Kosten. Du bekommst alles, was zur Website gehört - Zugänge, Anleitungen, den gesamten Code.

4 · Erreichbar auch danach

Nach jedem Projekt halte ich Zeit für ehemalige Kund:innen frei. Für die schnelle Frage am Abend ("Ist das normal?") bin ich da - ohne neuen Vertrag, ohne Stundensatz im Hinterkopf.

Was gebaut wird

Eine RAG-Implementierung besteht aus mehr als Embeddings und Chat-UI. Die Arbeit liegt im Retrieval-Pfad und in der Kontrolle danach.

Ingestion statt Copy-Paste

Dokumente, Tickets oder Code werden geparst, normalisiert, versioniert und mit Metadaten versehen. Fehlerhafte Extraktion wird als technisches Risiko behandelt, nicht als späteres Content-Problem.

Chunking nach Datenform

FAQ-Artikel, Support-Tickets und Code brauchen unterschiedliche Schnitte. Chunking wird gegen echte Fragen getestet, damit Antworten nicht an halben Absätzen oder zu großen Blöcken scheitern.

Vector Search mit Filtern

Embeddings holen semantisch ähnliche Stellen. Metadatenfilter begrenzen Mandant, Produkt, Sprache, Version, Dokumenttyp oder Freigabestatus. Beides gehört zusammen.

Hybrid-Retrieval

Keyword-Suche bleibt wichtig. Interne Kürzel, Gesetzesstellen, Rechnungsnummern oder Klassennamen sind für klassische Suche oft besser geeignet als semantische Nähe.

Quellen in der Antwort

Antworten verweisen auf die Stellen, die im Kontext lagen. Das ist kein kosmetisches Detail, sondern die Basis für Vertrauen, Debugging und fachliche Freigabe.

Evaluation vor Livegang

Ein Golden Set mit echten Fragen prüft Treffer, Quellen und Nichtfunde. Das Modell wird nicht nur auf Tonalität bewertet, sondern auf Retrieval-Qualität.

Vector Search: Tutorial-Setup vs. produktionsnahe Implementierung

Viele Suchergebnisse erklären Embeddings korrekt. Für ein beauftragbares System fehlen meist die unangenehmen Teile.

Tutorial-AnsatzProduktionsansatz
DatenSaubere Beispielsätze oder kleine PDF-SammlungUneinheitliche Dokumente, Tickets, Code, Anhänge, Versionen und Dubletten
ChunkingFixe Länge, oft ohne Bezug zum InhaltStrategie nach Dokumenttyp, Überschriften, Code-Struktur, Antwortstellen und Tests
SucheNur Cosine Similarity oder nearest neighborHybrid aus Vektor, Volltext, Metadatenfiltern und optionalem Re-Ranking
AntwortenLLM formuliert frei aus gefundenen TextenAntwort nur mit belegten Quellen; kontrollierter Nichtfund statt Halluzination
EvaluationSubjektiver Test mit ein paar Demo-FragenWiederholbares Harness mit echten Fragen, erwarteten Quellen und Negativfällen
BetriebNotebook oder Skript ohne MonitoringAPI, Re-Indexing, Zugriffskontrolle, Prompt-Observability und Fehleranalyse
DatenstandortMeist ausgelassenEntscheidung nach Anbieter, Datenschutz, internen Regeln und Betriebskompetenz

Typische Risiken bei RAG und wie ich sie begrenze

  • Falsche oder veraltete Quellen werden höher gerankt als gültige Inhalte.

    high

    Metadaten für Version, Status und Freigabe werden Teil des Retrievals. Evaluation enthält Fragen, bei denen alte Dokumente absichtlich verlockend sind.

  • Embeddings finden semantisch ähnliche, aber fachlich falsche Stellen.

    high

    Hybrid-Suche, harte Filter und Quellenprüfung reduzieren Fehlgriffe. Bei kritischen Antworten wird ein Nichtfund bevorzugt, wenn die Quellenlage schwach ist.

  • Chunking trennt Frage und Antwort in unterschiedliche Blöcke.

    medium

    Chunking wird pro Dokumenttyp getestet. Überschriften, Nachbar-Chunks und strukturierte Parser werden genutzt, wenn fixe Längen schlechte Treffer produzieren.

  • Kosten und Latenz steigen durch zu viel Kontext.

    medium

    Retrieval liefert weniger, bessere Stellen. Query-Rewriting, Re-Ranking und Kontextlimits werden gemessen statt nach Gefühl gesetzt.

  • Personenbezogene Daten landen bei einem ungeeigneten Anbieter.

    high

    Datenflüsse, Modellanbieter, Logging und Löschkonzept werden vor der Implementierung geklärt. Für Österreich ist die Datenschutzbehörde der relevante Referenzpunkt.

  • Das System wirkt im Demo-Termin gut und scheitert an echten Fragen.

    high

    Das Golden Set entsteht aus realen Nutzerfragen, Support-Fällen oder Entwicklerfragen. Demo-Fragen ohne fachlichen Wert werden nicht als Erfolg gewertet.

Technische Positionen, die ich bei RAG klar vertrete

  • Postgres zuerst ist oft vernünftig

    Viele Teams greifen zu einer eigenen Vektor-Datenbank, bevor sie wissen, ob Retrieval überhaupt gut genug ist. Wenn Postgres vorhanden ist, ist pgvector oft der bessere Start: weniger Betrieb, bessere Filter, weniger Infrastruktur-Diskussion. Wechseln kann man später immer noch.

  • Semantische Suche ersetzt Keyword-Suche nicht

    Vector Search ist stark bei Bedeutung, aber schwach bei exakten Codes, Paragraphen, Klassennamen und Produktvarianten. Wer klassische Suche entfernt, baut in vielen B2B-Systemen eine schlechtere Suche mit modernerem Namen.

  • Evaluation ist Teil der Implementierung

    RAG ohne Golden Set ist Meinung. Ein System, das nicht wiederholbar gegen echte Fragen geprüft wird, kann nicht seriös verbessert werden. Das gilt besonders für Teams der WKO Sparte Tourismus, Industrie, SaaS oder Beratung, wo Fachbegriffe und interne Kürzel dominieren.

  • Quellen sind wichtiger als flüssige Sprache

    Eine saubere, belegte Antwort mit weniger Glamour ist besser als eine glatte Antwort ohne überprüfbare Basis. Für interne Entscheidungen zählt Nachvollziehbarkeit, nicht Demo-Ästhetik.

Häufige Fragen

  • Was ist bei einer Vector Search Implementierung wirklich schwierig?

    Nicht das Speichern von Embeddings. Das Schwierige ist die Verbindung aus Parsing, Chunking, Metadaten, Rechten, Query-Rewriting, Ranking und Evaluation. Viele Demos funktionieren, weil die Beispieltexte sauber sind und die Fragen absichtlich passen. In echten Firmen liegen PDFs doppelt vor, Confluence-Seiten sind veraltet, Support-Tickets enthalten Halbsätze, Code-Kommentare widersprechen der Implementierung. Vector Search findet ähnliche Bedeutung, aber sie versteht nicht automatisch, welche Quelle aktuell, freigegeben oder rechtlich relevant ist.

  • Wann reicht pgvector und wann braucht ihr Pinecone oder Turbopuffer?

    Wenn ihr Postgres bereits betreibt, klare Datenmengen habt und Filter wichtig sind, ist pgvector oft der erste sinnvolle Kandidat. Ihr bekommt SQL, Backups, Rechtekonzepte und Deployment-Routinen, die euer Team kennt. Pinecone oder Turbopuffer werden interessanter, wenn Vektorsuche getrennt skaliert werden soll, wenn mehrere Indexvarianten parallel laufen oder wenn Betrieb aus dem Produktteam herausgenommen werden soll. Die Entscheidung fällt anhand eurer Daten und Abfragen, nicht anhand eines Vendor-Blogposts.

  • Warum nicht einfach alles in einen großen Prompt kopieren?

    Weil Kontextfenster kein Informationsdesign ersetzen. Große Prompts kosten mehr, werden langsamer und mischen relevante Stellen mit Rauschen. Außerdem werden Quellen schwer prüfbar. RAG zwingt das System, zuerst relevante Stellen zu holen und erst danach zu antworten. Das macht Fehler nicht unmöglich, aber sichtbar. Für interne Nutzung ist Sichtbarkeit wichtiger als ein beeindruckender Demo-Chat.

  • Wie prüfst du, ob Retrieval gut genug ist?

    Mit einem Evaluation-Harness aus echten Fragen, erwarteten Quellen, Negativfällen und wiederholbaren Läufen. Gute Tests fragen nicht nur, ob die Antwort schön klingt, sondern ob die richtigen Stellen im Kontext lagen. Bei einem hypothetischen Golden Set mit 83 echten Fragen wäre etwa interessant, welche Fragen keine Quelle finden, welche zu alte Dokumente bevorzugen und welche durch Keywords statt Bedeutung besser gelöst werden. Solche Zahlen sind projektabhängig und werden bei euch gemessen.

  • Wie geht das mit Datenschutz in Österreich?

    RAG kann personenbezogene Daten berühren, besonders bei Support-Tickets, CRM-Exporten und HR-Dokumenten. Deshalb müssen Datenflüsse, Speicherorte, Löschlogik, Zugriff und Protokollierung vor dem Livegang geklärt werden. Für österreichische Teams ist die Datenschutzbehörde der naheliegende regulatorische Bezugspunkt. Technisch bedeutet das: keine unkontrollierten Exporte, klare Mandantentrennung, nachvollziehbare Logs und ein Modellbetrieb, der zu euren internen Vorgaben passt.

  • Kann RAG über eine Codebase funktionieren?

    Ja, aber Code-RAG ist anders als PDF-RAG. Eine Funktion ist nicht nur Text, sondern hängt an Imports, Call-Sites, Tests, Konfiguration und Versionsstand. Chunking nach fixen Zeichenlängen ist hier meistens falsch. Sinnvoller sind sprachnahe Einheiten, Pfad-Metadaten, Symbolnamen und eine Kombination aus semantischer Suche und exakten Treffern. Für größere Änderungen bleibt ein Entwickler im Loop; RAG hilft beim Finden und Erklären, nicht beim blinden Committen.

  • Was kostet RAG-Entwicklung?

    Das hängt vom Umfang ab, Fixpreis nach dem Erstgespräch. Relevante Faktoren sind Datenquellen, Rechtemodell, gewünschte Quellenpräzision, bestehende Infrastruktur, Modellanbieter, Evaluation, Admin-Oberflächen und Betrieb. Ich nenne keine Pauschale ohne Kontext, weil das fast immer zu falschen Erwartungen führt.

  • Was bekommst du von uns am Anfang?

    Am Anfang brauche ich Beispielquellen, echte Suchfragen, typische Fehlantworten, technische Ansprechpartner und die Grenzen des Systems. Besonders wertvoll sind Support-Tickets, Wiki-Seiten oder Codebereiche, bei denen euer Team heute schon weiß, dass Suche schlecht funktioniert. Wenn ihr in Wien im Impact Hub, weXelerate oder einfach remote sitzt, ändert das am technischen Ablauf wenig; wichtig ist Zugriff auf die Daten und jemand, der Treffer fachlich beurteilen kann.

Nächster Schritt

Baue RAG nicht als Demo. Baue Retrieval, das man prüfen kann.

Schick mir eure Datenlage, Zielanwendung und die kritischsten Suchfragen. Danach klären wir Umfang und Fixpreis im Erstgespräch.

Weiterlesen

6 Einträge