Leistung · KI-Entwicklung
RAG, das Quellen findet statt Text zu raten
Ich baue Retrieval-Augmented-Generation über eure Dokumente, Support-Tickets oder Codebase. Der Kern ist keine Demo mit drei PDFs, sondern eine Vector Search Implementierung, die Chunking, Metadaten, Hybrid-Suche, Rechte und Evaluation ernst nimmt. Für Teams in Österreich und DACH heißt das auch: Datenschutzbehörde, Aufbewahrungspflichten und interne Freigaben werden nicht nach dem Go-live diskutiert.
- RAG über Dokumente, Support-Tickets oder Codebase mit Quellenangabe in der Antwort
- Vektorsuche mit pgvector, Turbopuffer oder Pinecone; Chunking und Hybrid-Suche passend zu euren Daten
- Evaluation-Harness mit echten Fragen vor Livegang; Prompt-Observability danach
- Referenzprojekt: Content-Engine dieser Website mit Next.js, Fastify, Postgres/pgvector, Claude + OpenAI, Quality-Gate und Golden-Set-Evals
Woran es meistens hakt
Eure Suche findet exakte Wörter, aber nicht die gemeinte Antwort.
Ich kombiniere Embeddings, klassische Volltextsuche und Metadatenfilter. Vector Search ist gut für Bedeutung, aber schlecht bei Artikelnummern, Kundencodes, Datumsangaben und Normenverweisen. Deshalb wird Hybrid-Suche so gewählt, dass semantische Treffer und harte Filter gemeinsam funktionieren.
Der Chatbot antwortet plausibel, aber niemand sieht, woher die Aussage kommt.
Antworten bekommen Quellenangaben auf Chunk-, Dokument- oder Ticket-Ebene. Das Modell darf nur auf Basis der gefundenen Stellen antworten. Wenn Retrieval nichts Brauchbares liefert, wird nicht geraten, sondern ein kontrollierter Nichtfund zurückgegeben.
Eure Dokumente sind nicht für RAG geschrieben: PDFs, alte Wikis, Tickets, Code, Anhänge.
Ich baue eine Ingestion-Pipeline mit Parsing, Normalisierung, Chunking, Metadaten und Re-Indexing. Chunkgrößen werden nicht aus einem Tutorial übernommen, sondern anhand echter Fragen und Antwortstellen geprüft.
Das Management will wissen, ob die Vector Search Implementierung vor dem Livegang messbar funktioniert.
Vor Livegang gibt es ein Evaluation-Harness mit echten Fragen, erwarteten Quellen und Negativfällen. Nach dem Start wird Prompt-Observability eingerichtet, damit schlechte Treffer, leere Kontexte und teure Requests sichtbar werden.
Ihr wollt nicht in eine Vektor-Datenbank migrieren, nur weil ein Blogpost das sagt.
Ich prüfe pgvector, Turbopuffer und Pinecone gegen eure Daten, Latenzanforderungen, Betriebsmodell und Datenschutzgrenzen. Oft ist Postgres/pgvector die vernünftige erste Wahl, wenn das Team bereits Postgres betreibt.
Zusammenarbeit
RAG-Projekt-Sprint
mehrwöchiges Projekt
Für Teams, die ein produktionsfähiges RAG-System über Dokumente, Tickets oder Codebase brauchen. Enthält Datenanalyse, Retrieval-Design, Vektorsuche, Quellenlogik, Evaluation-Harness und Übergabe an euer Team.
AnfragenLaufender RAG-Retainer
laufend
Für Teams, die RAG bereits nutzen oder nach dem ersten Launch iterieren wollen. Fokus auf Retrieval-Qualität, neue Datenquellen, Prompt-Observability, Kostenkontrolle und Evaluation gegen ein wachsendes Golden Set.
AnfragenTechnischer Einstieg
kurzer Einstieg
Für CTOs, Produktteams oder interne Entwickler, die eine vorhandene Vector Search Implementierung prüfen wollen. Ergebnis ist eine technische Einschätzung zu Index, Chunking, Hybrid-Suche, Quellenqualität und den nächsten sinnvollen Änderungen.
AnfragenStack
- Postgres mit pgvector
- Gute Wahl, wenn eure Daten ohnehin in Postgres liegen und das Team keine zusätzliche Datenbank betreiben will. Praktisch für Filter, Rechte, Transaktionen und nachvollziehbares Re-Indexing.
- Turbopuffer
- Sinnvoll, wenn Vector Search als eigener Dienst betrieben werden soll und schnelle Iteration bei Indexen wichtiger ist als alles im Hauptsystem zu halten.
- Pinecone
- Passt, wenn ein verwalteter Vektor-Store gewünscht ist und Betrieb, Skalierung und Mandantentrennung nicht im eigenen Postgres landen sollen.
- Hybrid-Suche
- Kombiniert semantische Suche mit Keyword-, Volltext- und Metadatenfiltern. Das ist wichtig bei Support-Tickets, Code, Produktnamen, Paragrafen, SKUs und internen Abkürzungen.
- Claude und OpenAI
- Für Antwortgenerierung, Query-Rewriting, Zusammenfassung und Research-Stufen. Das Modell wird nicht als Suchmaschine missbraucht, sondern bekommt kontrollierten Kontext aus dem Retrieval.
- Fastify
- Schlanke API-Schicht für Retrieval-Endpunkte, Ingestion-Jobs und interne Admin-Aktionen. Gut testbar, wenig Magie, brauchbar für Teams, die Node.js bereits kennen.
- Next.js
- Für interne Such- und Review-Interfaces, Quellenansicht, Feedback-Flows und Admin-Oberflächen. Besonders nützlich, wenn Produkt- und Content-Team Treffer selbst beurteilen sollen.
- Prompt-Observability
- Zeigt, welche Fragen gestellt werden, welche Chunks im Kontext landen, wo Latenz entsteht und welche Antworten abgelehnt werden. Ohne diese Daten bleibt RAG Bauchgefühl.
So läuft ein Projekt
1 · Erstes Kennenlernen
Wir reden eine Woche lang in Ruhe über das, was du dir vorstellst - unverbindlich und kostenlos. Am Ende weißt du, was es kostet und wie lange es dauert. Auch dann, wenn du dich gegen mich entscheidest.
2 · Schritt für Schritt bauen
Ich arbeite in kleinen Etappen von zwei Wochen. Nach jeder Etappe siehst du etwas Fertiges und kannst sagen "passt" oder "lass uns das anders machen" - bevor zu viel Zeit oder Geld drinsteckt.
3 · Online-Schaltung & Übergabe
Wir gehen live. Die ersten zwei Wochen danach kümmere ich mich um alle kleinen Anpassungen ohne Extra-Kosten. Du bekommst alles, was zur Website gehört - Zugänge, Anleitungen, den gesamten Code.
4 · Erreichbar auch danach
Nach jedem Projekt halte ich Zeit für ehemalige Kund:innen frei. Für die schnelle Frage am Abend ("Ist das normal?") bin ich da - ohne neuen Vertrag, ohne Stundensatz im Hinterkopf.
Was gebaut wird
Eine RAG-Implementierung besteht aus mehr als Embeddings und Chat-UI. Die Arbeit liegt im Retrieval-Pfad und in der Kontrolle danach.
Ingestion statt Copy-Paste
Dokumente, Tickets oder Code werden geparst, normalisiert, versioniert und mit Metadaten versehen. Fehlerhafte Extraktion wird als technisches Risiko behandelt, nicht als späteres Content-Problem.
Chunking nach Datenform
FAQ-Artikel, Support-Tickets und Code brauchen unterschiedliche Schnitte. Chunking wird gegen echte Fragen getestet, damit Antworten nicht an halben Absätzen oder zu großen Blöcken scheitern.
Vector Search mit Filtern
Embeddings holen semantisch ähnliche Stellen. Metadatenfilter begrenzen Mandant, Produkt, Sprache, Version, Dokumenttyp oder Freigabestatus. Beides gehört zusammen.
Hybrid-Retrieval
Keyword-Suche bleibt wichtig. Interne Kürzel, Gesetzesstellen, Rechnungsnummern oder Klassennamen sind für klassische Suche oft besser geeignet als semantische Nähe.
Quellen in der Antwort
Antworten verweisen auf die Stellen, die im Kontext lagen. Das ist kein kosmetisches Detail, sondern die Basis für Vertrauen, Debugging und fachliche Freigabe.
Evaluation vor Livegang
Ein Golden Set mit echten Fragen prüft Treffer, Quellen und Nichtfunde. Das Modell wird nicht nur auf Tonalität bewertet, sondern auf Retrieval-Qualität.
Vector Search: Tutorial-Setup vs. produktionsnahe Implementierung
Viele Suchergebnisse erklären Embeddings korrekt. Für ein beauftragbares System fehlen meist die unangenehmen Teile.
| Tutorial-Ansatz | Produktionsansatz | |
|---|---|---|
| Daten | Saubere Beispielsätze oder kleine PDF-Sammlung | Uneinheitliche Dokumente, Tickets, Code, Anhänge, Versionen und Dubletten |
| Chunking | Fixe Länge, oft ohne Bezug zum Inhalt | Strategie nach Dokumenttyp, Überschriften, Code-Struktur, Antwortstellen und Tests |
| Suche | Nur Cosine Similarity oder nearest neighbor | Hybrid aus Vektor, Volltext, Metadatenfiltern und optionalem Re-Ranking |
| Antworten | LLM formuliert frei aus gefundenen Texten | Antwort nur mit belegten Quellen; kontrollierter Nichtfund statt Halluzination |
| Evaluation | Subjektiver Test mit ein paar Demo-Fragen | Wiederholbares Harness mit echten Fragen, erwarteten Quellen und Negativfällen |
| Betrieb | Notebook oder Skript ohne Monitoring | API, Re-Indexing, Zugriffskontrolle, Prompt-Observability und Fehleranalyse |
| Datenstandort | Meist ausgelassen | Entscheidung nach Anbieter, Datenschutz, internen Regeln und Betriebskompetenz |
Typische Risiken bei RAG und wie ich sie begrenze
Falsche oder veraltete Quellen werden höher gerankt als gültige Inhalte.
highMetadaten für Version, Status und Freigabe werden Teil des Retrievals. Evaluation enthält Fragen, bei denen alte Dokumente absichtlich verlockend sind.
Embeddings finden semantisch ähnliche, aber fachlich falsche Stellen.
highHybrid-Suche, harte Filter und Quellenprüfung reduzieren Fehlgriffe. Bei kritischen Antworten wird ein Nichtfund bevorzugt, wenn die Quellenlage schwach ist.
Chunking trennt Frage und Antwort in unterschiedliche Blöcke.
mediumChunking wird pro Dokumenttyp getestet. Überschriften, Nachbar-Chunks und strukturierte Parser werden genutzt, wenn fixe Längen schlechte Treffer produzieren.
Kosten und Latenz steigen durch zu viel Kontext.
mediumRetrieval liefert weniger, bessere Stellen. Query-Rewriting, Re-Ranking und Kontextlimits werden gemessen statt nach Gefühl gesetzt.
Personenbezogene Daten landen bei einem ungeeigneten Anbieter.
highDatenflüsse, Modellanbieter, Logging und Löschkonzept werden vor der Implementierung geklärt. Für Österreich ist die Datenschutzbehörde der relevante Referenzpunkt.
Das System wirkt im Demo-Termin gut und scheitert an echten Fragen.
highDas Golden Set entsteht aus realen Nutzerfragen, Support-Fällen oder Entwicklerfragen. Demo-Fragen ohne fachlichen Wert werden nicht als Erfolg gewertet.
Technische Positionen, die ich bei RAG klar vertrete
Postgres zuerst ist oft vernünftig
Viele Teams greifen zu einer eigenen Vektor-Datenbank, bevor sie wissen, ob Retrieval überhaupt gut genug ist. Wenn Postgres vorhanden ist, ist pgvector oft der bessere Start: weniger Betrieb, bessere Filter, weniger Infrastruktur-Diskussion. Wechseln kann man später immer noch.
Semantische Suche ersetzt Keyword-Suche nicht
Vector Search ist stark bei Bedeutung, aber schwach bei exakten Codes, Paragraphen, Klassennamen und Produktvarianten. Wer klassische Suche entfernt, baut in vielen B2B-Systemen eine schlechtere Suche mit modernerem Namen.
Evaluation ist Teil der Implementierung
RAG ohne Golden Set ist Meinung. Ein System, das nicht wiederholbar gegen echte Fragen geprüft wird, kann nicht seriös verbessert werden. Das gilt besonders für Teams der WKO Sparte Tourismus, Industrie, SaaS oder Beratung, wo Fachbegriffe und interne Kürzel dominieren.
Quellen sind wichtiger als flüssige Sprache
Eine saubere, belegte Antwort mit weniger Glamour ist besser als eine glatte Antwort ohne überprüfbare Basis. Für interne Entscheidungen zählt Nachvollziehbarkeit, nicht Demo-Ästhetik.
Häufige Fragen
Was ist bei einer Vector Search Implementierung wirklich schwierig?
Nicht das Speichern von Embeddings. Das Schwierige ist die Verbindung aus Parsing, Chunking, Metadaten, Rechten, Query-Rewriting, Ranking und Evaluation. Viele Demos funktionieren, weil die Beispieltexte sauber sind und die Fragen absichtlich passen. In echten Firmen liegen PDFs doppelt vor, Confluence-Seiten sind veraltet, Support-Tickets enthalten Halbsätze, Code-Kommentare widersprechen der Implementierung. Vector Search findet ähnliche Bedeutung, aber sie versteht nicht automatisch, welche Quelle aktuell, freigegeben oder rechtlich relevant ist.
Wann reicht pgvector und wann braucht ihr Pinecone oder Turbopuffer?
Wenn ihr Postgres bereits betreibt, klare Datenmengen habt und Filter wichtig sind, ist pgvector oft der erste sinnvolle Kandidat. Ihr bekommt SQL, Backups, Rechtekonzepte und Deployment-Routinen, die euer Team kennt. Pinecone oder Turbopuffer werden interessanter, wenn Vektorsuche getrennt skaliert werden soll, wenn mehrere Indexvarianten parallel laufen oder wenn Betrieb aus dem Produktteam herausgenommen werden soll. Die Entscheidung fällt anhand eurer Daten und Abfragen, nicht anhand eines Vendor-Blogposts.
Warum nicht einfach alles in einen großen Prompt kopieren?
Weil Kontextfenster kein Informationsdesign ersetzen. Große Prompts kosten mehr, werden langsamer und mischen relevante Stellen mit Rauschen. Außerdem werden Quellen schwer prüfbar. RAG zwingt das System, zuerst relevante Stellen zu holen und erst danach zu antworten. Das macht Fehler nicht unmöglich, aber sichtbar. Für interne Nutzung ist Sichtbarkeit wichtiger als ein beeindruckender Demo-Chat.
Wie prüfst du, ob Retrieval gut genug ist?
Mit einem Evaluation-Harness aus echten Fragen, erwarteten Quellen, Negativfällen und wiederholbaren Läufen. Gute Tests fragen nicht nur, ob die Antwort schön klingt, sondern ob die richtigen Stellen im Kontext lagen. Bei einem hypothetischen Golden Set mit 83 echten Fragen wäre etwa interessant, welche Fragen keine Quelle finden, welche zu alte Dokumente bevorzugen und welche durch Keywords statt Bedeutung besser gelöst werden. Solche Zahlen sind projektabhängig und werden bei euch gemessen.
Wie geht das mit Datenschutz in Österreich?
RAG kann personenbezogene Daten berühren, besonders bei Support-Tickets, CRM-Exporten und HR-Dokumenten. Deshalb müssen Datenflüsse, Speicherorte, Löschlogik, Zugriff und Protokollierung vor dem Livegang geklärt werden. Für österreichische Teams ist die Datenschutzbehörde der naheliegende regulatorische Bezugspunkt. Technisch bedeutet das: keine unkontrollierten Exporte, klare Mandantentrennung, nachvollziehbare Logs und ein Modellbetrieb, der zu euren internen Vorgaben passt.
Kann RAG über eine Codebase funktionieren?
Ja, aber Code-RAG ist anders als PDF-RAG. Eine Funktion ist nicht nur Text, sondern hängt an Imports, Call-Sites, Tests, Konfiguration und Versionsstand. Chunking nach fixen Zeichenlängen ist hier meistens falsch. Sinnvoller sind sprachnahe Einheiten, Pfad-Metadaten, Symbolnamen und eine Kombination aus semantischer Suche und exakten Treffern. Für größere Änderungen bleibt ein Entwickler im Loop; RAG hilft beim Finden und Erklären, nicht beim blinden Committen.
Was kostet RAG-Entwicklung?
Das hängt vom Umfang ab, Fixpreis nach dem Erstgespräch. Relevante Faktoren sind Datenquellen, Rechtemodell, gewünschte Quellenpräzision, bestehende Infrastruktur, Modellanbieter, Evaluation, Admin-Oberflächen und Betrieb. Ich nenne keine Pauschale ohne Kontext, weil das fast immer zu falschen Erwartungen führt.
Was bekommst du von uns am Anfang?
Am Anfang brauche ich Beispielquellen, echte Suchfragen, typische Fehlantworten, technische Ansprechpartner und die Grenzen des Systems. Besonders wertvoll sind Support-Tickets, Wiki-Seiten oder Codebereiche, bei denen euer Team heute schon weiß, dass Suche schlecht funktioniert. Wenn ihr in Wien im Impact Hub, weXelerate oder einfach remote sitzt, ändert das am technischen Ablauf wenig; wichtig ist Zugriff auf die Daten und jemand, der Treffer fachlich beurteilen kann.
Nächster Schritt
Baue RAG nicht als Demo. Baue Retrieval, das man prüfen kann.
Schick mir eure Datenlage, Zielanwendung und die kritischsten Suchfragen. Danach klären wir Umfang und Fixpreis im Erstgespräch.
Weiterlesen
6 EinträgeLeistung
LLM-Integration - Senior Freelancer in Wien
Claude API, OpenAI oder Mistral in bestehende Produkte integrieren: Schema-Outputs, Retries, Kostenlogging und DSGVO-Prüfung.
Leistung
Private LLM-Hosting - Senior Freelancer in Wien
Private LLMs mit seriöser Fine-Tuning-Prüfung: Open-Weight-Modelle, EU-Hosting, RAG-Vergleich und Betrieb unter Datenkontrolle.
Leistung
Headless CMS & Migration - Senior Freelancer in Wien
Payload CMS Entwicklung, Headless-CMS-Setup und Migration von WordPress oder Legacy-Stacks mit Redirects, Rollen und Vorschau.
Leistung
NestJS- & Backend-Entwicklung - Senior Freelancer in Wien
NestJS-Freelancer für TypeScript-Backends, APIs, Postgres, Jobs, Integrationen und Deployment auf Hetzner, Fly.io oder Railway.
Leistung
LangChain- & LangGraph-Entwicklung
LangChain- und LangGraph-Entwicklung für Agent-Workflows, Background-Jobs, Evals und kontrollierte interne Automatisierung im DACH-Raum.
Leistung
Stripe- & Mollie-Integration - Senior Freelancer in Wien
Stripe- und Mollie-Integration für Checkout, Webhooks, Refunds, Subscriptions, Kundenportal und korrekte Zahlungszustände.