Ich bin selbst grad dabei sowas aufzubauen – hab das als Sommerprojekt geplant, ähnlich wie ich das hier beim Podcast-Projekt gemacht hab, einfach systematisch angehen und dokumentieren.

Sabrina hat das gut erklärt mit RAG vs. Fine-Tuning. Ich würd noch ergänzen: Starte mit einem möglichst kleinen, konkreten Anwendungsfall. Nicht 'ich will meinen gesamten Wissensstamm indexieren', sondern erstmal 'ich will 5 PDF-Dokumente durchsuchbar machen'. Das motiviert, weil du schnell erste Erfolge siehst.

Für die Tech-Stack-Frage: LlamaIndex find ich ehrlich gesagt einsteigerfreundlicher als LangChain, weniger Abstraktion. Kann aber sein das ist Geschmackssache.

Cloud reicht vollkommen am Anfang, Google Colab (kostenlos) oder ein kleines VPS reichen locker. Und ja, Hugging Face ist goldwert – die haben auch Spaces wo du Demos hosten kannst ohne eigene Infrastruktur.

Ich bin da ehrlich gesagt etwas skeptischer als die anderen hier. Nicht weil das technisch nicht machbar wäre – das ist es – aber ich frage mich immer, ob die Leute sich vorher ausreichend Gedanken über den Sinn machen.

Ein Chatbot der auf 'internen Daten' trainiert ist klingt erstmal toll, aber was genau willst du damit lösen? Welches konkrete Problem hast du, das du ohne den Chatbot nicht lösen kannst? Diese Frage stelle ich mir bei solchen Projekten immer zuerst, bevor man wochenlang bastelt.

Ich rede aus Erfahrung: Viele dieser Hobbyprojekte versanden nach zwei Wochen, weil das eigentliche Ziel nicht klar genug war. Das ist keine Kritik an dir persönlich, sondern generell meine Beobachtung. Wenn du das gut durchdacht hast – dann nur zu, die technischen Hinweise der anderen sind solide.

Ich kenn das Gefühl, beim ersten Durchlesen dieser ganzen Abkürzungen komplett verloren zu sein – hab ich beim Thema Finanzen ähnlich erlebt, bevor ich mich da systematisch reingearbeitet hab.

Also von meiner Seite: Für einen Einstieg wie du ihn beschreibst ist RAG definitiv der bessere Weg als Fine-Tuning. Fine-Tuning bedeutet, du veränderst tatsächlich die Gewichte eines Modells – das braucht deutlich mehr Daten, Rechenpower und Erfahrung. RAG dagegen lässt ein fertiges Modell deine Dokumente 'nachschlagen', bevor es antwortet. Viel einfacher zu implementieren und für die meisten praktischen Anwendungen völlig ausreichend.

Mein Tipp zum Einstieg: Schau dir LangChain an. Die haben inzwischen sehr gute Dokumentation und massig Tutorials. Kombiniert mit der OpenAI-API (kostet ein bisschen, aber für Tests im kleinen Rahmen überschaubar) kannst du in ein paar Abenden erste Ergebnisse sehen. GPU brauchst du dafür erstmal nicht.

Wenn du komplett kostenfrei starten willst: Hugging Face hat kostenlose Modelle und auch eine eigene Inference-API. Qualität ist nicht ganz auf OpenAI-Niveau, aber zum Lernen super.

Dem Kritiker_73 würd ich teilweise widersprechen – manchmal lernt man am meisten wenn man einfach anfängt und das Ziel sich unterwegs konkretisiert. Mach ich selbst so bei strukturierten Projekten.

Zur eigentlichen Frage: Ich würd dir empfehlen, mit dem Ollama-Framework anzufangen. Damit kannst du lokale LLMs auf deinem Rechner laufen lassen – komplett offline, kostenlos, und du hast die volle Kontrolle über deine Daten. Kein Cloud-Abo nötig. Lläuft auch ohne Hochend-GPU, dauert nur etwas länger.

Dann Ollama + LlamaIndex + ein kleines Testdokument – das ist ne super Kombo für den Start. Für Python-Grundkenntnisse sollte das machbar sein. Gibt auf YouTube zig Tutorials dazu.

Der echte Lerneffekt kommt wenn du anfängst zu verstehen warum Embeddings funktionieren. Bis dahin einfach nachmachen und verstehen kommt von selbst.