Hallo zusammen,
ich sitze hier im Homeoffice, draußen sind gefühlte 35 Grad und ich hab mir für diesen Sommer vorgenommen, endlich mal was Eigenes mit KI zu bauen – konkret einen Chatbot, der auf meine eigenen Daten bzw. Dokumente trainiert ist. Also nicht einfach ChatGPT nutzen, sondern wirklich einen eigenen Assistenten, der z.B. meinen internen Wissensstamm kennt.
Das Thema interessiert mich schon länger, aber ich weiß nicht so recht wo ich anfangen soll. Ich hab ein bisschen Programmiererfahrung (Python Grundlagen), aber bin kein Data Scientist oder so. Ich stoße ständig auf Begriffe wie RAG, Fine-Tuning, LLM, Embeddings – und dann noch Frameworks wie LangChain oder LlamaIndex. Das ist alles irgendwie zusammenhängend aber ich durchblicke noch nicht, was ich für mein Vorhaben wirklich brauche.
Konkret meine Fragen:
- Was ist der Unterschied zwischen RAG und Fine-Tuning – und welches davon ist für einen Einsteiger realistisch?
- Welche Tools/Frameworks empfehlt ihr für den Einstieg?
- Brauche ich zwingend eine GPU oder reicht erstmal Cloud?
- Gibt es sinnvolle kostenlose Möglichkeiten zum Starten?
Würde mich über praktische Erfahrungsberichte freuen, nicht nur Theorie. Danke schon mal!
Ich bin selbst grad dabei sowas aufzubauen – hab das als Sommerprojekt geplant, ähnlich wie ich das hier beim Podcast-Projekt gemacht hab, einfach systematisch angehen und dokumentieren.
Sabrina hat das gut erklärt mit RAG vs. Fine-Tuning. Ich würd noch ergänzen: Starte mit einem möglichst kleinen, konkreten Anwendungsfall. Nicht 'ich will meinen gesamten Wissensstamm indexieren', sondern erstmal 'ich will 5 PDF-Dokumente durchsuchbar machen'. Das motiviert, weil du schnell erste Erfolge siehst.
Für die Tech-Stack-Frage: LlamaIndex find ich ehrlich gesagt einsteigerfreundlicher als LangChain, weniger Abstraktion. Kann aber sein das ist Geschmackssache.
Cloud reicht vollkommen am Anfang, Google Colab (kostenlos) oder ein kleines VPS reichen locker. Und ja, Hugging Face ist goldwert – die haben auch Spaces wo du Demos hosten kannst ohne eigene Infrastruktur.