Am 5. November fand der erste Teil des Workshops „Lokalen KI-Workspace aufbauen“ statt, in der Reihe „Digital im Ehrenamt“ der Volkshochschule Leipzig. Zwei Stunden, ein Raum voller Engagierter aus Vereinen und Initiativen und eine Frage: Wie nutzt man KI im Verein, ohne die eigenen Daten aus der Hand zu geben?

Zum Start: Wer nutzt schon KI?

Die erste Frage war schnell beantwortet. Wer nutzt schon ChatGPT, Claude oder Gemini? Viele Hände gingen hoch. KI ist im Ehrenamt längst angekommen. Die eigentliche Frage ist also nicht mehr, ob ein Verein KI nutzt, sondern womit und mit welchen Daten.

Foto: Viktor Znovenko

Ein KI-Assistent hat vier Teile

Damit wir alle über dasselbe sprechen, haben wir einen KI-Assistenten in vier Teile zerlegt:

• Gehirn: das Sprachmodell, das die Antworten formuliert.

• Hände: das Programm, in dem man schreibt und fragt.

• Bibliothekar: das Embedding-Modell, das die passenden Notizen findet.

• Buch: die Wissensbank, bei uns ein Ordner mit Notizen in Obsidian.

Bibliothekar und Gehirn arbeiten als Team: Der eine sucht die passenden Notizen heraus, der andere schreibt daraus die Antwort. Der Fachbegriff dafür ist RAG.

Online oder offline?

Cloud-KI ist stark und schnell. Aber die Daten liegen auf fremden Servern, und der Anbieter bestimmt Preise und Regeln. Lokale KI läuft auf dem eigenen Laptop, und die Daten bleiben im Verein. Das Gute daran: Das Programm bleibt gleich, nur das Sprachmodell wird ausgetauscht. Man muss sich also nicht für immer festlegen.

Die Risiko-Ampel

Welche Daten dürfen wohin? Dafür haben wir eine einfache Ampel genutzt:

• Grün, öffentlich: Website-Texte, Einladungen, Pressemitteilungen. Cloud-KI ist hier in Ordnung.

• Gelb, intern: Projektpläne, Konzepte, Abläufe ohne Namen. Nur mit Vereinskonto oder lokal.

• Rot, persönlich: Mitglieder, Spender, Protokolle, Gesundheit, Kinder. Nur lokal.

Daraus ergeben sich zwei Arten von Wissensbank: eine, die zu 100 % offline bleibt und auch Personendaten enthalten darf, und eine hybride, in der eine Cloud-KI nur die grünen Ordner sieht. Mein Rat: Wer unsicher ist, startet offline. Eine Cloud-KI lässt sich später immer noch ergänzen.

Live und ohne Internet

Nach der Pause wurde es praktisch. Ich habe eine Beispiel-Wissensbank für einen Verein gezeigt: Notizen zu Finanzen, Mitgliedern, Projekten und Protokollen, miteinander verknüpft in Obsidian. Die Fragen an diese Wissensbank hat ein lokales Sprachmodell beantwortet, ganz ohne Internetverbindung.

Foto: Viktor Znovenko

Wie es weitergeht

Im zweiten Teil am 12. November installieren wir alles gemeinsam auf den eigenen Laptops: Obsidian, Ollama mit lokalen Sprachmodellen und das Plugin Smart Composer. Danach bauen wir die Struktur einer eigenen Wissensbank auf. Danke an alle, die beim ersten Teil dabei waren, für die vielen guten Fragen.