LogbuchDie Entwicklung unseres BAföG-Chatbots
Verbesserungen seit Beginn des öffentlichen Beta-Tests
Für alle, die den Chatbot getestet und festgestellt haben, dass eine Antwort nicht ganz stimmt (oder das auch nicht gemerkt haben …), hier eine Auflistung, was wir jeweils getan haben, um künftig solche Fehler zu vermeiden. Leider kann es aber auch wieder zu Verschlechterungen kommen, da ich nicht jede Anpassung mit allen alten Fragen testen kann und was für das aktuelle Problem eine Verbesserung darstellt, kann eine ältere Lösung wieder kaputt machen.
Anfragen, die zu viele unterschiedliche Aspekte anschneiden oder in der mehrere Fragen unstrukturiert vermischt sind, können u.U. nicht sinnvoll beantwortet werden. Wenn gleichzeitig mehrere Fragen gestellt werden sollen, kann es sinnvoll sein, zunächst die individuelle Situation zu schildern und dann die Fragen Punkt für Punkt aufzuzählen (bspw. durchnummeriert oder mit * beginnend), aber nicht als fortlaufender Text.
Eine Fragen danach, ob das BAföG aus zwei Bundesländern zusammengelegt würde (gemeint war wohl für die Rückzahlung) hat die KI sehr durcheinandergebracht, weil kein so richtig passender Texte dazu gefunden wurde. Artikel ergänzt, um korrekte Antwort zu ermöglichen. (15.04.2025)
Studenten- und Aufstiegs-BAföG sind u.U. beide möglich. Das Thema hatten wir vor ein paar Tagen schon, leider gibt es immer noch Fragen-Formulierungen, die nicht korrekt beantwortet werden – aber es sollte jetzt zumindest öfter stimmen. (15.04.2025)
Im Formblatt 1 kann man auf die detaillierte Vermögensangabe nur verzichten, wenn man unter 10.000 bzw. 30.000 € hat (bis 30 bzw. ab 30 Jahre). Eine Frage dazu (der Freibetrag sei doch höher) konnte die KI nicht korrekt beantworten, daher eine Erklärung dazu im Vermögensartikel ergänzt. (14.04.2025)
Offenbar gibt es seit kurzem neue BAföG-Formblätter – z.B. auch für den Antrag auf das Flexisemester. Dafür müssen wir alle unseren entsprechenden Artikel aktualisieren, was ein paar Tage dauern wird. Solange bitten wir um Verständnis, dass der Chatbot sich noch auf alte Formblätter bezieht bzw. teilweise noch auf alte und bei manchen schon auf die neuen – bis eben alles aktualisiert ist. (zwischen 04.04. und 14.04.2025 in Arbeit, nun abgeschlossen)
Leider hat die KI nach dem dritten Semester nicht als gleichwertig mit spätestens zu Beginn des vierten Semesters interpretiert, so dass explizite Ergänzungen für die KI notwendig waren, damit im Zusammenhang mit einem Fachrichtungswechsel in der Antwort keine Begründung als nötig erwähnt wird. Auch ein Leistungsnachweis ist dann normalerweise nicht nötig. (10.04.2025)
BAföG im 9. Semester Master? Master-Artikel um einen Abschnitt erweitert, der beschreibt, wie viele Semester BAföG denkbar sein können – hier wäre evt. noch Hilfe zum Studienabschluss denkbar (wenn auch schwierig) (10.04.2025)
Abitur an einem Oberstufenzentrum: Die KI hat das einfach als Berufsoberschule angenommen – doch leider muss das keineswegs so sein, es gibt alle möglichen Schularten an Oberstufenzentren. Diverse Artikel ergänzt, um die Problematik der Schulzentren und der Schulnamen insgesamt noch besser auch für die KI zu beschreiben. (10.04.2025)
Meister-BAföG (oder heute ja Aufstiegs-BAföG) für den Meister hat keinen Einfluss auf BAföG für ein Studium, d.h. ein BAföG-gefördertes Studium kann weiterhin möglich sein (sofern nicht neben dem Meister auch schon studiert wurde oder mehrere schulische Berufsausbildungen absolviert wurden). Explizit in einem Artikel erwähnt, damit die KI das auch wissen kann und nicht falsche Schlussfolgerungen macht. (08.04.2025)
Wenn Elterneinkommen und etwas mit Geschwistern erwähnt wurde, konnte es passieren, dass die KI die Pauschale, die bei Einkommen von Geschwistern angesetzt wird, in Beispielen auch beim Elterneinkommen angewandt hat. Daher den Artikel mit der Erwähnung der Pauschale angepasst, damit die KI nicht mehr auf diese Idee kommen kann. (08.04.2025)
Das Flexibilitätssemester kann nicht genutzt werden, um den Leistungsnachweis aufzuschieben. Stand so auch schon im Artikel zum Flexisemester, die KI fand die Stelle aber in gewissen Kontexten nicht. Das nun verbessert. (07.04.2025)
Das Einkommen der Eltern wird normalerweise vom vorletzten Kalenderjahr genommen. Für den Freibetrag / die Freibeträge auf das elterliche Einkommen kommt es dagegen auf deren aktuellen Status an. Das war bisher gar nicht explizit im Artikel erwähnt, das ergänzt, damit die KI wirklich Bescheid weiß. (07.04.2025)
Zuwendungen von Großeltern (oder auch anderen Verwandten) spielen beim BAföG keine Rolle. Je nach Fragestellung kam die KI aber fälschlich auf die Idee, das wäre anzugeben. Artikel ergänzt, damit das nicht mehr passiert. (07.04.2025)
Eine Frage nach BAföG für die 12. Klasse Gymnasium mit Details zum Status der Eltern konnte der Chatbot leider nicht sinnvoll beantworten. Das sollte nun etwas besser klappen, kann aber abhängig von der genauen Fragestellung immer noch schiefgehen. (04.04.2025)
Der Chatbot kennt nur den aktuellen Gesetzstand. An einigen wenigen Stellen (z.B. BAföG-Rückzahlung) sind in Artikeln wo nötig ausnahmsweise auch die alten Fassungen erwähnt. Wenn es also keine Fundstelle von alten Fassungen gibt, sollte der Chatbot nun explizit antworten, dass er diese nicht kennt. (04.04.2025)
In einigen BAföG-FAQ-Artikel hatte sich tatsächlich noch an wenigen Stellen der Begriff ALG II gefunden, wo es eigentlich Bürgergeld heißen muss. Und natürlich hat die KI das bei bestimmten Fragen in ihrer Antwort verwendet. Daher alle Stellen angepasst. (03.04.2025)
BAföG stonieren? Das hat die KI (bzw. das Verfahren zum Heraussuchen der Texte für die Antwort) leider nicht als stornieren erkannt. Daher falsch geschriebenes Wort versteckt im Artikel mit der Antwort eingebaut. (03.04.2025)
BAföG bei hohem Vermögen: Konkrete Zahlen ergänzt, wann normalerweise kein BAföG mehr möglich ist. Da es aber noch Härtefälle geben kann und man Vermögen vielleicht noch verringern kann, wird dennoch nicht von vornherein „nicht möglich“ gesagt. (01.04.2025)
Auslands-BAföG nach Ende der Regelstudienzeit: Mehr Details im Auslands-BAföG-Artikel ergänzt, damit die KI nicht zu viel Hoffnungen macht, ohne die Details zu nennen. (31.03.2025)
Bei Schularten noch Hinweise dazu ergänzt, dass der Schulname manchmal auch verwirrend im Sinne des BAföGs sein kann. Beim zweiten Bildungsweg (Abendgymnasium, Kolleg u.ä.) ist nicht zwangsläufig eine abgeschlossene Berufsausbildung notwendig, aber zumindest berufstätig für einige Zeit. Das war im entsprechenden Artikel nicht erwähnt und führte zu einer falschen Antwort der KI. (31.03.2025)
Nicht BAföG-Themen soll der Chat nicht beantworten, aber damit zum vermeintlichen Ersatz des BAföGs durch Bürgergeld doch eine korrekte Antwort möglich ist, im Prompt ergänzt. Wer als Vollzeitstudierende:r dem Studium nachgeht, kann nämlich keines erhalten, auch wenn es kein Bafög mehr gibt. (27.03.2025)
Auch wenn alle anderen Bedingungen für elternunabhängiges BAföG erfüllt sind: Handelt es sich um ein Zweitstudium, macht das BAföG in der Regel unmöglich. Das explizit im Artikel ergänzt, damit auch die KI das im Zusammenhang mit elternunabhängigem BAföG versteht. (26.03.2025)
Bei Auslands-Schüler-BAföG waren im Artikel noch die veralteten Höchstsätze. Aktualisiert. (26.03.2025)
Wenn die Eltern auf ihren Namen eine Wohnung mieten, die aber nur für die/den BAföG-Empfänger:in gedacht ist, dann ist das etwas anderes, als wenn die Wohnung den Eltern gehört. Explizit in einem Artikel untergebracht, damit die KI das korrekt beantwortet (inkl. dem Hinweis, dass die Eltern dann auch nicht in dieser Wohnung gemeldet sein dürfen, damit es die erhöhte Wohnpauschale geben kann). (26.03.2025)
„Seit wann gibt es die neuen Formblätter?“ wurde von der KI geraten (die Erwähnung in diversen Artikeln, die Formblätter seien Stand 2022 half da nicht, das ging im Rest des Textes offenbar unter), explizit in Artikel eingebaut, jetzt kommt korrekte Antwort. (26.03.2025)
Bei Fragen zur Zuverdienstmöglichkeit bei eigenen Kindern der BAföG-Empfängerin kam die KI ein wenig durcheinander. Die Texte in mehreren Artikeln wurden angepasst, um die KI besser zu leiten – klappt jetzt meistens. (24.03.2025)
Irgendwie hat sich die KI vertan, was das vorletzte Kalenderjahr ist bezogen auf einen Bewilligungszeitraum. In Prompt Beispiel ergänzt, nun scheint es zu gehen. (23.03.2025)
Leistungsnachweis im Master gibt es nicht, explizit in Artikel ergänzt. (23.03.2025)
Ergänzung zur Konstellation „Wegfall des Freibetrags bei Beginn Ausbildung eines Geschwisters“ (die BAföG/BAB-förderfähig ist). (23.03.2025)
Ergänzung in Artikel Förderungsfähigkeit zum Thema BAföG für ein Studium nach einemTeilzeitstudium, damit die KI explizit darauf hinweist, dass nach einem erfolgreich abgeschlossenen Teilzeitstudium BAföG für ein grundständiges Studium nicht mehr möglich ist (und war das Teilzeitstudium ein Master, dann für gar nichts mehr). (20.03.2025)
Berechnung Einkommen aus Selbständigkeit im Einkommensartikel auf die vereinfachte Weise laut Erlass BMBF 9/2024 umgestellt, aber auch die alte Variante dargestellt, die immer noch gilt, falls die Betriebsausgaben entsprechend höher sind. (19.03.2025)
Ergänzungen in Einkommens-Artikeln zu Fällen, wenn das Einkommen im BWZ steigt und dadurch sogar schon erhaltenes BAföG zurückgezahlt werden muss. Die KI hat hier teilweise Bezüge zur „normalen“ Rückzahlung hergestellt, was nicht passend war. (18.03.2025)
Ergänzungen zum Thema Unterhalt der Eltern an weitere Geschwister. Die KI antwortete immer, dass Unterhalt anzugeben ist – es ist aber eigentlich nur so, dass der Status der Geschwister und deren Einkommen nachzuweisen ist. Was genau die Eltern an Unterhalt zahlen, spielt aus Sicht des BAföG keine Rolle. Trotz Ergänzungen kann es aber noch zu leicht widersprüchlichen Antworten kommen. (18.03.2025)
Großmutter/-vater explizit als Beispiel für Personen erwähnt, für die die Eltern einen Freibetrag auf ihr Einkommen erhalten können, sollten sie diesen Unterhalt leisten, weil das Einkommen der Großeltern entsprechend gering ist. (17.03.2025)
BAföG für das Referendariat ist nicht möglich. Dies nun explizit im Förderungsfähigkeits-Artikel ergänzt, da die KI sonst leider angenommen hatte, es könnte vielleicht gehen. (17.03.2025)
Im Artikel zum Flexibilitätssemester explizit ergänzt, dass dieses nach der Studienabschlusshilfe nicht mehr möglich ist. Hat die KI leider falsch geschlossen … (umgekehrt ist es möglich: Flexisemester und dann noch Studienabschlusshilfe). (12.03.2025)
Leider noch ungelöst: Fragen, die zu viele unterschiedliche Aspekte anschneiden, können u.U. nicht sinnvoll beantwortet werden. Wir hatten eine Frage, die Alter des Antragstellers über 30, eigene Kinder, Unterhalt für diese und wohnen im Eigentum der Eltern sowie die Frage nach dem möglichen Einkommen umfasst hat. Das System legt der KI hierzu dann Fragmente aus Artikeln zu Vermögen (wegen dem erwähnten Eigentum der Eltern), Einkommen, Kindern (und hier einerseits zu Freibeträgen bei Einkommen, aber auch bei Vermögen) und elternunabhängigem BAföG (wegen Alter über 30) vor. Daraus schafft es die KI dann nicht, eine korrekte Antwort zu generieren, sondern konzentriert sich entweder nur auf bestimmte Aspekte (und beachtet dann nicht alles, was relevant ist) oder bastelt Dinge zusammen, die gar nicht zusammengehören. (11.03.2025)
Artikel zu Altersgrenzen beim BAföG ergänzt um die explizite Bemerkung, das bei Erreichen des 30. Geburtstages während eines Studiums sich nur der Vermögensfreibetrag ändert (und das erst beim nächsten Antrag), sonst aber alles beim Alten bleibt. Wer vorher elternabhängig gefördert wurde, wird das auch danach. Erst mit einem neuen Ausbildungsabschnitt würde sich das ändern. (07.03.2025)
Beim Flexibilitätssemester war im Artikel der Zeitpunkt, wann es genutzt werden kann, nicht umfassend genug beschrieben. Das wurde nun ergänzt, damit der Chatbot dies korrekt bei allgemeinen Fragen dazu aufzählt. (06.03.2025)
Der Artikel zu BAföG und Corona ist für aktuelle Situationen nicht mehr relevant und wurde daher für die KI gesperrt, damit sie nicht Teil daraus zitiert, wo das inzwischen keine Relevanz mehr hat (06.03.2025)
Bei einer Frage zu Schüler-BAföG und Herkunft aus der Ukraine hatte der Chatbot sich in den Antworttexten etwas verirrt, weil der Abschnitt zur Ukraine aus dem Artikel BAföG für Ausländer:innen nicht auch Schüler-BAföG explizit erwähnte. Jetzt klappt das. (04.03.2025)
Der Chatbot soll keine Berechnung des BAföG vornehmen (dafür haben wir den BAföG-Rechner). Er macht das aber u.U. doch immer mal, daher den Prompt angepasst, damit das möglichst nicht passiert und in jedem Fall auf den Rechner hingewiesen wird. (28.02.2025)
In gewissen Konstellationen behauptete der Bot noch, es müssten Angaben zum Vermögen der Eltern gemacht werden. Daher an weiteren Stellen explizit ergänzt, dass dem nicht so ist. Möglicherweise kommt der Bot aber immer noch auf diese Idee – je nach Fragestellung und Kontext. (27.02.2025)
Wenn nach BAföG-Gesetzesparagraphen gefragt wurde, die es genau so nicht gibt, wurde u.U. mit Angaben zu einem ähnlichen geantwortet (und teilweise der nicht existierende Name verwendet). Das sollte nun nicht mehr passieren. (27.02.2025)
Ergänzungen im Artikel Leistungsnachweis, dass ein Leistungsnachweis im Normalfall nur einmal nötig ist (und Beispiele, wann es doch öfter sein könnte). (26.02.2025)
Ergänzungen im Artikel Einkommensanrechnung allgemein und Aktualisierungsantrag für den Fall, dass ein Elternteil gestorben ist (war bisher nicht explizit im Artikel erwähnt worden, so dass die KI falsche Schlüsse zog). Dessen Einkommen spielt dann keine Rolle mehr beim BAföG, in der Regel ist auch ein Aktualisierungsantrag nicht sinnvoll (20.02.2025).
Kleine Anpassung im BAföG-Vermögen-Artikel, um explizit klar zu machen, dass Vermögen der Eltern keine Rolle spielt. Das stand zwar schon an einer Stelle, was aber bei bestimmten Fragen nicht reichte. Jetzt sollte es passen (20.02.2025).
In Schüler-BAföG-Artikel und im Artikel zu den Schularten den speziellen Fall Fach- bzw. Förderlehrerausbildung an den Staatsinstituten in Bayern aufgenommen (entspricht BAföG-rechtlich Berufsfachschule), da der Bot sonst leider daneben getippt hatte (18.02.2025).
Einkommensartikel Eltern/Ehegatte: Einige der in den Bildern erklärten Freibeträge etc. für die KI durch ergänzten Text zugänglich gemacht, damit nicht einzelne Beispiele als allgemeingültig herausgegriffen werden, wie es vorher passieren konnte, wenn nach Anrechnung von Elterneinkommen gefragt wurde (18.02.2025).
Prompt verändert, um vor allem die Antwort in allen Sprachen zu ermöglichen, wenn die Frage nicht in Deutsch gestellt wird. Bei sehr kurzen Fragen funktioniert das nicht, dann muss explizit in der Frage geschrieben werden, in welcher Sprache geantwortet werden soll (18.02.2025).
Nacht-, Sonntags- und Feiertagszuschläge werden beim BAföG nicht angerechnet, die Erwähnung dieser Leistungen fehlte bisher im Artikel zur Anrechnung von Einkommen, so dass es zu falschen Antworten gekommen war. Dies sollte nun behoben sein (18.02.2025).
Ergänzung zum Thema Praktikum: Wer schon im Studium kein BAföG wegen hohen Elterneinkommens bekommt, der wird leider auch bei einem Praktikum (egal ob Pflicht- oder nicht) mit hoher Wahrscheinlichkeit kein BAföG bekommen können. Der Chatbot hatte erstaunlicherweise behauptet, in einem Praktikum würde das Elterneinkommen nicht berücksichtigt (17.02.2025).
Nach Möglichkeit soll der Chatbot in der Sprache antworten, in der gefragt wurde. Das funktioniert nun besser, aber leider immer noch nicht zuverlässig (17.02.2025).
Artikel zu Einkommen allgemein und zum Einkommen als BAföG-Bezieher:in ergänzt in Sachen Unterschied Freigrenzen / Freibetrag, um korrekte Antworten zu bekommen, wenn gefragt wird nach Einkommen oberhalb der Freigrenze und wie viel da angerechnet wird (17.02.2025).
Prompt ergänzt in Bezug auf Fragen, warum eine Grenze so ist wie sie ist – dann wird darauf verwiesen, dass dies politische Entscheidungen sind, die sich natürlich auch wieder ändern können. Je nach Fragestellung kommt dieser Hinweis aber nicht immer (13.02.2025).
Im Artikel zur BAföG-Altersgrenze von 45 auch die spezielle Altersgrenze in Bezug auf die Studienstarthilfe (noch nicht 25 am Monatsanfang des Studienbeginns) ergänzt. Wenn allerdings nur allgemein nach Altersgrenze gefragt wird, wird diese nicht erwähnt, nur wenn dann noch „Gibt es noch andere Altersgrenzen?“ gefragt wird (13.02.2025).
Dass Schmerzensgeld als Härtefall bei der Vermögensanrechnung freigestellt werden kann, wurde bisher im Vermögens-Artikel nicht explizit erwähnt (es gab dort nur ein Verweis auf den Gesetzesparagraphen, in dem das steht – der ist bisher dem Chatbot nicht zugänglich). Ist nun ergänzt (05.02.2025).
Bot hat Grundschulstudium als Besuch der Grundschule interpretiert. Daher versteckte Erläuterung in Schüler-BAföG-Artikel eingebaut (05.02.2025).
Fehler beim Prompt behoben, wenn mehr als eine Nachfrage gestellt wurde (05.02.2025).
Anpassung beim Prompt für die KI und der Zusammenstellung des Kontextes, falls Nachfragen gestellt werden (04.02.2025).
Die Daten über die BAföG-Ämter um Listen der Hochschulen ergänzt, für die das jeweilige Studierenden-BAföG-Amt zuständig ist. Bei Hochschulnamen, die den Namen der Stadt enthielten, hatte die KI durch den Stadtnamen meist schon das richtige Amt herausgesucht. Aber es gibt ja auch viele Hochschulen ohne die Stadt ihres Sitzes im Namen. Dazu kommt das „Problem“ vieler Hochschulen mit mehreren Standorten, dass nach dem Hochschulname zusammen mit einer anderen Stadt als ihrem Sitz gefragt wird. Das Problem ist noch nicht vollumfänglich gelöst, bei einzelnen Hochschulen werden „falsche“ Stadtnamen weggefiltert. (30.01.2025).
BAföG im Master-Artikel um den Hinweis ergänzt, dass nach einem Bachelor-Abschluss (der im Master-Artikel ja erwähnt wird) BAföG für bspw. ein Medizinstudium ausgeschlossen ist. Ohne den expliziten Hinweis hat die KI falsche Schlussfolgerungen gezogen (29.01.2025).
Ergänzungen im Artikel elternunabhängiges BAföG bezüglich der Altersgrenze 30 und wann diese genau erreicht werden muss. Dazu musste erklärt werden, dass Ausbildungsbeginn im Sinne des BAföGs immer der 1. des Monats ist, in dem die Ausbildung beginnt und damit elternunabhängiges BAföG auf Grund des Alters nur möglich ist, wenn schon im Vormonat das 30. Lebensjahr vollendet wurde (28.01.2025).
Anpassungen (nur für die KI sichtbar) im Artikel zu BAföG und Vermögen, damit die KI versteht, dass Vermögen der Eltern in keinem Fall eine Rolle spielt (28.01.2025).
Ergänzung des Artikels Wie kontrolliert das BAföG-Amt Angaben im Antrag? Dadurch können nun auch Fragen dazu, wie das Amt Angaben des Bescheides überprüft, sinnvoller beantwortet werden (27.01.2025).
Die Vorgeschichte und ein paar technische Hintergründe
ChatGPT hatte Ende 2022 für die massenweise Beschäftigung mit KI den Durchbruch gebracht. Doch sobald es um korrekte Antworten in Fachgebieten geht, schwächeln KIs nach wie vor. Doch schon seit längerem gibt es einen Weg, die „Halluzinationen“ zu minimieren und kontrollierte Bedingungen zu schaffen: Man sucht auf eine Frage hin passende eigene Dokumente heraus und gibt der KI diese mit dem Auftrag die Frage nur an Hand dieser Dokumente zu beantworten. Auch das klappt nicht immer und erfordert meist noch Anpassungen an den Dokumenten. Das ist aber oft sogar für die Verständlichkeit für alle durchaus dienlich.
Ein solches RAG-System umzusetzen, erfordert geeignete Programmbibliotheken. Die waren anfangs (kurz nach dem KI-Hype um ChatGPT und ähnlichen Systemen) noch wenig dokumentiert und änderten sich schnell. Fast alles gab es nur in Python, was bei Studis Online vorher nicht genutzt wurde. Also musste sich erst einmal mit Python beschäftigt werden.
Und noch eine Sache war uns wichtig: Wir wollen die Anfragen nicht an Anbieter weiterleiten, bei denen unklar ist, was mit den Daten so alles angestellt wird. Insofern waren OpenAIs ChatGPT, Google Gemini oder andere amerikanische oder chinesische Anbieter raus. In Deutschland selbst gibt es zwar einige Anbieter, die eigene Systeme anbieten, die aber praktisch alle eher auf große Firmen mit großen Datensätzen ausgelegt waren, die dafür auch einiges an Geld zahlen. Selbst eine KI zu hosten oder gar zu trainieren, ist extrem kostspielig und letztlich auch vollkommen übertrieben für unsere Ansprüche, denn realistisch betrachtet geht es ja bestenfalls um einige hundert oder langfristig vielleicht einige Tausend Zugriffe am Tag.
Schließlich stießen wir aber zum Glück auf mistral.ai aus Frankreich. Als europäischer Anbieter müssen diese sich an europäische Datenschutzregeln halten. Deren API ist der von OpenAI sehr ähnlich, so dass PHP-Programmbibliotheken für die Nutzung von OpenAIs API sehr leicht angepasst werden konnten. Und als KI-Datenbank auf unserem eigenen Server nutzen wir ChromaDB, die zwar Python braucht, um zu laufen, auf die wir aber mit PHP-Bibliotheken zugreifen können. Also hatten wir ab November 2024 endlich alles zusammen, um mit der eigentlichen Entwicklung zu starten.