Stellungnahme zu KI

*Dieser Beitrag wurde automatisch übernommen und ist keine Veröffentlichung der LAK Bremen.*

Einleitung

Der freie zusammenschluss von student*innenschaften hat eine klare Position zur Nutzung von künstlicher Intelligenz (KI) in der Bildung. KI kann als Werkzeug nutzbar gemacht werden, um Anpassungsfähigkeit, Innovation, Zugänglichkeit und Qualität in der Lehre zu fördern. Gleichzeitig müssen die Risiken generativer KI und ihrer unreflektierten Nutzung in Studium und Lehre aufgezeigt werden, um eine sorgfältige Begleitung zu garantieren, sowie ethische Standards, Datenschutz und Fairness zu gewährleisten.Vor dem Hintergrund des unzureichenden Standes der Digitialisierungs-Prozesse an vielen Hochschulen kritisiert der fzs die steigende Priorität von KI, vor allem bei Drittmittelanträgen. Viele Projekte die unter dem Label KI laufen, sind ebenfalls Digitalisierungs-Projekte und haben wenig mit künstlicher Intelligenz zu tun. Erst nachdem flächendeckend die Hochschulen auf dem gleichen abgeschlossenen Digitalisierungsstand sind, können wir die umfassende Einführung von KI in den Hochschulen verwirklichen. Stand jetzt haben vor allem kleinere Hochschule mit fehlenden finanziellen Mitteln und personellen Kapazitäten einen Nachteil bei der Eintreibung von Drittmitteln im KI-Bereich. Weiterhin braucht es einen Überblick über laufende Projekte, eine Sammlung der Erkenntnisse, eine Bereitstellung der Learnings und eine Vernetzung, zum Beispiel durch das Projekt MODUS der Hochschulrektorenkonferenz, an der Studierendenschaften mitwirken.

KI in der Hochschullandschaft

Seit den Fortschritten im Bereich der generativen KI wird intensiv über den Einfluss auf die Hochschulbildung diskutiert. Teil dieser Debatte war auch, dass oftmals übereilte Entscheidungen als schnelle Reaktion auf die immer populärer gewordenen Large-Language-Models (wie bspw. ChatGPT) getroffen, wie ein allgemeines Verbot der KI-Nutzung in Hochschulen, mit dem Ziel akademische Integrität zu bewahren. 

Ein zentrales Anliegen des fzs ist die gerechte Verteilung von Ressourcen, diese muss sicher gestellt werden. Wenn KI-Systeme eingesetzt werden, muss grundsätzlich davon ausgegangen werden, dass die entsprechende Hochschule sich an der Entwicklung freier KI-Systeme beteiligt und diese Einsetzt. Proprietäre Systeme sind nur in begründeten Ausnahmefällen einzusetzen und noch einmal gesondert regelmäßig kritisch zu überprüfen. Der Zugang zu relevanten KI-Tools für alle Studierenden ist zu gewährleisten, unabhängig von ihren individuellen finanziellen Möglichkeiten oder der ihrer Hochschule (privat oder staatlich). Ohne diesen gleichberechtigten Zugang läuft KI Gefahr, die ohnehin schon bestehenden Ungleichheiten in der (Hochschul-)Bildung zu verstärken.

Gleichzeitig besteht bei der Einbindung gängiger kommerzieller KI-Systeme das datenschutzrechtliche Risiko, dass Nutzungsdaten von den Anbieter*innen weiterverarbeitet werden, etwa als Grundlage für das Training weiterer Modelle. Aus diesem Grund fordert der fzs, dass Hochschulen Kooperationen mit Anbietern von KI-Systemen abschließen, die einerseits die Weiterverarbeitung der Daten durch die Anbieter ausschließen und andererseits sicherstellen, dass die Verarbeitung ausschließlich in europäischen Rechenzentren stattfindet. Dies wird beispielsweise von der Fraunhofer-Gesellschaft praktiziert [1].

[1]: https://www.fraunhofer.de/de/presse/presseinformationen/2023/august-2023/fhgenie-fraunhofer-gesellschaft-fuehrt-internen-ki-chatbot-ein.html

Es ist zu betonen, dass KI die Grundprinzipien der Hochschulbildung nicht grundlegend verändern wird, aber eine bedeutende Unterstützung für Lern- und Lehrprozesse bieten kann, wenn angemessene Strategien und Maßnahmen ergriffen werden. Die Integration von KI sollte daher umfassend und kohärent unter starker Mitbestimmung von Studierenden über verschiedene Bereiche hinweg erfolgen, um ihren vollen Nutzen zu realisieren und gleichzeitig die Studierenden, ihre Persönlichkeitsrechte und individuellen Lernwege zu schützen.

KI in Lehr- und Lernkonzepten

Künstliche Intelligenz (KI) in der Hochschulbildung kann menschliche Interaktionen im Lern- und Lehrprozess nicht ersetzen, jedoch als hilfreiche Ergänzung dienen. Sie kann personalisiertes Lernen und innovative Lehrmethoden unterstützen, indem sie bei der Lösung von Aufgaben hilft, Daten visualisiert und analysiert. Assistive Lernwerkzeuge auf Basis von KI könnten besonders benachteiligten Gruppen einen Nachteilsausgleich im Universitätskontext ermöglichen – hier muss verstärkt die hürdenärmere Teilhabe am Studien- und Lehrbetrieb ermöglicht werden. Auch Lehrkräfte können beispielsweise durch Unterstützung bei der Erstellung von Lernmaterialien und der Analyse von Curricula von KI-Werkzeugen profitieren.

Außerdem kann KI experimentelles Lernen verbessern, indem sie durch maschinelles Lernen Feedback gibt und in Kombination mit virtueller Realität einen zugänglichen Raum für praktische Erfahrungen schafft.

Daher müssen sowohl Lernende als auch Lehrende geschult werden, um die Funktionalitäten und Einschränkungen von KI zu verstehen, sowie ein deliberativer Prozess durch Einbezug der verfassten Studierendenschaften stattfinden, bevor diese eingeführt werden.

Notwendige Fortbildung zu KI

Es ist wichtig, dass Hochschulen Kenntnisse über KI vermitteln. Da der Einsatz von KI in Gesellschaft und Wirtschaft zunehmen wird, müssen alle Studierenden und Lehrenden über deren Auswirkungen und Anwendungen informiert sein. Wir fordern eine grundlegende Einführung zum ethischen Umgang mit KI in wissenschaftlichem Arbeiten für Lehrende und Studierende, die auch im Bereich Media Literacy angesiedelt werden kann. 
Abschließend ist eine kritische Schulung in der Nutzung von KI unerlässlich, um implizierten Bias zu erkennen und ethische Entscheidungen zu treffen. KI-basierte Systeme müssen auf transparente und faire Weise eingesetzt werden, um Diskriminierung oder ihre Fortführung zu vermeiden und Datenschutz zu gewährleisten.
Bei der Bewertung von Studierenden müssen neue Methoden entwickelt werden, die nicht anfällig für KI-Manipulation sind. Traditionelle Bewertungsmethoden, die auf bloßer Wissenswiedergabe basieren, sollten durch lernziel- und kompetenzbasierte Ansätze ersetzt werden. 

Learning Analytic Tools und Bewertungssysteme

Kritisch zu betrachten sind besonders Learning Analytic Tools.  Die aktuellen Projekte zeigen nur wenige Systeme die nicht primär darauf ausgerichtet sind Studierende anhand mangelhafter Noten zu kennzeichnen und diesen ihren Studienmisserfolg zu suggerieren. Stattdessen müssen diese Systeme transparent kommuniziert werden, eine Opt-In statt Opt-Out Funktion haben und diverse Studienerfolgsoptionen aufweisen (nicht nur Notendurchschnitt und Semesteranzahl, sondern auch Engagement, Nebenjob etc). Ebenfalls dürfen diese Tools kein Ersatz für Studienberatungen, psychologische Betreuung oder Gespräche mit Lehrenden und/oder Betreuer*innen ersetzen. Die studentische Stimme bei der Entwicklung und Anschaffung dieser Systeme ist daher essenziell. Wir ermutigen Studierende dringend sich proaktiv bei ihrer Hochschule zu erkundigen, ob und welche  Einführungen von Learning Analytic-Tools in den Hochschulleitungen diskutiert werden, diese mit den möglichen Konsequenzen zu konfrontieren und studentische Mitbestimmung einzufordern.

KI-gestützte Bewertungs- und Feedbacksysteme könnten detaillierte Rückmeldungen geben, die im aktuellen Hochschulsystem durch die Arbeitsbelastung der Lehrpersonen in diesem Umfang bisher nicht möglich sind, jedoch die persönliche Lernentwicklung von Studierenden fördern können.

Implementierung und Qualitätsmanagement von KI-Systemen im Hochschulbetrieb

In der Hochschulbildung sollten offene und inklusive Planungen sowie Entscheidungen mit gewährleisteter Mitbestimmung durch Studierendenschaften getroffen werden, um die bestmögliche Nutzung der verfügbaren KI-Technologien sicherzustellen. Nicht alle KI-Anwendungen sind für alle Studienfächer geeignet; daher sollte die Hochschulgemeinschaft flexibel entscheiden können, ob und wie KI eingesetzt wird.

Hochschulen sollten transparente Richtlinien und Prozesse für die Auswahl, die Implementierung und die Qualitätssicherung von KI-Software haben. Studierende und Lehrende müssen in diesen Prozessen eingebunden werden, um Vertrauen aufzubauen und die angemessene Nutzung von KI zu gewährleisten. KI sollte primär die Selbstbestimmung der Lernenden stärken und nicht durch rigide Muster deren Autonomie einschränken.

Zusätzlich ist es wichtig, dass Hochschulen Kenntnisse über KI vermitteln. Da der Einsatz von KI in Gesellschaft und Wirtschaft zunehmen wird, müssen alle Studierenden und Lehrenden über deren Auswirkungen und Anwendungen informiert sein. Wir fordern eine grundlegende Einführung zum ethischen Umgang mit KI in wissenschaftlichem Arbeiten für Lehrende und Studierende, die auch im Bereich Media Literacy angesiedelt werden kann.

Abschließend ist eine kritische Schulung in der Nutzung von KI unerlässlich, um implizierten Bias zu erkennen und ethische Entscheidungen zu treffen. KI-basierte Systeme müssen auf transparente und faire Weise eingesetzt werden, um Diskriminierung oder ihre Fortführung zu vermeiden und Datenschutz zu gewährleisten.

Bei der Bewertung von Studierenden müssen neue Methoden entwickelt werden, die nicht anfällig für KI-Manipulation sind. Traditionelle Bewertungsmethoden, die auf bloßer Wissenswiedergabe basieren, sollten durch lernziel- und kompetenzbasierte Ansätze ersetzt werden. 

KI-gestützte Bewertungs- und Feedbacksysteme könnten detaillierte Rückmeldungen geben, die im aktuellen Hochschulsystem durch die Arbeitsbelastung der Lehrpersonen in diesem Umfang bisher nicht möglich sind, jedoch die persönliche Lernentwicklung von Studierenden fördern können.

Die Qualitätssicherung (QA) von KI in der Bildung erfordert die Einhaltung von Datenschutzbestimmungen, Transparenz bei algorithmischen Entscheidungen und ethische Überlegungen. QA-Systeme müssen die Integration von KI in das Curriculum, die Bewertung und den Unterricht sicherstellen, ohne die Rolle der Lehrenden oder der Studienberatung zu ersetzen. 

Erklärbare KI (XAI)

Ein Problem im Einsatz von GenKI ist, dass die Ergebnisse nicht oder kaum erklärbar bzw. nachvollziehbar sind und dadurch Wissensherleitungen nicht vorhanden sind, literaturbasierte Arbeit wegen „Halluzinieren“, dem Erfinden von Wissen durch GenKI, schwer möglich sind und Entscheidungen auf Basis von genKI schwierig sind. Daher fordern wir das Hinwirken auf eine Umstellung von „Blackbox AI“ wie „ChatGPT“ hin zu XAI.

Der Einsatz von KI in der Hochschulbildung

Der Einsatz von Künstlicher Intelligenz (KI) in Entscheidungsprozessen kann zahlreiche Vorteile wie gesteigerte Effizienz und Schnelligkeit bieten. KI kann große Datenmengen schnell verarbeiten und komplexe Szenarien analysieren, was zu präziseren Vorhersagen und erheblichen Kosteneinsparungen führen kann. Jedoch besteht das Risiko von Verzerrungen und unfairen Entscheidungen, da KI-Systeme die in den Trainingsdaten vorhandenen Vorurteile (Biases) übernehmen können. Übermäßiges Vertrauen in KI kann menschliche Fähigkeiten zu kritischem Denken und Problemlösungen nicht ersetzen. Daher sollte KI stets unter menschlicher Aufsicht eingesetzt werden, besonders bei Personalentscheidungen und Bewertungen im Bildungsbereich.

Die Transparenz und Erklärbarkeit von KI sind essenziell. KI-Systeme müssen nicht nur in ihren Algorithmen transparent sein, sondern auch im Kontext der verwendeten Daten und der zu lösenden Probleme. Detaillierte Dokumentation fördert die Überprüfbarkeit und das Verständnis der KI-Ergebnisse, was in Bildungseinrichtungen entscheidend ist, um Vertrauen und Verantwortlichkeit zu gewährleisten.

KI kann auch die Inhalteerstellung revolutionieren, was traditionelle Urheberrechts- und Patentsysteme herausfordert. KI-gestützte Plagiatserkennungstools, welche die Hochschule nutzt, müssen allen, auch Studierenden, zugänglich gemacht werden, auch wenn die Nutzung von KI-generierten Inhalten ohne ordnungsgemäße Zitation problematisch bleibt.

Gerade in dieser transformativen Zeit ist es unerlässlich, dass die Auswirkungen von KI auf die Bildung durch öffentlich finanzierte Forschung untersucht werden sollten, um sowohl pädagogische als auch menschenrechtliche Implikationen zu verstehen. Eine koordinierte öffentliche Strategie ist notwendig, um sicherzustellen, dass KI-Technologie zugänglich und fair bleibt.

Generative KI-Systeme, die auf Daten aus menschlichen Äußerungen, wie Social-Media Posts, basieren, können Vorurteile und diskriminierende Inhalte wiedergeben. Der Einsatz solcher Systeme, insbesondere in der automatisierten Bewertung von Essays und von personalisierten Lernsystemen, birgt das Risiko von Verzerrungen. Besondere Aufmerksamkeit muss hierbei dem Datenschutz und den IT-Sicherheitsrechten der Studierenden gewidmet werden, insbesondere bei der Verwendung von Überwachungssoftware für Prüfungen – hierbei verweisen wir auf die Position des fzs „Online-Prüfungen: Datenschutz und Kompetenzorientierung verbinden“ vom 8. März 2021.

Auch Umweltaspekte des KI-Einsatzes sind von Bedeutung, da der steigende Energieverbrauch erhebliche Umweltfolgen haben kann. Hochschulen sollten sich dieser Auswirkungen bewusst sein.

Der fzs befürwortet eine Regulierung des KI-Einsatzes, insbesondere in der Bildung, und unterstützt die Einstufung von KI in der Bildung im Sinne des Absatzes 56 des AI Act der EU als Hochrisikoanwendung. Bildungseinrichtungen sollten die Freiheit haben, den Einsatz von KI nach lokalen Gegebenheiten zu steuern und sicherzustellen, dass die Implementierung, Überwachung und Bewertung in Abstimmung mit allen Beteiligten, insbesondere den Studierendenschaften und Beschäftigten, erfolgt.

Finanzierung von KI in der Hochschullandschaft

Der Einsatz von Machine Learning an Hochschulen – ob in der Forschung, in der Lehre, im Studium oder bei Bewertungen – benötigt eine angemessene, nachhaltige und ausreichende Finanzierung an allen Hochschulen (privat oder staatlich).

Studierende brauchen einen Zugang zu KI-Tools unabhängig ihrer individuellen finanziellen Möglichkeiten oder der ihrer Hochschule. Ohne diesen gleichberechtigten Zugang besteht durch KI die Gefahr, ohnehin schon bestehende Ungleichheiten in der (Hochschul-)Bildung zu verstärken.

Bund und Länder sind hier in der Verantwortung. Die KI-Strategie der Bundesregierung kann nicht ohne zusätzliche Finanzmittel umgesetzt werden. Alle Hochschulen müssen mit ausreichenden Mitteln ausgestattet werden, um die anstehenden Aufgaben in Bezug auf Machine Learning alle gleichermaßen bewältigen zu können. Doch die Finanzierung darf dabei nicht über Wettbewerbe wie das Bund-Länder-Förderprogramm „Künstliche Intelligenz in der Hochschulbildung“ erfolgen. Werden die Ergebnisse der ersten Förderrunde betrachtet, ist festzustellen, dass wieder vor allem die großen Universitäten gefördert werden, die auch in anderen Wettbewerben sehr viel Geld erhalten. Zudem hat das Programm, im Gegensatz zu anderen Programmen, ein Transparenzproblem. Während bei anderen Programmen die Titel und die Beschreibung von geförderten Anträgen direkt und organisiert veröffentlicht werden, war bei dem Bund-Länder-Förderprogramm „Künstliche Intelligenz in der Hochschulbildung“ eine Anfrage nach dem Informationsfreiheitsgesetz nötig, um diese Informationen zu erhalten.

Daher muss erneut Gebrauch von Art. 104c GG gemacht werden und bspw. ein „KI-Pakt Hochschule“ entstehen, durch den diese bedeutsame Investition in die Bildung auch vom Bund analog zum „Digitalpakt Schule“ getragen werden kann.

Gerade in dieser transformativen Zeit ist es unerlässlich, dass die Auswirkungen von KI auf die Bildung durch öffentlich finanzierte Forschung untersucht werden sollten, um sowohl pädagogische als auch menschenrechtliche Implikationen zu verstehen. Eine koordinierte öffentliche Strategie ist notwendig, um sicherzustellen, dass KI-Technologie zugänglich und fair bleibt.

Forderungen des fzs

Menschliche Aufsicht und Einhaltung ethischer Standards:

GenKI dürfen keine Entscheidungen treffen. Wir unterstützen ausschließlich Entscheidungsassistenz für menschliche Entscheidungsträger*innen! Bis zur Einführung von fundierten Entscheidungsempfehlungen durch erklärbare KI (XAI) und darüber hinaus, können nur so ethische Standards bei Entscheidungen gewährleistet werden.

An der Hochschule müssen gemeinsam unter Mitbestimmung von Studierendenschaften partizipativ und lernzielorientiert die Prüfungsformate in Hinblick auf KI überarbeitet werden.

Es ist essentiell, dass bei der Entwicklung und Anwendung von KI-Systemen strenge ethische Standards eingehalten werden. Transparenz in den Entscheidungsprozessen und die Nachvollziehbarkeit der Ergebnisse sind hierbei von großer Bedeutung. Nur so kann sichergestellt werden, dass die KI fair und unvoreingenommen eingesetzt werden kann.

Fairness und Gleichbehandlung:

Der fzs betont, dass KI-Systeme bisher meist Diskriminierung oder Vorurteile in ihren Trainingsdaten enthalten. Es müssen Mechanismen implementiert werden, die die Fairness und Gleichbehandlung aller Studierenden sicherstellen. Jede Form von Diskriminierung muss aktiv verhindert werden. Die vorhandenen Diskriminierungen aufgrund der Datensätze müssen transparent kommuniziert oder gekennzeichnet werden (bspw. mithilfe von Wortcluster-Analysen o.A.)

alle in der Lehre verwendeten KI-Tools müssen allen Studierenden kostenlos zur Verfügung gestellt werden

Es sollte mehr und partizipativ zu Hürdenabbau für benachteiligte Gruppen durch KI-Tools geforscht werden

Datenschutz und Sicherheit:

Der Schutz der persönlichen Daten von Studierenden steht an erster Stelle. Diese Daten dürfen auch bei Nutzung von KI-Systemen nur für bewusst, aktiv und ausdrücklich zugestimmte Zwecke gem. DSGVO verwendet werden.

Studierende müssen aktiv informiert werden und bewusst in die Nutzung ihrer Daten einwilligen. Learning Analytic Systems sind nur in Form von Opt-In i.V.m. Opt-Out Verfahren zu befürworten

Hochschulen müssen autonom von kommerziellen Partner*innen sein

Angepasste Lern- und Lehrkonzepte:

Die Verwendung von KI Tools bei Prüfungen sollte einheitlich und restriktiv geregelt werden

Die Teilhabe an diesen Prozessen muss in  den Hochschulgesetzen festgeschrieben werden

Es müssen Anwendungskurse für Studierende und Lehrende etabliert werden, die einen ethische Einsatz und Nutzbarmachung von KI in akademischer Arbeit vermittelt

Die (Anreize für) Weiterbildungen für Lehrende müssen in Zielvereinbarungen festgeschrieben werden

Die langfristigen Auswirkungen von KI auf Studiengänge müssen geprüft und angestrebte Kompetenzen und Lernziele überarbeitet werden

Die Einführung kompetenzorientierter Prüfungsformen sind auch unabhängig von KI-Entwicklung dringend nötig

Antrag 74MV-I01 „Stellungnahme zu KI“ auf der 74. Mitgliederversammlung beschlossen