Herzlich willkommen um Urlaub im User-Service-Podcast.

Heute sind wir live auf der OC3, der Open Confidential Conference.

Und ja, ich habe einen sehr interessanten Interviewpartner.

Vom Thema geht es heute sehr in Richtung KI.

Das habt ihr sicherlich am Titel auch schon gesehen.

Und als ich den Arne mal so auf Social Media verfolgt habe, habe ich mitbekommen, dass er sich in einem Bundesland damit beschäftigt, wie dort KI eingeführt werden kann.

Und ich glaube, du hast da eine Funktion, in der du die Strategie dessen mitdefinierst.

Und ja, dementsprechend willkommen Arne und erzähl doch mal so ganz kurz, wer bist du und was machst du eigentlich?

Ja, hi Enrico.

Vielen Dank, dass ich bei dir sein darf.

Ja, Strategie ist so ein Thema.

Eigentlich, ich mag gar keine Strategie, sondern ich mag Sachen in Nutzung bringen.

Und das ist das, was mich eigentlich antreibt.

Ich komme ursprünglich aus der Statistik, habe da meinen Hintergrund und habe angefangen im Forschungsdatenzentrum tatsächlich u arbeiten bei Information und Technik in Nordrhein-Westfalen, dem Landesbetrieb, der gleichzeitig aber auch das Statistische Landesamt ist.

Das heißt, Daten waren immer das, was ich total spannend und faszinierend fand.

Jetzt kommt dazu, ich bin total faul eigentlich.

Das heißt, schlau faul, der ist dann in dem Fall wahrscheinlich, oder?

Das anderen überlassen, das u beurteilen.

Mir ging es vor allen Dingen darum, herauszufinden, wie kann ich mit wenig Arbeit das Gleiche erwirken und habe dann darüber mich recht früh schon mit maschinellem Lernen beschäftigt.

Also eigentlich das klassische maschinelle Lernen, Regression, XGBoost, Random Forest, also diese ganzen klassischen Lernverfahren, die es gab, bevor das Thema GNI aufkam.

Ja.

Und habe darüber dann im Grunde den Sprung dann gemacht in die IT bei uns und habe das KI-Labor bei ITNRW mit aufgebaut.

Was hat dich da hingetrieben?

Also was verbindest du bezahlen, dass du sagst, ich möchte professionell irgendwie mich mit Statistik beschäftigen.

Es gibt ja wahrscheinlich, also aus meiner Perspektive, ich als Informatiker denke bei Zahlen immer so, oh, Steuererklärung, man, Excel, muss das alles sein?

Also Zahlen können ja durchaus auch etwas sehr Trockenes sein und ich glaube, du hast da vielleicht eine ganz andere Perspektive drauf.

Bei Zahlen meine ich jetzt nicht deine Steuererklärung, die ich genauso wenig mag wie du.

Mir geht es mehr um, was erzählen Zahlen für Geschichten?

Also wir reden jetzt über amtliche Statistiken.

Das sind Zahlen, die die Lebensverhältnisse von Personen beschreiben, die darstellen und eine Geschichte erzählen darüber, was ist eigentlich machbar?

Was brauchen wir demnächst für Kindergärten?

Wie viele Lehrer sollten wir einstellen?

Wie kommen wir im nächsten Jahr mit dem Haushalt durch?

Was sollten wir als Gesellschaft verantworten?

Und wo sollten wir Geld für ausgeben?

Und das finde ich total spannend.

Also ich finde das total reizvoll, damit Geschichten u erzählen.

Und ja, das ist meine Faszination.

Gibt es da einen Wandel in diesem Thema?

Also jetzt für mich als Bürger, das ist dann immer so, dass man, da ist man ja schon in Deutschland auch immer gerne und viel am schimpfen und hat dann so den Eindruck, dass vielleicht viele Daten da sind, aber aus vielen Daten dann gar nicht so viel Sinn gemacht wird und dann eher reaktiv aufgrund von Dingen, die dann einfach nicht mehr anders regelbar sind, gehandelt wird.

Also sind wir so weit, dass wir über Predictive-Ansätze, dass sowas tatsächlich schon aktiv ist?

Was ist da so der Stand?

Ich glaube, es gibt da ganz, ganz tolle Ideen, was man mit Daten machen kann.

Es gibt ganz viele, also du hast es ja gerade schon so ein bisschen angedeutet, Predictive, also was kann man alles daraus ableiten?

Ich möchte aber, bevor wir darauf gehen, was damit gemacht wird, nochmal diese These, der Staat als Daten-Messi, vielleicht nochmal so aufgreifen.

Also vollkommen richtig ist, dass wir viele Daten sammeln.

Also wir erleben das jetzt gerade auch in den Diskussionen, die es um Bürokratieabbau geht.

Ich weiß nicht, das FDP-Vorschlag war, glaube ich, wir schalten jetzt mal ein paar Sachen ab und gucken, ob das überhaupt Auswirkungen hat.

Beispielsweise der Bäcker, der dann nicht mehr aufschreiben muss, wann die Leute in die Pause gehen oder so.

Sicherlich auch ein paar berechtigte Punkte dabei.

Wenn wir aber Richtung Gesundheitsdaten schielen beispielsweise, also die Vorhersage, wo entstehen vielleicht mehr Krankheitsfälle, hat das Auswirkungen auf die Bevölkerung vor Ort?

Wo sind die Ursachen?

Also, dass man da schon Erkenntnisse iehen kann, finde ich enorm wichtig.

Gleichzeitig, so als Gegenpol, sehe ich jetzt in den USA die komplett komplementäre Bewegung, also entgegengesetzte Bewegung, dass Statistiken auf einmal nicht mehr geführt werden.

Also, wenn das Statistikamt in den USA keine validen Zahlen mehr liefern kann, weil jetzt der Zensus dort nicht mehr durchgeführt wird, wenn nicht mehr klar ist, wächst die Wirtschaft oder schrumpft sie, wie soll der Staat sein Handeln daran ausrichten?

Wie wollen wir als Gesellschaft demokratisch leben, wenn wir nicht wissen, was Sache ist?

Wenn die Meinungsmache dann tatsächlich darüber bestimmt, was unsere Wahrnehmung im Grunde angeht, Das finde ich total schwierig.

Deswegen, ich bin ein großer Verfechter davon, dass wir als Staat Daten erheben, unabhängig von Interesse.

Also, das finde ich auch ganz, ganz wichtig.

Wir müssen nur was damit machen.

Und ich glaube, da hast du einen Punkt aufgetan, der tatsächlich noch ein Potenzial eigt.

Ja, okay.

Jetzt hast du wahrscheinlich dich mit dem Thema schon beschäftigt, lang bevor dem OpenAI-Release hätte ich jetzt fast gesagt, weil so aus meiner Betrachtung kenne ich den Begriff Chatbot schon eine ganze Langeweile.

Das war immer so ein ominöses Ding.

Was macht man denn damit?

Und ich glaube, LLMs gibt es auch schon deutlich länger, als es ChatGPT gibt.

Wie hat sich das in deinem Zeitstrahl irgendwie verändert oder was ist da so für dich passiert?

Hat sich das komplett gedreht oder beschäftigst du dich eigentlich nach wie vor mit denselben Themen wie schon vor, weiß nicht wann, vor fünf Jahren beispielsweise?

Gar nicht.

Also ich beschäftige mich mit fast gar nicht dem Thema von vor fünf Jahren.

Was aber wichtig ist, das erzähle ich mal sehr gerne, wir haben das KI-Labor gegründet bei ITNRW, bevor der Hype kam.

Wir waren vor der Welle in der Verwaltung.

Also das möchte ich auch nochmal hier im Podcast sagen.

Das heißt, wir haben recht früh schon das Potenzial gesehen, was jetzt beispielsweise die GPT-2-Modelle konnten.

Die waren auch Open Source damals.

Ja.

Und wir haben in der Verwaltung enorm viel Text.

Also wir haben viele, viele Daten.

Wir haben viel, viel Text.

Wir kommunizieren immer irgendwie schriftlich.

Das heißt, wir haben eine enorme Wust an Daten, die da irgendwie rumzirkulieren.

Und da haben wir recht früh schon gesehen, dass wir mit KI-Labor ein Werkzeug haben, was die Auswertbarkeit von solchen Sachen tatsächlich enorm unterstützen kann.

Und da war schon so, wo wir gesagt haben, da sollte man darauf schielen.

Das heißt, wir haben begonnen, damit u experimentieren, um klassischerweise neben dem Chatbot machen wir als nächstes die E-Mail-Klassifikation.

Das ist, glaube ich, auch mal so der No-Brainer, der dann kommt.

Also ich glaube, das Erste, was man so im Data Science-Bereich macht, ist irgendwie mit Naive Base so einen Classifier u bauen.

Wir haben das dann mit dem GPT-2-Modell beispielsweise gemacht oder dem BERT-Ansetzen, die ja schon 2018 rausgekommen sind.

Und jetzt mit dem Gen AI hat sich das schon gedreht.

Also ChatGPT war schon so ein, wie sagt man das, der iPhone-Moment, war, glaube ich, das, was man in der Zeit schon liest.

Das ist schon so.

Es ist einfach in der breiten Masse zur Verfügung gestellt worden.

Und einfach jeder kann sich da relativ einfach irgendwie eine Vorstellung jetzt von machen, was dann so geht.

Ob man dabei dann auch einen Use Case für sich identifiziert, wo man sagt, das ist toll oder das hilft mir.

Das ist, glaube ich, dann nochmal eine ganz andere Thematik.

Aber die Zugänglichkeit ist halt eine ganz andere.

Ich weiß nicht, vorher war das ja wahrscheinlich dann schon so, dass du wangsläufig irgendwie dich ein bisschen mit Rechnerarchitekturen auskennen musstest und irgendeinen Sponsor haben musstest, der dir da so eine Kiste hinstellt, die dann irgendwas tut.

Und allein dadurch wurde, glaube ich, dieser ganze Markt umindest aus meiner Perspektive mit beflügelt.

Ich muss auch ugeben, ich beschäftige mich jetzt noch nicht ewig damit.

Für mich ist das eher so ein Randthema.

Ich komme ja so aus Softwareentwicklung, DevOps-Plattformen-Themen und sowas.

Aber ich habe nicht den Eindruck, dass so eine Varianz auch an Open-Source-Tools, die dir im Grunde erlaubt, weiß ich nicht, auf einem Mac heute oder auf einem Linux-Rechner, weiß ich nicht, mit ein, wei Stunden Arbeit, hat man da einen lokalen Stack laufen.

Ob der jetzt den Großen gegenüber, ja, dasselbe kann, ist mal eine ganz andere Thematik, aber ist es ugänglich.

Also ein bisschen wie so ein Raspberry Pi für 40 Euro halt auch was ist, wo du irgendwie ein bisschen Linux drauf machen kannst, was dann aber in groß gar nicht so viel anders ist.

Und ich glaube, diese Zugänglichkeit und diese Community, die sich darum jetzt so usammengefasst hat, um da Tools u bauen, das ist so umindest aus meinem Eindruck etwas, was viel, viel mehr jetzt passiert.

Aber vielleicht kannst du mir da auch mit Fakten hinterlegen.

Ich grinse gerade so ein bisschen, weil ich an die Anfänge gedacht habe, wie wir losgelaufen sind im KI-Verbohr.

Also wir hatten versucht, das Thema KI für die Verwaltung u erschließen.

Und der Pitch, den wir mal hatten, war, wir sind uns recht sicher, dass wir u 70 Prozent mit unserem Produkt scheitern oder mit unserem Projekt.

Deswegen versuchen wir, das früh abzuschießen.

Also Fail-Fast-Strategie hatten wir bei uns implementiert und haben gesagt, wir machen jetzt mal wirklich agiles Arbeiten, weil anders geht es ja sowieso nicht.

Das hat jetzt in der Verwaltung nicht so wirklich Anklang gefunden.

ist es schon so, dass wir, ich meine, wenn du an Verwaltung denkst, dann kommen nicht so Begriffe wie Agilität, Risikobereitschaft, sondern eher sowas wie Beständigkeit, Planbarkeit, Sicherheit.

Das sind, glaube ich, die ganz großen Begriffe, die uns als DNA auch auszeichnen, der Verwaltung, mit langen Entwicklungszyklen, die wir dann auch brauchten, um KI vielleicht u trainieren.

Also wir haben auch ein Feintuning vorgenommen oder ein Modell von Scratch gebaut.

Also jetzt kein Sprachmodell, sondern tatsächlich so ein Classifier beispielsweise an Bildern.

Das heißt, wir haben die dann annotiert, so nennt man das ja, dass man im Vorfeld dann sagt, das ist halt die Hund und das ist der Hund, das ist die Katze.

Ja.

Und davon eine ganze Menge.

Bei uns war es dann, das ist der Briefkopf und das ist der Text.

Und dann hat man versucht, darüber diesen Classifier u bauen.

Und das war teuer.

Das war teuer, das war langsam und das hat nicht gut funktioniert.

Und mit dem ChatGPT, ach so, das hat nicht gut funktioniert und damit war natürlich die Nachfrage auch nicht groß.

Wir sind total hinter Kunden hergelaufen und haben gesucht, hey, magst du nicht mal KI mit uns machen?

Wir haben da eine Idee und dann war es schwer, da aber Leute für u begeistern.

Durch ChatGPT war das greifbar.

Und das, was du gerade gesagt hast, das war auf einmal da.

Es war anfassbar, jeder konnte sich was darunter vorstellen.

Und das hat ganz viel freigesetzt.

Also diese Zero-Shot-Modelle, mit denen wir jetzt ganz viel machen können, out of the box.

Also Coding-Assistent, kein Problem.

Übersetzen von Deutsch in, weiß ich nicht, Suahili.

Das ist halt da einfach.

Das klappt halt einfach.

Immer mit den gleichen Sachen.

Da hat sich bestimmt auch was, also wie war denn so u dem Zeitpunkt, wo ihr angefangen habt, gab es da schon viele fertige Modelle.

Also GPT-2 hast du gerade erwähnt, dass da Dinge waren, gerade bei, ja das, was du eben geschrieben hast, war ja dann eher so Machine Learning, OCR-Geschichten.

Also, dass dann die Klassifizierung von irgendwelchen Eingangstaten da ist.

Wie sah dann das Ökosystem, auf das man da urückgreifen konnte, zu der Zeit aus, wo ihr damit angefangen habt?

Tatsächlich schon verwandt.

Also, du hast gerade Chatbots angesprochen.

Also, wir haben immer eigentlich auf Open Source gesetzt bisher, weil das aus meiner Sicht den riesigen Vorteil hat, dass man Sachen ausprobieren kann, ohne eine langfristige Beschaffung starten u müssen.

Also, in der Verwaltung ist es sehr schwer, einfach mal so u experimentieren.

Man braucht meistens einen Rahmenvertrag, aus dem man Leistung abrufen kann.

Man braucht Verträge mit Lieferanten.

Das ist aber ganz schwierig, wenn ich nicht weiß, wo ich hin möchte.

Also, wenn ich war ein Ziel so grob habe, aber wie ich da hinkomme, weiß ich gar nicht.

Ich weiß nicht, wie der Weg dahin ist.

Ich möchte Sachen ausprobieren und da ist Open Source tatsächlich total spannend.

Also, wir haben eigentlich immer mit Hugging Face, weil immer die erste Website, die aufgegangen ist, wo wir dann nachgeschaut haben und da haben wir sehr viele Modelle nutzbar machen können für uns.

Mit dem dann weiter voranschreiten und du hast dann gesagt, ja, ChatGPT kam, auch Anwendenden haben irgendwie eine Awareness dafür bekommen, da gibt es was und haben es vielleicht auch im privaten Rahmen mal ausprobiert und damit ein bisschen rumexperimentiert und sind dann wahrscheinlich auf die Idee gekommen, ui, das, guck mal, ich habe das mal ausprobiert, können wir sowas dann nicht auch?

Und das sind ja wahrscheinlich dann Anforderungen, die auch dann u euch gekommen sind, oder?

Anforderungen, ja, nicht ganz so konkret tatsächlich.

Also, wirklich mehr dieses möchte ich haben, aber sicher.

Das ist, glaube ich, das Zentrale, worum es geht.

Ich merke es vor allen Dingen, wenn ich auf mein Team gucke.

Also, wir haben mit vier Leuten begonnen.

Das war 20, ich glaube, 2020 und mittlerweile jetzt, oder, ja, mittlerweile sind wir jetzt um die 30 Leute, die jetzt im Rumpfteam arbeiten und, ja, wir haben mit vier Leuten, und, ja, und es ist so, dass wir merken, dass immer mehr Wünsche einkommen.

Leute erfahren, also, ja, also, ja, also, ja, wir haben mit KI, ja, was möglich ist mit KI, nutzen das im Privaten, wissen, was geht, dass wir jetzt da nicht allzu lange hinterher sein, hinterher gehen können als Verwaltung, ist auch klar.

Das heißt, wir müssen damit halt, wir müssen Alternativen und Lösungen anbieten.

Was waren da so die größten Schwierigkeiten, die ihr hattet wischen dem, also, es gab ja dann wahrscheinlich irgendwann so ein, das Labor und die ersten Ergebnisse, die ihr dann hattet, dann der Zulauf anderer, die dann gesagt haben, oh, Mensch, das wollen wir jetzt tun, das geht dann weiter voran, ihr seid von vier auf 30 Personen gewachsen, da wird ja irgendwann, da gibt es ja jetzt bestimmt auch Dinge, die jetzt dann auch nutzbar sind und die, wo irgendwie Produkte dann draus erstehen oder wie kann ich mir das vorstellen, was waren da so die größten Hürden, du hast eben schon gesagt, Beschaffungsprozess ist natürlich ein Thema, was kann ich mir aus der Sicht einer Behörde so vorstellen, was ist denn da noch so, was liegt denn da noch so im Weg?

Wir brauchen neue Hardware, also wir sind jetzt gerade hier auf der OC3, aber Cloud ist ein schwieriges Thema, also wir kommen sicherlich gleich noch drauf u sprechen, aber in die Cloud u gehen, ist für Verwaltung, glaube ich, ein sehr schwieriges Unterfangen, aus vielen guten Gründen auch, aber die Beschaffung von Hardware und die Betriebnahme von so einer neuartigen Technologie, das ist schon etwas, wo wir uns für strecken müssen.

Ja, okay, also überhaupt erstmal die Ressourcen dann u bekommen, auf denen das dann läuft, das hat dann wahrscheinlich auch da dann viel mit Netzwerk u tun, also Netzwerk im Sinne von Leute kennen, die dann vielleicht doch mal irgendwie sagen, naja, komm, ich habe da vielleicht noch was stehen und dann geht es darüber los, oder?

Total, also das auf jeden Fall, das ist das, was ich auch so in meinen letzten wei Jahren absolut mitgenommen habe, dieser Mythos des einsamen KI-Experten, der im Keller da sein LLM feintuit und dann aus der Taufe hebt und es lebt und kann alles, das ist so weit, also es könnte nicht weiter weg sein von dem, was wirklich ist, also wir haben in jedem Bereich, sind wir angewiesen auf Teile unseres Hauses, die uns unterstützen, sei es die Netzwerker, sei es unser Rechenzentrumsbetrieb, sei es aber auch unsere Juristen, die uns sagen, darauf solltet ihr achten oder die Datenschützer, die uns helfen, Sachen umzusetzen, das ist eine Organisationsaufgabe, das ist jetzt keine Keimzelle, die das alleine macht, sondern es ist, wie du schon sagst, das Netzwerk.

Gab es was, was du jetzt in der Retrospektive sagst, das hättest du dir nie vorstellen können, dass das mal ein Thema ist, mit dem du dich beschäftigst, also ich weiß nicht, ich um Beispiel habe nie gedacht, dass ich mich mal irgendwann damit beschäftigen muss, was eine Datenschutzerklärung ist und was dann da drin steht und dass ich das wirklich mal lesen muss, im Sinne von das dann auch irgendwie ausformulieren und sowas, das hätte ich vor ehn Jahren gesagt, nee, das wird ein Enrico nie tun.

Gab es was bei dir, wo du sagst, was hättest du echt nicht gedacht, dass das auch mit ein Thema dieses Gebiets für dich wird?

Das ist eine richtig gute Frage.

Boah, ich hoffe, das ist ganz, ganz viel dabei.

Also für mich persönlich auf jeden Fall.

Ich hätte nie gedacht, dass ich auf Bühnen stehe und irgendwas um Thema KI erzähle.

Also ich glaube, es gibt immer Leute, die viel tiefer im Thema sind.

Also wir haben jetzt gerade so ein paar der Konferenzen ja hier gesehen oder der einzelnen Stages, wo Experten sind, die so tief in die Thematik eingehen können.

Das ist nicht meins.

Also das kann ich nicht.

Ich glaube, was bei uns jetzt gerade viel mehr im Fokus steht, ist gar nicht dieses Technikthema.

Das können andere besser.

Und ich glaube, das ist auch ganz wichtig, dass wir da Expertise hinzuziehen.

Aber u sehen, wo haben wir einen Mehrwert für die Verwaltung?

Wo ist der Punkt, wo wir diese Technologie in Nutzung bringen und damit Probleme lösen können, die vorher nicht lösbar waren oder die komplex sind und wir jetzt auf einmal mit diesem Werkzeug was erschlagen können, was vorher nicht da war.

Also finde ich ganz toll.

Das ist etwas, was ich nie gedacht habe, dass die Technologie so weit ist, dass es funktioniert.

Und dass ich das mit begleiten darf, auf meiner Ebene, finde ich unfassbar reizvoll.

Also da bin ich auch total dankbar darüber, dass da diese Gelegenheit jetzt einfach gekommen ist und wir die nehmen durften.

Wenn wir da ein bisschen mehr hinkommen u, was ist denn da Stand heute?

Also wir haben es bis GPT und jetzt sind so ein paar Dinge entstanden.

Ihr habt ordentlich Leute gefunden, die euch mit supporten und wo es dann weitergeht.

Was steht denn da heute so?

Was macht das Land NRW mit KI?

Was gibt es vielleicht auch schon für nutzbare Dinge?

Unser Aushängeschild derzeit, also wir haben verschiedene Geschäftsbereiche oder Bereiche, die wir besetzt haben, wo wir was machen.

Wir haben angefangen mit den Chatbots.

Das war glaube ich das Erste, was wir im Klinikerbau aufgesetzt haben.

Ein Chatbot, der den vertriebenen Ukraine-Krieg nach dem Angriff Russlands, die nach NRW gekommen sind, geholfen hat, sich urechtzufinden.

Also das heißt, wir haben dann ein Chatbot auf die Seite des Flüchtlingsministeriums gestellt, der dann in natürlicher Sprache mit den Vertriebenen interagieren konnte, halb mehrsprachig.

Das war, glaube ich, das Erste, was wir gesetzt haben.

Und ich glaube, das ist so ein bisschen der, ja, die Fingerübung, die man immer macht, wenn man mit KI anfängt.

Und das war das Erste.

Dann haben wir viel gemacht in Richtung Data Science, also Dashboarding, Daten auswertbar machen, mit Superset beispielsweise.

Das sind so Tools, die wir aufgesetzt haben.

Aber derzeit der Bereich, wo ich unterwegs bin, das Thema Gen AI, da haben wir mit NRW Genius jetzt einen Verwaltungsassistenten aus der Taufe gehoben, der den Beschäftigten entlang der gesamten, der gesamten Verwaltungsprozesskette irgendwie Unterstützung anbieten soll.

Also sei es Fragen stellen ans LLM, sei es Dokumente hochladen, da sind dann die Nutzungen total frei.

Also da kann ganz viel mitgemacht werden.

Das ist so das Aushängeschild derzeit.

Was aber dahinter steckt, und das ist eigentlich das Spannende, ist, wir haben das von Anfang an modular gedacht.

Also wir wollten das halt zentral bereitstellen, aber unter der Haube haben wir eine Plattform aufgebaut, die KI als Commodity im Grunde nachher bereitstellen kann.

Also ich möchte nachher nicht dahin kommen müssen, einzelne Individuallösungen, sage ich mal, für jede Kommune, für jede Behörde, für jedes Referat bauen u müssen, sondern ich möchte es entral bereitstellen und ich möchte es im Grunde so demokratisiert haben, dass jeder entscheiden kann, ich brauche ein LLM, super, dann kannst du es nutzen für deine Anwendung und dann nutzt du einfach nur unseren Endpunkt, den wir dann bereitstellen.

Gibt es da extreme Unterschiede?

Wenn ich jetzt, ich weiß nicht, so ein Land hat ja mehrere Organe, die da irgendwie so drin sind.

Da gibt es wahrscheinlich irgendwie, keine Ahnung, Lehrer sind ja auch irgendwie Beamte.

Dann gibt es wahrscheinlich Menschen, Personalausweise ausstellen, dann gibt es ganz, ganz viele Funktionen, wo ich wahrscheinlich nicht mal zwei Prozent dessen benennen könnte, wo ich mich dann frage, lässt sich das, ist das komplett generalistisch, dass man da Sachen hat, wo man sagt, das funktioniert für alle oder habt ihr da auch zum Teil total unterschiedliche Modelle, die ihr da verwendet oder Sachen, die total Purpose-Build im Endeffekt sind.

Ja, die, also Thema Modelle ist super spannend.

Wir können, ich meine, das größte Modell hat 400 Milliarden Parameter.

Ja.

Also, das ist natürlich immens groß.

Das kann alles wahrscheinlich abbilden, ist nur wahrscheinlich sehr teuer.

Also, wenn ich jetzt eine Anfrage stelle, was ist 2 plus 2?

Dafür brauche ich nicht 400 Milliarden Parameter.

Das würde auch wahrscheinlich ganz anders möglich sein, das abzubilden.

wir setzen auf Open Source Sprachmodelle.

Das heißt, wir können da beliebige verwenden.

Derzeit nutzen wir halt ein Mixtral-Modell, also ein Mixtral-Experts, was ja dann je nachdem in verschiedene Kanäle reinspringt und dann da das Korrekte dann selektiert.

Ich glaube, für die Zukunft werden wir da noch viel stärker hinkommen.

Also, ich weiß gar nicht, wer das war vorhin, der gesagt hat, wir werden Richtung KI-Modell-Kurator, Toren denken müssen.

Ja, ich glaube, der Kollege von Microsoft war das vielleicht.

Genau, Thomas, ja.

Ich fand das super, ich fand das super u sagen, dass nachher eine wichtige Expertise sein muss, welches Modell setze ich wofür ein?

Ja, total.

Also, ich meine, das ist ja, ich finde mich da so ein bisschen wieder in dem, was so im Open Source Software-Entwicklungsbereich irgendwo ist.

Da gibt es viel Aufschrei, gab es damals, als so rauskam, wenn mal so ein Docker-Hub mal durchgescannt wird, wie viel davon eigentlich vulnerable ist und wenn man so bei Node.js Packages mal guckt, was da eigentlich so drin ist oder wer da so maintained ist, dass das natürlich auch alles ein riesiges Minenfeld sein kann, wenn man Dinge einfach konsumiert, ohne Rückschlüsse darauf treffen u können, was ist denn da eigentlich so drin.

Dann ist, glaube ich, damit verbunden, glaube ich, auch eine riesige Diskussion rund um Copyright.

Wem gehört denn das da und was ist denn da jetzt eigentlich drin und ist das eigentlich nachvollziehbar?

Ich glaube, Fakt ist, es kann nicht jeder sein eigenes großes Modell komplett selbst bauen.

Also ich glaube, davon kann man sich wahrscheinlich irgendwo verabschieden, es sei denn, wir haben, wir kriegen Moore's Lore nochmal ein bisschen weiter beschleunigt und wir haben bald auf dem Schreibtisch eine Kiste stehen, die uns derart großes LLM in der Zeit- und Energieverbrauchsverfügbarkeit zusammenstellt, dass das einigermaßen günstig wird, aber so richtig große Modelle bereitstehen, da ist ja auch OpenAI oder Meta oder so, die sind ja ja ordentlich lange am Rechnen mit Kapazitäten, die meinen Horizont völlig überschreiten.

Was ein guter Punkt ist, was du gerade so nebenbei gesagt hast, ist das Thema, was steckt denn da überhaupt drin?

Kann man das einsehen?

Also ich glaube, es ist nicht klar, was steckt überhaupt bei OpenAI's Sprachmodell drin.

Betriebsgeheimnis vermutlich.

Aber wir haben jetzt in den letzten Wochen ja die Zeitungsmeldung gesehen, dass beispielsweise russische Netzwerke so eine Art von Muddling the Water betreiben, also Sprachmodelle im Grunde mit Fehlinformationen füttern und dann nachher, wenn dann eine Frage kommt um Thema ist das eine Demokratie oder so, dann sagen ja, obwohl es falsch ist.

Und ich glaube, das sind ganz, ganz wichtige Punkte für die Zukunft, dass wir reingucken müssen, gibt es Verzerrungen in welcher Art, ist es mit der Faktentreue, welche Trainingsdaten stecken da drin?

Also ist es jetzt nur Reddit, ist es nur X nachher an Inhalten, die dann noch dazukommen?

Das ist super relevant.

Deswegen freue ich mich auch, dass wir jetzt in NRW mit dem Fraunhofer-Institut ja ein erstes deutsches Sprachmodell auch haben, das Teuken-Modell, wo klar ist, welche Daten da drin stecken und ich glaube, da wird es viel mehr hingehen und deswegen, ich habe ganz, ganz großes Herz für Open-Source-Produkte, in dem Fall auch Open-Source-Sprachmodelle, also offene Gewichte, wenn klar ist, was steckt denn da drin und wenn Mystery AI nachher dann aufgrund der KI-Verordnung offenlegt, was da verarbeitet ist, ist das ganz, ganz toll.

Also ich glaube, das ist eine Riesenstärke, die wir damit haben und man kann viel über die KI-Verordnung reden.

Ich glaube, das ist aber einer der entralen, positiven Aspekte, dass wir über Transparenz nachher auch Vertrauen in die Technologie erwirken können.

Testet ihr Modelle?

Also ich meine, auf der einen Seite kann man natürlich sagen, okay, wir benchmarken mal, auf der anderen Seite, wenn ich da auch wieder aus der Softwareentwicklung drauf gucke, dann sage ich mir, naja, wenn ich eine Software geliefert kriege, dann habe ich Eingangsparameter, ich habe erwartete Ausgabe-Parameter und dann schreibe ich mir halt einen Test und dann merke ich beim Release-Wechsel, ob irgendwas grundsätzlich anders ist.

Macht ihr sowas in der Richtung auch?

Ja.

Ich bin mir nur nicht sicher, wie gut das funktioniert.

Ich meine, es gab auch die Diskussion, dass die großen Sprachmodelle merken, wenn sie getestet werden.

also ja, wir testen.

Ist das dann der Turing-Turing-Test?

Genau.

Wir können ja wei Anfragen stellen, um beispielsweise herauszufinden, gibt es ein Bias Richtung der Geschlechterparität oder was auch immer oder und das kann man machen, das machen wir, da gibt es ja auch Testdatensätze für, Open-Source-Testdatensätze für.

Ob das aber ausreicht, das ist total schwierig.

Also wir sind nicht an dem Punkt jetzt in der Verwaltung, dass ich sage, wir automatisieren mit KI, sondern wir unterstützen mit KI die Prozesse.

Das heißt, am Ende trifft die Entscheidung immer noch der Mensch.

Also wir haben bei unserem NRW Genius drinstehen, dass der Mensch nicht aus der Arbeitssorgfalt entlassen ist.

Also du setzt das Werkzeug ein und was du mit dem Ergebnis machst, ist dir überlassen.

Also das ist ganz wichtig.

Ich glaube nicht, dass wir schon da sind, dass wir auch mit dem Reasoning-Modell nicht an dem Punkt sind, dass wir tatsächlich eine vollständige Automatisierung vornehmen können, ohne dass ein Mensch drauf schaut, vor allem nicht in der Verwaltung.

Ja, ich glaube, das ist in vielen Bereichen so.

Ich meine, das, was ihr macht, das hilft Menschen.

Es gibt natürlich auch Bereiche, wo ich das Gefühl habe, da geht es nicht unbedingt darum, Menschen u helfen, sondern vielleicht auch irgendwie militärisch da irgendwo Sachen u machen.

Das sind, glaube ich, nochmal ganz andere auch, ja, ethische Fragen, die man sich da irgendwo stellen kann.

Aber ich sehe es halt auch so, also am Ende ist es ein Werkzeug und das lernst du halt u verwenden und dann gehört wahrscheinlich auch u eurem Job irgendwo mit dazu, nicht nur diese Modelle bereitzustellen, sondern auch irgendwo die richtigen Maßgaben u entwickeln und die Adoption dann halt auch insoweit u treiben, dass jetzt halt wirklich dann, ja, nicht irgendwann jemand rauskriegt, hey, guck mal, das Amt, das schickt mir immer automatisierte Sachen und guck mal, der schreibt mir sogar ein Gedicht, wenn ich möchte.

Ja, also für mich ist KI auch mehr ein Thema von Change als von, wie geht das technisch also für die technischen Probleme findet man eine Lösung.

Das müssen wir nicht machen.

Ich glaube, wir müssen darüber nachdenken, wo setzen wir KI ein, wofür setzen wir die ein, was sind die Rahmenbedingungen und deswegen freut mich das, dass wir jetzt auch im Bereich vom NRW Genius es geschafft haben, mit den Personalvertretungen, mit den Hauptschwerbinnen Vertretungen komplett gemeinsam einen Blick darauf u werfen, wo wollen wir das einsetzen, was sind Bedingungen, die notwendig sind, damit das auch funktioniert und das sind Erfahrungswerte, die wir jetzt gerade machen.

Also wir sind weit von diesem Punkt entfernt, dass wir sagen, KI ist jetzt also wirklich das Werkzeug und wir wissen, wofür jetzt setzen wir das ein, sondern wir lernen gerade damit umzugehen.

Wir lernen gerade zu gucken, wo wollen wir mit dieser Technologie hin und was kann die und da sind ganz viele Fragen, die auch im Rahmen dessen erst jetzt aufkommen, also durch die Nutzung erst aufkommen.

Ich bin felsenfest der Überzeugung, wenn wir nicht begonnen hätten, ein Produkt in die Hand u nehmen und es in die Testung u bringen, dass wir diese Fragen niemals erkannt hätten und ich glaube, die Antworten darauf sind noch gar nicht gefunden.

Also ich glaube, die KI-Verordnung gibt uns ein bisschen, nimmt es an die Hand und gibt uns so ein paar Ideen mit, aber ich glaube, wir brauchen die Expertise in der Verwaltung, diese Technologie einzusetzen und dafür müssen wir damit experimentieren.

Das finde ich ganz, ganz wichtig.

Du hast ja, also wenn wir jetzt noch ein bisschen tiefer in NRW Genius reingehen, Chatbot, hattest du gesagt, ist ein Thema, was kann der noch so?

Genau, wir haben fünf Funktionalitäten, die wir derzeit anbieten.

Das eine ist der freie Chat, also das Interagieren mit einem Sprachmodell, wofür auch immer, also das muss man dazu sagen.

Wir haben das Frag mein Dokument, das heißt, wir können Dokumente hochladen, die befragen, was glaube ich eine der meistgenutzten Funktionalitäten ist, weil wer liest gerne lange Dokumente, wenn er es sich irgendwie einfacher machen kann.

Wir haben eine generische Funktion, die nennt sich Textgenerierung, das heißt, man kann Dokumente reinladen oder freien Text eingeben und dann im Grunde auswählen, was soll da rumkommen, eine Mail vielleicht, ein Vermerk oder so was eine Art.

Dann haben wir einmal die Textzusammenfassung als Funktionalität gebaut und dann haben wir noch eine Rechercheassistenz.

Das heißt, im Grunde ist das ein Rack-System, was sich dahinter verbirgt, aber mit den Verwaltungsdaten, weil eben die nicht trainiert sind auf den Verwaltungsdaten, weil die eben intern bleiben.

Die sind, da bin ich mir recht sicher, dass da kein Crawler dran gekommen ist von den großen Model-Providern, was für uns, eigentlich müsste jetzt die Frage von dir kommen, warum macht ihr das überhaupt, weil nutzt doch einfach den Chat, weil ich meine, ich weiß ja nicht, wie du deine Modelle nutzt, aber im Grunde hat man immer nur ein Fenster und dann interagiert man damit und dann nutzt man das irgendwie weiter.

Ja, wobei ich sagen muss, also ich bin wahrscheinlich ähnlich oder noch fauler als du es in manchen Fällen bist, weil ich denke mir halt, ich will gar nicht das Browserfenster aufmachen, ich will vielleicht auch von manchen Prozessen gar nichts wissen und ich will vielleicht auch, dass die automatisiert laufen und dann will ich vielleicht, dass da ein Workflow im Hintergrund schon mal was tut und der soll mir dann kurz bevor es ans Senden geht nochmal einen Prompt geben und sagt, hier, guck mal, das würde ich jetzt so tun, willst du da vielleicht noch wei Sätze ändern und dann will ich den Button drücken und dann soll da hinten irgendwas automatisiert weitergehen.

Also da wäre dann halt auch so ein bisschen die Frage, wie die Zukunft der, ja, ich glaube in der freien Welt sagt man Applikationsentwicklung bei euch wahrscheinlich eher Verfahrensentwicklung, wie das eigentlich aussieht und ob da eigentlich dann auch offene APIs innerhalb von Behörden dann entstehen, die, oder von euch dann irgendwo auch entstehen, die dann damit eingebunden werden, also das ist was, wo können wir, da können wir gleich nochmal mit anknüpfen, aber du hattest eben ja gesagt, warum macht ihr das überhaupt so und ich glaube, da hast du auch nochmal so ein paar Fakten und Sachen drauf, warum ihr euch überhaupt damit beschäftigt und was da für euch eigentlich auch als Land für Wandel ansteht, der ja nicht nur für NRW ansteht, sondern für ganz Deutschland irgendwo auch.

Genau, also für mich persönlich ist das, also wir haben ganz viele Gründe, das u machen.

Es gibt gut, es gibt sehr viele gute Gründe und ganz wenige nicht ganz so gute Gründe.

Also erstmal macht es Spaß und dann will man auch GPUs haben und die sehen auch toll aus.

Tatsächlich habe ich noch nie gesehen, muss ich sagen.

Nein?

Ich war noch nie in welchen Zentrum.

Nee, aber der tatsächlich krasseste Grund ist, wir haben ein Demografieproblem.

Also wir in der Verwaltung zahlen nicht marktkonforme Gehälter, das heißt, wir können jetzt auch nicht die Experten direkt vom Markt weggreifen und ich sag mal, die A-League der Studenten und Studentinnen, die kommt jetzt nicht sofort u uns erstmal.

Das heißt, da haben wir tatsächlich Schwierigkeiten.

Ich glaube, bis 2030 verlieren wir ein Viertel unserer Beschäftigten aufgrund von Ruhestand.

Das müssen wir irgendwie adressieren, das Problem.

Wir müssen handlungsfähig bleiben.

Das ist um einen da schon mal so dieser Effizienzgedanke, der mit KI einhergeht.

Du hattest vorhin da eine Zahl mit bei und ich finde 25 Prozent, da denke ich mir, das ist eigentlich relativ wenig.

Aber ich war vorhin in deinem Vortrag auch ein bisschen schockiert, wie viel in Summe das dann als tatsächlich Menschen.

Vielleicht ergänzt du diese Zahlen auch mal.

Genau, es wären so roundabout an offenen Stellen, die wir hätten, um die 800 bis 900 Tausend Euro Personen.

800 bis 900 Tausend Personen.

Das ist halt eine Stadt.

Das ist immens.

Jetzt muss ich dazu sagen, das betrifft jetzt nicht nur NRW, das ist bundesweit, aber ja, das ist schon eine Zahl.

Personalbedarf ist das eine.

Das andere, was für mich aber auch ganz relevant ist, ist das Thema, es muss ja auch günstiger gehen.

Also ich bin der Meinung, dass wir in der Verwaltung manche Prozesse haben, die optimierungsfähig sind, wo KI auch ein Mittel sein kann, einen Prozess neu u denken, neu u gestalten und einfach besser u machen.

Also eine bessere Erfahrung für unsere Bürgerinnen und Bürger herzustellen, schneller u machen, günstiger u machen.

Gott, jetzt sage ich es auch, also der oft itierte Bürokratieabbau vielleicht so ein bisschen mit.

Aber mir geht es vor allem, es muss einen Mehrwert darstellen.

Also warum machen wir das?

Es muss einen Mehrwert bieten.

Es muss einen Mehrwert bieten für unsere Beschäftigten.

Und insofern glaube ich tatsächlich, dass da KI ein großer Accelerator sein kann, kann, um Sachen einfach gut u machen.

Da bin ich davon überzeugt.

Und der dritte Punkt, der mir ganz wichtig ist, das Thema Sicherheit.

Ich habe ein ganz ungutes Gefühl derzeit, dass aufgrund unserer Schatten-IT Informationen rausgehen, die aus der Landesverwaltung nicht rausgehen sollten.

Ein Zitat ist mir hängen geblieben von unseren Usern.

Das hieß, ich möchte ja eigentlich nur ChatGPT nutzen, aber sicher.

Also das trage ich immer mit mir rum, weil was machen unsere Beschäftigten?

Die haben Arbeitsdruck, also die stehen unter Leistungsdruck und die wollen vielleicht auch nicht, dass 300 Seiten starke Dokumenten lesen, sondern die wollen halt helfen.

Die wollen ihren Kunden, Kunden, die wollen den Bürgerinnen und Bürgern helfen.

Und dass wir denen da ein Tool an die Hand geben, was die unterstützt, beispielsweise Wissen schneller usammenzufassen, zu aggregieren oder den Prozess einfach u verkürzen, ist ein No-Brainer.

Ja, das ist so ein bisschen, wenn es Werkzeuge gibt, die das Leben erleichtern, dann kann die Maßnahme dagegen nicht sein, dass das Mittel verboten wird.

Ich glaube, das ist immer, also gerade in der IT-Security ist das halt auch ein Thema, wenn du entwickelnden Menschen irgendwie verbietest, im Internet Dinge u tun, dann bauen die manchmal Workarounds, die dann später irgendwo auftauchen, wo man sich denkt, Ui, hätte das so sein müssen?

Und ich glaube, da ist es sicherlich dann auch eine gute Option, einfach gute Werkzeuge an Stellen bereitzustellen oder auch Richtlinien u schaffen, die auch eine gewisse Freiheit erlauben.

Aber ja, wahrscheinlich auch einfach am Ball u bleiben, was u bieten, was diesen Drang gar nicht erst so groß werden lässt.

Da kann ich was aus der Praxis erzählen.

Total spannend, weil die Entwicklung ja auch so super krass ist.

Also die Geschwindigkeit, mit der Funktionalitäten aufgrund von Sprachmodellen entstehen, ist einfach unvorstellbar.

Also wir in der Verwaltung sind immer ein bisschen langsamer, was die Adaption von neuen Technologien angeht.

Und das jetzt bei dem Thema, ist verrückt.

Fühlt sich gar nicht so an.

Also wenn ich jetzt so überlege, also ich habe das Gefühl, zumindest ihr da jetzt in NRW von dem, was du da so berichtest, da kenne ich auch nicht viele Unternehmen, die da viel schneller irgendwo mit sind und da was u gründen, da was u machen, da diese Möglichkeiten halt auch u nutzen.

Das klingt jetzt nicht so, als hättet ihr, also vor allem, weil du auch sagtest, ihr habt euch schon weit davor damit beschäftigt.

Ich kenne sonst immer so den Satz, ja, wenn man die freie Wirtschaft sieht, dann ist der öffentliche Sektor sieben bis ehn Jahre hinterher.

Seid ihr locker nicht?

Ne, sieben bis ehn Jahre würde ich jetzt auch nicht sagen, aber schon so ein Eier, zwei, drei vielleicht.

Ja, aber das ist ja im Grunde, wenn man sich überlegt, worum es geht.

Und ich finde immer, je kritischer etwas wird, je wichtiger etwas wird.

Und was kann wichtiger sein als die Verwaltung unseres Landes und der wichtigsten Daten, die wir da irgendwo so haben?

Da muss man ja auch irgendwie, da kannst du halt nicht hingehen und sagen, passt schon.

Vollkommen richtig.

Also das ist, genau, zurück um Thema Sicherheit.

Also ich glaube, wir als Verwaltung haben auch historisch gesehen, tragen wir was für uns her.

Also und das ist, wir alle Daten, die wir prozessieren, also da braucht man ja nur ein paar Jahrzehnte urückgucken, was mit Daten tatsächlich gemacht werden kann.

Wir arbeiten mit dem Vertrauen.

Also das, womit wir handeln als Verwaltung, ist das Vertrauen von Bürgerinnen und Bürgern.

Wenn ich meine Steuerdaten irgendwo eingebe oder ich lege offen, was ich alles mit meinem Geld gemacht habe im letzten Jahr, dann möchte ich die Gewissheit haben, dass das niemand einsehen kann, dass das nicht benutzt wird für Marketing oder so.

Das ist ganz, ganz, ganz, ganz wichtig und Marketing wäre wahrscheinlich jetzt noch das wenigstens Schlimmste davon.

Und das Thema Sicherheit wird da wieder relevant, wenn das so einfach ugänglich wird.

Also wir hatten das Thema Zugänglichkeit ja vorhin schon.

Ich kenne eine Behörde, in der der Zugriff auf die OpenAI-Homepage einfach geblockt wurde.

Ja.

Was haben jetzt also die Beschäftigten gemacht?

Die haben, als die Multimodalität rausgekommen ist, mit ihrem privaten Endgerät einfach ein Foto vom Bildschirm gemacht und haben das dann prozessiert und dann konnten sie das einfach so verarbeiten.

Out of the box.

Also das ist ein Arbeitsaufwand gewesen, vor wahrscheinlich ehn Sekunden das Foto u machen.

Und wenn man sich überlegt, was da an Informationen rausfließen können, das ist wirklich spannend.

Ich meine, auf der einen Seite ist es natürlich der Inhalt, der wahrscheinlich eh irgendwo gelandet wäre, aber jetzt ist da auf jeden Fall noch, was ist denn da eigentlich für ein Monitor?

Was sind da eigentlich für Zimmerpflanzen?

Und was steht denn da eigentlich auf den Post-its, die da liegen?

Und ich glaube, das ist halt auch ein wichtiger Punkt, wo dann durch das Verhindern, das dann auch irgendwo dazu führt, dass dann noch mehr drumherum preisgegeben wird, was eigentlich, ja, aber grundsätzlich ist das natürlich ein sehr großes Problem, was natürlich auch Unternehmen haben, wo man sich eben überlegen muss, wie gehen wir damit um?

Wie schränken wir das ein?

Oder wo schaffen wir Alternativen, die einen ähnlichen Leistungsumfang irgendwo haben?

An der Stelle möchte ich vielleicht hier nochmal auf dem GitHub-Repo aufmerksam machen, nämlich den Attenborough-Narrator.

Mal googeln.

Super cool.

Also ganz, ganz, ganz tolles Projekt.

Mache ich und packe ich dann anschließend auch in die Shownotes.

Genau.

Worum es mir jetzt ging, war das Thema Sicherheit.

Nämlich, was ist, wenn unsere Beschäftigten zu solchen Umgehungsmaßnahmen greifen?

Das machen die ja nicht ohne Grund.

die machen das, weil es denen hilft.

Das heißt, wir kommen nicht umhin, da eine Alternative bereitzustellen, die eben sicher ist.

Das ist aus meiner Sicht ein vorrangiges Ziel, was wir jetzt machen müssen.

Also wir müssen die Technologie den Beschäftigten sicher ermöglichen.

Wie erreicht man das?

Tja.

Wie viel Zeit haben wir denn noch?

Die Antwort habe ich darauf tatsächlich leider nicht ganz.

Also ich glaube, im letzten Jahr haben viele Unternehmen viele Experimente gemacht, um das Thema Gen AI u erschließen.

Das ging wahrscheinlich noch mit Bordmitteln.

Also die Nvidia Grafikkarte oder jetzt die Modelle, die auf einem M1 oder M2 laufen.

Das passt alles.

Wir hatten vorhin das Thema ULAMA nochmal angesprochen.

Also wie leicht man auch eigene Lösungen aufbauen kann, die dann lokal laufen.

Lokal oder Edge ist super.

Aber wie skaliert man das?

Also das ist nichts, was man gut warten kann.

Das ist nichts, was irgendwie in die Breite gut wirkt.

Das heißt, ich glaube, der naheliegende Fall ist, wir bauen alle riesen Rechenzentren auf und halten alles bei uns unter Verschluss.

Und damit kann man dann im Einklang mit der DSGVO dann KI sicher betreiben und alles ist gut.

Ich fürchte nur, dass das nicht funktioniert und nicht wirtschaftlich ist.

Wir haben jetzt beispielsweise mit Confidential Computing eine Möglichkeit, die wir versuchen u erschließen, ob wir in die Cloud gehen können, wenn wir einen Betreiberausschluss haben.

Also wenn tatsächlich die Anbieter der Cloud-Services eben nicht Zugriff auf die Daten erhalten.

Ob das ein Weg sein kann, ja, das wird man halt schauen.

Wir gehen jetzt derzeit auch in die Cloud mit NRW Genius, aber nur für Daten, die eh schon veröffentlicht worden sind.

Also das heißt, da ist kein Mehrgewinn u erwarten, falls mal was abfließt oder so.

Ja, so einfache Dinge.

Also das ist sicherlich auch eine Sache.

Du hast ja angesprochen, unterschiedliche Modelle sind unterschiedlich teuer.

Dann ist natürlich auch das Thema, unterschiedliche Infrastrukturen haben natürlich auch einen anderen Kostenpunkt.

Und da sich darüber Gedanken u machen, was lasse ich eigentlich wo laufen, ist schon eine interessante Sache.

Seid ihr da schon so weit, also was ich mich dann frage, ist, wer entscheidet das eigentlich?

Gibt es dann unterschiedliche Portale, wo ich hingehe?

Und dann gibt es den NRJ Genius in rot und da weiß ich, da darf alles, was confidential ist, irgendwo rein und einen grünen, den ich auch nach dem Wetter fragen darf?

Oder wie wird das eigentlich entschieden?

Eine einheitliche Datenklassifikation wäre super.

Also die, wo man lädt eine Datei rein und in der Datei steht drin, ist vertraulich, also darf nur lokal verarbeitet werden und bei dem anderen steht drin, ist frei verfügbar und das geht dann in die Public Cloud.

Das wäre super cool, haben wir aber nicht.

Also das gibt es nicht.

Das heißt, wir hatten das Thema vorhin ja schon, Change.

Ich glaube, wir müssen lernen, damit umzugehen.

Ich glaube, das geht nicht ohne den User.

Also wir alle haben einen Computer, der u allem fähig ist.

Also auch unsere Arbeitsplatzcomputer, die wir besitzen, haben die Möglichkeit ins Internet u gehen.

Ich kann alles machen.

Ich kann alle Daten rauskopieren und irgendwo hinspeichern.

Macht aber niemand, weil Leute wissen, was darf man und was darf man nicht.

Deswegen glaube ich, ist dieses Thema Enabling, Aufklären, Mitnehmen ganz, ganz entral.

Also wie setzen wir das tatsächlich um?

Also derzeit ist es so, wir haben verschiedene Sprachmodelle, die wir angebunden haben über unseren Model Hub und darüber wählen wir im Grunde auch eine Art von Datenverarbeitung aus.

Das heißt, der Datenverarbeitungsort ändert sich je nachdem, was man auswählt.

Der User wird darüber aufgeklärt und für die Verarbeitung in der Cloud gibt es halt nochmal einen Hinweis.

Man muss es nochmal bestätigen.

Wir haben noch andere Möglichkeiten, die wir uns anschauen wollen.

Sowas wie, wir lassen mal ein Small LLM, also ein SLM drüber laufen und versuchen u finden, ob da vielleicht personenbezogene Daten drinstehen.

Quasi so eine Routing Engine, die dann hinten dran noch kommt.

Tauchen Namen auf, dann machen nochmal einen Hinweis, ob das wirklich okay ist.

Für vertrauliche Daten ist das enorm schwer.

Also das, da sehe ich irgendwie keine Automatisierung, die wirklich sicher ist.

Aus der Perspektive der Nutzenden.

Ich versetze mich in die Lage, ich bin Lehrer in NRW.

Darf ich das nutzen?

Komme ich da ran?

Wie sieht der Weg aus?

Wie viele Nutzer habt ihr denn so?

Und wie frei ugänglich ist denn das eigentlich?

Du triffst mich jetzt gerade an einer Zeit, wo wir in so einer Zwischenphase sind.

Also wir haben im letzten Jahr begonnen, mit einer sehr begrenzten Teststellung in der Genius u verproben.

Im Einklang mit den Personalräten, im Einklang mit Schwerbindervertretungen und und und.

Und wollten erstmal gucken, was muss man regeln?

Das ist das, worum es uns ging.

Wir befinden uns jetzt gerade an der Schwelle ur Skalierung.

Also ich glaube, so in den nächsten Wochen oder Tagen wird es tatsächlich so sein, dass wir das in einem größeren Maße auch bereitstellen.

Also wir planen mehrere tausend User jetzt in den nächsten Wochen auf jeden Fall anzubinden.

Und dann werden wir Erfahrungen machen, was kommt dann urück?

Also jetzt derzeit haben wir sehr positives Feedback erhalten, was die Nützlichkeit angeht.

Viele Verbesserungsvorschläge und Wünsche, was noch als Anforderung auch eingetroffen ist.

Ja, und dann wird man sicherlich sehen müssen, wofür wollen unsere Beschäftigten das einsetzen?

Ich kann mir ganz tolle Anwendungsfälle vorstellen, also sei es bei der Bildgenerierung, also Visualisierung von Konzepten.

Also ich glaube, wir müssen es lernen, wie wir mit der KI umgehen.

Aber wenn ich mir jetzt einen Bildungsbereich vorstelle, also ich habe es auch schon benutzt, wie toll das ist, beispielsweise sich etwas im eigenen Kontext nochmal erklären u lassen.

Ja.

Ich finde das großartig.

Ich könnte mir auch noch ganz andere Sachen vorstellen.

Ich habe mich auf ein Bewerbungsverfahren vorbereitet, mit dem Voice-Mode von OpenAI, wo man live Konversationen führen kann und verschiedene Rollen durchspielt.

also ich finde das ganz faszinierend, was für Bildung da für Chancen entstehen.

Total, auch das Mathe-LLM für die Schule, dass sich die Schüler die Hausaufgaben nochmal eben kurz auch erklären lassen können.

Das bringt dann natürlich auch ganz wieder neue Herausforderungen, aber so ist das halt.

Genau, es wird niemals einen Lehrer ersetzen.

Also ich felsenfest von überzeugen, es wird auch niemals ein Schulbuch ersetzen, wo wir wirklich qualitativ gesichertes Wissen drin haben.

Aber etwas in der Hand u haben, was immer verfügbar ist, was mir meine Fragen beantworten kann, was mir hilft, einen anderen Blickwinkel u bekommen, boah, das ist schon mächtig.

Also ich hätte mir gewünscht, dass ich das früher auch gehabt hätte in der Schule.

Ja, aber ich glaube, da geht es uns mit vielen Tools, die wir heute so im alltäglichen Gebrauch haben.

Ich würde mal sagen, für dich war wahrscheinlich als Schüler auch ein Smartphone noch kein Thema.

Ich weiß nicht, wie alt du bist, aber...

Nee, das ist richtig.

Ich glaube, mich erinnert das so ein bisschen an das Aufkommen von Wikipedia.

Also Wikipedia ist keine Wissensquelle.

Das war ganz, ganz entral in meiner Schullaufbahn.

Ja, ja, das erinnere ich auch.

Jetzt sind wir beim, was ist jetzt?

Das, was unmittelbar danach kommt, ist natürlich, dass ihr irgendwo Produktivgang habt, dass hier ganz viele neue Nutzende mit dazukommen.

Was so ganz weit in die Zukunft geblickt?

Was ist deine Vision, was ist so in, weiß ich nicht, ob sich das fünf bis ehn Jahre, ob du da, formt sich da was?

Also vor fünf Jahren gab es kein Chat-GPT.

Ja.

Vor ehn Jahren gab es noch nichtmals die Transformer-Technologie.

kam 2018.

Ja, also fünf bis ehn Jahre traue ich mich nicht bei der Entwicklung.

Vielleicht wei kommen wir u auf einigen.

Meine Vision ist, dass wir als Verwaltung es schaffen, KI bereitzustellen.

Und ich weiß nicht, wofür.

Ich bin nicht derjenige, der das entscheidet.

Ich bin nicht derjenige, der sagt, das ist jetzt die KI-Lösung, auf die setzen wir.

Ich möchte, und das machen wir jetzt auch aktiv, mit der Genius-Plattform KI als Commodity bereitstellen.

Wir haben ganz, ganz viele Anfragen derzeit aus unserem Haus, aus anderen Häusern, wo es einfach nur darum geht, KI bereitzustellen.

Und wir schaffen mit den KI-Plugins, so nennen wir das, schaffen wir im Grunde, eine API einfach bereitzustellen, die Surprise, Surprise, die OpenAI-API-Specs halt hat.

Logisch.

Aber wir können die Ressourcen, die wir bei uns im eigenen Rechenzentrum haben, darüber gut verteilen, allokieren, überwachen und sind dann im Grunde die, wie was die KI-Modell, ja, Prüfer und Bereitsteller.

Und da möchte ich hinkommen.

Wir haben ganz tolle Ideen, die aus unserem Haus, beispielsweise, wir haben eine Low-Code-Plattform im Einsatz.

Du hast ja gerade gesagt, da passiert was im Hintergrund, du möchtest am Ende gefragt werden.

dafür stellen wir jetzt einfach ein Modell bereit.

Das heißt, wir wissen nicht genau, wofür die Low-Coder das dann benutzen werden, aber ich könnte mir vorstellen, dass es ganz viele Anwendungsfälle gibt.

Dokument wird da irgendwie prozessiert, Dokument soll irgendwas mitgemacht werden.

Wir fragen die KI mit einem vorgefertigten Prompt, kriegen eine Antwort urück und das alles entral über unsere KI-Plugins.

So, da möchte ich halt hinkommen, dass wir uns da keine Gedanken mehr darüber machen, ob wir KI einsetzen, sondern nur noch die Frage, wofür und unter welchen Bedingungen darf man das.

Also das ist das, wo ich halt hin möchte.

Wenn wir da in wei Jahren sind und das auch bereitstellen können für Kommunen, dann mache ich einen Kasten Bier auf.

Das wird mein Moment sein, wo ich mich wirklich urücklehne und sage, okay, das hat sich gelohnt.

Ja, ich glaube, das schafft ihr.

Das fühlt sich alles sehr so an, als würdet ihr in eine gute Richtung gehen, als würden da tolle Sachen entstehen und als würde das nutzbar werden.

Also ich sehe nicht viel, was euch da, außer natürlich so trivialen Dingen wie Beschaffung und solche Themen so im Weg steht, aber ich glaube, die Überzeugungsleistung, dass es eine Notwendigkeit gibt, darüber seid ihr hinweg und das ist etwas, wo es eigentlich nicht mehr ohne geht.

Ja, also raus aus dem Probieren in Einfachmachen.

Ja, gutes Schlusswort.

Das ist natürlich für euch da draußen auch immer der Platz, wenn ihr sagt, wie sieht denn das eigentlich mit KI in eurem Land aus oder seid ihr da vielleicht auch irgendwo an Projekten unterwegs?

Nutzt ihr eigentlich alle ChatGPT oder auch das OLAMA mit einem eigenen Modell?

Feedback könnt ihr uns natürlich immer über den Podcatcher oder über domian.user.space dalassen.

Wir freuen uns auf sämtliche Zusendungen.

Arne, es war mir ein Fest.

Ich glaube, wir könnten da noch stundenlang weiter anknüpfen, aber vielen Dank, dass du dir die Zeit genommen hast und vielen Dank für die Einblicke.

Hey, super.

Hat mich total gefreut, Enrico.

Bis dann.

Ciao.

Tschüss.

Tschüss.

Tschüss.

Tschüss.

Tschüss.

* Musik * * Musik * * Musik *