Stella: Schön, dass ihr wieder eingeschaltet habt zu einer neuen Folge von t3n Interview.

Stella: Wir sind heute zu dritt, aber bevor ich euch sage, wer hier eigentlich sitzt, Stella: gucken wir erstmal auf das aktuelle Thema.

Stella: Wir haben nämlich einen Gründer eines Startups bei uns zu Gast, Stella: der sich mal mit dem Thema Künstliche Intelligenz hier in Deutschland beschäftigt.

Stella: Wir gucken immer rüber in die USA und heute schauen wir mal, Stella: was passiert eigentlich hier in der Branche.

Stella: Gerade bei dem Thema Halluzination möchte nämlich Embraceable AI dafür sorgen, Stella: dass dieses Problem zumindest deutlich vermindert wird.

Stella: Unter anderem Zielgruppe sind Unternehmen, aber da gucken wir jetzt natürlich Stella: erstmal im Detail drauf.

Und jetzt, wer sitzt hier eigentlich?

Stella: Christian Gilcher ist bei mir zu Gast, Gründer und CEO von Embraceable AI.

Stella: Moin Christian, schön, dass du hier bist.

Christian: Ja, danke für die Einladung.

Stella: Und zu meiner Linken, falls ihr den Videopodcast seht, sitzt Wolfgang Stieler.

Stella: Er ist mein Kollege von der MIT Technology Review.

Stella: Ja, hallo Wolfgang, schön, dass du dabei bist.

Wolfgang: Hallo Stella, ich freue mich auch hier zu sein.

Stella: Der Formalthalber, du hast ja netterweise schon gesagt, Stella.

Stella: Ich bin Stella-Sophie Wojtczak, Host von t3n Interview.

Stella: Und genug der langen Vorrede.

Wir wollen jetzt nämlich mal wissen, Stella: was kann eigentlich Embraceable AI?

Stella: Was steckt da auch technologisch dahinter?

Und keine Sorge, ihr werdet keinen Stella: Knoten im Kopf bekommen.

Stella: Wir machen das hier alles Schritt für Schritt und gehen es zusammen durch.

Stella: Also Christian, jetzt mal die erste Frage an dich.

Stella: Führ uns doch einmal in die Welt von Embraceable AI ein.

Was bietet ihr eigentlich Stella: an?

Was sind denn eure Softwarelösungen für Unternehmen?

Christian: Ja, also wir beschäftigen uns mit der Frage, wie wir KI auf der Ebene von Grundlagentechnologie Christian: zuverlässiger machen können und gleichzeitig leistungsfähiger.

Christian: Und sozusagen auf dieser Grundlagentechnologie on top beschäftigen wir uns mit Christian: der Frage, wie können wir einfach und zuverlässig KI-Workflows abbilden.

Christian: Wir sind also kein klassischer Anwendungsentwickler in dem Sinne, Christian: dass wir sagen, wir haben eine bestimmte Anzahl von Lösungen, Christian: vordefinierten Lösungen, sondern wir sind einmal Grundlagentechnologie und einmal Christian: Workflow-Bilder.

Das ist ein Baukasten.

Stella: Und kannst du uns noch einmal ganz konkret sagen, was bietet ihr denn dann beispielsweise Stella: Unternehmen an?

Also wofür können sie eure Entwicklung nutzen?

Christian: Ja, also du kannst dir vorstellen, du kannst im Grunde unsere Technologie benutzen Christian: als ein Drop-in-Replacement für Basis-KI, die du von anderen Modellanbietern beziehst.

Christian: Also technisch gesprochen, wenn du API-basierte KI nutzt von den großen Modellanbietern, Christian: kannst du quasi diese API austauschen und kannst dafür unsere nutzen.

Christian: Oder alternativ, projektbasiert, gehen wir mit Unternehmen rein, Christian: definieren Anwendungsfälle und modellieren eben diese KI-basierten Workflows, Christian: ich sag mal so salopp formuliert nach Bedarf.

Wolfgang: Und da ist natürlich jetzt die naheliegende Frage, was habe ich davon?

Wolfgang: Also warum sollte ich jetzt zum Beispiel ein Modell von OpenAI gegen euer Modell austauschen?

Christian: Also wir sehen bei Unternehmen, dass im Grunde der Business Value, Christian: also praktisch der Nutzen durch den Einsatz von KI-Technologie erst dann entsteht, Christian: wenn KI über mehrere Schritte hinweg eigenständig Dinge tun kann.

Christian: Was wir mit Chatbots sehen oder mit Co-Piloten, ich sag mal salopp formuliert, Christian: ist einigermaßen nice to have, also unterstützt Menschen punktuell.

Christian: Ich kann irgendwie schnell eine E-Mail formulieren oder ich kann irgendwie einen Christian: Text, für den ich sonst zwei Stunden brauche, eine Zusammenfassung oder ein Christian: Memo schreiben, kann ich mir irgendwie vorformulieren lassen.

Christian: Aber der wirklich große Nutzen entsteht erst dann, wenn ich sozusagen Mehrstufigkeit abbilden kann.

Christian: Und was wir halt sehen, ist im Grunde, dass diese Mehrstufigkeit in Modellen Christian: nicht gut funktioniert, aus verschiedenen Gründen.

Christian: Und im Grunde, warum sollen Kunden mit uns zusammenarbeiten, Christian: ist, dass wir eben Technologie entwickelt haben, die eben über mehrere Stufen Christian: hinweg diese Zuverlässigkeit und diese, ich nenne es mal, Ergebnisqualität abbilden kann.

Christian: Das heißt also, mit Technologie von Abracable bist du als Unternehmen eben in Christian: der Lage, Prozessketten, wenn man das so will, quasi abzubilden auf einem Level, Christian: die du quasi mit Modell basiert alleine eben nicht darstellen kannst.

Christian: Ich habe auch noch gleich ein paar Anwendungsbeispiele dafür.

Stella: Danach wollte ich nämlich fragen, ich glaube, wir brauchen das mal ein bisschen Stella: handfester, was genau damit gemacht werden kann.

Stella: Vielleicht im Bereich Bankenwesen, ich weiß, da hast du auch einen Hintergrund Stella: in deiner vorherigen Laufbahn quasi.

Genau.

Christian: Also es gibt beispielsweise einen Einsatz, den wir gerade verproben, Christian: der ist im Bereich Konteröffnung.

Das ist quasi ein Bestandteil für Konteröffnung, Christian: ist die sogenannte Geldwäscheprüfung.

Christian: Man muss also im Grunde prüfen als Bank, wer ist der Kunde, also man muss eine Christian: Identitätsprüfung durchführen.

Christian: Man muss im Grunde vereinfacht gesagt analysieren, woher stammt das Geld.

Christian: Und das ist ein mehrstufiger Prozess, der, ich sag mal, aus Bafin-Sicht, Christian: also aus Sicht des Regulators, sehr eng reglementiert ist, wie dieser Prozess ablaufen muss.

Christian: Und wenn du im Grunde diese einzelnen Prüfschritte durchführen möchtest, Christian: dann hast du als Mensch eben, also ich sag mal, das ist ein Prozess, Christian: der besteht vielleicht aus 10 Schritten oder aus 20 und du musst eben als Mensch Christian: sozusagen erst recherchieren, Christian: musst dann im Grunde die recherchierten Ergebnisse interpretieren und musst Christian: auf Basis dieser Interpretation den nächsten Schritt einleiten.

Christian: Und wenn du das im Prinzip mit einem reinen Co-Piloten durchführst, Christian: vereinfacht gesagt, du steckst quasi alle Info-Informationen in ein KI-Modell Christian: und sagst hier irgendwie, analysieren wir diesen Prozess, Christian: dann kriegst du zwar ein Ergebnis, das musst du als Mensch aber Schritt für Christian: Schritt erst nachvollziehen und nachprüfen und es ist mit sehr, Christian: sehr hoher Wahrscheinlichkeit zwischendrin irgendwo falsch.

Christian: Weil nämlich Modell immer nur sozusagen statistische Repräsentationen ihrer Christian: Trainingsdaten abliefern können und wenn sie natürlich diesen spezifischen Fall Christian: nicht gesehen haben im Training, wovon eigentlich auszugehen ist, Christian: ist die Wahrscheinlichkeit sehr, sehr hoch, dass das Ergebnis falsch ist.

Christian: Und wenn du als Mensch, ich sag mal salopp, eine Stunde sparst dadurch, Christian: brauchst aber wieder 40 Minuten, um diesen Prozess nachzuvollziehen und zu korrigieren, Christian: dann hast du am Ende des Tages einfach halt nicht mehr diesen großen Business Value.

Christian: Wenn du eben eine Möglichkeit hast, quasi ein System einzusetzen, Christian: eine Technologie einzusetzen, Christian: die dir im Grunde diese Fallaufarbeitung so, Christian: ich würde mal sagen, über diesen mehrstufigen Prozess hinweg so aufbereitet, Christian: dass du als Mensch sehr schnell, einfach und intuitiv diese Schritte nachvollziehen Christian: kannst, also die Denkschritte des Systems nachvollziehen kannst.

Christian: Und gleichzeitig das Ergebnis signifikant zuverlässiger ist, Christian: also sprich die False Positives, also die sogenannten Halluzinationen, Christian: signifikant geringer bis Null sind, dann hast du eben in Summe eine deutlichere Christian: Entlastung des Menschen und du sparst eben in Summe tatsächlich signifikant Christian: mehr Zeit als durch den punktuellen Einsatz von KI.

Christian: Also man muss sich das quasi Ende zu Ende vorstellen.

Ich sage, Christian: ich kriege diese Fallverarbeitung quasi so mundgerecht zugereicht als Mensch, Christian: dass ich sie im Grunde schneller und einfacher nachvollziehen kann.

Wolfgang: Das ist auf so einer technischen Ebene eine starke Ansage.

Wolfgang: Du hast ja selber gesagt, herkömmliche Sprachmodelle sind dafür nicht wirklich geeignet.

Wolfgang: Halluzinationen, größerer, längerer Kontext, die laufen immer wieder aus dem Ruder.

Wolfgang: Sie können im Grunde genommen auch nicht wirklich Logik verarbeiten.

Wolfgang: Also so Wenn-Dann-Bedingungen.

Wolfgang: Also wenn das Resultat deiner Recherche ist, der Kontoinhaber sitzt auf den Wolfgang: Cayman Islands, da hat er schon drei andere Konten, dann mache folgendes, sage mir Bescheid.

Wolfgang: In der Regel wird das Sprachmodell nicht wirklich gut, also kann funktionieren, muss aber nicht.

Wolfgang: Nun habe ich das so verstanden, dass der Kern eurer Technologie nach wie vor Wolfgang: auch Sprachmodelle sind.

Wolfgang: Und da kriege ich dann an dieser Stelle immer einen Knoten im Kopf.

Wie macht ihr das?

Wolfgang: Wie kriegt ihr die Software dazu, die Schwächen, die normale Sprachmodelle haben, nicht zu zeigen?

Christian: Also wir nutzen Sprachmodelle.

Es ist sozusagen ein Funktionsblock von dreien.

Christian: Und die anderen beiden Funktionsblöcke sind im Grunde, also für die technischen Christian: Zuhörer von Neumann-Architektur, die Grundarchitektur moderner Prozessoren.

Christian: Es gibt sozusagen drei Funktionsblöcke in dieser von Neumann-Architektur.

Christian: Das ist einmal das sogenannte Steuerwerk, das Rechenwerk und der Arbeitsspeicher.

Christian: Da gibt es auch noch einen Bus und einen I.O., aber sozusagen erstmal bleiben Christian: wir bei diesen drei Kern-Funktionsblöcken und Christian: im Prinzip unsere Hypothese ist oder unsere Arbeitsgrundlage ist zu sagen, Christian: wir nutzen Sprachmodelle, aber nicht mehr für die Entscheidungsfindung, Christian: sondern für die Generierung von Hypothesen und für die Verarbeitung der Prüfschritte.

Christian: Das heißt also, die logischen Operatoren, wenn dann, dann das, Christian: sind sozusagen als Text außerhalb des Systems formuliert.

Christian: Das sind ja im Grunde universelle Regeln sozusagen, die nicht viabel sind.

Christian: Und das sogenannte Steuerwerk, also die Steuerungseinheit, lässt sich sozusagen Christian: vom Sprachmodell Hypothesen generieren, Christian: greift sich zu der passenden Hypothese quasi dieses Axiom, also diese textuell Christian: formulierten logischen Operator, Christian: und gibt dann diese Kombination wieder aufs Sprachmodell und sagt hier, Christian: das ist eine Hypothese und hier sind bestimmte einzuhaltende Bedingungen und Christian: prüfe jetzt bitte, ob das erfüllt ist oder nicht.

Christian: Aber wir zwingen das Sprachmodell nur mit Ja oder Nein zu antworten.

Christian: Und dadurch, dass du halt sozusagen diesem Sprachmodell eine sehr eng definierte Christian: Aufgabe gibst, also sprich dieser mögliche statistische Fehler im Sprachmodell, Christian: einfach sehr, sehr klein ist, Christian: ist die Zuverlässigkeit dieser Antwort signifikant höher, als wenn du eben quasi Christian: dem Sprachmodell die komplette Lösungsfindung alleine überlässt.

Christian: Also man muss sich das vorstellen, das Sprachmodell wird durch diese Kombination Christian: aus dieser Steuerungseinheit und dem Arbeitsspeicher immer nur punktuell von uns genutzt.

Christian: Und der Rest des Systems, nämlich diese Steuerungseinheit und der Memory, Christian: die agieren eben, ich sag mal abstrakt formuliert, in der ähnlichen Weise, Christian: wie es eben Prozessoren hier bei uns in den Laptops eben auch tun.

Stella: Du hast jetzt mehrmals gesagt, das Sprachmodell, aber wir nennen doch einmal Stella: ganz konkret, mit welchen Modellen arbeitet ihr da?

Christian: Also wir sind modellagnostisch.

Wir arbeiten relativ viel mit Open-Wade-Modellen, Christian: also einem aktuellen Lama 3.3 mit 70 Milliarden Parametern.

Christian: Das System funktioniert prinzipiell auch mit Close-Source-Modellen.

Christian: Also GPT-4.1 gibt Kunden von uns, die sind quasi auf Hyperscaler unterwegs.

Christian: Die möchten aus bestimmten Gründen Open-R-Modelle nutzen.

Christian: Und wir experimentieren tatsächlich gerade.

Also vor wenigen Tagen haben wir Christian: den ersten Durchsicht gehabt, das auch mit sogenannten Small-Language-Models zu betreiben.

Christian: Also da gibt es zum Beispiel so ein 5.4, das hat 14 Milliarden Parameter.

Christian: Und dadurch, dass wir halt eben, ich sag mal, dieses Sprachmodell nur für bestimmte Christian: Spitzeaufgaben einsetzen, können wir tatsächlich eben auch kleine Modelle nutzen, Christian: die dann wiederum auch in der Lage sind, auf High-End-Consumer-Grafikkarten zu laufen.

Christian: Also das heißt, wir durchbrechen auch so ein Stück weit diese Notwendigkeit Christian: für diese High-End-Grafikkarten und lösen uns damit von der Hardware-Seite auch Christian: ein Stück weit von den, ich würde mal sagen, Anbieter-Monopolen, Christian: wenn man das so nennen will.

Wolfgang: Ich denke, zu den Modellen kommen wir noch und zu der, Wolfgang: Auch zu den Problemen, die da dranhängen, also sprich regulatorische Probleme, Wolfgang: auch möglicherweise Probleme von Abhängigkeit von einem Anbieter, Wolfgang: von einem Hyperscaler oder was auch immer.

Wolfgang: Aber ich würde gerne noch kurz bei dem Beispiel bleiben, was du genannt hast, Wolfgang: also sprich Prüfung von Geldwäsche.

Wolfgang: Und du hast gesagt, ihr sperrt das Sprachmodell sozusagen in einer Art Korsett Wolfgang: und da draußen rum ist ein Steuerwerk und da sind logische Regeln, Wolfgang: die sagen, das ist eine Hypothese und diese Hypothese werfe ich dann in die Wolfgang: Maschine mit den logischen Regeln und da kommen Folgerungen raus.

Wolfgang: Die müsst ihr ja dann von Hand stricken für einzelne Anwendungsfälle, Wolfgang: oder?

Habe ich das richtig verstanden?

Wolfgang: Also das ist dann wieder relativ aufwendig, das ist dann wieder relativ unflexibel.

Wolfgang: Also der große Vorteil von Sprachmodellen war ja gerade, dass ich sagen kann, Wolfgang: das Ding kann alles Mögliche.

Wolfgang: Wird dieser Vorteil dadurch nicht wieder zunichte gemacht?

Christian: Also wir haben ein Retrieval-System angebunden, bei dem du also zum Beispiel Christian: diese BaFin-Regeln, für die ich gesprochen habe, also diese Vorschriften des Regulators, Christian: im Grunde in einer Art erweiterten Vector-Store ablegen kannst und im Grunde aus dem Prozess heraus, Christian: also aus diesem Steuerwerk ist eben in der Lage, auch Retrievals quasi, Christian: also hat Kenntnis darüber, welche Knowledge-Stores angebunden sind und kann Christian: dann eben zielgerichtet auswählen.

Christian: In der Abarbeitung des Prozesses ein Retrieval machen im Sinne von, Christian: und jetzt haben wir eine Situation hier, dreimal Cayman Island, Christian: was du sagtest, welche Arten von Vorschriften sind dabei zu beachten.

Christian: So, dann kommt im Grunde von dem Knowledge-Store ein Retrieval zurück.

Christian: Das ist so, ich sag mal, diesen Retrieval-Teil ist das, was man von Rack kennt, Christian: also von diesem Retrieval.

Stella: Ich glaube, das musst du noch einmal quasi sehr, stell dir mal vor, Stella: erklär das mal jemandem, der keine Ahnung hat, was ein Retrieval ist.

Christian: Also mit Triebel musst du dir vorstellen, wie in der Bibliothek steht vorne Christian: jemand, dem du sagst, was du suchst.

Christian: Und dann rennt ein Mensch und der weiß in der Bibliothek, wo genau welches Buch steht.

Christian: Und dann rennt dieser Mensch los, der kennt sozusagen den Grundriss der Bibliothek Christian: und die inhaltliche Aufteilung, rennt los und präsentiert dir dann quasi zu Christian: dieser Frage, die du gestellt hast, die relevanten Ausschnitte aus Büchern.

Christian: Lesen musst du das dann selbst und interpretieren, aber du kriegst sozusagen Christian: die relevanten Passagen zugereicht.

Das ist Retrievel quasi.

Stella: Also das ist quasi der Sortierer, Stella: Der Zuordner, so ein bisschen.

Christian: Ja, so ein bisschen dieser inhaltliche, Christian: also der Anreicher von Informationen, die du bei diesen Denkschritten quasi verarbeiten musst.

Wolfgang: Also das ist zusätzliche Spezialinformation sozusagen, die dann auch wieder Wolfgang: dem großen Sprachmodell vorgeworfen wird als zusätzlicher Kontext.

Wolfgang: Aber das Ding ist halt, und das kommt aus meiner Datenbank oder aus meinem Firmenwissen Wolfgang: oder aus einer Spezialdatenbank, in dem Fall halt Regulatorik zum Beispiel.

Wolfgang: Aber das Problem ist, der Bibliothekar versteht im günstigsten Fall tatsächlich das, was ich suche.

Wolfgang: Das Retrieval-System kann nur anhand von mathematischen Ähnlichkeiten sagen, Wolfgang: das ist wahrscheinlich ungefähr das, was du haben willst.

Wolfgang: Das ist so ein bisschen die Schwäche davon.

Genau.

Christian: Aber du kannst halt im Grunde, also diese Suchquery quasi, die das System an Christian: diese Datenbank stellt, die Christian: wird im Grunde auch dynamisch aus dem Informationsfluss heraus erzeugt.

Christian: Das heißt, du hast also kontextbasiert, also das heißt, die Suchquery ist eben Christian: schon relativ spitz, sag ich mal, also relativ eng formuliert, Christian: sodass also die Wahrscheinlichkeit, du musst natürlich immer noch dieses Wissen Christian: ein Stück weit modellieren, Also da fließt ein Stück weit manueller Aufwand Christian: auch rein, je nach Umfang und Tiefe dieser Regulatorik.

Christian: Aber du kannst quasi, ich sag mal, über dieses sehr enge Definieren der Suchparameter Christian: auch diese Suche sehr genau eingrenzen, sodass also diese Informationen, Christian: die dir der Bibliothekar quasi anliefert, Christian: im Grunde diejenigen sind, die du für die Interpretation dieses Sachverhaltes eben auch brauchst.

Christian: Die Praxis zeigt, wir erheben nicht den Anspruch, dass wir in 100% aller möglichen Christian: Fälle, was Berechenbarkeit und den Lösungsraum angeht, abbilden können.

Christian: Aber die praktischen Fälle, in denen wir das einsetzen, zeigen, Christian: dass es zumindest mit den Fällen, die wir bislang abbilden, relativ gut funktioniert.

Wolfgang: Nur um da mal so ein Gefühl zu kriegen, du hast vorhin was von Falls Positives gesagt.

Wolfgang: Wie gut seid ihr dann in solchen Fällen?

Wolfgang: Also zum Beispiel bei so einer Bankkontoeröffnungs-Geldwäscheprüfung?

Christian: Ja, also da sind wir gerade im Aufbau, nehmen wir ein Beispiel, Christian: das wir schon durchgeführt haben.

Christian: Da geht es um, also das ist ein Dax-Konzern, das ist die interne Steuerabteilung, Christian: und da geht es darum, dass man komplexe Sachverhalte bewerten muss.

Christian: Also da geht es um Einkommenssteuer über verschiedene Länder hinweg.

Christian: Und es geht darum, dass man im Grunde mal kriegt von der Personalabteilung eben Christian: einen bestimmten Fall, also ein Mitarbeiter soll jetzt ins Ausland delegiert Christian: werden mit folgender Konstellation, Christian: und die Steuerabteilung muss im Grunde eine Aussage darüber treffen, Christian: in welchen Ländern, in welcher Höhe Einkommenssteuer für diesen Mitarbeiter zu zahlen wäre.

Christian: Relativ komplexe Materie, können ganz wenig Leute überhaupt beantworten, und Christian: wir haben im Grunde jetzt in diesem Fall quasi mehrere hundert Fälle durchlaufen Christian: testweise.

Und wir hatten bislang zumindest, man muss immer vorsichtig sein, Christian: bislang keinen false positive, also keine Falschaussage.

Christian: Das heißt nicht, dass nicht morgen irgendwie theoretisch einer auftreten kann, Christian: aber zumindest mal eine Indikation dafür zu geben, dass wir bislang, Christian: tot, tot, damit sehr zuverlässig unterwegs sind.

Christian: Und das ist jetzt nicht nur ein Fall, sondern das bestätigt sich im Grunde auch Christian: in anderen Anwendungsfällen.

Christian: Wir sind nicht in der Lage, formal, das ist auch nicht unsere Absicht, Christian: formal eine 100 prozentige Garantie zu geben.

Also wir wenden sozusagen keine symbolische, formale Logik an.

Christian: Also wir sind darüber im Klaren, Christian: dass wir sozusagen einen stochastischen Restfehler in diesen Denkketten quasi Christian: drin haben, das hängt am Ende des Tages einfach damit zusammen, Christian: wie das Sprachmodell diese Validierung durchführt und ein Stück weit auch mit Christian: einer stochastischen Unschärfe wie die logischen Operatoren, Christian: die sind ja auch im Text formuliert, Christian: aber sozusagen diese quasi über diese Denkketten hinweg, dadurch, Christian: dass wir diesen Prozess eben zerteilen, immer wieder neu zusammensetzen, Christian: ist eben diese, ich nenne es mal Gefahr einer Falschaussage, Christian: eben signifikant geringer.

Christian: Das liegt einfach in der Arbeitsweise des Systems, wenn man so will.

Stella: Ich habe am Anfang versprochen, dass keiner der Zuhörer einen Knoten im Kopf Stella: bekommt.

Dem muss ich gerecht werden.

Deshalb einmal nochmal die Zusammenfassung.

Stella: Heißt, wenn ich als Unternehmen euer Angebot von Embraceable AI nutzen will, Stella: brauche ich vernünftig aufbereitete Daten, beispielsweise für Regulatorik etc., Stella: weil das ist ja die Grundeinspeisung.

vereinfacht gesagt, die in das System reinkommt.

Stella: Ihr bietet dann quasi an, auch auf Basis von bestehenden Modellen quasi den Stella: Perfect Fit herzustellen, da wo ich meine Daten einfließe, um bestimmte Aufgaben, Stella: Prozesse zu durchlaufen und ich kann das dann Schritt für Schritt nachvollziehen.

Stella: So wäre jetzt meine sehr vereinfachte kurze Erklärung.

Christian: Also es gibt mehrere Stufen.

Quasi in der einfachsten Stufe kannst du unsere Christian: Technologie nutzen, Standalone.

Christian: Das ist quasi ein Drop-in-Replacement für ein Reasoning-Modell, ein Sprachmodell.

Christian: In der zweiten Stufe kannst du eine Wissensquelle anbinden, wenn du sozusagen Christian: diesen Prozess erweitern und anreichern möchtest.

Das musst du aber nicht zwingend, kannst es tun.

Christian: Und in der dritten Stufe kannst du im Grunde zum Beispiel Systeme anbinden, Christian: also sowohl sozusagen von der lesenden Seite, das haben wir gerade besprochen, Christian: als dann auch potenziell auf der schreibenden Seite.

Christian: Da bewegen wir uns dann in Richtung Agentik, aber eben nicht diese Agents, Christian: wie man sie heute kennt, wo man im Grunde die Geschäftslogik mit so einer grafischen Christian: Oberfläche abbildet und das Sprachmodell trifft die Entscheidung, Christian: sondern eben so, dass es in diesen Denkketten abgebildet ist.

Christian: Also wir bieten faktisch drei Stufen, um es nochmal klar zu sagen.

Christian: Erste Stufe, Technologienutzung Standalone, als Ersatz sozusagen von Reasoning-Modellen, Christian: also ja vorstellen, wie im Grunde eine Denkmaschine anzuzeichnet.

Christian: Zweite Stufe, du bindest dein eigenes Wissen an, kannst damit sozusagen diese Christian: Denkschritte quasi anreichern und individualisieren auf deinen eigenen Prozess.

Christian: Dritter Schritt, aber nur wenn du es möchtest, gibst du dem System Zugriff auf Christian: Drittsysteme und lässt das System beispielsweise E-Mail schreiben oder deine Christian: Kundendatenbank aktualisieren.

Stella: Ich würde sagen, jetzt haben wir es, eindeutig.

Das war nochmal eine logische Stella: Zusammenfassung, oder Wolfgang?

Wolfgang: Wobei bei dem zweiten Schritt oder generell die Frage natürlich für mich nochmal Wolfgang: ist, ich kann es nachvollziehen, was das Modell dann macht.

Wolfgang: Also an welcher Stelle sehe ich dann, wie das Modell zu welchen Entscheidungen gekommen ist?

Christian: Also das System arbeitet schrittweise.

Im Grunde wie die Taktung von dem Prozessor Christian: kann man sich das vorstellen.

Christian: Und dadurch, dass wir im Grunde diese Lösung oder diese Aufgabe in diese vielen Christian: einzelnen Teile zerschneiden, Christian: und dadurch, dass wir im Prinzip für jeden einzelnen Teilschritt Logik und Kausalität Christian: anwenden, also logische Schlussfolgerung, Kausalität heißt, was ist Ursache, was ist Wirkung, Christian: sind wir in der Lage zu sagen, hier liebes Sprachmodell, hier ist eine Hypothese Christian: und hier ist ein Set von Einschränkungen und prüfe bitte, ob A auf B passt und Christian: wenn ja, liefere die zulässigen Hypothesen zurück.

Christian: Dann merken wir uns die im Arbeitsspeicher.

Das machen wir im Prinzip für jede Christian: der Hypothesen, haben am Schluss sozusagen die Anzahl der Hypothesen reduziert.

Christian: Dann können wir die verbliebenen Hypothesen wieder aufs Sprachmodell geben und Christian: sagen, erzeuge daraus bitte jetzt eine Schlussfolgerung.

Christian: Und zwar in der Art, wie wir Menschen das auch tun.

Wolfgang: Und das wird auch dokumentiert, also im Zweifelsfall kann ich das nachlesen.

Christian: Genau, das wird sozusagen in den Arbeitsspeicher wieder reingeschrieben und Christian: das hast du dann quasi hinterher in der Ergebniskette quasi explizit als Mensch Christian: kannst du es ja einfach durchlesen.

Stella: Wie lange dauert denn das Ganze, worüber wir gerade sprechen?

Stella: Wir haben ja darüber gesprochen, wie komplex das Ganze ist, wie schwer teilweise Stella: jetzt auch in dem Beispiel das Ganze für Mitarbeitende zu beantworten ist.

Stella: Wie lange braucht es, wenn es durchgelaufen ist?

Christian: Also wir haben einen Benchmark gemacht mit dem Dax-Kunden.

Die haben das O3-Modell Christian: von OpenAI benutzt, O3 Pro, glaube ich, also dieses Deep Thinking.

Christian: Das hat für die Überarbeitung knapp 20 Minuten gebraucht mit einem falschen Ergebnis.

Christian: Und wir liegen, ich sag mal, je nach Speed oder je nach Geschwindigkeit des Christian: Sprachmodells, irgendwas zwischen drei, fünf, manchmal etwas bis, Christian: ich sag mal, auch mal sieben oder acht Minuten.

Christian: Aber so roundabout kann man sich das vorstellen.

Also es hängt natürlich ein Christian: Stück weit von der Komplexität des Falls ab.

Christian: Es hängt halt ganz stark davon ab, wie oft das System salopp gesagt nachgucken muss.

Christian: Einmal, fünfmal, zehnmal.

Aber so, ich sag mal, roundabout in diesen Dimensionen bewegt sich das.

Stella: Und kann ich dieses Nachgucken auch zum Beispiel in Echtzeit dann sehen und Stella: da irgendwie einschreiten?

Stella: Oder kriege ich quasi, es rattert acht Minuten jetzt sehr vereinfacht gesprochen Stella: und dann kriege ich das Ergebnis ausgespuckt und kann es dann im Nachgang nachvollziehen?

Christian: Also es geht prinzipiell beides.

Unsere Kunden bevorzugen, also man geht immer Christian: rein und sagt, ja, ja, da will ich aber jeden Schritt sehen, Christian: weil du einfach als Mensch sozusagen dieses Bedürfnis nach Kontrolle hast und Christian: dich dem System nicht aussiefern willst.

Christian: In Realität genutzt wird es aber, dass man sagt, okay, wir lassen es einmal Christian: durchlaufen und gucken uns dann das Ergebnis an, wenn es dann falsch sein sollte Christian: und dann möchte ich das Ding einfach wieder vornhören.

Christian: Also wir haben die Möglichkeit zu intercepten, wie wir das nennen, Christian: also praktisch so einen Human in the Loop an jeder Stelle reinzubringen.

Christian: Das ist auch psychologisch gut am Anfang der Zusammenarbeit mit den Kunden, Christian: weil sie dann sagen, sie liefern sich da nicht irgendwie so einem System aus, Christian: das sie nicht verstehen, nicht kontrollieren können, was auch immer.

Christian: Aber es wird dann relativ schnell klar, eigentlich brauche ich das gar nicht, Christian: weil sozusagen die Art, wie das System arbeitet, sehr nah daran ist, Christian: wie wir Menschen sozusagen logische Schlussfolgerungen treffen.

Christian: Und dann lasse ich das Ding durchlaufen, gucke mir das Ergebnis an, Christian: beziehungsweise gucke mir erstmal den Lösungsweg an, in Wahrheit.

Christian: Und wenn der Lösungsweg stimmt, über mehrere Schritten hinweg, Christian: dann ist die Wahrscheinlichkeit extrem hoch, dass auch das Ergebnis passt.

Christian: Und dann brauche ich eigentlich diese Zwischenschritte praktisch nicht mehr.

Stella: Lösungsweg angucken, wie niedrigschwellig ist der denn?

Muss ich da jemanden Stella: hinsetzen, der dann beispielsweise richtig Code versteht?

Stella: Oder ist das wie jetzt bei KI-Chatbots, wo ich eben Text sehe, Stella: wo ich dann sehen kann, okay, diese Schlüssel wurden gefolgert, das ist die Basis.

Christian: Genau, das ist einfach menschenlesbarer Text.

Also den du als Laie auch nachvollziehen Christian: kannst, steht dann auch drin, das war die Hypothese und die Hypothese ist aus Christian: dem und dem Grund verworfen worden, weil da irgendwie war eine Randbedingung Christian: verletzt, also bei diesen Logikrätseln.

Christian: Und da kannst du sagen, und so kannst du quasi mehrere Schritte hinweg quasi Christian: den Lösungsweg angucken und sagst dann eben, okay, alle diese Zwischenschritte Christian: sind jetzt aus, wenn wir den Menschen das bezeichnen, wenn wir sagen, Christian: korrekt schlussgefolgert, Christian: alle Randbedingungen beachtet, also passt auch das Ergebnis.

Christian: Oder die Wahrscheinlichkeit ist zumindest dann sehr, sehr hoch, Christian: dass das Ergebnis passt.

Christian: Wenn ihr aber vorher den Lösungsweg angeguckt habt und das Ergebnis ist auch Christian: schlüssig, so wie früher Mathe, da zählt auch der Lösungsweg ein Stück weit.

Wolfgang: Nun ist ja, denke ich, gerade für Unternehmen das eine die Frage, wie schnell ist das?

Wolfgang: Was kostet mich das?

Also wie viel effizienter ist es?

Stella: Da muss ich dich einmal kurz unterbrechen.

Merk dir genau das, Stella: was du sagen willst.

Was kostet das Ganze denn für Unternehmen?

Wolfgang: Genau.

Christian: Also wir rechnen das über sogenannte Worker-Credits ab, das heißt quasi also Denkschritte.

Christian: Jeder Denkschritt verbraucht, dadurch dass ein Sprachmodell angebunden ist, Christian: eine bestimmte Anzahl von Sprachmodell-Tokens und je nachdem wie, Christian: ich sag mal, umfangreich dein Prozess ist, den du rein wirst, Christian: brauchst du das Ding halt entweder 10 Worker-Credits oder 100.

Christian: Das hängt einfach ein Stück weit von der Komplexität des Prozesses ab.

Christian: Da gibt es im Prinzip einen List-Price, also 1000 Credit kosten eine Summe X.

Christian: Die ist so gerechnet, dass sie, ich sag mal, wenn man es jetzt quasi in einem Christian: typischen Investment-Case betrachtet, wo man bestimmte Anforderungen an Rentabilität Christian: hat, also wie viel Zeit spare ich von einem Mensch, und das muss ich irgendwie Christian: rechnen, salopp gesagt, Christian: dass wir weit, weit, weit über diesen typischen Anforderungen liegen, Christian: ab denen sich das rechnet, ist aber trotzdem noch niedrig genug, Christian: dass du halt auch im großen Stil Dinge damit tun kannst, weil wir eben nicht Christian: nur wollen dass ein Kontoöffnungsprozess schneller wird.

Christian: Beispiel von eben, sondern wir wollen, dass Kunden anfangen, Christian: unsere Technologie zu nutzen, um Prozesse in einer höheren Zahl durchlaufen Christian: zu lassen, als sie es eigentlich mit Menschen können.

Christian: Beispiel Materialforschung oder wenn ich im Prinzip im Engineering-Bereich bin Christian: und ich mal ein Design, weiß ich nicht, Christian: Design ein neues Gebäude und ich kann sozusagen diese Art von, Christian: also wir nennen das ja Microworker im Prinzip, diese Art von Tätigkeit, Christian: die das System dann verrichtet.

Christian: Und ich kann plötzlich nicht mehr nur drei Designs machen und mir dann das Beste Christian: raussuchen, sondern ich habe durch maschinelle Unterstützung kann ich vielleicht Christian: 300 Designs machen und die Wahrscheinlichkeit, dass aus 300 Designs ein besseres Christian: drin ist, ist halt relativ hoch.

Christian: Und das muss natürlich so geschnitten sein, dass du sagst quasi die drei Designs, Christian: wenn du unsere Technologie nutzt, um diese drei Designs schneller zu machen.

Christian: Das ist ein Kostenvorteil, ein Zeitvorteil.

Stella: Kannst du denn den Kostenvorteil noch ein bisschen beziffern?

Stella: Reden wir da über fünfstellige Summen, vierstellige?

Christian: Also ein Denkschritt kostet aktuell im Listenpreis knapp 8 Cent.

Christian: Und da kann man sich, wenn man sagt, jetzt hat ein Prozess, kann man sich ausrechnen.

Christian: Diese Prozesse, von denen wir sprechen, brauchen irgendwie manchmal 30, 40, 50 Credits.

Christian: Muss aber auch sehen, das steht im Gegenwert zu einem Mensch, Christian: der teilweise da 3, 4, 5 Stunden damit beschäftigt ist.

Christian: Also das rechnet sich, salopp gesagt, relativ schnell, relativ gut.

Stella: Danke einmal für die konkrete Zahl.

Wolfgang, ich habe dich ganz frech unterbrochen.

Es tut mir leid.

Wolfgang: Das ist eine sehr naheliegende Frage gewesen, die auch immer wieder sehr spannend Wolfgang: ist, weil es ist ja nicht nur die Frage, wie viel kostet so ein Credit, Wolfgang: sondern wie viele Credits kommen da so zusammen in einem Durchlauf?

Wolfgang: Wie viele Durchläufe brauche ich denn?

Ich hatte das jetzt kürzlich, Wolfgang: weil ich mich gerade recherchemäßig mit dem Thema beschäftige mit Quantencomputern.

Wolfgang: Und da ist es so, dass zwar ein Durchlauf auch relativ billig ist, Wolfgang: dass man aber relativ viele Durchläufe braucht, Wolfgang: sodass du dann für eine Minute locker mal bei 10 Dollar bist und so ein Prozess Wolfgang: dann aber auch mal 10, 20 Minuten Rechenzeit verbrauchen kann.

Wolfgang: Das heißt, wir sind bei ein paar hundert Dollar für einen Problemdurchlauf und Wolfgang: das summiert sich dann für so ein Projekt schon mal auf einige tausend Dollar auf.

Wolfgang: Der reine Preis für einen Cycle ist nicht immer das Entscheidende.

Wolfgang: Aber worauf ich hinaus wollte ist, das eine ist Effizienz, also sprich auch Wolfgang: Kosteneffizienz, Zeiteffizienz.

Wolfgang: Das andere ist aber dann das große Thema Regulatorik.

Wolfgang: Wie passt ihr da rein?

Also ihr benutzt ja im Kern immer noch auch Sprachmodelle.

Wolfgang: Du hast vorhin gesagt Open-Weight zum Beispiel, aber auch Close-Source.

Wolfgang: Wie funktioniert das bei euch?

Wie könnt ihr euren Kunden da in dieses Framework einpassen?

Christian: Also wir haben zum einen im Grunde ja diese, ich sag mal, Verarbeitungsschritte Christian: über diese Logikketten, haben wir eben drüber gesprochen.

Christian: Damit kriegst du im Grunde dieses Thema der Nachvollziehbarkeit und der Transparenz Christian: in die Entscheidungen rein.

Christian: Das ist mal das eine.

Das zweite ist natürlich sozusagen, es ist immer noch Christian: ein Sprachmodell, das heißt das Weltwissen des Sprachmodells basiert am Ende Christian: des Tages eben darauf, was da an Trainingsdaten reingeflossen sind.

Christian: Das kennst du in den wenigsten Modellen.

Wir experimentieren gerade mit dem Christian: ersten Modell, das komplett offen ist, inklusive Trainingsdaten.

Christian: OLMo 2 von dem Allen-Institut.

Christian: Da machen wir auch relativ gute Erfahrungen.

Wir sind relativ sicher, Christian: dass wir in wenigen Wochen damit quasi auch am Start sein können, Christian: also dass wir sozusagen funktionsfähige Denkmaschinen mit diesem OLMo-Modell Christian: irgendwie am Start haben.

Christian: Aber wir können sozusagen das Problem der nicht offengelegten Trainingsdaten Christian: in einem Llama-Modell, das kriegen wir natürlich nicht gelöst.

Christian: Aber wir können natürlich mit Blick auf die Regulatorik, also mit Blick auf Christian: die Anwendung im Rahmen unserer Denkmaschine sicher gehen, dass wir, Christian: ich sag mal so Unit-Test-artig, die also quasi einzelne sehr eng definierte Probe fragen.

Christian: Und nicht nur eine, sondern hunderte oder tausende davon im Prinzip, Christian: wie würde man sagen, vor Benutzung des Systems einmal definieren, Christian: und die sozusagen auch im Zeitraum X, pro Woche, pro Monat, im Grunde immer Christian: wieder durchlaufen, um sicherzugehen, dass wir sozusagen das Basisverhalten des Modells, Christian: dass das sozusagen nicht deterministisch von uns sozusagen beschreibbar ist, Christian: aber dass wir mit einer hinreichend hohen Sorgfalt eben Sorge dafür tragen, Christian: dass wir verstehen, wie sich das Modell verhält.

Christian: Und das eben kombiniert mit den logischen Schlussfolgerungen, Christian: also mit dieser lückenlosen Nachvollziehbarkeit der logischen Schlüsse, Christian: die im Übrigen theoretisch auch falsch sein können.

Christian: Also das ist überhaupt nicht, dass die logischen Schlüsse, also Mensch kann Christian: irgendwie auch eine falsche Schlussfolgerung ziehen.

Christian: Aber das ist sozusagen eine Kombination dieser Nachvollziehbarkeit der Schlüsse, Christian: und dem Basismodell, auf dem diese Schlüsse sozusagen erzeugt werden, Christian: nämlich dem Sprachmodell.

Christian: Damit im Grunde diese, würde man sagen, Anforderungen an diese, Christian: das BSI nennt ja solche Dinge dann Informationsverbund, also sprich das, Christian: was wir Menschen, würde man sagen, als System bezeichnen, Christian: dass wir also das Verhalten, dieses sogenannte Informationsverbund, Christian: damit hinreichend gut erzeugen.

Christian: Bewerten, messen und letztlich halt auch steuern können.

Wolfgang: Worauf ich hinausführe ist, hast du ja gerade schon gesagt, die Trainingsdaten Wolfgang: zum Beispiel von solchen Modellen wie Lama kennt ihr einfach nicht.

Wolfgang: Wie geht ihr damit um, wenn ein Kunde jetzt sagt, ich möchte aber sicher gehen, Wolfgang: dass da kein Bias drin ist?

Was macht ihr dann?

Christian: Also das sage ich ja.

Also im Prinzip, wir können sozusagen den Bias nicht auf Christian: Ebene der Quelldaten messen.

Aber wir können ihn auf Ebene des Verhaltens des Christian: Modellmessens, indem wir halt im Grunde Testdaten oder Testfragen quasi auf Christian: das Modell geben und dann eben den Bias messen, der in den Antworten kommt.

Christian: Und im Grunde dann halt, ich sag mal, mit dem Kunden gemeinsam ein Threshold, Christian: also quasi eine Art von Schwelle definiert, ab der dann eben ein Bias akzeptabel ist oder eben nicht.

Christian: Und wenn man dann sagt, ein Bias ist eben nicht akzeptabel, schlicht und ergreifend, Christian: dann kommt das Modell nicht in Frage.

Christian: Oder man muss halt im Grunde nochmal einen Antwortfilter vor die Modelle schalten.

Christian: Das können wir sozusagen in unserer Systemarchitektur theoretisch auch abbilden.

Christian: Das ist wie eine Art Compliance-Check.

Also man kennt das vorne, Christian: man hat Compliance-Checks beim Input und du kannst auch theoretisch einen Compliance-Check Christian: quasi nochmal auf die Ausgabe des Modells setzen.

Wolfgang: Aber im Grunde genommen muss man dann hoffen, dass die Testdaten den realen Wolfgang: Prozess auch wirklich abbilden.

Ich sage das deswegen, weil wir hatten erst Wolfgang: kürzlich jetzt eine Geschichte, das ist vielleicht auch nochmal ganz instruktiv von Amsterdam.

Wolfgang: Die Stadtverwaltung von Amsterdam hat versucht, eine KI aufzusetzen, Wolfgang: die über Sozialhilfeanträge entschieden hat.

Wolfgang: Und weil es damit in der Vergangenheit ganz viele Probleme gab, Wolfgang: haben sie gesagt, okay, wir setzen das Projekt jetzt nochmal ganz sauber auf.

Wolfgang: Das heißt, wir gucken uns auch die Trainingsdatensätze an, wir sorgen dafür, Wolfgang: dass da kein Bias drin ist und so weiter und so fort.

Wir beteiligen Betroffene.

Wolfgang: Das ganze Programm haben sie vorbildlich durchgezogen und es schien auch erst Wolfgang: zu funktionieren und dann haben sie eine Testphase gemacht von drei Monaten Wolfgang: und dann haben das verglichen, was die Maschinen gemacht haben mit dem, Wolfgang: was menschliche Entscheider gemacht haben und haben halt festgestellt, nee, Wolfgang: in der Praxis war es trotzdem so, Wolfgang: dass der Bias um 15 Prozent, 15 Prozent zum Teil höher war als bei den menschlichen Entscheidern.

Wolfgang: Und dann haben sie das Projekt stumpf gestoppt, weil sie gesagt haben, wir wissen nicht warum.

Wolfgang: Es kann auch vorkommen.

Christian: Ja, aber der Unterschied ist, dass du im Grunde bei dem, was du gerade beschreibst, Christian: sitzt die Entscheidung ja im Modell.

Christian: Und bei uns sitzt sie nicht im Modell.

Das ist der entscheidende Problem.

Christian: Also wir nutzen das Modell, um Teile der Entscheidung zu verarbeiten, Christian: aber die Entscheidung an sich entsteht aus dem Wechselwirkung quasi dieses Steuerwerks, Christian: diesen logischen Axiomen und der aus diesen Schlussfolgerungen, Christian: die entstandene Schlussfolgerung sozusagen, deren anschließende Validierung.

Christian: Also das heißt sozusagen, diese Wechselwirkung führt halt dazu, Christian: also ich würde mal sagen, dass man jetzt ex ante, also sprich vorab jetzt nicht Christian: ausschließen kann, dass irgendeine Art von Bias mit drin ist.

Christian: Aber du kannst ja quasi die einzelnen Verarbeitungsschritte des Modells, Christian: die kannst du eben mit solchen Testfragen bewerten, messen sozusagen.

Christian: Und im Grunde das, was das Modell in unserem System tut.

Christian: Nämlich die Schlussfolgerung zu ziehen, das kannst du sehr, sehr gut mit diesen Christian: Testfragen messen, wie gut und zuverlässig diese Schlussfolgerungen sind.

Christian: Und das ist der Fall, den du beschreibst.

Ich weiß natürlich nicht genau, Christian: was Amsterdam wie in welcher Form exakt getan hat.

Christian: Aber das, was man typischerweise tut, dass wir auch bei vielen Kunden sehen, Christian: wenn wir reinkommen, ist, sie haben halt gesagt, sie geben eine Aufgabenbeschreibung.

Christian: Hier Case XY und das ist der Antrag und hier und das und das.

Christian: Und hier Modell machen wir, salopp gesagt.

Christian: Und dann hast du sozusagen diesen Bias aus der Korrelation, also die statistische Christian: Korrelation der Trainingsdaten.

Christian: Aber das ist ein fundamental anderes Funktionsprinzip, als das, Christian: was wir tun in unserem System.

Okay.

Wolfgang: Insofern seid ihr da ein Stück weit sicherer.

Ein anderer Punkt ist ja, Wolfgang: wo dann hier zum Beispiel insbesondere Unternehmen vielleicht ein bisschen zögerlich Wolfgang: sind, was den KI-Einsatz angeht, ist dann halt so die technische Abhängigkeit.

Wolfgang: Also sprich, ich habe im Kern ein großes Sprachmodell, möglicherweise sogar Wolfgang: ein Closed-Source-Sprachmodell.

Wolfgang: Ich habe irgendwas, was in der Cloud läuft bei irgendwelchen US-Unternehmen und so.

Wolfgang: Kann ich mich darauf verlassen, dass das morgen immer noch so funktioniert, Wolfgang: wie es heute funktioniert?

Wolfgang: Kann ich mich darauf verlassen, dass die Preise stabil bleiben, Wolfgang: dass vielleicht die regulatorischen Rahmenbedingungen auch sich nicht grob verändern?

Wolfgang: Bei all diesen Fragen wäre ich relativ zögerlich, also ich würde sagen, Wolfgang: nee, kann ich mich nicht so drauf verlassen.

Wie geht ihr damit um?

Christian: Also wir haben im Prinzip unsere Technologie quasi, also diesen Teil des Steuerwerks Christian: und des Speichers, von dem ich gesprochen habe.

Also das System zur Erinnerung Christian: besteht aus drei Teilen.

Christian: Sprachmodell, Steuerungsanheit, Arbeitsspeicher.

Christian: Den Teil der Steuerungsanheit und des Arbeitsspeichers kannst du, Christian: wenn du das möchtest, auf deinen eigenen Server betreiben.

Christian: Du kannst auf einer europäischen Cloud betreiben, kannst auf einem Hyperscanner Christian: betreiben.

Brauchst du nur Linux-Maschinen.

Christian: Und das Sprachmodell, also wir sind Sprachmodell agnostisch per Definition.

Christian: Das heißt nicht, dass man jedes Sprachmodell immer für alles nutzen kann, Christian: aber prinzipiell kannst du alle hartwegs modernen Sprachmodelle anbinden.

Christian: Und in Kombination mit dem, was wir gerade besprochen haben, Christian: also mit dem Messen und Bewerten des Verhaltens in Abhängigkeit des Use Cases.

Christian: Aber im Prinzip kannst du quasi alle halbwegs modernen Sprachmodelle anbinden Christian: und kannst darüber zum Beispiel entscheiden, wir haben zum Beispiel eine Partnerschaft Christian: mit einem deutschen Cloud-Anbieter, Christian: dass du ein quelloffenes Modell, das auf einer deutschen Cloud betrieben wird, Christian: im Grunde als Modell deiner Wahl in unser System einbinden möchtest.

Christian: Alternativ, ich hatte es eben schon mal erwähnt, 5.4, so ein kleines Sprachmodell, Christian: das quasi auf High-End-Consumer-Grafikkarten passt.

Christian: Die kannst du dir zum Beispiel in einen eigenen Keller stellen.

Christian: Die kosten zwar immer noch, also die sind jetzt, da muss man immer noch ein Christian: paar Euro auf den Tisch legen, um die zu kaufen, aber sie sind überhaupt lieferbar.

Christian: Im Gegensatz zu den High-End-Karten, auf die du ja teilweise Monate, Christian: wenn nicht ein, zwei Jahre warten musst und die dir dann sozusagen in Kontingenten Christian: zugeteilt werden, also sprich, wo du als normales Unternehmen eigentlich gar Christian: nicht wirklich, gar keine Möglichkeit hast, überhaupt zu erwerben.

Christian: Kannst du im Grunde, wenn wir das System mit kleinen Sprachmodellen anbieten, Christian: eben auch das komplette System inklusive Sprachmodellen in deinem Keller betreiben, wenn du es möchtest.

Stella: Das heißt, was du gerade ansprichst, durch diese Offenheit sichert ihr euch Stella: gegen das, was Wolfgang angesprochen hat, wiederum ab.

Korrekt.

Stella: Zusammengefasst.

Ich habe noch, bevor wir aus der Zeit rausrennen, Stella: auch eine Frage zu dem ganzen Thema Transparenz, Halluzination.

Stella: Da haben wir noch gar nicht drüber gesprochen.

Stella: Du hast ja sehr ausführlich beschrieben, wie ihr eben mit den Modellen arbeitet, Stella: diese Steuerungseinheit draufsetzt.

Stella: Und so könnte ich mir vorstellen, ist es dann auch eben, dass das System weniger Stella: halluzinieren soll.

Richtig?

Christian: Genau, also wir sind in der Lage, quasi in diesen Denkketten, Christian: die ich beschrieben habe, das System erkennt im überwiegenden Teil, Christian: nicht immer und ich kann es dir nicht garantieren, sozusagen formal juristisch, Christian: aber im überwiegenden Teil der Fälle, wenn es falsch geschlussfolgert hat.

Christian: Also das System erkennt selbst, ich habe mich in irgendeinem Widerspruch verstrickt.

Christian: Das System ist im Grunde, wenn man sagen, verhält sich so, dass man sagt, Christian: okay, bevor ich eine falsche Antwort gebe, gebe ich lieber gar keine.

Christian: Das heißt nicht, dass nicht eine falsche Schlussfolgerung durchrutschen kann, salopp gesagt.

Christian: Aber eben dieses Risiko dieser sogenannten false positive, also sprich der Halluzination, Christian: ist signifikant reduziert gegen moralen, modellbasierten Ansätzen.

Stella: Das klingt jetzt eigentlich immer alles ganz positiv, was du erzählt hast.

Stella: Reduziertes Risiko, natürlich auch, wir hatten über Regulatorik gesprochen, Stella: Offenheit für andere Modelle, Absicherung, falls eben Unternehmen wegbrechen, Stella: Zusammenarbeiten nicht mehr klappen.

Stella: Aber es gibt doch bestimmt auch Herausforderungen, mit denen ihr gerade umgehen müsst, oder?

Wolfgang: Genau, was funktioniert nicht so gut?

Christian: Also wenn du, wir hatten es eben schon mit dem Thema Durchlaufzeit, Christian: also wenn du, ich sag mal, nahe Echtzeitentscheidungen brauchst, Christian: also wenn es jetzt zum Beispiel um Trading geht, Christian: hatten jetzt eine Anfrage, da ging es tatsächlich um Kapitalmarkttransaktionen, Christian: kannst du sagen unter diese, ja weiß ich nicht, drei, vier, fünf Minuten Durchlaufzeit kommt man nicht.

Christian: Man kann natürlich ein bisschen die Performance des Sprachmodells tunen, Christian: also Durchlaufzeit und kann es vielleicht irgendwie manche Zwischenschritte Christian: noch verdichten und so weiter, aber wir kommen nicht dahin, dass du sagst, Christian: das Ding läuft irgendwie zehn Sekunden und trifft ja eine komplexe Entscheidung in dieser Zeit.

Christian: Also das muss man ganz klar sagen, das ist sozusagen eine Constraint.

Christian: Dann sind wir natürlich, wir nutzen faktisch Text als Trägermedium.

Christian: Also so wie ein Prozessor quasi Binärdaten, Nullen und Einsen für Rechnung benutzt, Christian: nutzen wir unstrukturierten Text, also menschenlesbaren Text, Christian: als Trägermedium für Gedanken.

Christian: Das hat natürlich immer noch, ich habe das eben schon mal erwähnt, Christian: eine statistische Restunschärfe, wie ich es mal nenne, bei der Verarbeitung Christian: durch das Sprachmodell.

Christian: Das Sprachmodell ist ein semantischer Prozessor.

Das kann sozusagen bei seiner Christian: Verarbeitung Fehler machen.

Christian: Das heißt also, da sind wir eben in der Lage, Wenn wir jetzt einen Fall haben, Christian: wo man sagt, ich brauche eine 100% formal juristische Garantie, Christian: dass alle diese Ergebnisse also quasi in einem mathematisch.

Christian: Also ein theoretischer Mathematiker, der formal prüfen und nachweisen kann, Christian: dass 100-prozentige Genauigkeit erreichbar ist.

Christian: Das ist nicht unser Ziel, das können wir nicht und das ist auch erstmal nicht unser Ziel.

Christian: Also da müssen wir halt im Grunde einfach abstufen, dass man sagt, Christian: die vollautonome Entscheidungsfindung für Fälle, wo dann tatsächlich auch ein Christian: substanzielles Haftungsrisiko für das Unternehmen besteht, das ist nicht das, was wir tun wollen.

Christian: Sondern wir wollen im Grunde diese, ich will mal sagen, Entscheidungen zwar Christian: durchführen, auch teilautonom oder auch in einem sehr hohen Autonomiegrad.

Christian: Aber eben dort, wo du als Mensch oder wo du eben als Unternehmen ein Haftungsrisiko Christian: hast, brauchst du weiterhin einen Menschen dort zu haben.

Christian: Also es ist nicht unser Ziel sozusagen, diese Vollautonomie.

Christian: Und da müssen wir halt in diesem Spannungsfeld zwischen Durchlaufzeiten.

Christian: Zwischen quasi wie oft, also ich hatte es eben, wenn man sagt jetzt im Engineering-Bereich, Christian: wenn ich mir sage, ich will jetzt 300 Designs von der PKW-Achse, Christian: statt den drei, die ich als Mensch machen kann, Christian: da musst du natürlich gucken halt, wie passt das quasi in mein Zeitfenster rein, Christian: bis ich halt ein finales Design brauche.

Christian: Natürlich muss man da über Kosten sprechen, weil jeder Durchlauf, Christian: würde man sagen, verbraucht halt nicht Johann, also verbraucht ja diese, Christian: Denkkredits, aber dahinter liegen ja Sprachmodell-Tokens und wenn ich die halt, Christian: die muss ich irgendwie einkaufen oder ich habe sie halt quasi im eigenen Keller, Christian: aber dann muss ich halt die Abschreibung der Grafikkarte und des Computers, Christian: also da gibt es natürlich halt Constraints, die man warten muss, Christian: Aber unser Ansatz ist ja zu sagen, wir wollen im Grunde ein neues Paradigma Christian: erzeugen oder faktisch haben wir das erzeugt und wollen dafür werben, Christian: dass das KI aus einer Art von Denkmaschine funktioniert strukturell besser als KI aus dem Modell.

Christian: Das ist sozusagen unser Antritt und das ist unser Leistungsversprechen.

Christian: Es funktioniert nicht immer 100% in allen Fällen, weil wir werden immer, Christian: also solange Modelle im Spiel sind, ist immer stochastische Statistik im Spiel.

Christian: Aber es funktioniert aus den Christian: genannten Gründen strukturell und signifikant besser als Modelle alleine.

Wolfgang: Es gibt ja in dem Zusammenhang spannende Forschungsarbeiten zu Modellen mit Wolfgang: anderen Architekturen, zum Teil veränderte Architekturen.

Wolfgang: Meta macht da viel, diesen V-Jasper-Modellen zum Beispiel.

Guckt ihr euch sowas an?

Wolfgang: Das wäre ja dann vielleicht nochmal eine Möglichkeit, um aus diesem, Wolfgang: um aus dieser Begrenzung auch rauszukommen.

Christian: Also wir haben tatsächlich auch gerade im Juli eine eigene Forschungstochter Christian: gegründet.

Ah, sehr interessant.

Christian: Wir werden auch dort jetzt tatsächlich diese Art der Forschung, Christian: also systembasierte Forschung, modellbasierte Forschung intensivieren.

Christian: Wir behaupten auch nicht, dass wir am Ziel sind, also im Gegenteil, Christian: wir stehen eigentlich faktisch in Wahrheit am Anfang dieser ich sag mal Systemdiskussion Christian: oder Architekturdiskussion.

Christian: Und wir glauben, dass wir eigentlich ich sag mal mit der, Christian: dieser Dreier-Architektur, wie wir sie beschrieben haben, noch ein gutes Stück Christian: weit kommen werden.

Aber das wird sicherlich nicht die einzige Architektur sein Christian: und es wird auch nicht die letzte Architektur sein.

Christian: Aber wir sagen halt, wir treten dafür an zu sagen, Modelle alleine sind es nicht.

Stella: Klare Aussage.

Ihr steht am Anfang, aber wir stehen leider am Ende dieser Podcast-Folge.

Stella: Ich würde dich aber seit ein junges Unternehmen gerne als letzte Frage noch fragen.

Stella: Du hast ein bisschen gerade schon den Ausblick in die Zukunft gegeben.

Stella: Die nächsten fünf Jahre fass einmal ganz knackig zusammen.

Was sind da eure Stella: Ziele bei Embraceable AI?

Christian: Ja, also wir werden jetzt natürlich kurz- bis mittelfristig im Grunde weitere Christian: Systemgenerationen an den Start bringen.

Christian: Wir werden auch die Fähigkeit für Funktionsaufrufe einbetten, Christian: wir werden sozusagen die Fähigkeit des Systems prinzipiell erweitern und unser Christian: Ziel ist es im Grunde in diese Prozesse reinzukommen, Christian: also in Prozesse, Prozessketten wie wir so besprochen haben, Christian: wo wir entweder Stand heute nicht schnell genug sind, Stichwort Verwaltung, Christian: wo wir absehbarerweise durch Verrentung etc.

Christian: Noch längere Bearbeitungszeiten erleiden werden müssen.

Christian: Und insbesondere an die Stellen, wo wir im Grunde neue Wertschöpfung erzeugen Christian: können, wie beispielsweise Materialforschung oder Design.

Christian: Da wollen wir im Prinzip diese Art von System als im Grunde eine leistungsstarke Christian: digitale Arbeitskraft reinbringen, nicht um Menschen zu ersetzen in keinster Weise, Christian: sondern im Grunde die Fähigkeiten zu argumentieren, um mehr Wertschöpfung zu Christian: erzeugen und insgesamt als Gesellschaft, als Unternehmen, Verwaltung etc.

Christian: einfach schneller zu werden.

Stella: Dann Christian, danke ich dir, dass du heute bei uns zu Gast gewesen bist.

Stella: Dann würde ich sagen, für diese Podcast-Folge von t3n Interview kommen wir zum Ende.

Stella: Schön, dass ihr eingeschaltet habt und wir hören uns nächste Woche mit einer Stella: neuen Folge wieder.

Auf Wiederhören.

Stella: Bei t3n geben wir mit gutem Tech-Journalismus Orientierung.

Stella: Unabhängig, kritisch und zukunftsgewandt.

Wenn du das feierst, Stella: unterstütze uns doch mit einem Abo.

Den Link gibt es in den Shownotes.