Aufstieg von Large-Language-Modellen

(Ausgabe 2 / 2023) Anwendungen basierend auf Large-Language-Modellen sind präsent in allen Medien. Im Leitbeitrag von Steffen Finck zum FHV-Querschnittsthema Künstliche Intelligenz werden Erfolgsfaktoren beleuchtet und Impulse für die FHV-Forschung gegeben.

Pionierforschung an der FHV

GPT-4, LLaMA und BLOOM – aktuell dominieren die Schlagzeilen zu sogenannten Large Language Modellen (LLM) die breite mediale Öffentlichkeit wie auch einschlägige Fachmedien. Eingesetzt werden LLM als Dialogsysteme; sie haben Transformationspotenzial für unterschiedliche Bereiche. Zudem werden LLM als unterliegende Technologie in weiteren Anwendungen wie etwa bei der maschinellen Übersetzung und beim Erstellen von Zusammenfassungen eingesetzt.

Am Forschungszentrum Business Informatics der FHV wird dazu seit einiger Zeit erfolgreich geforscht: Im Bereich der Fehlermöglichkeits- und Einflussanalyse für Produkte, kurz FMEA, wurde mit dem Model BERT (Bidirectional Encoder Representation from Transformers) die Konsistenz in Expert:innenberichten analysiert: Expert:innen aus verschiedenen Fachbereichen diskutieren die potenziellen Risiken durch fehlerhafte Produktnutzung oder Produktfehler. Aus der Sicht der Qualitätssicherung stellt sich daher die Frage nach der langfristigen Konsistenz der FMEA-Bewertungen.

Am Forschungszentrum Business Informatics sind wir dieser Frage nachgegangen. Wir haben mit BERT repräsentative Schlüsselworte innerhalb der verschiedenen Dimensionen der FMEA-Analyse ermittelt und im Weiteren eine Untersuchungsmethodik für die Konsistenz entlang verschiedener Dimensionen entwickelt. Die Validierung der Ergebnisse zeigt, dass die entwickelte Methodik in der Lage ist, ähnliche Produkte und Fehlerarten sinnvoll zu gruppieren und dass damit die Grundlage für eine Konsistenzbewertung gegeben ist – genauer dazu in diesem Artikel.

Zuordnung von Produktdaten

Ein zweites Projekt unseres Forschungszentrums beschäftigt sich mit der Analyse und Zuordnung diverser Produktdaten in eine Datenbank. Eine optimierte Variante des BERT-Modells führt für die unstrukturierten Produktdaten eine Named-Entity Recognition (NER) durch. Mittels NER können Personen, Objekte, Unternehmen und weitere Eigennamen in einem Text identifiziert werden. Ein eigens entwickelter Zuordnungsalgorithmus weist die Produktinformationen nachfolgend den Elementen der Produktdatenbank zu. Diese Anwendung reduziert den manuellen Aufwand signifikant. Ein Prototyp der Anwendung wurde im Rahmen eines FFG-Innovationsschecks realisiert, an einer Verbesserung wird aktuell im Kontext einer Bachelorarbeit geforscht.

Rasante Entwicklung

Seit dem Start des Jahrtausends entwickelte sich die Forschung zur Künstlichen Intelligenz (KI) rasant. Insbesondere das Maschinelle Lernen (ML), eine spezielle Variante der KI, ist dabei ein starker Innovationstreiber. Beim ML werden, basierend auf Daten und unter Einsatz von Rechenkapazitäten, Modelle für Vorhersagen und Mustererkennungen entwickelt. Im Bereich der Computer Vision wurden durch den Einsatz von Convolutional Neural Networks (CNN) Ergebnisse erreicht, die mit dem menschlichen Leistungsvermögen konkurrieren können.
Spielendes Lernen

Als nächstes lernte die KI zu spielen. Spiele sind beliebte Umgebungen, um KI-Verfahren zu testen: Die KI lernte, gegen sich selbst zu spielen – sozusagen die „Automatisierung von spielen“. Auf diese Weise werden weitere Daten erzeugt, und mittels Reinforcement Learning (RL) wird die spielerische Performanz stetig verbessert. Als Innovationstreiber dienen diese Modelle der Vorhersage von hochkomplexen Proteinstrukturen oder sie werden zur Steuerung von Robotern und industriellen Anlagen in komplexen Umgebungen eingesetzt.

Mit generativer KI kommunizieren

Was bis vor Kurzem noch fehlte, war die Möglichkeit, mit einer KI in natürlicher Sprache zu „kommunizieren“. Dabei geht es nicht nur um Chatbots, sondern auch um die Formulierung von Arbeitsanweisungen oder Steuerbefehlen. Die Verarbeitung von Sprache und Text ist seit den Anfängen der KI-Forschung ein gefragtes Anwendungsfeld. Bahnbrechend war hier die Entwicklung des Attention-Mechanismus und der darauf basierenden Transformer-Modelle. Transformer erlernen die Bedeutung innerhalb von Sequenzen, indem sie die Zusammenhänge zwischen den einzelnen Elementen der Sequenzen lernen. Die Datenvorbereitung ist wesentlich weniger aufwendig als in der herkömmlichen Bildverarbeitung, wo Bilder oder Objekte in Bildern manuell gelabelt werden müssen. Eine entsprechend vortrainierte KI, zum Beispiel am Wikipedia-Datensatz (Größe ca. 21 GB), ist jetzt in der Lage, Text zu generieren. Diese Modelle werden als Large Language Models oder als Foundation Models bezeichnet. Durch ihre hohe Komplexität – LLM haben oft mehr als 108 Parameter – können sie beispielsweise für Übersetzungen, Zusammenfassungen und Chatbots eingesetzt werden.

Sogar die Erzeugung von Bildern durch natürliche Sprache ist möglich: So wurde das nachfolgende Bild durch die Angabe „Erzeuge ein Bild von einer Fachhochschule in einer Alpenregion“ generiert. Auch wenn das Bild nicht perfekt ist, die Aufgabe wurde qualitativ erfüllt.

Innovativ und zukunftsweisend

Der Einsatz von LLM und Generativer KI ist die Stelle, an der die angewandte Forschung der FHV ansetzt. Die Aufbereitung von Informationen aus unterschiedlichen Quellen ermöglicht neue und qualitativ hochwertige Vorhersagen. So kann beispielsweise ein Monitoring von Geschäftsprozessen unterstützt werden. Durch Adaptation von bestehenden Prozessen werden neue innovative Produkte und Service-Angebote realisiert. Produkte werden in die Lage versetzt, nachvollziehbar miteinander zu kommunizieren, und sie werden einen stärkeren Grad der Selbststeuerung erreichen. Zudem können wir diese Technologie unterstützend einsetzen, um zeitaufwendige manuelle Prozesse (teilweise) zu automatisieren oder um zusätzliche Informationen bereitzustellen.

Mehr Informationen

Weiterführende Literatur:

• Artikel zu "NLP for Product Safety Risk Assessment von Hellwig, Finck u.a.
• Artikel zu BERT
• Artikel zu Attention

Forschungsförderung für die genannten Projekte:

• Innovationsscheck mit Selbstbehalt | FFG
• Austrian Center for Digital Production COMET
• Competence Centers for Excellent Technologies | FFG

Zur Person:

Steffen Finck ist Hochschullehrer und Forscher an der FHV. Er hat Luft- und Raumfahrttechnik an der Universität Stuttgart und Mechanical Engineering am Rose-Hulman Institute of Technology studiert. 2011 promovierte er mit einem Thema aus dem Bereich der Theoretischen Informatik. Er interessiert sich für Optimierung, Data Science und Künstliche Intelligenz sowie deren potenzielle Anwendungen in unterschiedlichen Bereichen. Aktuell stellt sich Steffen die Frage, wie diese Technologien im Zuge einer Transformation zur Kreislaufwirtschaft sinnvoll eingesetzt werden können.

Bei Interesse sind Sie herzlich eingeladen mit dem Autor in Kontakt zu treten.

April 2023