http://www.gmd.de/GMD/FspIntMultSys.html (Einblicke ins Internet, 10/1995)
Forschungsschwerpunkt Intelligente Multimediale Systeme
Die Darstellung multimedialer Information, die Aufbereitung großer Informationsmengen in einer für den Konsumenten schnell aufnehmbaren und verwertbaren Form ist eines der Grundbedürfnisse in der Informationsgesellschaft. Die zunehmende Digitalisierung von Informationsbeständen führt zu einem Zusammenwachsen der Computer- mit der Kommunikations- und Medienindustrie. Der Einsatz und die Kombination von Echtzeit-Bildbearbeitungssystemen auf Parallelrechnern, Multimedialen Daten- und Wissensbanken sowie entspechender Teledienste eröffnen einen Markt, dessen Konturen sich jetzt andeuten. Multimedia-Systeme und -methoden finden in Zukunft vor allem Anwendungen in der TV-Industrie und allgemeiner auch im Zeitungs- und Verlagswesen, bei der Gestaltung betrieblicher Informationssysteme sowie in Verbindung mit räumlich-zeitlichen Informationen zur Unterstützung von Entscheidungs- und Planungsprozessen.
Die Optimierung des gesamten Problemlösungsprozesses ist dabei wichtig, und nicht nur die bestmögliche Lösung von Teilproblemen wie die Datenerzeugung oder -speicherung. Sowohl in der Künstlichen Intelligenz als auch in der Kognitionsforschung werden die Fähigkeiten des Menschen untersucht, komplexe Aufgaben zu bewältigen. Zum einen können technische Systeme zur Unterstützung der menschlichen Informationsverarbeitung grundsätzlich nur dann sinnvoll konzipiert werden, wenn die Informationsverarbeitung durch Menschen einigermaßen verstanden ist. Zum anderen interessiert, was davon ein technisches System für vergleichbare Aufgaben besser machen oder sogar überhaupt erst ermöglichen kann.
Es geht die um die Erzeugung ganz neuer visueller Eindrücke, um leicht aufnehmbare Visualisierungen von komplexen Informationen, um die Kombination von virtuellen und realen Objekten in Handlungsräumen, um Probehandeln mit virtuell erzeugten Objekten (Vorbereitung komplizierter Operationen, Simulation des Zusammenwirkens technischer und biologischer Systeme etc.), um die Erzeugung, Strukturierung, Speicherung und Verteilung multimedialer Informationen oder um neue szenische Benutzerschnittstellen für technische Systeme.
Für die multimediale Aufbereitung von Meß- und Simulationsdaten, für das Auffinden von Informationen sowie für die Ergebnisdarstellung und -bewertung sind die Entwicklung neuer mathematischer Verfahren, neuartiger Daten- und Bildverarbeitungsalgorithmen, neue dialogorientierte Retrievaltechniken und die Anwendung von Verfahren der Künstlichen Intelligenz notwendig.
Bei der Konzeption intelligenter und integrierbarer Basis- und Anwendungssysteme steht die Frage nach einer neuen Arbeitsteilung zwischen Mensch und Computer im Vordergrund. Der Computer soll zwar mehr Aufgaben als bisher übernehmen, insbesondere solche, die dem Menschen lästig sind oder ihm schwerfallen, er soll aber nicht für alle Aufgaben allein zuständig sein: Der Mensch soll immer Herr des Verfahrens bleiben und die Kontrolle behalten.
Bei der Festlegung der Mensch-Maschine-Schnittstelle interessieren insbesondere solche Situationen, in den die Komplexität der zu bearbeitenden Probleme von Natur aus so hoch ist, daß jeder Versuch, einen Automaten mit vollständiger Problemlösungskompeten zu entwickeln, aus heutiger Sicht scheitern muß. Notwendig wird hier eine Menge von aufeinander abstimmbaren Systemen mit begrenzter Kompetenz, die der Mensch in einer ihm geeignet erscheinenden Weise zur Problemlösung kombinieren kann. Da die Systeme hierbei vor allem assistieren sollen, spielt die Metapher des Assistenten in diesem Arbeitsschwerpunkt eine besondere Rolle.
Prof. Dr. Thomas Christaller, Institut für Angewandte Informationstechnik (FIT)
Zur integrierten Speicherung und Verarbeitung von Information in ihren unterschiedlichen Darstellungsformen als Texte, Grafiken, Karten, audiovisuelle Medien, Bewegtbildsequenzen, Noten, Bilder usw. sind neuartige, mächtige Datenbanksysteme und Designwerkzeuge erforderlich, die den großen zu speichernden Datenmengen und den komplexen Zusammenhängen zwischen den einzelnen Informationseinheiten gerecht werden. Aufgrund der beschränkten Möglichkeit konventioneller Datenmodelle stoßen existierende Datenbanksyseme an ihre Grenzen.
In diesem Aufgabenbereich erforschen Wissenschaftler der GMD fortschrittliche objektorientierte Datenmodellierungskonzepte im Blick auf ihre Anwendung für Datenbanksysteme und verknüpfen sie mit den grundlegenden Erkenntnissen objektorientierter Datenbanksysteme. Dabei werden Methoden und Werkzeuge zur Anreicherung und Integration von existierenden heterogenen Datenbanken entwickelt, die überlappende und zusammenhängende Informationen mit Unterschieden in der Namensgebung, in der Skalierung von Werten und in der Granularität von Struktur und Semantik modellieren.
Ein wichtiger Kern der Arbeiten ist ein verteiltes objektorientiertes Datenbanksystem, das für die Realisierung multimedialer Anwendungen neben üblichen Daten auch eine effiziente Unterstützung von Audio, Rasterbildern und Video bietet. Dieses Datenbankmanagementsystem ist im Berichtsjahr weiter vervollständigt worden und bildet für andere Projekte des Schwerpunktes die technische Grundlage.
Eine Erweiterung betrifft aktive Medien. Aktive Medien lassen die vielfältigen Prozesse zur Bereitstellung und Veranschaulichung von Daten, die in unterschiedlichsten Formaten vorliegen und integriert werden sollen, automatisch ablaufen. Das System stellt die nötige Funktionalität zur Speicherung, Präsentation und Bearbeitung von multimedialen Objekten in einer verteilten Mehr-Benutzer-Umgebung zur Verfügung. Die hier entwickelten Konzepte und Prototypen werden auch in einem von DeTeBerkom geförderten Projekt für die Realisierung multimedialer Teledienste genutzt, speziell für die Verwaltung von Archiven.
Eine andere Anwendung ist der elektronische Informationsservice MultiMedia Forum, in den jetzt auch ein “Calendar of Events³ integriert ist. Im Berichtsjahr wurden sieben Ausgaben des MultiMedia Forums als multimediale elektronische GMD-Mitarbeiterzeitung herausgegeben.
Fall- und modellbasierte Methoden der künstlichen Intelligenz lassen sich einsetzen, um große graphische Datenbanken gezielt auszuwerten und den Prozeß des Entwerfens durch den Rückgriff auf vergleichbare Fälle zu unterstützen. Beispielhaft ist dies für de Konstruktion von Gebäuden mit komplexen Installationen demonstriert. Das System sucht zum Beispiel ähnliche Zeichnungen aus der Fallbibliothek, versucht sie automatisch einzupassen, prüft eine Reihe formalisierbarer Einschränkungen und Anforderungen und führt gegebenfalls kleinere Anpassungen automatisch durch. Die wissenschaftliche Herausforderung besteht darin, Konzepte für die Ähnlichkeit von technischen Zeichnungen zu entwickeln und Algorithmen für darauf basierende Anfragen zu finden. Im Verlauf des Jahres wurden fünf unterschiedliche Verfahren konzipiert und drei davon implementiert.
Ausgehend von in Anwendungsprojekten gesammelten Praxiserfahrungen wurden vor dem Hintergrund einer Multimedia-Informationslogistik aktuelle Methoden und Techniken der Akquisition, Handhabung und integrativen Verwaltung multimedialer Daten systematisch evluiert und Beiträge zu deren Verbesserung erarbeitet. Dem Anwender sollen Lösungswege für den Einsatz von Multimedia-Systemen im Unternehmen aufgezeigt werden, eine Experimentalumgebung für Multimedia-Daten-Modellierung und -Akquisition ist aufgebaut worden. Um Präsentationsobjekte auffinden und erneut verwenden zu können, sind der Prototyp eines Archivsystems für Multimediaobjekte und ein Konzept für eine hardwareübergreifende multimediafähige Client-Server-Lösung entwickelt worden.
Ein Anwendungsschwerpunkt moderner Datenbank-Technologie liegt in der autorenbezogenen Aufbereitung von Daten in der Form, daß ihre assoziativen Bezüge gewahrt werden und Informationen, gesteuert durch Interessenprofile oder “hyper-mediale³ Navigationshilen, bedarfsgerecht bereitgestellt werden.
Diese verteilte, integrierte Publikationsumgebung für neuartige Publikationen konnte im Berichtsjahr um weitere innovative Werkzeuge für Publikationsprozesse, die auf Hypermedia-Dokumenten basieren, erweitert werden. So wurden prototypische generische und wissensbasierte Publikationswerkzeuge wie zum Beispiel eine Editorumgebung für die Erstellung eines multimedialen Kunstlexikons, der Conceptual Version Server für die Versionsunterstützung, ein objektorientiertes Datenbank-Interface für die Verwaltung von HyTime-konformen Dokumenten und das darauf basierende Toolkit für die generische Erzeugung von Hypermedia-User-Interface-Komponenten entwickelt und eingesetzt. Durch die Integration von State-of-the-Art Systemen wurde der Aufbau einer Publikationsumgebung ermöglicht, in der der gesamte Publikationsvorgang für verschiedenartige Publikationen modellartig durchgeführt werden kann.
In dem Experiment “Documents to Think With³ ist ein Arbeitsplatz entwickelt worden, der die Herstellung und Nutzung völlig neuartiger Produkte in Form verschiedener flexibel zusammengestellter Längs- und Querschnittsinformation (wie Biographien, Produktkataloge, Entwicklungsberichte) aus einem größeren Textkorpus ermöglicht. Die Kernkomponenten des Experiments sind ein Textanalysesystem, ein Arbeitsplatz für Hypermedia-Publikationen und ein Textgenerierungssystem.
Um Hypermedien nicht nur als Ergebnis, sondern auch als Mittel kooperativen, koordinierten Arbeitens einsetzen und erproben zu können, wurden aufbauend auf den Ergebnissen des Pilotprojektes Hyperauthor mit dem System Dolphin erste Werkzeuge entwickelt, de die Organisation, Durchführung sowie Vor- und Nachbereitung von Gruppensitzungen unterstützen. In diesem Zusammenhang wurde ein CSCW-Labor mit einer elektronischen Wandtafel (XEROX Liveboard) und vernetzten Arbeitsplatzcomputern sowie Notebooks eingerichtet, das unter anderem als Gruppenarbeitsraum zur empirischen Erprobung der entwickelten Werkzeuge dient.
In weiteren Arbeiten, die auf die Integration kollaborativer Lernumgebungen mit intelligenten Analyse- und Modellierungstechniken zielen, geht es einerseits darum, die traditionelle Klassenraumsituation durch eine Computerunterstützung anzureichern, andererseits um die Entwicklung interaktiver multimedialer Lernmaterialien und der dazu erforderlichen Werkzeuge nicht nur für die Präsentation, sondern auch für die Erstellung von “elektronischen Arbeitsblättern³ zur Verteilung an die Lerngruppe. Im Berichtszetraum wurde zunächst eine allgemein verwendbare kollaborative Lernumgebung mit entsprechender Kommunikations- und Präsentationsfunktionalität entwickelt die Hardwarebasis bildet eine mit lokalen Arbeitsplatzcomputern vernetzte elektronische Wandtafel (XEROX Liveboard) sowie Werkzeuge zur Erzeugung interaktiver multimedialer Benutzerschnittstellen weiterentwickelt. Darüber hinaus wurde ein auf die Erfordernisse der Lehr- und Lernsituation zugeschnittener Kommunikationsmechanismus konzipiert und integriert.
Die Vorgänge in Natur und Gesellschaft erfordern die Entwicklung immer komplexerer Simulationsmodelle. Gewaltige Datenmengen sind die Folge. Aber nicht die Daten an sich sind Ziel der Bemühungen, sondern die aus ihnen abzuleitenden Erkenntnisse. Die Beschränktheit der menschlichen Kognitionsfähigkeiten gegenüber der ansteigenden Flut von immer komplexeren Informationen erfordert die Erforschung von Modellen und Methoden, die es erlauben, die Dateninhalte adäquat auf alle Sinne des Menschen abzubilden. Die zentrale Fähigkeit des Menschen, visuelle Daten zu interpretieren, erfährt durch die rechnergestützte Bearbeitung und Auswertung mit Hilfe von Supercomputer-Simulationen und Messungen eine neue Dimension. Massiv parallele Rechner bieten erstmals die Möglickeit, große Datenmengen interaktiv zu bearbeiten, zu analysieren und in Echtzeit zu visualisieren. Die Optimierung des gesamten Problemlösungsprozesses steht im Vordergrund.
Ein Beispiel ist ein Visualisierungs- und Interaktionswerkzeug, das die Suche nach Dokumenten in Datenbanken veranschaulicht. Das Besondere daran ist, daß dreidimensionale Darstellungen der gespeicherten Informationsstrukturen und ihrer inhaltlichen Verwandtschaften mit Hilfe von sogenannten Kegelbäumen dem Anfrager stets ein intuitives und anschauliches Bild darüber vermitteln, wohin er mit seiner Anfrage gelangt ist und welche Möglichkeiten ihm offenstehen. Im Berichtsjahr wurde ein Prototyp zur 3D-Visualisierung der Term-Dokument-Beziehungen von großen Informationsräumen erstellt. Darüber hinaus wurden im Berichtsjahr grundlegende Untersuchungen zur Verwendung von Gesten in 3D-Mensch-Rechner-Schnittstellen durchgeführt.
In ähnlicher Weise wird die Visualisierung für szenische Trainingssysteme genutzt, mit denen die Möglichkeiten interaktiver Computersimulation in der Ausbildung von Experten demonstriert werden. Zum Beispiel liefert die Echokardiographie Ultraschallbilder, deren Verständnis viel Erfahrung voraussetzt. Der Prototyp des Trainingssystems “COCARD³ verdeutlicht dem Arzt mit Hilfe von 3D-Simulationen des Herzens, der Ultraschallquelle und des resultierenden Bildes die Zusammenhänge und unterstützt damit seine Dignose. Der Arzt kann streßfrei und patientenschonend am Modell die Zusammenhänge zwischen Vorgehensweise und Ergebnis lernen. Im Berichtsjahr 1993 wurden zwei Prototypen realisiert.
Das Konzept “Responsive Environments³ demonstriert zukünftige interaktive Multimedia-Umgebungen. Das Neue an diesem Konzept ist: Der Mensch erlebt nicht mehr Simulationen der Welt am Computer, sondern der Computer wird (unsichtbar) in die Welt des Menschen integriert. Alltägliche Objekte und Tätigkeiten werden zur Ein- und Ausgabe für diese Umgebung. Rechner werden als Teil des Alltagslebens betrachtet und sind nicht mehr isoliert oder isolierend auf dem Schreibtisch plaziert. Das Rechensystem kann das reiche menschliche Lebensumfeld nutzen und sich ihm anpassen. Das Display ist als Teil der menschlichen Arbeitsumgebung konzipiert. So erscheinen zum Beispiel auf einem Tisch virtuelle Objekte in Stereo. Der Benutzer interagiert mit diesem virtuellen Szenario, manipuliert es wie ein reales und erhält auf Anfrage Informationen vom Rechner, der im Hintergrund agiert. Der Prototyp dieses Systems ist fertig und wird jetzt der Öffentlichkeit vorgestellt.
Im Rahmen der multimedialen Prozeßsimulation und Produktionssteuerung wird mit autonomen, lernenden Robotern experimentiert. Am Beispiel eines mobilen Roboters, der mit Ultraschall- und Berührungssensorik ausgestattet ist, ist gezeigt worden, wie moderne Visualisierungs- und Interaktionsmöglichkeiten bei der Erfüllung einer so komplexen Aufgabe eingesetzt werden können. Dabei werden lernfähige Steueralgorithmen verwendet, die eine Anpassung an vorher nicht bekannte Umgebungen erlauben.
Von einer ganz anderen Seite her nähert sich ein Projekt zur Realzeitvisualisierung der Aufgabe “Multimediale Modellierung und Visualisierung³, und zwar werden in dem Projekt innovative, realzeitfähige 3D-Grafikarchitekturen entwickelt. In enger Kopplung mit dem MANNA-Höchstleistungsrechner besorgt das System die Umsetzung von Ergebnisdatenmengen in ihre visuelle Repräsentation. Dabei ist es erstmals gelungen, das Phongsche Beleuchtungsverfahren, das Bilder von wesentlich besserer Darstellungsqualität erzeugt, sehr kostengünstig in Hardware zu implementieren. Der Renderer wurde sowohl in einer PEX-Workstation-Umgebung als auch als Hochleistungsrenderer im MANNA-Rechner der Öffentlichkeit vorgestellt. Auf dem MANNA-Bildrechnersystem entstand ferner ein realzeitfähiges physikalisch basiertes Simulationssystem zur interaktiven Manipulation komplexer mechanischer Systeme.
Computer bieten heute an der Schnittstelle zum Menschen multimediale Schnittstellen an. Eine Reihe von Gestaltungsfragen bei der Entwicklung neuer intelligenter multimedialer Interfaces können nur in einem engen Zusammenhang mit den Anwendungen selbst gelöst werden, zum Beispiel, wie sich Benutzer am besten in virtuellen Räumen bewegen und orientieren können.
Neben solchen in die Anwendung integrierten Entwicklungen von multimedialen Schnittstellen widmen sich verschiedene Projekte schwerpunktmäßig dem Design neuer Interfaces. Für Systeme mit vielen, gleichzeitig arbeitenden Benutzern (zum Beispiel CSCW-System) werden neue Metaphern und Techniken (zum Beispiel Animation) benötigt, um eine komplexe dynamische Welt auf dem Bildschirm zu repräsentieren. Das Informations-Retrieval wird als eine spezielle Mensch-Maschine-Interaktion aufgefaßt und ist ein anderes Beispiel für eine umfassende Auseinandersetzung mit der Thematik. Auch die Präsentation elektronischer Publikationen durch geeignete Layout-, Retrieval- und Browsingmechanismen stellt ganz eigene Anforderungen.
Insgesamt entwickelt sich im Bereich der Erstellung und Verwaltung multimedialer Dokumente ein Paradigmenwechsel. Die Vorstellung, Dokumente seien rein statische Präsentationen eines Themas, ändert sich zu der Sichtweise, Dokumente seien als dynamische (möglicherweise verteilte) Datenbasen qualifizierter Information zu sehen, die den Benutzer optimal bei der weiteren Verarbeitung unterstützen. Eine solche Unterstützung ist das natürlichsprachliche Retrieval-Interface CORINNA, das auf der Grundlage des COR-Dialogmodells einen kooperativen Dialog mit dem Benutzer führt. In Problemsituationen, wenn zum Beispiel zu viele oder aber keine Daten zu einer eingegebenen Anfrage verfügbar sind, schlägt das System Retrieval-Taktiken vor und ist in der Lage, die Vorschläge zu erläutern beziehungsweise zu begründen. Die Systemantworten werden dabei aus der internen Repräsentation des Dialogs generiert.
Neben neuen Ideen und Konzepten für die Lösung vielfältiger Orientierungs- und Zugangsprobleme von Benutzern komplexer multimedialer Systeme ist die Unterstützung für die Umsetzung von vorhandenen Standards und Empfehlungen bei der Entwicklung neuer System wichtig. Dies wird durch eine konsequente Integration von software-ergonomischem Wissen in den Designprozeß von innovativen Benutzungsschnittstelle erreicht. Dazu wurden im Berichtsjahr ein Construction Tool (objektorientierte Bibliothek von vorgefertigten Schnittstellen-Bausteinen) und ein Advice Tool (multimediales Beratungssystem, das ergonomisches Wissen liefert) entwickelt.
Methoden der Künstlichen Intelligenz wurden in einem 1993 abgeschlossenen Projekt eingesetzt, um graphisches Wissen zu beschreiben und zu operationalisieren. Dadurch können neuartige Graphiksysteme entwickelt werden, die die Bedeutung und den Aussagewert von graphischen Elementen kennen und diese Kenntnisse bei der Erzeugung von Graphiken berücksichtigen. Regeln des guten Designs können erfaßt und zur Prüfung von Graphiken auf graphische Qualität im Sinne eines Stilprüfers und Korrektors eingesetzt werden.Auffällige graphische Merkmale (Gestalten) in Graphiken können beschrieben und für graphische Suche eingesetzt werden. Diese Konzepte wurden implementiert und demonstriert in einem Graphikdesigner mit den Komponenten Diagrammgenerator, Verschönerung, Gestlterkennung und graphische Suche. Sie sind Ausgangspunkt für ein neues Projekt, das generische Techniken und Werkzeuge entwickeln und erproben soll, die den Aufbau von “reichhaltigen³ 3D-Welten erleichtern.
Um Systeme mit Wissen über fachliche Zusammenhänge, mit Wissen über den Benutzer und mit Wissen über sich selbst ausstatten zu können, müssen Ergebnisse aus dem Bereich der Künstlichen Intelligenz und der Kognitionsforschung in den Systementwurfsprozeß einfließen. Dies ist die Voraussetzung dafür, daß die Computer den Menschen in Zukunft mehr und besser bei der Entwicklung von neuen Systemen unterstützen können.
In einem 1993 abgeschlossenen Projekt wurden die Grundlagen für ein neues Projekt “Imagination und Verhalten³ gelegt. Nun kann an der Realisierung von Anwendungssystemen gearbeitet werden, die nicht nur auf der Basis von exaktem, sondern auch von ungenaue Wissen und durch ungenaue Anweisungen operieren können. Es wurde untersucht und exemplarisch nachgewiesen, wie dieses Ziel durch Einsatz und Zusammenspiel verschiedener Schlußmechanismen erreicht werden kann. Interessant waren in diesem Zusammenhang Verarbeitungsfähigkeiten wie Generalisierung, plausibles und Default-Schließen, assoziatives Vorgehen und Planen auf der Basis unscharfer Zielvorgaben, die einem System erlauben, aus wiederkehrenden Situationen das Wesentliche zu abstrahieren sowie mit partiell spezifizierten Aufgabenstellungen beziehungsweise Ausnahmesituationen fertig zu werden. Als Anwendungsbeispiel wurden die Probleme von Ungenauigkeit untersucht, die sich speziell bei der Suche, Konstruktion und Überarbeitung von Grafiken ergeben. Als Testfälle und zur Illustration wurden zwei Leitbeispiele im Detail ausgearbeitet: die Unterstützung beim Entwurf von Raumeinrichtungsplänen und ein System zum Entwurf von Geschäftsgrafiken.
Das System Mobal, eine integrierte Entwicklungsumgebung für wissensbasierte Systeme mit Verfahren des maschinellen Lernens, wurde im Berichtsjahr weiterentwickelt und auf der Grundlage neuer theoretischer Ergebnisse in wesentlichen Punkten verbessert: Neue Ergebnisse zur Revision von Wissensbasen ermöglichen eine umfassende semiautomatische Wartungsunterstützung durch ein Modul, das bei Fehlern (auch Mehrfachfehlern) in der Wissensbasis dem Nutzer minimale Änderungen vorschlägt und diese mit einer heuristischen Empfehlung bewertet.
Die Untersuchung der quantitativen und qualitative Diagnose technischer Systeme auf der Basis von expliziten Modellen der Systemtopologie und des Systemverhaltens stand im Mittelpunkt weiterer Arbeiten, die sich mit der Entwicklung und Erprobung von Modellierungssprachen und Inferenzmechanismen im Kontext eines größeren technischen Anwendungsbereichs (Diagnose von Ballastwassersystemen in der Offshore-Technik) beschäftigen. Die Aufgaben der GMD liegen dabei im Bereich “Wissensakquisition für qualitative Modelle³. Im Berichtsjahr wurden Spezifikationen entwickelt, welche die Funktionalität und Schnittstellen der von den Partnern erstellten Software auf einer implementierungsunabhängigen, dem Wissensingenieur zugänglichen Ebene beschreiben.