Mag. Susanne Hoefler und Dr. Friedrich Neubarth, OFAI, Wien
LEGO-Bauanleitungen für Blinde und Sehbehinderte – eine spezielle Herausforderung für die Sprachtechnologie

Lecture

LEGO stellt auf Anregung eines Blinden, Matthew Shrifrin, nun seit einem Jahr sprachliche Bauanleitungen zur Verfuegung, damit auch Blinde und Sehbehinderte an der Welt der LEGO Modelle aktiv teilhaben koennen. Entwickelt wurde dieses Projekt gemeinsam mit LEGO am Oesterreichischen Forschungsinstitut für Artificial Intelligence (OFAI) in Wien.

Die Informationen, die LEGO bereitstellen kann, beinhalten unter anderem Daten über einzelne Steine, Namen der Steine, 3D-Daten zu den Modellen, sowie eine strukturierte Hierarchie von einzelnen aufeinander abfolgenden Schritten, die den Bildern der graphischen Bauanleitungen entsprechen. Die Herausforderung besteht nun darin, diese Informationen in sprachliche Anweisungen zu uebersetzen. Auch wenn zur Zeit die sprachlichen Anweisungen nur zum Teil vollstaendig automatisch generiert werden, so ist die vom OFAI entwickelte Software in der Lage, mittels GUI die Struktur der Bauschritte, die dazugehoerigen Textbausteine, sowie die Bilder der urspruenglichen Bauanleitungen so darzustellen, dass eine manuelle Erweiterung oder Korrektur leicht zu bewerkstelligen ist.

In diesem Vortrag werden wir einerseits über unsere Erfahrungen waehrend der Entwicklung des Projektes berichten, wie man denn solche Bauanleitungen für Blinde optimal formuliert, um das Erlebnis des Bauens positiv zu gestalten, andererseits die implementierten Loesungsansaetze aus Perspektive der Sprachtechnologie beleuchten.


Zeit: Mittwoch, 28. Oktober 2020, 16:30 Uhr puenktlich via Zoom

Bitte um Anmeldung per Email an sec@ofai.at bis spaetestens Mittwoch, 28.10.2020, 12:00 Uhr, der Link wird vor dem Vortrag zugesandt.