Project: BMBF-Verbundprojekt VIGITIA - Vernetzte Intelligente Gegenstände durch, auf und um interaktive Tische im Alltag

Im Verbundprojekt VIGITIA untersuchen die Projektpartner, wie projiizierte erweiterte Realität (projected augmented reality / PAR) Alltagsinteraktionen rund um Tische unterstützen und bereichern kann.

Status: ongoing

Runtime: 2019 - 2022

Participants: Raphael Wimmer, Sarah Thanner, Florian Echtler, Vitus Maierhöfer

Keywords: augmented reality, projection mapping, projected AR



Work in progress. Currently, more information about the project can be found on the project homepage.

Gefördert vom Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des Forschungsprogramms "Technik zum Menschen bringen"

Projektpartner:


Im Verbundprojekt VIGITIA untersuchen die Projektpartner, wie projiizierte erweiterte Realität (projected augmented reality / PAR) Alltagsinteraktionen rund um Tische unterstützen und bereichern kann.

Bei PAR nehmen eine oder mehrere Kameras in Echtzeit die Tischoberfläche und darauf befindliche Objekte auf. Ein an der Decke oder an einem Schwenkarm befestigter Projektor kann dadurch millimetergenau und ohne Verzerrungen auf die Tischplatte bzw. die Objekte projizieren. Dies erlaubt es, zusätzliche Informationen und Interaktionsmöglichkeiten zu den Objekten einzublenden und analoge Arbeitsprozesse zu unterstützen. Parallel dazu besteht dennoch die Möglichkeit, bereits vorhandene, intelligente Gegenstände wie z.B. Smartphones, Tablets oder Laptops nahtlos in das System zu integrieren, um beispielsweise über die Projektion als Vermittler Daten zwischen den Geräten auszutauschen oder eine größere Interaktionsfläche für mehrere Personen zu bieten, als der kleine Smartphone-Bildschirm es ermöglicht. Hierbei tritt die Technik in den Hintergrund und stattdessen rückt das gemeinsame Erleben in den Vordergrund, welches durch die Technik nur auf Wunsch unterstützt wird.


Beispielszenario: Tom und die SmartProjectorLamp™


Tom ist 34, und hat eine Frau und drei Kinder. Er ist Hausmann, Hobbymusiker und engagiert sich in mehreren sozialen Projekten und Vereinen.

Der Vormittag lief gar nicht gut. In der Früh die Eier auf dem Herd vergessen, Kind 1 hat Kakao über das Schulheft geschüttet, Kind 2 hat den Schulbus verpasst, aber der Autoschlüssel ist nirgends zu finden. Dann versucht Tom, das Geburtstagsgeschenk für einen Freund von Kind 3 schön zu verpacken. Trotz aller hilfreichen YouTube-Videos ist nur ein unförmiger Klumpen entstanden.

Am späten Vormittag kommt ein Paket. Darin: die lang ersehnte SmartProjectorLamp™. Diese wird in eine normale Lampenfassung über dem Tisch geschraubt. Sie integriert einen taghellen Projektor mit mehreren Kameras, die erkennen, was sich auf dem Tisch unter ihnen abspielt. Ein kleines beiliegendes Kästchen – der batteriebetriebene SensingMobileController™ - wird unter die Tischplatte geklebt. Mit einem kurzen Klopfen auf die Tischplatte weckt Tom die Geräte auf. Sie synchronisieren und kalibrieren sich automatisch, und nach wenigen Sekunden projiziert die SmartProjectorLamp™ eine interaktive Tour durch die Features des nun interaktiven Tisches auf die Tischplatte.

Nachdem Tom die Tour beendet hat, beschließt er, seinen neuen alten Tisch gleich produktiv zu nutzen. Er blendet auf dem Tisch ein projiziertes Lineal ein, das ihm dabei hilft, das Geschenkpapier gerade und in der richtigen Länge zuzuschneiden. Jetzt sieht das Geburtstagsgeschenk gleich viel besser aus.

Beim Kochen des Mittagessens unterstützt ihn der Tisch mit eingeblendeten Timern. Als Tom die Süßkartoffeln auf den Tisch legt, zeigt ihm dieser automatisch Zubereitungshinweise an.

Kind 3 kommt nach Hause. Tom bewegt es dazu, den Tisch abzuwischen, indem er darauf ein kleines Spiel startet, bei dem man auf den Tisch projizierte Dreckmonster wegwischen muss. Als nächstes zeigt ein anderes Spiel auf dem Tisch die Positionen von Tellern und Besteck an und misst, wie schnell und genau man den Tisch deckt. Kind 3 deckt den Tisch gleich mehrfach neu, um den eigenen Highscore zu schlagen. Tom muss eingreifen, damit endlich alle Essen können.

Nach dem Essen werden Hausaufgaben gemacht. Kind 1 hat das Physik-Heft in der Schule vergessen – und morgen steht die Schulaufgabe an. Die Mutter eines Schulkameraden hat über WhatsApp die gescannten Seiten geschickt. Tom legt sein Smartphone auf den Tisch, der es sofort erkennt und die neuesten Bilder darauf als Thumbnails neben dem Smartphone anzeigt. Tom zieht die relevanten Bilder in die Tischmitte, wo sie sich automatisch zu einem Stapel anordnen. Kind 1 kann jetzt auf dem Tisch durch das virtuelle Heft blättern. Ein gescanntes Arbeitsblatt muss noch einmal ausgedruckt werden. Tom blendet dazu auf dem Tisch das Drucker-Icon ein und zieht das Bild darauf.

Kind 2 lässt eine Weltkarte auf den Tisch projizieren, die ihm bei der Geographie-Hausaufgabe hilft. Kind 3 ist ganz fasziniert davon und stellt schon einmal Lego-Männchen in alle Länder, zu denen es mal hinfahren möchte.

Am frühen Abend kommen noch einige Nachbarn vorbei, um über Lösungen für den maroden Spielplatz in der Siedlung zu beraten. Einer hat auf seinem Tablet eine “Group Mirror”-Anwendung mitgebracht, um Diskussionen zu unterstützen und zu leiten. Diese zeigt unter anderem neben jeder Person am Tisch an, wie lange sie schon gesprochen hat. Dadurch sehen alle, dass Tom das Gespräch momentan sehr dominiert. Er beschließt, sich etwas zurückzunehmen und den anderen Teilnehmern mehr Raum für ihre Argumente zu geben. Als man sich einig ist, wird der Plan noch schriftlich fixiert und mit dem Tisch ein Scan gemacht, der automatisch an alle Anwesenden verschickt wird.

Nachdem die Nachbarn gegangen sind, erhält Tom einen Anruf von Sebastian, einem Studienfreund, der ebenfalls eine SmartProjectorLamp™ besitzt. Die beiden beschließen, noch gemeinsam mit ihren Familien ein Gesellschaftsspiel zu spielen: Hierzu starten beide auf ihren Tischen den Telepräsenz-Modus, der die Objekte auf der einen Tischplatte virtuell auf die jeweils andere spiegelt. Tom holt „Monopoly“ aus dem Schrank und legt das Spielfeld auf den Tisch, welches dadurch gleichzeitig auf Sebastians Tisch erscheint. Umgekehrt tauchen die Spielfiguren von Sebastians Familie nun auch als Projektion auf Toms Spielfeld auf. Ein seitlich aufgestelltes Tablet klinkt sich in das System ein und bietet zusätzlich die Möglichkeit, sich auch direkt per Videostream zu unterhalten. Dies ermöglicht den beiden Familien einen entspannten Spieleabend, ohne noch kurzfristig einen Babysitter organisieren zu müssen.

Nachdem alle Kinder im Bett gelandet sind, sitzen Tom und seine Frau noch bei einem Glas Wein zusammen. Die SmartProjectorLamp™ taucht den Tisch in ein warmes, dämmriges Licht. Tom übt ein paar Lieder auf seiner Gitarre. Das Liederbuch, das auf dem Tisch liegt, wird selektiv heller beleuchtet, und die zu spielenden Akkorde werden farbig hervorgehoben.

Um 23 Uhr fällt Tom müde ins Bett und lässt den Tag dabei noch einmal Revue passieren. Heute war viel los, aber irgendwie war alles viel entspannter und erfüllter als sonst. An die neue SmartProjectorLamp™ denkt er dabei nur ganz kurz, weil sie sich nie in den Vordergrund gedrängt hat, aber immer da war, wenn er sie brauchen konnte.


Publications

Nothing.