Projekt využívá Microsoft soupravu (headset) HoloLens AR, která dodá jemná zvuková vodítka k identifikaci různých mluvčích v rámci skupinové konverzace a zprostředkuje informaci, kde a v jaké vzdálenosti v místnosti jsou.
Nová vychytávka zahrnuje také prostorová zvuková vodítka, která zazní, když se někdo podívá směrem na osobu s headsetem a potenciálně se pokouší o oční kontakt tak, jak to běžně dělají lidé se zdravým zrakem.
Všechny zvukové efekty jsou navrženy tak, aby poskytovaly prostorové informace, takže při identifikaci mluvčího vzdáleného dva metry od osoby se soupravou na hlavě, bude upozorňující zvuk vzdálenosti odpovídat. Bližším lidem pak bude přecházet silnější, zatímco vzdálenějším řečníkům slabší a vzdálenější, uvedl Microsoft Research ve svém blogovém příspěvku.
„Kdykoliv jsem v situaci s více než dvěma nebo třemi lidmi, zvláště pokud některé z nich neznám, je pro mě exponenciálně obtížnější se s tím vyrovnat, protože lidé víc a víc používají oční kontakt a řeč těla k signalizaci toho, se kterým člověkem zrovna chtějí mluvit,“ uvedl audio inženýr Peter Boscher, který se na projektu podílí a který je rovněž slepý. „Pro slepého člověka je to opravdu obtížné.“
Další funkce pomůže pomocí elastické zvukové stopy uživateli upravit úhel pohledu jeho hlavy tak, aby odpovídal osobě, která s ním mluví. Když se pohled uživatele odchýlí a pozice hlavy se posune ze synchronizace s danou osobou, uslyší elastický zvuk, jako by se něco víc a víc natahovalo směrem k bodu zlomu. Když se naopak vrátí do správné pozice, uslyší uvolnění tlaku.
Projekt vznikl v roce 2016, když vědci společnosti Microsoft doprovázeli skupinu sportovců z Velké Británie na Paralympijské hry do Ria de Janeira. Sportovci měli různé úrovně zdraví zraku, načež si tým vědců všiml, s kolika situačními výzvami se během cesty setkali na letištích i jiných veřejných prostranstvích.
Projekt je zatím ve stavu prototypu a zatím není v dohledné době plánována jeho aplikace pro veřejnost.
