IoT: kontroluj HoloLens za pomocą brwi (EMG): 5 kroków

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:29

Ten projekt był częścią projektu NASA SUITS University of Colorado Boulder, który został zaprezentowany i przetestowany w NASA JSC w kwietniu 2019 roku. W tegorocznym projekcie byłem kierownikiem projektu rozwoju sprzętu i był to jeden z moich wkładów. Przeczytaj więcej o wyzwaniu NASA SUITS tutaj.

W ramach tego projektu chciałem, aby każdy (w tym przypadku astronauci EVA) mógł korzystać z wyświetlacza Heads-Up-Display (HUD) wdrożonego w Microsoft HoloLens bez używania wbudowanych gestów lub poleceń głosowych. Podszedłem do tego celu z punktu widzenia dostępności, chciałem opracować urządzenie peryferyjne / urządzenie do noszenia, które umożliwiłoby astronautom EVA komunikację z ich wyświetlaczem bez zajmowania komunikacji z kontrolą naziemną, a ze względu na ich wysoce ciśnieniową komunikację gestów w rękawiczkach jest nieuzasadniona. Chociaż jest to domena, której trochę nie znam, widzę również, że to urządzenie peryferyjne jest przydatne dla osób niepełnosprawnych, pozwalając im korzystać z HoloLens lub innych urządzeń AR / VR i zrezygnować z wejść interfejsu, które są wykluczające lub zniechęcające.

Chociaż lista przedmiotów dla tego projektu sama w sobie jest wykluczająca (HoloLens jest bardzo drogi!), urządzenie peryferyjne może być używane z innymi urządzeniami AR/VR.

Jeśli masz jakieś pytania, chcesz być na bieżąco z moją pracą lub po prostu podrzucać pomysły, zrób to na moim Twitterze: @4Eyes6Senses.

Kieszonkowe dzieci

Microsoft HoloLens (lub inne urządzenie AR/VR)

Foton cząstek

MyoWare Muscle Sensor - Czujnik MyoWare można zastąpić innymi płytkami EMG Breakout. Jeśli nie masz pewności, czym jest EMG, proponuję przeczytać więcej na ten temat tutaj

Biomedyczne podkładki sensoryczne

Jedność (za darmo)

Trochę doświadczenia w tworzeniu projektów w Unity

Drut

Krok 1: Łączenie MyoWare z Particle Photon

Podłączenie Particle Photon do płyty MyoWare jest dość proste. W tym kroku będziesz musiał przylutować połączenia między Particle Photon a płytą MyoWare. Upewnij się, że masz mocne połączenia, aby kable nie pękały podczas noszenia urządzenia. Aby uniknąć pęknięć, zalecam zaplecenie kabli przed wlutowaniem ich do Photona.

- Przylutuj przewód do portu „+” na płycie MyoWare, a drugi koniec kabla wlutuj w pin „3v3” Photona.

- Przylutuj przewód do portu "-" na płycie MyoWare, a drugi koniec kabla wlutuj do pinu "GND" Photona.

- Przylutuj przewód do portu "SIG" na płycie MyoWare, a drugi koniec kabla wlutuj do pinu "A0" Photona.

Krok 2: Przesyłanie kodu do cząstek Photon

Korzystając z IDE Particle Photon, prześlij plik.ino. Umieść tablicę MyoWare na grupie mięśni i sprawdź wartości, aby upewnić się, że urządzenie działa. Patrząc na kod, zauważysz, że jest już ustawiona zmienna „próg”, ta zmienna jest minimalną wartością, jaką MyoWare odczytuje z moich mięśni, gdy całkowicie uniosę brew. Ustawiłem również zmienną na "600", ponieważ pozwalała mi to na prowadzenie normalnych rozmów podczas noszenia MyoWare bez tworzenia fałszywych alarmów (przypadkowe wyzwalanie), możesz chcieć bawić się wartościami, aż znajdziesz pożądany próg dla swoich zastosowań.

Krok 3: Umieszczenie MyoWare

W naszym projekcie NASA SUITS wybrałem umieszczenie tablicy MyoWare nad brwią. Zainspirowałem się do umieszczenia tam MyoWare po obejrzeniu projektu „Sup Brows” wykonanego przez Adafruit. Po kilku testach stało się jasne, że brwi są świetną lokalizacją dla tego konkretnego projektu. To świetna lokalizacja, ponieważ na czujniki nie miałyby wpływu ciągłe ruchy mięśni ramion, nóg i tułowia, które astronauci EVA wykonują podczas spacerów kosmicznych.

Krok 4: Łączenie MyoWare z Unity

Teraz nadszedł czas na ostatni krok, połączmy MyoWare z Unity! W tym Instructable znajduje się skrypt, który musisz uwzględnić w swoim projekcie Unity. Ale najpierw będziesz musiał zmienić kilka rzeczy w kodzie. Najpierw musisz dodać wtyczkę JSON Object Unity do swojego projektu. Następnie musisz dodać własny identyfikator urządzenia i token dostępu w wierszu 19: cząstkURI = "https://api.particle.io/v1/devices/[Wstaw swój identyfikator urządzenia]/Next?access_token=[Wstaw swój identyfikator token dostępu]". Możesz uzyskać identyfikator urządzenia z Particle IDE, postępując zgodnie z rysunkiem 2, kliknij kartę urządzeń (czerwone pole) i spójrz pod nazwą urządzenia, aby znaleźć swój identyfikator (niebieskie pole). Następnie, aby znaleźć swój token dostępu, kliknij zakładkę ustawień w IDE.

Krok 5: Gotowe

Po zakończeniu projektu Unity będziesz mieć HoloLens sterowany EMG!

Jeśli masz jakieś dogłębne pytania, chcesz dowiedzieć się o ludzkich możliwościach rozwoju, chcesz być na bieżąco z moją pracą lub po prostu podrzucać pomysły, zrób to na moim Twitterze:

Jeśli jesteś zainteresowany współpracą z naszym zespołem w ramach wyzwania NASA SUITS 2019 - 2020, napisz do mnie na adres:

Specjalne podziękowania dla modelu na pierwszym zdjęciu, Darrena, który również testował projekt w NASA. Kolejne podziękowania dla mojego partnera programistycznego w projekcie AJ, który sprawił, że było to możliwe.