Rozpoznawanie ruchu dłoni: 5 kroków

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:28

Przegląd

W tym projekcie stworzymy rękawicę, która będzie mogła rozpoznawać niektóre podstawowe ruchy dłoni za pomocą MicroBit i kilku czujników. Będziemy korzystać z funkcji Bluetooth w MicroBit, w połączeniu z aplikacją na Androida i serwerem internetowym, aby wytrenować model uczenia maszynowego w celu identyfikacji ruchów rąk.

Pierwsze kroki

Większość wysiłku związanego z tym projektem jest po stronie oprogramowania, a cały kod potrzebny do uruchomienia tego projektu jest dostępny na GitHub. Baza kodu obejmuje 3 komponenty, kod do wygenerowania pliku HEX dla MicroBit, bazę kodu aplikacji Android, która jest w dużym stopniu oparta na aplikacji MicroBit Blue firmy MicroBit Foundation, z modyfikacjami dokonanymi dla tego konkretnego przypadku użycia oraz serwer sieciowy z kodem dla trenowanie modelu opartego na Tensorflow w celu identyfikacji ruchów rąk.

Zobaczymy, jak zbudować rękawicę i połączyć ją z aplikacją i serwerem internetowym.

Kieszonkowe dzieci

• 1 mikrobit BBC
• 1 uchwyt baterii z 2 bateriami AAA
• 1 rękawica
• Komplet przewodów połączeniowych, zaciski krokodylkowe
• Czujnik flex
• Czujnik siły
• Rzep
• Taśma elektryczna
• Telefon z Androidem
• Komputer/laptop

Krok 1: Krok 1: Konfiguracja MicroBit i baterii

• Zacznij od przymocowania uchwytu baterii do rzepa, jak pokazano na pierwszym obrazku. Użyj taśmy elektrycznej, aby mocno przymocować uchwyt baterii do paska z rzepem.
• Następnie wykonaj pętlę z taśmą elektryczną tak, aby była lepka z obu stron i przyklej ją na wierzchu akumulatora.
• Przyklej MicroBit do pętli taśmy, aby mocno przymocować MicroBit do uchwytu baterii, jak pokazano na drugim obrazku.

Krok 2: Podłącz czujniki

• Postępuj zgodnie ze schematem obwodu pokazanym na obrazku, aby podłączyć czujnik flex do styku 1 MicroBit i wymusić czujnik do styku 0 MicroBit.
• Zabezpiecz czujniki na rękawicy taśmą izolacyjną, jak pokazano na zdjęciach.

Krok 3: Wykańczanie sprzętu

• Użyj końcówek rzepów, aby uformować pętlę i przesuń pętlę na palcach rękawicy, jak pokazano na obrazku.
• Możesz użyć opasek do przewodów, aby zabezpieczyć przewody na rękawicy, aby zapobiec ich nadmiernemu przesuwaniu.

W następnej sekcji przyjrzymy się, jak skonfigurować oprogramowanie.

Krok 4: Konfiguracja oprogramowania

Parowanie telefonu z MicroBit

1. Aby sparować telefon, najpierw upewnij się, że w telefonie jest włączony Bluetooth.
2. Włącz MicroBit i naciśnij i przytrzymaj oba przyciski A i B. W tym samym czasie naciśnij i zwolnij przycisk resetowania, wciąż przytrzymując przyciski A i B. Mikrobit powinien teraz wejść w tryb parowania.
3. W telefonie znajdź swój MicroBit na liście urządzeń Bluetooth, gdzie zwykle dodajesz nowe urządzenie Bluetooth, i rozpocznij parowanie. Na twoim MicroBit zobaczysz strzałkę wskazującą przycisk A. Po naciśnięciu tego, MicroBit wyświetli serię cyfr, które są kodem parowania, który musisz wprowadzić w telefonie. Po wprowadzeniu kodu w telefonie i wybraniu pary, na MicroBit powinien pojawić się znacznik wyboru.
4. Naciśnij przycisk resetowania na MicroBit.

Konfiguracja oprogramowania

Postępuj zgodnie z przewodnikami ReadMe w każdym podfolderze w repozytorium GitHub, aby skonfigurować projekt aplikacji Android w Android Studio, skompilować i sflashować plik HEX do MicroBit oraz uruchomić serwer sieci Web do uruchamiania modeli uczenia maszynowego.

Krok 5: Użycie

Serwer internetowy

Otwórz terminal w katalogu projektu serwera WWW i uruchom `python server.py`, aby uruchomić serwer po wykonaniu instrukcji w ReadMe dotyczących instalacji zależności

Aplikacja na Androida

1. Twórz i stwórz pakiet APK dla aplikacji na Androida z Android Studio. Uruchom aplikację po sparowaniu telefonu z MicroBit (patrz poprzedni krok).
2. Na stronie akcelerometru możesz ustawić adres URL serwera WWW za pomocą menu ustawień w prawym górnym rogu. Upewnij się, że zmieniłeś to na adres IP twojego serwera WWW.
3. Poczekaj, aż odczyty akcelerometru zaczną się wypełniać z MicroBit. Zobaczysz, że odczyty zmieniają się z różną częstotliwością. Aby zmienić częstotliwość, naciśnij B na MicroBit. Idealnie możesz użyć wartości częstotliwości 10 (która próbkuje odczyty co 10 ms)
4. Po wypełnieniu odczytów nazwij swój gest za pomocą pola tekstowego oznaczonego „Gest:” i naciśnij przycisk nagrywania. Jak tylko naciśniesz przycisk nagrywania, wykonaj ruch ręką, kilkakrotnie, aż przycisk zostanie ponownie włączony.
5. Powtórz krok 3, aby zarejestrować wiele gestów.
6. Naciśnij przycisk trenowania, aby zainicjować trenowanie modelu na serwerze. Po zakończeniu treningu (około 15 sekund) możesz przystąpić do przewidywania.
7. Naciśnij przycisk przewidywania i wykonaj ruch/gest. Aplikacja postara się jak najlepiej dopasować go do jednego z trenowanych ruchów.