Pierwsze kroki z kamerą M5StickV AI + IOT: 6 kroków (ze zdjęciami)

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:29

Krótki przegląd

M5StickV to maleńka kamera AI + IOT o średnicy prawie 2 monet, cena wynosi około 27,00 USD, co dla niektórych może wydawać się drogie dla tak małego aparatu, ale ma przyzwoite specyfikacje. Kamera jest zasilana przez niezwykle wydajny układ sztucznej inteligencji do uczenia maszynowego Kendryte K210, system przetwarzania brzegowego w układzie scalonym z dwurdzeniowym 64-bitowym procesorem RISC-V i najnowocześniejszym procesorem sieci neuronowej, dzięki czemu jest idealny i gotowy do użycia. używać do:

• Rozpoznawanie/wykrywanie twarzy
• Wykrywanie/klasyfikacja obiektów
• Uzyskiwanie wielkości i współrzędnych celu w czasie rzeczywistym
• Uzyskiwanie typu wykrytego celu w czasie rzeczywistym
• Rozpoznawanie kształtów
• Symulator gry

M5StickV jest dostarczany w ładnym opakowaniu zawierającym sam M5StickV i kabel USB-A do USB-C.

Funkcje sprzętowe

SoC - dwurdzeniowy 64-bitowy procesor Kendryte K210 RISC-V @ 400 MHz z podwójną niezależną jednostką FPU o podwójnej precyzji, 8 MB wbudowanej pamięci SRAM, procesor sieci neuronowej (KPU) @ 0,8 szczytów, programowalna macierz we/wy (FPIOA) oraz jeszcze

• Pamięć masowa – 16MB flash, gniazdo kart microSD
• Wyświetlacz - 1,14″ wyświetlacz SPI o rozdzielczości 240×135 (sterownik ST7789)
• Kamera – kamera VGA (640×480) przez czujnik OV7740
• Audio – monofoniczny wzmacniacz audio MAX98357, głośnik
• Czujnik – MPU6886 3-osiowy żyroskop, 3-osiowy akcelerometr
• USB – 1x port USB-C do zasilania i programowania
• Różne – Przyciski przednie i boczne (A/B), przycisk zasilania, dioda LED RGBW
• Rozszerzenie – 4-pinowy port „CONNEXT”
• Zasilacz
• Bateria 200 mAh
• AXP192 PMIC

Bardziej szczegółową specyfikację można znaleźć na oficjalnej stronie M5Stack. Przede wszystkim musimy pobrać najnowszą wersję oprogramowania.

Krok 1: Jak nagrać oprogramowanie układowe na M5StickV

• Podłącz M5StickV do komputera za pomocą kabla typu C.
• Pobierz najnowsze oprogramowanie sprzętowe dla M5StickV z tego linku.

Dla Windowsa:

Istnieją 3 metody nagrywania oprogramowania układowego dla systemu operacyjnego Windows:

Korzystanie z narzędzia EasyLoader

1. Wybierz odpowiedni port COM
2. Naciśnij Nagraj
3. Po zakończeniu aktualizacji oprogramowania układowego zobaczysz, że zostało ono pomyślnie nagrane.

Korzystanie z graficznego interfejsu użytkownika Kflash

1. Otwórz pobrane oprogramowanie układowe za pomocą przycisku Otwórz plik
2. Wybierz płytkę jako M5StickV
3. Kliknij Pobierz

Korzystanie z wiersza polecenia

• Sprawdź port COM dla swojego M5StickV w Menedżerze urządzeń systemu Windows.
• W systemie Windows musisz mieć zainstalowany Python3 z pip3 oraz pakiet pyserial. Najnowszą wersję Pythona możesz pobrać z oficjalnej strony internetowej.
• Otwórz wiersz polecenia jako administrator i wpisz następujące polecenie

pip3 zainstaluj kflash

Po zakończeniu instalacji uruchom następujące polecenie

kflash.exe -p COM3 M5StickV_Firmware_1022_beta.kfpkg

Dla Linuksa:

• Korzystanie z graficznego interfejsu użytkownika Kflash
• Korzystanie z terminala

Uruchom następujące polecenie na terminalu:

sudo pip3 zainstaluj kflash

Korzystanie z obrazu oprogramowania układowego nagrywania Kflash

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Dla MacOS:

Otwórz terminal i uruchom następujące polecenie

sudo pip3 zainstaluj kflash

Jeśli po instalacji pojawi się błąd, wypróbuj następujące polecenie:

sudo python -m pip zainstaluj kflash

sudo python3 -m pip zainstaluj kflash sudo pip zainstaluj kflash sudo pip2 zainstaluj kflash

Wpisz następujące polecenie

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Krok 2: Pierwsze uruchomienie M5stickV

Dla MacOS i Linuxa:

1. Otwórz terminal Narzędzie ekranu instalacji dla systemów MacOS i Linux.
2. Można go zainstalować za pomocą następującego polecenia:

ekran instalacyjny sudo apt-get

Za pomocą narzędzia ekranowego połącz się z M5stickV za pomocą komunikacji szeregowej

ekran sudo /dev/ttyUSB0 115200

Wydrukuje:

[MAIXPY]Pll0:freq:832000000[MAIXPY]Pll1:freq:398666666 [MAIXPY]Pll2:freq:45066666 [MAIXPY]cpu:freq:416000000 [MAIXPY]kpu:freq:398666666 [MAIXPY]Flash:0xc8:0x17 sekund otwarcia rdzeń… gc heap=0x80215060-0x80295060 [MaixPy] init end _ _ _ _ _ _ _ _ | \/ | /\ |_ _| / \ / / | _ / \ / / / | / / | / / | | / V / | |_) | / \_/ / | |\/| | / /\ / | | > < | _/ / / | | | | / _ / _| |_ /. / | | | | |_| |_| /_/ \_\ |_| /_/ \_\ |_| |_| M5StickV od M5Stack: https://m5stack.com/ M5StickV Wiki: https://m5stack.com/ Współpraca przez Sipeed: https://m5stack.com/ [MAIXPY]: wynik = 0 [MAIXPY]: numchannels = 1 [MAIXPY]: częstotliwość próbkowania = 44100 [MAIXPY]: bajterat = 88200 [MAIXPY]: blockalign = 2 [MAIXPY]: bitspersample = 16 [MAIXPY]: datasize = 158760 init i2c2 [MAIXPY]: znajdź ov7740

Po podłączeniu automatycznie wejdzie w interfejs użytkownika Maixpy. Teraz urządzenie działa z domyślnym kodem programu, możesz go zakończyć za pomocą Ctrl+C

Dla Windowsa

1. Pobierz PuTTY - darmowy klient SSH i telnet dla Windows
2. Zainstaluj i otwórz PuTTY
3. Wybierz port COM i szybkość transmisji
4. Kliknij przycisk Otwórz, a otrzymasz ten sam ekran, jak powyżej.
5. Zakończ go przez Ctrl+C.

Krok 3: Wydrukuj przykład Hello World na wyświetlaczu M5StickV

Wprowadź następujące polecenia w terminalu MacOS i Linux. W systemie Windows użyj PuTTY

import lcdlcd.init() lcd.draw_string(100, 100, "hello world", lcd. RED, lcd. BLACK)

Krok 4: IDE MaixPy

IDE MaixPY to sklonowana wersja IDE OpenMV. M5StickV obsługuje środowiska programistyczne OpenMV i MicroPython.

• Pobierz MaixPy IDE stąd.
• Zainstaluj MaixPy IDE
• Uruchom IDE MaixPy
• Wybierz model płytki rozwojowej - Tools->Select Board->M5StickV.
• Kliknij zielony przycisk Połącz w lewym dolnym rogu i wybierz port szeregowy USB, kliknij OK.
• Gdy przycisk połączenia zmieni kolor z zielonego na czerwony, połączenie zostało pomyślnie połączone.
• Kliknij przycisk Uruchom w lewym dolnym rogu, aby wykonać kod i go zweryfikować.
• Kliknij kartę terminala szeregowego poniżej.
• Na koniec zobaczysz dane wyjściowe w oknie MaxPy.

Krok 5: Wykrywanie twarzy za pomocą M5StickV

• Domyślnie model wykrywania twarzy i kod programu były już preinstalowane. Oto jak to działa.
• Przykład wykrywania twarzy działa całkiem nieźle.
• Aby móc korzystać z innych modeli, musimy wypalić go w pamięci flash M5StickV za pomocą kflash_gui. Inne modele można pobrać stąd. Istnieje wstępnie wytrenowany model, mobilenet, który jest wstępnie wytrenowany do rozpoznawania 1000 obiektów. Z łatwością wykrywa wiele przedmiotów codziennego użytku.
• Skopiuj poniższy kod do MaixPy IDE.

import sensorimport image import KPU jako kpu sensor.reset() sensor.set_pixformat(sensor. RGB565) sensor.set_framesize(sensor. QVGA) sensor.run(1) task = kpu.load(0x300000) anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025) a = kpu.init_yolo2(zadanie, 0.5, 0.3, 5, kotwica) while(True): img = sensor.snapshot() code = kpu.run_yolo2(zadanie, img) if code: for i w kodzie: print(i) a = img.draw_rectangle(i.rect()) a = kpu.deinit(task)

• Naciśnij przycisk Uruchom, a tablica wyświetli wideo na żywo z kamery do MaixPyIDE.
• Dokładność jest całkiem dobra, biorąc pod uwagę, że uruchamiamy ją na tablicy 27 USD. To naprawdę imponujące i rewolucyjne.

Krok 6: Wniosek

Ta płyta nie jest jednak idealna, brakuje jej wejść analogowych, mikrofonu, WiFi i Bluetooth. Jest to jednak świetny aparat z możliwościami sztucznej inteligencji, który można wykorzystać do rozpoznawania twarzy, wykrywania obiektów lub kształtów i wielu innych czynności związanych z wykrywaniem. Ponadto jest to niesamowity zestaw deweloperski, aby rozpocząć pracę z rdzeniem Kendryte K210 RISC-V.

Mam nadzieję, że ten przewodnik okazał się przydatny i dziękuję za przeczytanie. Masz pytania lub uwagi? Zostaw komentarz poniżej. Czekać na dalsze informacje!