Budowanie TJBOT z Raspberry Pi: 5 kroków

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:28

Wstęp

Kurs IBM TJBOT:kliknij tutaj

TJBotTJBot to projekt o otwartym kodzie źródłowym, gotowy do wykorzystania przez społeczność w dowolny sposób. TJBot to jeden z kilku zestawów IBM Watson Maker Kit, które są zbiorem szablonów typu open source typu „zrób to sam” umożliwiających łączenie się z usługami Watson w zabawny sposób.

TJBot to pierwszy zestaw do tworzenia w kolekcji, który został stworzony przez Maryam Ashoori z IBM Research jako eksperyment mający na celu znalezienie najlepszych praktyk w projektowaniu i implementacji obiektów kognitywnych. TJBot został nazwany na cześć Thomasa J. Watsona, pierwszego prezesa i dyrektora generalnego IBM. TJBot wykorzystuje łatwo dostępny, niedrogi sprzęt: Raspberry Pi, głośnik, mikrofon, kamerę, diodę LED i serwomotor.

TJBot używa tych komponentów (i innych, które możesz połączyć), aby zrozumieć otaczające go środowisko i przekazać użytkownikowi wizualne i słuchowe wskazówki. Sercem inteligencji TJBot są usługi IBM Watson, które umożliwiają lepsze zrozumienie sygnałów dźwiękowych i wizualnych za pomocą transkrypcji dźwięku rejestrowanego przez mikrofon, klasyfikacji obiektów i kolorów obrazów rejestrowanych kamerą, syntezy mowy tekstu za pomocą głośnika, tłumaczenie języka, analiza emocji i tonu oraz rozumienie języka naturalnego w celu reagowania na dane wprowadzane przez użytkownika. Roboty są częścią filmów science fiction i programów telewizyjnych od wielu dziesięcioleci. Jednak sztuczna inteligencja dopiero niedawno umożliwiła robotom autonomiczne wykonywanie działań przy minimalnych zasobach obliczeniowych.

TJBot to fizyczny robot, ale jego możliwości mogą działać wszędzie. W tym kursie będziesz używać Node.js i symulatora internetowego. Ponieważ społeczność stała się opiekunem projektu open source, nowe wersje środowisk wykonawczych obejmują teraz Swift i Node-RED.

Krok 1: Wymagane CZĘŚCI

1. ELEKTRONIKA:

• Raspberry Pi 3
• Mikrofon USB
• Głośnik z gniazdem audio 3,5 mm.

CZĘŚCI DRUKOWANE 2.3D:

Możesz pobrać pliki STL z poniższego linku

ibmtjbot.github.io/#gettj

Krok 2: Przygotowanie Raspberry PI

1. Kup Raspberry pi z 4 GB pamięci RAM (Rpi-3 również działa, ale odpowiedź jest bardzo powolna)

2. Zainstaluj Raspbian OS.

3. Zainstaluj pakiety

Otwórz aplikację terminala na Pi i wykonaj następujące polecenia, aby zainstalować najnowszą wersję Node.js i npm (Node Package Manager). Te pakiety będą potrzebne później do uruchomienia kodu.

curl -sL https://ibm.biz/tjbot-bootstrap | sudo sh -

W zależności od tego, jakiego źródła dźwięku używasz z urządzeniem Pi (HDMI, gniazdo audio 3,5 mm, Bluetooth, głośnik USB), może być konieczne ustawienie konfiguracji dźwięku.

Gniazdo audio HDMI/ 3,5 mm Jeśli używasz gniazda audio HDMI lub 3,5 mm, może być konieczne ustawienie konfiguracji dźwięku. Aby to zrobić, przejdź do terminala i otwórz raspi-config.

sudo raspi-config

Spowoduje to otwarcie ekranu konfiguracji Raspberry Pi:

Wybierz „Opcje zaawansowane” i naciśnij Enter, a następnie wybierz „Dźwięk” i naciśnij Enter. Wybierz właściwy kanał dla wyjściowego dźwięku. Jeśli podłączyłeś zewnętrzny głośnik do gniazda audio, powinieneś wybrać gniazdo 3,5 mm.

Głośnik USB Jeśli masz dźwięk USB, musisz zaktualizować plik /usr/share/alsa/alsa.config, aby ustawić dźwięk USB jako urządzenie domyślne.

Zacznij od uruchomienia następującego polecenia, aby upewnić się, że twój USB jest podłączony i znajduje się tam.

lsusb

Następnie wykryj numer karty audio USB.

graj -l

Zanotuj numer karty powiązany z twoim USB Audio.

Następnie przejdź do pliku alsa.config, aby ustawić go jako domyślny.

sudo nano /usr/share/alsa/alsa.conf

Szukaj

domyślne. ctl.karta 0

domyślna.karta.pcm 0

i zaktualizuj numer karty (tutaj 0) na numer karty audio USB.

Różne wersje Raspberry Pi OS mogą wymagać innej konfiguracji. Jeśli masz problem z konfiguracją USB, zapoznaj się z tym przewodnikiem, aby rozwiązać problem.

Krok 3: Repozytorium Github

Kod źródłowy jest dostępny pod adresem:

klon sudo git

cd TJBOT/recipes/conversationsudo npm install

Wskazówka dla profesjonalistów: jeśli pojawi się błąd instalacji npm, który mówi, że nie znaleziono npm, powinieneś najpierw zainstalować npm na swoim komputerze. To jest wiersz poleceń do zainstalowania npm

sudo apt-get zainstaluj npm

Krok 4: Dodaj swoje poświadczenia

Dodaj swoje Poświadczenia do następujących Usług:

Mowa na tekst

asystent Watsona

Tekst na mowę

$ cp config.default.js config.js$ nano config.js

Teraz możesz rozmawiać ze swoim TJBotem! Otwórz terminal i wykonaj następujące polecenie:

sudo node konwersacja.js

Krok 5: Porozmawiaj ze swoim TJBotem

Konwersacja Watsona używa intencji do oznaczenia celu zdania. Na przykład, gdy poprosisz TJBota „Proszę się przedstawić”, intencją jest dokonanie wprowadzenia. Możesz dodać własne nowe intencje w edytorze konwersacji, ale na razie zaczęliśmy od kilku intencji:

Wstęp. Możesz wypowiedzieć zwroty, takie jak „Watson, proszę się przedstawić”, „Watson, kim jesteś” i „Watson, czy możesz się przedstawić?”

Żart. Możesz zapytać „Watson, opowiedz mi żart” lub „Watson, Chciałbym usłyszeć żart”. Aby uzyskać pełną listę, sprawdź zawartość workspace-sample.json

Używane jest słowo uwagi, aby TJBot wiedział, że z nim rozmawiasz.

Domyślnym słowem uwagi jest „Watson”, ale możesz je zmienić w config.js w następujący sposób. Zaktualizuj plik konfiguracyjny, aby zmienić nazwę robota w sekcji tjConfig:

// skonfiguruj konfigurację TJBota exports.tjConfig = {

log: { poziom: 'gadatliwy' },

robot: { nazwa: 'tee jay bot' }

};

Możesz zmienić „nazwę” na taką, jaką chcesz nazwać swoim TJBot. Ponadto, jeśli zmienisz płeć na „żeński”, TJBot użyje kobiecego głosu, aby przemówić do Ciebie!

Cieszyć się! Nie zapomnij udostępnić zdjęcia/filmu z Twojej konfiguracji #TJBot!:-)

Rozwiązywanie problemówJeżeli widzisz odpowiedź TJBota na terminalu, ale nie słyszysz mówiącego TJBota, istnieje duża szansa, że wydarzyła się jedna z tych dwóch rzeczy: (1) Wyjście audio jest skierowane na niewłaściwy kanał (możesz to naprawić z config), (2) twoje moduły dźwiękowe są zablokowane. W takim przypadku przejdź do /etc/modprobe.d/ i usuń blacklist-rgb-led.conf Następnie uruchom następujące polecenie:

sudo update-initramfs -u

Uruchom ponownie i sprawdź, czy moduły „snd” są uruchomione, wykonując polecenie „lsmod”. To powinno rozwiązać problem.

lsmod

W przypadku jakichkolwiek pytań skontaktuj się z [email protected]