Dodaj dźwięk uruchamiania wyzwalacza do zestawu głosowego Google AIY: 6 kroków (ze zdjęciami)

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:32

Ten samouczek jest dość prosty. Naprawdę podobał mi się zestaw głosowy Google AIY, ale naprawdę podoba mi się w moim normalnym Google Home hałas, który robią, aby potwierdzić, że aktywnie słuchają. Nie jest to domyślnie skonfigurowane w żadnym z przykładów, które są wstępnie załadowane do obrazu zestawu brzmień AIY.

Dołączam również link do standardowych dźwięków Start i Potwierdź, które nagrałem z mojego rzeczywistego Google Home za pomocą mojego rejestratora Zoom.

Zaczynamy - mój pierwszy instruktażowy!

Krok 1: Wymagane materiały i pliki

1. W pełni funkcjonalny zestaw głosowy Google AIY - aby skonfigurować zestaw, odwiedź oficjalną stronę zestawu głosowego AIY.
2. Możliwość dostępu do terminala Pi przez SSH, VNC lub za pomocą monitora i klawiatury
3. Plik.wav, który chcesz odtworzyć, gdy Pi nasłuchuje wprowadzania głosowego - jeśli nie używasz niestandardowego pliku, pobierz standardowy plik „St art Talking” tutaj lub pobierz go z załączonego linku.
4. (Opcjonalnie) Edytor audio, który może konwertować pliki i zmieniać ich bity i częstotliwość próbkowania

Krok 2: Krok 2: Sprawdź plik Voicehat.py, aby uzyskać więcej informacji

WAŻNY

Nie używam najnowszego obrazu w moim zestawie głosowym, który zawiera kod zarówno dla zestawu Voice, jak i Vision (tj. aiyprojects-2018-01-03.img). Używam kodu z gałęzi Voice Kit, który można znaleźć na Google AIY Raspbian GitHub. Osobiście uważam, że po prostu używam gałęzi Voice Kit, aby zachować prostotę i nie muszę zajmować się kodem Vision podczas pracy z zestawem głosowym

Iść dalej…

Ten krok nie jest całkowicie obowiązkowy, ale pokaże Ci, gdzie Google ukrył instrukcje, jak to działa, jeśli chcesz pójść o krok dalej lub zrozumieć, dlaczego dodawany przeze mnie kod działa.

pi@raspberry: cd AIY-voice-kit-python/src/aiy/

Następnie sprawdzimy plik voicehat.py w tym folderze:

pi@raspberry: ~/AIY-voice-kit-python/src/aiy/sudo nano voicehat.py

Załączony obrazek pokazuje, gdzie możesz dowiedzieć się o interfejsach statusu i jak używać dźwięku podczas wyzwalania.

W porządku, teraz dodajmy trochę kodu do jednego z przykładowych plików, aby to zadziałało.

Krok 3: Krok 3: Dodaj kod dźwiękowy wyzwalacza do kodu demonstracyjnego

Najpierw przejdź do folderu AIY-voice-kit-python i uruchom kod źródłowy

cd AIY-zestaw-głosowy-python

źródło env/bin/aktywuj

cd src

Następnie użyj „sudo nano” w pliku „assistant_grpc_demo.py” lub „assistant_library_demo.py”

Różnica między tymi dwoma plikami polega na tym, że assistant_grpc_demo.py używa przycisku do uruchomienia Asystenta Google, a asystent_library_demo.py używa słowa aktywacyjnego „Ok, Google” do uruchomienia Asystenta Google.

Dla obu tych plików wystarczy dodać JEDEN wiersz kodu:

status_ui.set_trigger_sound_wave('/home/pi/googlestart.wav')

To zakłada, że umieściłeś swój dźwięk startowy w folderze /home/pi/ i nazwałeś go googlestart.wav. Zmień je na podstawie nazwy pliku i miejsca, w którym go ulokowałeś.

Linia kodu, której szukamy, znajduje się poniżej:

status_ui.status('nasłuchiwanie')

Chcemy dodać naszą nową linię kodu PRZED tą linią kodu…

Przykład 'assistant_library_demo.py' można znaleźć tutaj:

elif event.type == EventType. ON_CONVERSATION_TURN_STARTED:

# A teraz dodaj nasz kod status_ui.set_trigger_sound_wave('home/pi/googlestart.wav') status_ui.status('listening')

Przykład 'assistant_grpc_demo.py' można znaleźć tutaj:

przycisk.czekaj_na_naciśnij()

# A teraz dodaj nasz kod status_ui.set_trigger_sound_wave('/home/pi/googlestart.wav') status_ui.status('listening')

To zakłada, że umieściłeś swój dźwięk startowy w folderze /home/pi/ i nazwałeś go googlestart.wav. Zmień je na podstawie nazwy pliku i miejsca, w którym go ulokowałeś.

Naciśnij CTRL-X i Y, aby zapisać wszystko.

***UWAGA: Znalazłem coś trochę głupiego. Dla 'assistant_library_demo.py' dodanie dźwięku wyzwalacza wydaje się nie mieć żadnego wpływu na funkcję rozpoznawania mowy. Jednak w przypadku 'assistant_grpc_demo.py' wydaje się, że po zaimplementowaniu dźwięku wyzwalacza odcina pierwsze lub dwa słowa, które wypowiadasz. Nie jestem do końca pewien, dlaczego. Nadal próbuję to rozgryźć.

Krok 4: Krok 4: Uruchom kod i upewnij się, że wszystko jest gotowe

pi@raspberry: cd AIY-voice-kit-python

i załaduj virtualenv

pi@raspberry:~/AIY-voice-kit-python $ source env/bin/activate

i uruchom go!

(env) pi@raspberry:~/AIY-voice-kit-python $ src/assistant_library_demo.py

lub

(env) pi@raspberry:~/AIY-voice-kit-python $ src/assistant_grpc_demo.py

Teraz powiedz „OK, Google” lub naciśnij ten przycisk i sprawdź, czy to działa!

Następna strona pomoże ci, jeśli masz własny niestandardowy plik i odpowiednie wartości bitów i próbkowania dla pliku.wav

Krok 5: Krok 5: Utwórz własny plik.wav

Jeśli nie chcesz używać mojego pliku.wav ze standardowym dźwiękiem startowym Google Home, musisz utworzyć własny plik.wav. Potrzebowałem trochę prób i błędów, aby uzyskać właściwy bit i częstotliwość próbkowania, aby działały dla mnie.

Użyłem Logic Pro X do całej mojej edycji (na zdjęciu), która jest pełnoprawnym programem DAW do tworzenia i produkcji muzyki. Dwie opcje, które znalazłem, które mogą być odpowiednie, to Switch lub MediaHuman Audio Converter. Zakładam, że możesz to zrobić z Garageband, jeśli masz Maca, ale nie próbowałem tego.

Istnieją trzy kluczowe części pliku, które są potrzebne, aby działał z kodem demonstracyjnym.

1. Musi być plikiem audio MONO
2. Częstotliwość próbkowania musi wynosić 32000
3. Musi być plikiem.wav
4. (Opcjonalnie) Rozdzielczość 16-bitowa sprawdziła się najlepiej dla mnie

Krok 6: Krok 6: Dodawanie dźwięku potwierdzenia?

W tym miejscu utknąłem, jeśli ktoś ma jakieś myśli. Chciałbym dodać dźwięk potwierdzenia, jeśli system rozpoznaje wprowadzanie głosowe, jak w normalnym Google Home.

Załączam dla Twojej wygody standardowy dźwięk potwierdzenia.

Cieszyć się!