Utwórz akcje niestandardowe dla Asystenta Google: 12 kroków

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:29

Widząc potencjał Asystenta Google zaprezentowanego w Google I/O 18 oraz Volvo Cars w ich systemie informacyjno-rozrywkowym, nie mogłem się oprzeć jego wypróbowaniu. Ponownie wykorzystałem jeden z moich starszych projektów, VasttraPi i połączyłem go z Asystentem Google. Jeśli chcesz poczytać więcej o projekcie, z przyjemnością zajrzysz do powiązanego artykułu na moim blogu: Akcje niestandardowe dla Asystenta Google.

W tej instrukcji omawiamy kroki niezbędne do uruchomienia własnej akcji Asystenta Google, która będzie komunikować się z Twoim serwerem i rozmawiać z Tobą, wymieniając nadchodzące odloty. Pamiętaj, że nie będziemy używać SDK, ponieważ uruchamiamy to całkowicie w Asystencie Google, a nie na naszym własnym urządzeniu. Ogólnie rzecz biorąc, będzie to proste. Twoje działanie będzie dostępne na urządzeniach obsługujących Asystenta Google, takich jak telefony, tablety, asystenci domowi i urządzenia do noszenia, a nawet możesz je udostępniać tak, jak w przypadku aplikacji w Sklepie Play!

Jedną z głównych zalet tworzenia czegoś takiego w porównaniu z usługami takimi jak IFTTT jest to, że możesz tworzyć niestandardowe odpowiedzi na swoim serwerze, które będą odczytywane przez Asystenta Google. W IFTTT komunikacja jest, jeśli o mnie chodzi, jednokierunkowa.

Omówione zostaną następujące tematy:

• Tworzenie pierwszego projektu w ramach akcji
• Tworzenie własnej intencji
• Tworzenie własnej encji
• Ustawienie webhooka do wykonania Twojej akcji
• Skonfigurowanie prostego serwera REST, napisanego w Pythonie z Flask, który dostarczy odpowiedzi lub „spełnienie”
• Testowanie projektu Action
• Wydanie projektu Action

Tutaj nie znajdziesz wielu szczegółów ani teorii na temat różnych funkcji i koncepcji Asystenta Google. Jeśli jesteś nimi zainteresowany, zdecydowanie sugeruję zapoznanie się z oficjalnym samouczkiem lub obejrzenie tego filmu.

Krok 1: Ustaw uprawnienia konta Google

Zanim zaczniemy, musimy upewnić się, że Asystent Google ma odpowiednie uprawnienia.

1. Przejdź do kontroli aktywności

2. Upewnij się, że następujące elementy są włączone:

   1. Aktywność w internecie i aplikacjach
   2. Informacje o urządzeniu
   3. Aktywność związana z głosem i dźwiękiem

Krok 2: Stwórz swoją akcję

1. Przejdź do Actions Console i kliknij „Dodaj/importuj projekt”
2. Nazwijmy ten projekt Akcji „lokalnym planowaniem ruchu”.
3. Kliknij „Utwórz projekt”.
4. Na następnej stronie nie wybieraj kategorii i kliknij „Pomiń”.
5. Powinieneś być teraz na głównej stronie Actions Console.

Krok 3: Akcja Inwokacja

Określ, jak chcesz, aby Asystent Google rozpoczął działanie.

1. Kliknij opcję „Zdecyduj, jak wywoływana jest akcja” w sekcji „Szybka konfiguracja”.
2. Nazwij go „Mój lokalny planer ruchu” i kliknij „Zapisz”.

3. Kliknij na monit „UPDATE SAMPLE INVOCATIONS”, który pojawił się po kliknięciu Zapisz.

   Możesz również znaleźć tę opcję w "Informacjach katalogowych"

4. Dodaj „Zapytaj mojego lokalnego planowania ruchu” jako nowe wywołanie i kliknij „Zapisz”.

Krok 4: Dodaj swoje pierwsze działanie

1. Kliknij „Działania” na pasku po lewej stronie.
2. Kliknij „DODAJ PIERWSZĄ AKCJĘ”.
3. Wybierz „Niestandardowy zamiar”, a następnie kliknij „Buduj”.
4. Zostaniesz przeniesiony na stronę Dialogflow, gdzie zaimplementujesz główną logikę.

Krok 5: Trening fraz dla twoich intencji

1. Wybierz swoją strefę czasową i kliknij „Utwórz”.
2. Na następnej stronie pozostaw istniejące intencje i kliknij „CREATE INTENT”.
3. Nadaj zamiarowi rozsądną nazwę, tj. „odloty”.
4. Przejdź do „Frazy szkoleniowe” i kliknij „Dodaj frazy szkoleniowe”.

5. Użyj następujących fraz, aby wytrenować swój model, aby mógł zinterpretować to, co mu mówisz:

   1. jestem teraz w domu
   2. Na razie jestem w domu
   3. W tej chwili jestem w naszym mieszkaniu
   4. siedzę w domu
   5. Obecnie jestem blisko pracy
   6. jestem w pracy
   7. jestem w biurze
   8. Praca
   9. Dom

Krok 6: Jednostki

Teraz określiłeś, co powinno być mniej lub bardziej oczekiwane jako dane wejściowe, musimy zdefiniować, które części danych wejściowych są interesujące dla naszej logiki biznesowej, aby można je było wyodrębnić i wyróżnić na naszym serwerze. W naszym przypadku chcemy wiedzieć, czy użytkownik jest w domu, czy w pracy, abyśmy mogli odpowiedzieć odjazdami z konkretnej stacji. Zobaczmy, jak możemy to zrobić.

1. Jeśli klikniesz dwukrotnie na jedno lub więcej słów z fraz szkoleniowych, otrzymasz listę predefiniowanych encji. Więcej o każdym z nich możesz przeczytać tutaj. Ogólnie rzecz biorąc, najbardziej odpowiedni byłby @sys.location, jednak myślę, że najlepiej i najłatwiej stworzymy własną jednostkę, którą powinniśmy nazwać @current-location.
2. Kliknij opcję „Entities” po lewej stronie.
3. Kliknij „UTWÓRZ JEDNOSTKĘ”.

4. Ustaw nazwę na „bieżąca lokalizacja” i zdefiniuj dwie wartości odniesienia wraz z ich synonimami:

   1. Dom

      dom, dom, mieszkanie, łóżeczko

   2. Praca

      praca, biuro, Aptiv, kopalnie kodów (lol żartuję)

5. Kliknij „Zapisz. Aby uzyskać dodatkowy efekt, możesz również kliknąć „Zezwalaj na automatyczne rozwijanie”, aby dać Asystentowi Google większą swobodę w dopasowywaniu większej liczby synonimów do wartości referencyjnych.

Krok 7: Działanie i parametry

Czas nadać znaczenie słowom kluczowym zawartym w Twoich frazach treningowych.

1. Kliknij „Intencje”, a następnie przejdź do swojej niestandardowej intencji, tj. „Odloty”, jeśli postępowałeś zgodnie z moimi sugestiami dotyczącymi imienia i nazwiska.
2. Przewiń w dół do „Frazy szkoleniowe”.
3. Kliknij dwukrotnie słowa wskazujące Twoją aktualną lokalizację i wybierz tag @current-location z wyskakującego okienka.
4. Przewiń w dół do „Działania i parametry”, kliknij „zarządzaj”
5. Jeśli wszystko zostało zrobione poprawnie, zobaczysz tam swoją nową jednostkę.
6. Zaznacz pole „Wymagane”, co spowoduje pojawienie się nowej kolumny „Podpowiedzi”. Podpowiedzi są tym, co użytkownik powinien usłyszeć, jeśli nie zostanie dostarczone nic, co odpowiada oczekiwaniom.
7. Kliknij „Zdefiniuj monity” i wstaw coś w stylu „Nie rozumiem Twojej lokalizacji. Gdzie jesteś w tej chwili?”.

Krok 8: Spełnienie

Teraz nadszedł czas, aby podłączyć usługę internetową do akcji Asystenta Google. Twój hak zostanie wywołany, gdy ten konkretny zamiar zostanie wyzwolony i powinien spowodować spełnienie tego działania. Wcześniej chcemy również ustalić naszą intencję, aby zakończyć akcję po jej spełnieniu.

1. Przejdź do „Odpowiedzi” i kliknij „DODAJ ODPOWIEDŹ”.
2. Nie dodawaj żadnych odpowiedzi, po prostu włącz opcję „Ustaw tę intencję jako koniec rozmowy”.
3. Przewiń w dół do sekcji „Spełnienie”, kliknij „WŁĄCZ SPEŁNIANIE”, a następnie włącz opcję „Włącz wywołanie webhooka w tym celu”.
4. Kliknij „Zapisz”, a następnie przejdź do opcji „Realizacja” po lewej stronie.

5. Włącz opcję „Webhook” i wstaw adres URL, który jest „nasłuchiwany” przez serwer WWW.

   Za każdym razem, gdy intencja zostanie wyzwolona, wyśle żądanie POST do Twojej witryny z treścią żądania zawierającą obiekt JSON z bieżącą lokalizacją użytkownika

6. Kliknij Zapisz.
7. Teraz jesteśmy gotowi do stworzenia naszego serwisu internetowego, ale wcześniej upewnijmy się, że nasza Akcja wita nas w odpowiedni sposób.

Krok 9: Intencja powitalna

Aby dostosować wrażenia użytkownika, powinniśmy stworzyć dla nas odpowiednie powitanie za każdym razem, gdy uruchamiamy nasze działanie.

1. Przejdź do „Intents”, a następnie kliknij „Domyślna intencja powitalna”.
2. Przewiń w dół do „Odpowiedzi”, usuń istniejące i wstaw, co chcesz, aby Twoja akcję powitała Cię po jej zainicjowaniu.
3. Kliknij „Zapisz”.

Krok 10: Twoja usługa sieciowa Pythona

Zróbmy szybki i brudny serwer Pythona używając Flask. Brak zrzutów ekranu dla tego kroku, ale powinno to być całkiem proste.

1. Otwórz nową kartę i utwórz konto na pythonanywhere.com
2. Zweryfikuj swój email.
3. Skonfiguruj swoją aplikację internetową, klikając „Otwórz kartę internetową”.
4. Kliknij „Dodaj nową aplikację internetową” i wybierz „Flask” jako strukturę internetową Pythona.
5. Wybierz Python 3.6 i kliknij "Dalej".
6. Wybierz ścieżkę, w której chcesz, aby znajdowała się twoja "flask_app.py". Umieściłem ją bezpośrednio w moim katalogu domowym jako "/home/your-username/flask_app.py".
7. Wróć do strony głównej, klikając logo Pythona w lewym górnym rogu.
8. Pod plikami kliknij „flask_app.py”, aby rozpocząć edycję.
9. Po otwarciu internetowego edytora tekstu wklej poniższy kod i kliknij „Zapisz”. Ogólna idea jest taka, że w zależności od przeanalizowanego JSON pochodzącego z Google Assistant nasz serwer wykona akcję (np. odczyt lub zapis) i zgłosi to jako odpowiedź /fulfillment, który powinien zostać odczytany użytkownikowi.
10. Kliknij ponownie „Otwórz kartę internetową”, a następnie zielony przycisk „Załaduj ponownie”.
11. Do tej pory powinieneś mieć swój własny serwer WWW w Pythonie działający pod adresem „https://nazwa-użytkownika.pythonanywhere.com/departtures”.

Krok 11: Przetestuj swoje działanie

OK, już prawie skończyłeś. Przetestujmy teraz cały stos i uruchommy ten przykład "Hello world"!

1. Kliknij „Integracje” na pasku po lewej stronie.
2. Kliknij „Ustawienia integracji” w opcji Asystenta Google.
3. W sekcji „Wywołanie niejawne dodaj nazwę swojej intencji, np. „odjazdy”, aby można je było wywołać bezpośrednio, mówiąc na przykład „Hej Google, porozmawiaj z moim lokalnym planistą ruchu o odjazdach z domu”.
4. Włącz zmiany „Automatyczny podgląd”.
5. Kliknij „Test”, co otworzy nową stronę.
6. Wpisz „Porozmawiaj z moim lokalnym planistą ruchu”.
7. Twoje działanie powinno zostać wywołane, co powinno być powitaniem jednej z wcześniej ustawionych odpowiedzi powitalnych.
8. Następnie wpisz „Jestem w pracy”. Należy skontaktować się z serwerem Pythona, a odpowiedź zostanie odczytana przez Asystenta Google.

Fajne, prawda? Teraz wyobraź sobie, co możesz zrobić wchodząc w interakcję z czujnikami, siłownikami i innymi interfejsami API za pomocą Asystenta Google.

Krok 12: Zwolnij swoją akcję

Gdy skończysz testować swoją Akcję i jest ona w dobrym stanie, nadszedł czas, aby podzielić się miłością ze światem lub, jeśli to nie ma sensu, z przyjaciółmi i rodziną.

1. Wróć do konsoli Actions i wybierz działanie lokalnego planowania ruchu.
2. W sekcji „Przygotuj się do wdrożenia” kliknij „Wprowadź informacje wymagane do umieszczenia akcji w katalogu Actions”.
3. Wprowadź krótki opis, dłuższy opis, małe logo, swoje dane kontaktowe, link do polityki prywatności (jeśli nie zamierzasz udostępniać tego publicznie, po prostu umieść link do swojej witryny lub coś w tym rodzaju) i kategorię.
4. Przewiń w górę i kliknij „Zapisz”.
5. Kliknij opcję „Zwolnij” z paska po lewej stronie.
6. Tutaj możesz wybrać, w jakim stanie znajduje się Twoja Akcja. Jeśli nie chcesz słyszeć odpowiedzi „Pobierz testową wersję Mojego lokalnego planowania ruchu”, musisz dokonać pełnej wersji publicznej. Wymaga to jednak sprawdzenia przez Google i nie zostanie omówione w tym samouczku. Zamiast tego możesz nadal udostępniać je maksymalnie 20 osobom, wybierając wersję alfa i dodając je jako testerów alfa.
7. Dodaj dowolnych testerów alfa, wysyłając im link lub dodając ich e-maile.
8. Kliknij „WYŚLIJ DO ALPHA”, zaznacz pola, kliknij „WYŚLIJ” i gotowe!

Teraz Twoja Akcja jest aktywna i masz do niej dostęp Ty i Twoi znajomi. Baw się dobrze!

Jeśli interesuje Cię użyty przeze mnie kod, zajrzyj do projektu na GitHub.