SEER- Inteligentny asystent osobisty oparty na InternetOfThings: 12 kroków (ze zdjęciami)

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:32

Seer to urządzenie, które będzie odgrywać rolę wspomagającą w dziedzinie inteligentnych domów i automatyki. Jest to w zasadzie aplikacja Internetu rzeczy.

SEER to 9-calowy bezprzewodowy głośnik bez użycia rąk wykonany z Raspberry Pi 3 model B ze zintegrowaną kamerą, którą sterujesz za pomocą głosu. SEER działa na Amazon Web Services i wymaga modemu Hologram Nova USB do szybkiego połączenia z Internetem. Aby zainicjować polecenie, SEER musi usłyszeć „przebudzenie”. Domyślnym słowem jest „SEER”, chociaż możesz je zmienić za pośrednictwem naszej aplikacji.

Dzięki SEER kompatybilne urządzenie może odtwarzać muzykę, odpowiadać na pytania, sterować oświetleniem i wiele więcej.

SECURITY-SEER to nowe podejście do inteligentnego bezpieczeństwa domu, automatyki, sterowania głosowego.

01 Seer automatycznie pobiera kontakty policji, straży pożarnej i pogotowia ratunkowego znajdującego się najbliżej Twojego domu, dając Ci dostęp do odpowiednich władz za jednym dotknięciem, bez względu na to, gdzie jesteś na świecie. Dzięki dowodom wideo i dźwiękowym trwających włamań, Twoje połączenie uzyska priorytet, na jaki zasługuje.

02 Automatyczne przełączanie trybu. Nie ma potrzeby zawracania sobie głowy klawiaturą ani nawet wyciągania? Twój telefon. Widzący wyczuwa, kiedy przychodzisz i odchodzisz, i automatycznie zmienia tryby.

03 Wideo wysokiej jakości, w dzień iw nocy. Dzięki najwyższej jakości obrazu Seeer, doskonałemu widzeniu w nocy i 147-stopniowemu obiektywowi szerokokątnemu zawsze wiesz, co dzieje się w domu. Oglądaj na żywo w dowolnym momencie i przesyłaj strumieniowo pełnometrażowe klipy HD bez dodatkowych kosztów.

04 Prywatność, której możesz zaufać. Dzięki wbudowanemu ustawieniu prywatności Seer umożliwia całkowite wyłączenie kamery i mikrofonu w dowolnym momencie. Podczas nagrywania Seer stosuje rozbudowane środki bezpieczeństwa w celu ochrony prywatnych danych.

SYSTEM-

01 Seer odtwarza całą Twoją muzykę z Spotify, Pandora, Heart Radio, TuneIn, Amazon Music i innych, używając tylko Twojego głosu. Wszyscy lubimy wiedzieć, jak radzą sobie nasze ulubione drużyny sportowe. Dzięki Seer możesz usłyszeć szczegóły, takie jak wyniki i nadchodzące harmonogramy sportów indyjskich. Wszystko, co musisz zrobić, to powiedzieć „Widzisz, daj mi aktualności sportowe.

02 Za pomocą głosu możesz sterować światłami. Możesz poprosić Seera o włączanie i wyłączanie wszystkich świateł albo o zmianę koloru świateł za każdym razem, gdy na urządzeniu Seera odtwarzany jest nowy utwór.

03 O ile nie pracujesz w domu, warunki drogowe do miejsca pracy są ważnym szczegółem, o którym musisz wiedzieć każdego dnia. Na szczęście Widzący może pomóc Ci ominąć korki.

04 Domino's Pizza umożliwia teraz zamawianie jedzenia poprzez wysłanie tweeta. Dzięki IFTTT ta funkcja została dodatkowo zautomatyzowana, dzięki czemu możesz zamawiać pizzę swoim głosem. Aby to zrobić, musisz użyć IFTTT i mieć konto na Twitterze.

05 Tak, możesz zamówić w Uber, korzystając z naszego Seera. Aby to zrobić, musimy dodać funkcje do aplikacji Seer. Wybierz Umiejętności w menu głównym aplikacji. Znajdź „Uber”, a następnie wybierz „Włącz umiejętność”. Musisz „Zgadzam się i włącz”, co umożliwia Uberowi dostęp do lokalizacji Twojego urządzenia.

06 Jest to złoto dla osób szczególnie uzdolnionych, ponieważ niewidzące muszą cierpieć wiele dni 2 dniowe zamieszanie, jako pomocną dłoń mamy umiejętność, która w zależności od nastroju śpiewa, mówi, gada i wiele klaczy, czego chce człowiek.

07 Dzięki Seer możesz tworzyć alarmy, przypomnienia, a nawet połączenia, wiadomości, odpowiadać na nie i tworzyć pełne środowisko inteligentnego domu.

08 Pomóż osobom niedowidzącym i starszym połączyć się ze światem, dając im dostęp do Wikipedii, Gmaila, muzyki, wiadomości, kalkulatora sterowanego głosem.

Krok 1: Wymagany sprzęt

Zanim zaczniesz, przejrzyjmy, czego potrzebujesz.

Raspberry Pi 3 (zalecane) lub Pi 2 Model B (obsługiwane)

Hologram globalnej karty SIM IoT

Hologram Modem komórkowy USB Huawei E303/353

STEVAL-STLKT01V1 - Stosując ST Microelectronics STEVAL-STLKT01V1 wykonamy inteligentną kamerę bezpieczeństwa, która powiadomi Cię, gdy ktoś niepowołany wejdzie do Twojego sklepu/domu. STEVAL-STLKT01V1, Czujniki ruchu zostaną użyte do wykrycia ruchu w 360 stopniach, a następnie raspberry pi 3B za pomocą silnika przesunie się w tym kierunku i zrobi zdjęcia oraz automatycznie poinformuje zainteresowane osoby. za pomocą aplikacji na Androida możemy sprawdzić, co się dzieje i wezwać pomoc. Sensor Tile Cradle z ładowarką baterii, czujnikiem wilgotności i temperatury, gniazdem kart pamięci SD, portem USB Łączy się z pi i przesyła dane do usług głosowych Amazon.

Kabel zasilający Micro-USB do Raspberry Pi.

Karta Micro SD (minimum 8 GB) - aby rozpocząć, potrzebujesz systemu operacyjnego. NOOBS (New Out of the Box Software) to łatwy w użyciu menedżer instalacji systemu operacyjnego dla Raspberry Pi. Najprostszym sposobem na zdobycie NOOBS jest zakup karty SD z preinstalowanym NOOBS - Raspberry Pi 8GB Preloaded (NOOBS) Micro SD Card. Alternatywnie możesz pobrać i zainstalować go na karcie SD (postępuj zgodnie z instrukcjami tutaj).

Mini mikrofon USB 2.0 - Raspberry Pi nie posiada wbudowanego mikrofonu; do interakcji z Alexą potrzebujesz zewnętrznego do podłączenia.

Głośnik zewnętrzny z kablem audio 3,5 mm.

Klawiatura i mysz USB oraz zewnętrzny monitor HDMI – zalecamy również posiadanie klawiatury i myszy USB oraz monitora HDMI, jeśli nie możesz zdalnie (SSH) do swojego Pi.

Bezprzewodowy adapter Wi-Fi dla Pi 2. Uwaga: Pi 3 ma wbudowane Wi-Fi. Aby uzyskać dodatkowe środki, pokażemy Ci, jak zdalnie (SSH) do urządzenia, eliminując potrzebę korzystania z monitora, klawiatury i myszy - i jak aby śledzić dzienniki w celu rozwiązywania problemów.

Krok 2: Podłącz Raspberry Pi do sieci komórkowej za pomocą modemu Huawei E303

Raspberry Pi to świetna platforma IoT, która jest jeszcze lepsza z komórkowym połączeniem internetowym.

Posiadanie łączności komórkowej na Raspberry Pi może otworzyć przed Tobą cały świat innych fajnych projektów. Wszędzie tam, gdzie Wi-Fi może nie być możliwe, możesz teraz mieć połączenie z Internetem.

Wystarczy postępować zgodnie z tymi prostymi instrukcjami:

• Zainstaluj najnowszą wersję Raspbian, postępując zgodnie z instrukcjami na stronie Raspberry Pi.
• Włóż kartę SIM Hologram do modemu Huawei, zsuwając pokrywę, a następnie wkładając ją stykami do dołu. Pamiętaj, że zajmuje to rozmiar karty mini-SIM.
• Podłącz modem do Raspberry Pi i uruchom Pi
• Otwórz okno terminala i wpisz ifconfig. Powinieneś zobaczyć wpis dla eth1, jak pokazano na obrazku.
• Wpisz sudo dhclient eth1, aby przypisać modemowi wewnętrzny adres IP.
• Otwórz przeglądarkę internetową na Pi i przejdź do
• Przejdź do strony zarządzania profilami w ustawieniach modemu i utwórz nowy profil. Będziesz chciał ustawić APN na „hologram” i pozostawić nazwę użytkownika i hasło puste, jak pokazano na obrazku.
• Następnie przejdź do strony Połączenie mobilne i upewnij się, że sieć jest ustawiona na „Auto” i że roaming jest włączony.
• Modem powinien teraz połączyć się z siecią komórkową (po pomyślnym nawiązaniu połączenia zobaczysz diodę LED na modemie)
• Spróbuj wysłać polecenie ping lub wejdź na stronę internetową (np. https://hologram.io/test.html) Teraz powinieneś być w stanie zrobić wszystko, co chcesz przez Internet.
• Modem zapisze twoje ustawienia APN, więc nie musisz go ponownie konfigurować.
• Nowsze wersje Raspbian nie powinny wymagać żadnej dodatkowej konfiguracji, aby automatycznie nawiązać połączenie, gdy płyta jest podłączona, ale jeśli masz jakieś problemy, dodaj te linie do /etc/network/interfaces

Zezwalaj na hotplug eth1

iface eth1 inet Dhcp

Krok 3: Konfiguracja Pi

Jeśli nie masz już zainstalowanego Raspbian Jessie na swoim Pi, postępuj zgodnie z naszym przewodnikiem - Konfigurowanie raspberry pi - który przeprowadzi Cię przez proces pobierania i instalacji Raspbian Jessie oraz podłączania sprzętu (jeśli nie znasz Raspberry Pi, gorąco polecamy postępujesz zgodnie z powyższym przewodnikiem, aby przygotować swoje Pi przed przejściem dalej).

Krok 4: Zarejestruj się, aby założyć konto programisty Amazon

Jeśli już go nie masz, śmiało utwórz bezpłatne konto programisty na developer.amazon.com. Powinieneś zapoznać się z Warunkami i umowami AVS tutaj.

Krok 5: Utwórz profil urządzenia i bezpieczeństwa

Wykonaj poniższe czynności, aby zarejestrować produkt i utworzyć profil bezpieczeństwa.

Zanotuj następujące parametry. Będziesz ich potrzebować w kroku 5 poniżej.

• ProductID (znany również jako identyfikator typu urządzenia),
• Identyfikator klienta, i
• Sekret Klienta

Ważne: Upewnij się, że Dozwolone źródła i Dozwolone zwrotne adresy URL są ustawione w sekcji Profil bezpieczeństwa > Ustawienia internetowe (zobacz Tworzenie urządzenia i profilu bezpieczeństwa):

• Dozwolone źródła:
• Dozwolone zwrotne adresy URL:

Krok 6: sklonuj przykładową aplikację

Otwórz terminal i wpisz:

cd Klon Desktopgit

Krok 7: Zaktualizuj skrypt instalacyjny za pomocą swoich poświadczeń

Przed uruchomieniem skryptu instalacyjnego należy zaktualizować skrypt przy użyciu poświadczeń uzyskanych w kroku 3 - ProductID, ClientID, ClientSecret. Wpisz w terminalu:

cd ~/Desktop/alexa-avs-sample-appnano automatic_install.sh

Wklej wartości ProductID, ClientID i ClientSecret uzyskane w kroku 3 powyżej. Zmiany powinny wyglądać tak:

• ProductID="MalinaPi3"
• ClientID="amzn.xxxxx.xxxxxxxxx"
• ClientSecret="4e8cb14xxxxxxxxxxxxxxxxxxxxxxxxxxxxx6b4f9"

Wpisz ctrl-X, a następnie Y, a następnie naciśnij klawisz Enter, aby zapisać zmiany w pliku.

Krok 8: Uruchom skrypt instalacyjny

Jesteś teraz gotowy do uruchomienia skryptu instalacyjnego. Spowoduje to zainstalowanie wszystkich zależności, w tym dwóch silników słów wake od Sensory i KITT. AI.

Uwaga: Skrypt instalacyjny zainstaluje wszystkie pliki projektu w folderze, z którego skrypt jest uruchamiany. Aby uruchomić skrypt, otwórz terminal i przejdź do folderu, w którym sklonowano projekt. Następnie uruchom następujące polecenie:

cd ~/Desktop/alexa-avs-sample-app. zautomatyzowana_instalacja.sh

Zostaniesz poproszony o odpowiedź na kilka prostych pytań. Pomagają one upewnić się, że przed kontynuowaniem spełniono wszystkie niezbędne wymagania wstępne.

Kiedy czarodziej się uruchomi, idź po filiżankę kawy - zajmuje to około 30 minut.

Krok 9: Uruchom swoją usługę internetową, przykładową aplikację i Wake Word Engine

Po zakończeniu instalacji musisz uruchomić trzy polecenia w 3 oddzielnych oknach terminala:

• Okno terminala 1: uruchamianie usługi sieciowej w celu autoryzacji
• Okno terminala 2: uruchomienie przykładowej aplikacji do komunikacji z AVS
• Okno terminala 3: aby uruchomić silnik słów wybudzających, który pozwala rozpocząć interakcję za pomocą frazy "Alexa".

Uwaga: te polecenia muszą być uruchamiane w kolejności.

Okno terminala 1

Otwórz nowe okno terminala i wpisz następujące polecenia, aby wywołać usługę sieciową, która służy do autoryzacji przykładowej aplikacji za pomocą AVS:

cd ~/Desktop/alexa-avs-sample-app/samplescd towarzysząca usługa && npm start

Serwer działa teraz na porcie 3000 i jesteś gotowy do uruchomienia klienta. Zobacz Przegląd API Autoryzacja, aby dowiedzieć się więcej o autoryzacji.

Okno terminala 2

Otwórz nowe okno terminala i wpisz następujące polecenia, aby uruchomić przykładową aplikację, która komunikuje się z AVS:

cd ~/Desktop/alexa-avs-sample-app/samplescd javaclient && mvn exec:exec

Zobacz Interfejsy Przegląd API, aby dowiedzieć się więcej o wiadomościach wysyłanych do/z AVS.

Przejdźmy przez kilka następnych kroków związanych z Window

1. Po uruchomieniu klienta powinno pojawić się okno z komunikatem - Proszę zarejestrować swoje urządzenie, odwiedzając następujący adres URL w przeglądarce internetowej i postępując zgodnie z instrukcjami:

localhost:3000/provision/d340f629bd685deeff28a917. Czy chcesz automatycznie otworzyć adres URL w domyślnej przeglądarce?

Kliknij „Tak”, aby otworzyć adres URL w domyślnej przeglądarce.

2. Jeśli używasz Raspbian Jessie z pulpitem Pixel (i z przeglądarką Chromium), możesz otrzymać ostrzeżenie z przeglądarki. Możesz to obejść, klikając Zaawansowane -> Przejdź do lokalnego hosta (niebezpieczne).

3. Zostaniesz przeniesiony na stronę logowania za pomocą Amazon. Wprowadź swoje dane uwierzytelniające Amazon.

4. Zostaniesz przeniesiony na stronę autoryzacji dewelopera, potwierdzając, że chcesz, aby Twoje urządzenie miało dostęp do utworzonego wcześniej profilu bezpieczeństwa. Kliknij OK.

5. Zostaniesz teraz przekierowany na adres URL zaczynający się od

6. Wróć do aplikacji Java i kliknij przycisk OK. Klient jest teraz gotowy do zaakceptowania próśb Alexy.

Okno terminala 3

Uwaga: Pomiń ten krok, aby uruchomić tę samą aplikację bez silnika wybudzania.

Ten projekt obsługuje dwa silniki słów wake innych firm: TrulyHandsFree firmy Sensory i Snowboy firmy KITT. AI. Parametr -e służy do wyboru agenta i obsługuje dwie wartości dla {{silnika}}: kitt_ai i sensory.

Otwórz nowe okno terminala i użyj następujących poleceń, aby wywołać silnik słów wybudzających z Sensory lub KITT. AI. Silnik słów wybudzających umożliwia inicjowanie interakcji za pomocą frazy „Alexa”.

Aby użyć mechanizmu wybudzania sensorycznego, wpisz -

cd ~/Desktop/alexa-avs-sample-app/samplescd wakeWordAgent/src &&./wakeWordAgent -e sensory

lub wpisz to, aby użyć silnika budzenia KITT. AI -

cd ~/Desktop/alexa-avs-sample-app/samplescd wakeWordAgent/src &&./wakeWordAgent -e kitt_ai

Teraz masz działający prototyp AVS bez użycia rąk! Skorzystaj z następujących zasobów, aby dowiedzieć się więcej o dostępnych silnikach słów wybudzających:

• Sensoryczny
• KITT. AI

Krok 10: Porozmawiaj z Alexa

Możesz teraz rozmawiać z Alexą, używając słowa budzącego „Alexa”. Wypróbuj następujące:

Powiedz „Alexa”, a następnie poczekaj na sygnał dźwiękowy. Teraz powiedz „która jest godzina?” Powiedz „Alexa”, a następnie poczekaj na sygnał dźwiękowy. Teraz powiedz „jaka jest pogoda w Seattle?” Jeśli wolisz, możesz również kliknąć przycisk „Słuchaj”, zamiast używać słowa budzenia. Kliknij raz przycisk „Słuchaj”, po zwolnieniu kliknięcia poczekaj na sygnał dźwiękowy, zanim zaczniesz mówić. Może upłynąć sekunda lub dwie, zanim usłyszysz sygnał dźwiękowy

Krok 11: Jak wylogować się z przykładowej aplikacji

Zobacz przykładowe instrukcje wylogowania z aplikacji.

Krok 12: Idź bez głowy i pozbądź się monitora, klawiatury i myszy

Teraz, gdy masz już uruchomiony prototyp AVS, możesz chcieć pozbyć się monitora, klawiatury i myszy. Możesz to zrobić za pomocą SSH i VNC.