Wizualizacja danych z Magicbit w AWS: 5 kroków

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:27

Dane zebrane z czujników podłączonych do Magicbit zostaną opublikowane w rdzeniu AWS IOT za pośrednictwem MQTT w celu wizualizacji graficznej w czasie rzeczywistym. Używamy magicbit jako płytki rozwojowej w tym projekcie, który jest oparty na ESP32. Dlatego w tym projekcie można zastosować dowolną płytkę rozwojową ESP32.

Kieszonkowe dzieci:

Magicbit

Krok 1: Historia

Ten projekt dotyczy połączenia urządzenia Magicbit z chmurą AWS za pośrednictwem MQTT. Dane przesyłane przez MQTT są analizowane i wizualizowane w chmurze za pomocą usług AWS. Więc zacznijmy

Najpierw przejdź do Konsoli AWS i zaloguj się. W celach edukacyjnych możesz skorzystać z opcji bezpłatnego poziomu oferowanej przez AWS. To wystarczy do tego projektu.

Dla uproszczenia podzielę projekt na dwie części.

To będzie pierwszy etap naszego projektu. Pod koniec pierwszego etapu dane zostaną zapisane w wiaderkach S3.

Usługi AWS, które będą wykorzystywane w pierwszej sekcji,

• Wąż strażacki Kinesis
• Klej AWS
• AWS S3

Najpierw przejdź do usługi AWS Kinesis.

Wybierz Kinesis Data Firehose, jak pokazano poniżej i kliknij Utwórz

Następnie zostaniesz przekierowany do kroku 1 tworzenia usługi Firehose. Wprowadź nazwę strumienia dostarczania i wybierz opcję Direct Put lub Inne źródła. Kliknij Następny.

W oknie Krok 2 pozostaw wszystko jako domyślne i kliknij Dalej. Po utworzeniu AWS Glue Service wrócimy do edycji tego kroku.

W kroku 3 wybierz zasobnik S3, jeśli utworzyłeś go wcześniej. W przeciwnym razie kliknij utwórz i utwórz zasobnik. W sekcji prefiksu S3 użyj dest/, aw prefiksie błędu wpisz error/. Możesz wpisać dowolną nazwę dla dwóch powyższych. Ale dla ułatwienia będziemy kontynuować pod wspólną nazwą. Pamiętaj, aby w wybranym zasobniku utworzyć folder o nazwie dest. Kliknij Następny.

W kroku 4 wybierz minimalny rozmiar bufora i interwał bufora do przesyłania danych w czasie rzeczywistym. W sekcji Uprawnienia wybierz Utwórz lub zaktualizuj rolę uprawnieńKinesisFirehoseServiceRole. Zachowaj wszystko jako domyślne. Kliknij Następny.

W następnej sekcji zostanie wyświetlony przegląd wprowadzonych zmian. Kliknij OK. Wtedy będziesz miał działający Kinesis Firehose.

Jeśli pomyślnie utworzyłeś usługę Firehose, otrzymasz coś takiego.

Krok 2: Testowanie węża strażackiego i wiadra S3

Aby sprawdzić, czy wąż strażacki i wiadro S3 działają poprawnie, wybierz w konsoli rdzeń IOT. Zostaniesz przekierowany na taką stronę. Wybierz Regułę i utwórz regułę.

Co to jest reguła AWS IOT?

Służy do przekazywania wszelkich danych otrzymanych z MQTT do określonej usługi. W tym przykładzie przejdziemy do Kinesis Firehose.

Wybierz nazwę dla Reguły. Pozostaw instrukcję Rule and Query bez zmian. To mówi nam, że wszystko, co zostanie opublikowane w temacie iot/temacie, zostanie przekazane do kinesis Firehose zgodnie z tą regułą.

W sekcji Ustaw jedną lub więcej akcji kliknij dodaj akcję. Wybierz opcję Wyślij wiadomość do Amazon Kinesis Firehose Stream. Wybierz konfigurację. Następnie wybierz nazwę utworzonego wcześniej strumienia węża strażackiego. Następnie kliknij Utwórz rolę i utwórz rolę. Teraz pomyślnie utworzyłeś rolę w AWS.

Każda opublikowana wiadomość zostanie przekazana przez Kinesis Firehose do zasobników S3.

Należy pamiętać, że Wąż Strażacki wysyła dane, gdy jego bufor jest zapełniony lub gdy osiągnięty zostanie interwał bufora. Minimalny interwał bufora to 60 sek.

Teraz możemy przejść do drugiej części projektu. To będzie nasz diagram przepływu danych.

Krok 3: Konfiguracja kleju AWS

Dlaczego potrzebujemy kleju AWS i AWS Athena?

Dane przechowywane w zasobnikach S3 nie mogą być bezpośrednio wykorzystywane jako dane wejściowe do AWS Quicksight. Najpierw musimy uporządkować dane w formie tabel. W tym celu korzystamy z dwóch powyższych usług.

Przejdź do Kleju AWS. Wybierz Robot na bocznym pasku narzędzi. Następnie wybierz Dodaj robota.

W pierwszym kroku wpisz nazwę dla swojego robota. Kliknij Następny. W następnym kroku pozostaw to jako domyślne. W trzecim kroku wprowadź ścieżkę do wybranego wiadra S3. Następne okno pozostaw jako domyślne. W piątym oknie wprowadź dowolną rolę IAM. W kolejnym kroku wybierz częstotliwość uruchamiania usługi.

Wskazane jest, aby wybrać niestandardowy w rozwijanym polu i wybrać minimalny czas.

W następnym kroku kliknij Dodaj bazę danych, a następnie dalej. Kliknij Zakończ.

Teraz powinniśmy zintegrować nasz Kinesis Firehose ze stworzonym przez nas klejem AWS.

Przejdź do stworzonego przez nas węża AWS Kinesis i kliknij edytuj.

Przewiń w dół do sekcji Convert Record Format i wybierz Enabled.

Wybierz format wyjściowy jako Apache Parquet. Dla pozostałych szczegółów wypełnij szczegóły utworzonej bazy danych Glue. W bazie danych należy utworzyć tabelę i w tej sekcji dodać nazwę. Kliknij Zapisz.

Krok 4: Konfiguracja AWS Athena

Wybierz bazę danych i utworzoną tabelę danych. W sekcji zapytania należy dodać ten kod.

nazwa tabeli powinna zostać zastąpiona rzeczywistą nazwą utworzonej tabeli kleju.

Kliknij Uruchom zapytanie. Jeśli to działa, dane przechowywane w wiaderku AWS S3 powinny być wyświetlane jako tabela danych.

Teraz jesteśmy gotowi do wizualizacji otrzymanych danych.

Krok 5: Konfiguracja QuickSight

Przejdź do AWS Quicksight

Kliknij Nowa analiza w prawym górnym rogu, a następnie kliknij Nowy zestaw danych.

Wybierz Atenę z listy. Wpisz dowolną nazwę źródła danych na wyskakującej karcie.

Wybierz bazę danych kleju z listy rozwijanej i odpowiedniej tabeli. Spowoduje to przejście do tej strony.

Przeciągnij i upuść dowolne pole z listy pól i wybierz dowolny typ wizualizacji.

Teraz możesz wizualizować dowolne dane przesyłane z Twojego MagicBit za pomocą usług AWS!!!

Pamiętaj, aby zezwolić na dostęp do szybkiego wglądu do odpowiednich wiader S3 w celu wizualizacji zawartych w nich danych.