Autonomiczny dron z kamerą na podczerwień do pomocy pierwszym ratownikom: 7 kroków

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:29

Według raportu Światowej Organizacji Zdrowia co roku klęski żywiołowe zabijają około 90 000 osób i dotykają blisko 160 milionów ludzi na całym świecie. Klęski żywiołowe obejmują trzęsienia ziemi, tsunami, erupcje wulkanów, osuwiska, huragany, powodzie, pożary, fale upałów i susze. Czas jest najważniejszy, ponieważ szansa na przeżycie maleje z każdą minutą. Ratownicy mogą mieć problemy ze zlokalizowaniem ocalałych w uszkodzonych domach i narażają ich życie na niebezpieczeństwo podczas ich poszukiwania. Posiadanie systemu, który może zdalnie lokalizować ludzi, znacznie zwiększyłoby szybkość, z jaką ratownicy będą mogli ewakuować ich z budynków. Po zbadaniu innych systemów odkryłem, że niektóre firmy stworzyły roboty działające na lądzie lub stworzyły drony, które mogą śledzić ludzi, ale działają tylko poza budynkami. Połączenie kamer głębinowych wraz ze specjalnymi kamerami na podczerwień pozwala na dokładne śledzenie przestrzeni wewnętrznej i wykrywanie zmian temperatury reprezentujących ogień, ludzi i zwierzęta. Dzięki zaimplementowaniu czujników z niestandardowym algorytmem na bezzałogowym statku powietrznym (UAV) możliwe będzie autonomiczne sprawdzanie domów i identyfikowanie lokalizacji ludzi i zwierząt, aby jak najszybciej je ratować.

Proszę zagłosuj na mnie w konkursie Optyka!

Krok 1: Wymagania projektowe

Po zbadaniu dostępnych technologii omówiłem możliwe rozwiązania z ekspertami od wizji maszynowej i pierwszym ratownikiem, aby znaleźć najlepszą metodę wykrywania ocalałych w niebezpiecznych obszarach. Poniższe informacje zawierają listę najważniejszych wymaganych funkcji i elementów konstrukcyjnych systemu.

• Przetwarzanie wizji - system musi zapewniać dużą szybkość przetwarzania informacji wymienianych między czujnikami i odpowiedzi sztucznej inteligencji (AI). Na przykład system musi być w stanie wykrywać ściany i przeszkody, aby ich omijać, a jednocześnie znajdować osoby znajdujące się w niebezpieczeństwie.
• Autonomiczny - system musi być w stanie funkcjonować bez udziału użytkownika lub operatora. Personel z minimalnym doświadczeniem z technologią UAV powinien być w stanie nacisnąć jeden lub kilka przycisków, aby system sam rozpoczął skanowanie.
• Zasięg - zasięg to odległość między systemem a wszystkimi innymi obiektami w pobliżu. System powinien być w stanie wykryć korytarze i wejścia z odległości co najmniej 5 metrów. Idealny minimalny zasięg to 0,25 m, aby można było wykryć bliskie obiekty. Im większy zasięg wykrywania, tym krótszy czas wykrywania ocalałych.
• Dokładność nawigacji i wykrywania - system powinien być w stanie dokładnie zlokalizować wszystkie wejścia i nie uderzać w żadne obiekty, jednocześnie wykrywając nagłe pojawienie się obiektów. System musi być w stanie odróżnić ludzi od obiektów nieożywionych za pomocą różnych czujników.
• Czas działania - system powinien być w stanie wytrzymać 10 minut lub dłużej, w zależności od tego, ile pomieszczeń musi przeskanować.
• Szybkość - Powinien być w stanie przeskanować cały budynek w mniej niż 10 minut.

Krok 2: Wybór sprzętu: metoda mobilności

Quadkopter został wybrany zamiast zdalnie sterowanego samochodu, ponieważ chociaż quadkopter jest delikatny, łatwiej jest go kontrolować i zmieniać wysokość, aby uniknąć przeszkód. Quadkopter może trzymać wszystkie czujniki i stabilizować je, aby były dokładniejsze podczas poruszania się po różnych pomieszczeniach. Śmigła wykonane są z włókna węglowego odpornego na ciepło. Czujniki kierują się z dala od ścian, aby zapobiec wypadkom.

• Zdalnie sterowany pojazd lądowy

  • Plusy - Może się szybko poruszać bez upadku i nie ma na niego wpływu temperatura
  • Wady - Pojazd umieściłby czujniki nisko nad ziemią, pokrywając jednocześnie mniejszy obszar i może zostać zablokowany przez przeszkody

• Quadkopter

  • Plusy - Unosi czujniki w powietrze, aby uzyskać 360-stopniowy widok otoczenia
  • Minusy - Jeśli wpadnie na ścianę, może spaść i nie zregenerować się

Krok 3: Wybór sprzętu: mikrokontrolery

Dwa główne wymagania stawiane mikrokontrolerom to mały rozmiar, aby zmniejszyć obciążenie quadkoptera i szybkość szybkiego przetwarzania wprowadzanych informacji. Połączenie Rock64 i DJI Naza to idealne połączenie mikrokontrolerów, ponieważ Rock64 ma wystarczającą moc obliczeniową, aby szybko wykryć ludzi i zapobiec wpadaniu quadkoptera na ściany i przeszkody. DJI Naza dobrze to uzupełnia, wykonując całą stabilizację i kontrolę silnika, których Rock64 nie może zrobić. Mikrokontrolery komunikują się przez port szeregowy i w razie potrzeby umożliwiają sterowanie przez użytkownika. Raspberry Pi byłby dobrą alternatywą, ale ponieważ Rock64 miał lepszy procesor i lepszą łączność z czujnikami wymienionymi w następnej tabeli, Pi nie został wybrany. Intel Edison i Pixhawk nie zostały wybrane z powodu braku wsparcia i łączności.

• Malina Pi

  • Plusy - Może wykrywać ściany i stałe obiekty
  • Wady - stara się nadążyć za danymi ze wszystkich czujników, więc nie można wystarczająco szybko zobaczyć wejść. Nie może wysyłać sygnałów silnika i nie ma żadnych czujników stabilizujących dla quadkoptera;

• Skała64

  • Plusy – Możliwość wykrywania ścian i wejść z niewielkim opóźnieniem.
  • Wady - Może również prowadzić system po całym domu bez wpadania na cokolwiek przy użyciu wszystkich czujników. Nie można wysłać sygnałów wystarczająco szybko, aby kontrolować prędkość silnika i nie ma żadnych czujników stabilizujących dla quadkoptera

• Intel Edison

  • Plusy - Potrafi wykryć ściany i wejścia z pewnym opóźnieniem
  • Wady - Starsza technologia, wiele czujników wymagałoby nowych bibliotek, co jest bardzo czasochłonne w tworzeniu
• DJI Naza
  • Plusy - Posiada zintegrowany żyroskop, akcelerometr i magnetometr, aby quadkopter był stabilny w powietrzu z mikroregulacjami prędkości silnika
  • Wady - Nie można wykonać żadnego przetwarzania wzroku

• Pixhawk

  • Zalety - Kompaktowy i kompatybilny z czujnikami używanymi w projekcie dzięki wykorzystaniu wyjścia ogólnego przeznaczenia (GPIO)
  • Wady - Nie można wykonać żadnego przetwarzania wzroku

Krok 4: Wybór sprzętu: czujniki

Aby uzyskać wszystkie informacje potrzebne do odnalezienia osób w niebezpiecznych obszarach, wykorzystywana jest kombinacja kilku czujników. Dwa główne wybrane czujniki obejmują stereofoniczną kamerę na podczerwień oraz nawigację dźwiękową i pomiar odległości (SONAR). Po kilku testach zdecydowałem się użyć aparatu Realsense D435, ponieważ jest mały i może dokładnie śledzić odległości do 20 metrów. Działa z prędkością 90 klatek na sekundę, co pozwala na wykonanie wielu pomiarów przed podjęciem decyzji o tym, gdzie znajdują się obiekty i w którym kierunku skierować quadkopter. Czujniki SONAR są umieszczone na górze i na dole systemu, aby umożliwić quadkopterowi określenie, jak wysoko lub nisko może zejść przed zetknięciem się z powierzchnią. Istnieje również jedna umieszczona skierowana do przodu, aby umożliwić systemowi wykrywanie obiektów, takich jak szkło, których nie może wykryć czujnik kamery na podczerwień stereo. Ludzie i zwierzęta są wykrywane za pomocą algorytmów rozpoznawania ruchu i obiektów. Kamera FLIR zostanie wdrożona, aby pomóc stereo kamerze termowizyjnej śledzić, co żyje, a co nie, aby zwiększyć wydajność skanowania w niesprzyjających warunkach.

• Kinect V1

  • Plusy - Można łatwo śledzić obiekty 3D z odległości do 6 metrów
  • Wady -Ma tylko 1 czujnik podczerwieni i jest zbyt ciężki dla quadkoptera

• Realsense D435

  • Zalety - Posiada 2 kamery na podczerwień i kamerę Red, Green, Blue, Depth (RGB-D) do precyzyjnego wykrywania obiektów 3D z odległości do 25 metrów. Ma 6 cm szerokości, co pozwala na łatwe dopasowanie do quadkoptera
  • Wady - Może się nagrzewać i może wymagać wentylatora chłodzącego

• LIDAR

  • Plusy - Promień, który może śledzić lokalizacje w odległości do 40 metrów na linii wzroku
  • Wady - Ciepło w środowisku może wpływać na precyzję pomiaru

• SONAR

  • Plusy - Wiązka, która może śledzić odległość 15 m, ale jest w stanie wykryć przezroczyste obiekty, takie jak szkło i akryl
  • Wady - Tylko punkty w jednej linii wzroku, ale mogą być przesuwane przez quadkopter w celu skanowania obszaru

• Ultradźwiękowy

  • Plusy - Ma zasięg do 3 m i jest bardzo tani
  • Wady - Tylko punkty w jednej linii wzroku i mogą być bardzo łatwo poza zasięgiem wykrywania odległości

• Kamera FLIR

  • Zalety - Możliwość robienia głębokich zdjęć przez dym bez zakłóceń i wykrywanie żywych ludzi za pomocą sygnatur cieplnych
  • Wady - Jeśli cokolwiek zakłóca działanie czujników, obliczenia odległości mogą zostać niepoprawnie obliczone

• Czujnik PIR

  • Plusy - Potrafi wykryć zmiany temperatury
  • Wady - Nie można określić, gdzie jest różnica temperatur

Krok 5: Wybór sprzętu: oprogramowanie

Użyłem Realsense SDK wraz z Robot Operating System (ROS), aby stworzyć bezproblemową integrację wszystkich czujników z mikrokontrolerem. SDK zapewniało stały strumień danych chmury punktów, co było idealne do śledzenia wszystkich obiektów i granic quadkoptera. ROS pomógł mi przesłać wszystkie dane z czujników do stworzonego przeze mnie programu, który implementuje sztuczną inteligencję. AI składa się z algorytmów wykrywania obiektów i algorytmów wykrywania ruchu, które pozwalają quadkopterowi znaleźć ruch w swoim otoczeniu. Kontroler wykorzystuje modulację szerokości impulsu (PWM) do sterowania położeniem quadkoptera.

• Freenect

  • Plusy - Ma niższy poziom dostępu do kontrolowania wszystkiego
  • Wady - obsługuje tylko Kinect V1

• Realsense SDK

  • Zalety - Można łatwo tworzyć dane chmury punktów ze strumienia informacji z kamery Realsense
  • Wady - obsługuje tylko kamerę Realsense D435

• Sterownik FLIR Linux

  • Plusy - Może pobierać strumień danych z kamery FLIR
  • Wady - Dokumentacja jest bardzo ograniczona

• System operacyjny robota (ROS)

  • Plusy - System operacyjny idealny do programowania funkcji aparatu
  • Minusy - W celu wydajnego gromadzenia danych należy zainstalować na szybkiej karcie SD

Krok 6: Rozwój systemu

„Oczy” urządzenia to stereofoniczny czujnik podczerwieni Realsense D435, który jest gotowym czujnikiem używanym głównie w zastosowaniach robotycznych, takich jak mapowanie 3D (Rysunek 1). Gdy ten czujnik jest zainstalowany na quadkopterze, kamera na podczerwień może prowadzić i umożliwiać autonomiczne poruszanie się quadkoptera. Dane generowane przez kamerę nazywane są chmurą punktów, która składa się z szeregu punktów w przestrzeni, które zawierają informacje o położeniu określonego obiektu w polu widzenia kamery. Tę chmurę punktów można przekonwertować na mapę głębokości, która pokazuje kolory jako różne głębokości (rysunek 2). Czerwony jest dalej, a niebieski jest bliżej metrów.

Aby zapewnić płynność tego systemu, zastosowano system operacyjny typu open source o nazwie ROS, który jest zwykle używany w robotach. Umożliwia wykonywanie niskopoziomowej kontroli urządzeń, a także dostęp do wszystkich czujników i kompilację danych do wykorzystania przez inne programy. ROS będzie komunikował się z Realsense SDK, który pozwala włączać i wyłączać różne kamery w celu śledzenia odległości obiektów od systemu. Połączenie między nimi pozwala mi na dostęp do strumienia danych z kamery, która tworzy chmurę punktów. Informacje o chmurze punktów mogą określić, gdzie granice i obiekty znajdują się w odległości do 30 metrów i z dokładnością do 2 cm. Inne czujniki, takie jak czujniki SONAR i czujniki wbudowane w kontrolerze DJI Naza, pozwalają na dokładniejsze pozycjonowanie quadkoptera. Moje oprogramowanie korzysta z algorytmów AI, aby uzyskać dostęp do chmury punktów i poprzez lokalizację stworzyć mapę całej przestrzeni otaczającej urządzenie. Gdy system zostanie uruchomiony i rozpocznie skanowanie, przejdzie przez korytarze i znajdzie wejścia do innych pomieszczeń, gdzie może następnie przeszukać pomieszczenie, szukając ludzi. System powtarza ten proces, aż wszystkie pomieszczenia zostaną zeskanowane. Obecnie quadkopter może latać przez około 10 minut, co wystarcza do pełnego przemiatania, ale można go ulepszyć za pomocą różnych układów baterii. Pierwsi respondenci otrzymają powiadomienia, gdy ludzie zostaną zauważeni, aby mogli skoncentrować swoje wysiłki na wybranych budynkach.

Krok 7: Dyskusja i wnioski

Po wielu próbach stworzyłem działający prototyp, który spełniał wymagania wymienione w Tabeli 1. Dzięki użyciu stereofonicznej kamery termowizyjnej Realsense D435 z pakietem Realsense SDK stworzono mapę głębi w wysokiej rozdzielczości z przodu quadkoptera. Na początku miałem pewne problemy z kamerą na podczerwień, która nie była w stanie wykryć niektórych obiektów, takich jak szkło. Dodając czujnik SONAR udało mi się przezwyciężyć ten problem. Połączenie Rock64 i DJI Naza zakończyło się sukcesem, ponieważ system był w stanie ustabilizować quadkopter, jednocześnie będąc w stanie wykrywać obiekty i ściany za pomocą niestandardowych algorytmów wizji komputerowej przy użyciu OpenCV. Chociaż obecny system jest funkcjonalny i spełnia wymagania, może skorzystać z niektórych przyszłych prototypów.

Ten system można by ulepszyć poprzez zastosowanie kamer lepszej jakości, aby móc dokładniej wykrywać ludzi. Niektóre z droższych kamer FLIR mają możliwość wykrywania sygnatur ciepła, co pozwala na dokładniejsze wykrywanie. System mógłby również działać w różnych środowiskach, takich jak pomieszczenia zakurzone i wypełnione dymem. Dzięki nowej technologii i ochronie przeciwpożarowej system ten może zostać wysłany do płonących domów i szybko wykryć, gdzie znajdują się ludzie, aby ratownicy mogli uratować ocalałych przed niebezpieczeństwem.

Dziękuje za przeczytanie! Nie zapomnij zagłosować na mnie w konkursie Optyka!