Szkło biednego człowieka/pomoc dla osób ze wzrokiem tunelowym: 5 kroków (ze zdjęciami)

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:29

Abstrakcyjny:

Ten projekt przesyła strumieniowo wideo na żywo z kamery z rybim okiem na nadający się do noszenia wyświetlacz heads-up. Rezultatem jest szersze pole widzenia na mniejszym obszarze (wyświetlacz jest porównywalny z ekranem 4" oddalonym o 12" od oka i wyświetlającym w rozdzielczości 720p). Głównym celem jest zapewnienie większej świadomości przestrzennej osobom z barwnikowym zapaleniem siatkówki (w skrócie RP), chorobą zwyrodnieniową oczu, która powoduje widzenie tunelowe (jest to porównywalne do ciągłego patrzenia przez rolkę papieru toaletowego). Biorąc to pod uwagę, ponieważ projekt opiera się na RPi, istnieje szeroki zakres możliwych zastosowań (niektóre z nich zostaną omówione na końcu).

Lista materiałów:

• (1) Raspberry Pi Zero (5 USD) (działa również Raspberry Pi Zero W)

• (1) Karta Micro SD do Raspberry Pi (8 USD) (tylko zwykła karta Micro SD, nic specjalnego. Zalecane minimum 8 GB pamięci)

  • Zewnętrzne RPi: (nie potrzebujesz ich, jeśli już je posiadasz lub jeśli masz inny model RPi)

    • (1) Adapter USB (5 USD)
    • (1) kabel Mini HDMI na HDMI (6 USD) (przy wystarczająco dobrym wzroku Vufine może być używany jako monitor, eliminując w ten sposób potrzebę korzystania z tego kabla)
• (1) Wyświetlacz do noszenia Vufine (200 USD)

• (1) Kabel taśmowy Micro do Mini HDMI (10 USD) (został wycofany, patrz punktory poniżej)

  • Adaptery HDMI

    (typ C i typ D; miejmy nadzieję, że podamy model później w ten weekend (dzisiaj jest 3/2/2018)) (Adafruit również sprzedaje te złącza, ale są droższe)

  • Kabel taśmowy HDMI
• (2) Kabel USB Micro (1-5 USD każdy) (tylko 2 zwykłe kable micro USB, nic specjalnego)
• (1) kamera typu rybie oko dla Raspberry Pi (25 USD)
• (1) kabel kamery Raspberry Pi (8 USD)
• (1) Paczka małych krawatów na suwak (3 USD)

Całkowity koszt: ~265 USD (w zależności od tego, co już masz i ile płacisz za wysyłkę)

Lista narzędzi:

• Nożyce do drutu
• Narzędzie do ściągania izolacji (dla przewodów o średnicy około 26 awg)
• Pistolet do klejenia na gorąco (i klej w sztyfcie do wspomnianego pistoletu do klejenia na gorąco)
• Klawiatura
• Ekran (musi być zgodny z HDMI, ale znowu, przy wystarczająco dobrym wzroku, Vfine może być używany jako monitor)
• Lutownica (i lut)
• Nóż X-Acto

Uwaga osobista:

Ten projekt został zainspirowany moją babcią. Dawno temu zdiagnozowano u niej RP i od lat jej wzrok się pogarsza. Ostatnio zdecydowała się zrezygnować ze swojego widzącego psa Ventura (pseudonim Seymour, gra słów zamierzona), ze względu na wiek. Chociaż w niektórych aspektach może to ułatwić życie, jestem pewien, że inne rzeczy stały się bardziej trywialne (takie jak spacer po centrum handlowym). Już od jakiegoś czasu zastanawiałem się nad stworzeniem takiego urządzenia, ale nie było łatwo dostępnych ekranów (w rozsądnych cenach). To się zmieniło, gdy znalazłem Vfine. To świetna firma ze świetnym produktem i nie, nie płacę mi, żebym to powiedział; to naprawdę dobra firma. Moja babcia poinformowała, że to urządzenie prawie podwoiło jej pole widzenia (pod względem średnicy, a nie powierzchni).

Aktualizacja:

Zbudowałem to z modułem Vufine skonfigurowanym dla lewego oka (moja babcia jest całkowicie niewidoma na prawe oko), więc mogą być pewne problemy dla tych, którzy budują to dla prawego oka (nic wielkiego, tylko zmiana orientacji dla kilku Części). Biorąc to pod uwagę, Vufine był na tyle uprzejmy, że wysłał mi moduł dla prawego oka, abym mógł kontynuować ten projekt i naprawić te problemy. Jak tylko to zrobię, zaktualizuję tę instrukcję.

Krok 1: Konfiguracja Raspberry Pi

Konfiguracja sprzętu Pi:

Uwaga: Jeśli masz Raspberry Pi inny niż RPi Zero (W lub zwykły), możesz dokonać niezbędnych edycji oprogramowania za pomocą tego Pi i przenieść kartę SD do Pi Zero.

Druga uwaga: w rzeczywistości nie kupiłem części sprzętu, który łączy się z Pi; Zamiast tego mam wygodny kapelusz. Biorąc to pod uwagę, powyższe zdjęcie pokazuje, jak powinna wyglądać twoja konfiguracja. Nie jest mój i został stąd zabrany.

Najpierw podłączymy klawiaturę. Ponieważ twoja klawiatura ma złącze USB typu A (wszechobecne prostokątne), a Pi Zero nie, będziemy musieli użyć adaptera USB. Podłącz adapter USB do portu USB znajdującego się najbliżej środka płyty. Następnie podłącz klawiaturę do adaptera USB. Drugi port USB będzie używany do zasilania. Dwa górne kable na zdjęciu to kable USB, a sam górny kabel zapewnia zasilanie.

Po drugie, podłącz kabel HDMI do portu mini HDMI w Pi i portu HDMI na ekranie (jeśli zdecydujesz się użyć wyświetlacza Vufine jako ekranu, użyj kabla taśmowego HDMI).

Konfiguracja oprogramowania Pi:

Ten proces jest wszędzie udokumentowany, ale oficjalny przewodnik jest tutaj. Ważne jest, aby pamiętać o kilku rzeczach: będziesz korzystać z zakupionej karty micro SD (ta, którą wybrałem, ma przejściówkę, dzięki czemu możesz ją sflashować na zwykłym komputerze), będziesz instalować Raspbian i powinieneś włączyć kamerę w menu konfiguracji Raspberry Pi. Dodatkowo, NIE postępuj zgodnie z samouczkiem w wykonywaniu "startx". Jeśli tak, to nic wielkiego, ale teraz będziesz potrzebować myszy. Przejdź do wiersza poleceń (powinno wyglądać jak czarne okno na pasku zadań) i użyj go (w tym oknie powinno pojawić się „pi@raspberry ~ $”). Teraz wyłączymy Raspberry Pi wykonując:

wyłączanie sudo -h teraz

Krok 2: Instalacja kamery

Połączenia fizyczne:

Najpierw wyjaśnię, jak działają połączenia kabla taśmowego. Aby podłączyć i rozłączyć kable taśmowe, należy najpierw podnieść wypustki z boku (w przypadku Pi Zero jest to kierunek na zewnątrz), co pozwoli w pewnym stopniu na zwijanie i wysuwanie złącza, co pozwoli na dojście kabla taśmowego w I poza. Aby zabezpieczyć kabel taśmowy na miejscu (a tym samym zakończyć proces łączenia), należy docisnąć składaną część złącza płasko do kabla i ponownie włożyć zaczepy. Kabel powinien być teraz zamocowany w złączu. Aby zobaczyć oficjalny film o tym, jak to się robi, kliknij tutaj.

Ważne jest, aby pamiętać, że biały kabel dołączony do aparatu nie będzie pasował do Pi Zero; pamiętaj, aby zastąpić go jednym ze złotych kabli taśmowych. Dodatkowo upewnij się, że odsłonięta strona kabla jest skierowana w dół, do płyt Pi i kamery.

Oprogramowanie:

Konfiguracja kamery jest stosunkowo łatwa po stronie oprogramowania. Aby przesyłać strumieniowo wideo bezpośrednio z kamery do HDMI, po prostu wykonaj następującą linię w terminalu:

raspivid -t 0 -rot 0

Kamera powinna teraz przesyłać strumieniowo na ekran. Teraz zatrzymaj strumień, naciskając ctrl+c. Teraz będziemy wykonywać to samo polecenie, ale jeśli kupiłeś standardowy moduł Vufine (skonfigurowany dla prawego oka) zmień 0 po "-rot" na 90. Podobnie jeśli kupiłeś wyświetlacz Vufine skonfigurowany dla lewego oka zmień 0 po "-rot" do 270.

Teraz, jeśli przyłożysz aparat do wyświetlacza Vufine w sposób podobny do tego, jak pokazano na zdjęciu, powinieneś zobaczyć pionowy obraz (na ekranie, niekoniecznie w Vufine). Jeśli obraz jest do góry nogami, wypróbuj inny numer (270, jeśli wcześniej zrobiłeś 90 i 90, jeśli wcześniej zrobiłeś 270; nadal musisz nacisnąć ctrl+c, aby wyjść ze strumienia).

Po prawidłowym zorientowaniu strumienia kamery (za pomocą oprogramowania), będziemy chcieli upewnić się, że uruchamia się on po każdym włączeniu Raspberry Pi. Pierwszym krokiem jest wykonanie:

sudo nano /etc/rc.local

Teraz wpisz polecenie podobne do tego, które wykonałeś wcześniej ("/usr/bin/raspivid -t 0 -rot 90/270") w wierszach między "fi" a "exit 0"(zachowaj je w jednym wierszu, jak widać na zdjęciu). Jeśli chcesz mieć obraz o niższej rozdzielczości z większą liczbą klatek na sekundę, użyj zamiast tego "/usr/bin/raspivid -t 0 -rot 90/270 -md 6". Po wpisaniu tego należy go zapisać, naciskając ctrl+x, wpisując y (tak, chcesz to zapisać), a następnie naciskając enter, aby zapisać pod tą samą nazwą. Powinieneś teraz wrócić do wiersza poleceń ("pi@raspberry ~ $"). Na koniec możesz przetestować, aby upewnić się, że wszystko działa, ponownie uruchamiając Raspberry Pi za pomocą:

ponowne uruchomienie sudo

Jeśli wszystko działa, powinieneś zobaczyć strumień wideo z kamery na wyjście HDMI pod koniec procesu uruchamiania.

Uwagi:

• Po wykonaniu wszystkich powyższych czynności możesz rozważyć nałożenie niewielkiej ilości gorącego kleju na kabel taśmowy/złącze zarówno w kamerze, jak i Pi, aby upewnić się, że pozostaje na swoim miejscu. Jest to czysto opcjonalne i jest to coś, czego właściwie nie zrobiłem.
• Jeśli masz wyświetlacz Vufine skonfigurowany dla prawego oka i wybierzesz inną orientację (wygodniej jest, jeśli porty USB Pi znajdują się na dole), górna strona aparatu będzie po lewej stronie, gdy go nosisz.
• Kamera na zdjęciu jest już zamontowana. Dojdziemy do tego w późniejszym kroku.
• Chciałem opublikować zdjęcie złącza kamery na Pi, ale nie chcę zdejmować Pi, jeśli nie mogę go ponownie założyć i zgubiłem wszystkie opaski zaciskowe (które, jak zobaczysz, są konieczne do zamontowania go w późniejszym etapie) i nie jestem pewien, kiedy będę mógł kupić więcej, więc zdecydowałem się po prostu przesłać teraz i zaktualizować później.

Krok 3: Ładowanie wyświetlacza Vufine

Wyświetlacz Vufine ma własną baterię, ale działa tylko 90 minut i chociaż może to wystarczyć do zamierzonego użytkowania Vufine, to jest niewystarczające do naszych celów. Mając to na uwadze, możemy ładować Vufine, gdy jest używany, a tym samym przedłużyć jego żywotność baterii. Jednak zwykłe kable USB są dość duże, a ponieważ chcemy zminimalizować wagę, będziemy musieli jeden z nich zmodyfikować (zmniejszając i zmniejszając ciężar); zmniejszymy kabel USB do minimum.

Uwaga: W pozostałej części tego kroku opisano, jak uzyskać złącze z przewodu USB. Biorąc to pod uwagę, dowiedziałem się o tych tanich (w cenie) złączach USB. Korzystanie z nich pozwoliłoby pominąć niebezpieczną część wyjmowania złącza z przewodu. Nie mam z nimi doświadczenia, ale zaktualizuję tę instrukcję, jak z nich korzystać, gdy to zrobię.

Przygotowanie kabla USB

Uwaga: to zdecydowanie najniebezpieczniejsza część kompilacji. Przy ostrych nożach należy zachować szczególną ostrożność

Pierwszym krokiem w „minimalizacji” kabla USB jest przecięcie go około 5 cali (powiedziałbym około 7 dla konfiguracji na prawe oko) od końcówki micro USB. Kontynuuj, usuwając przewód aż do końcówki USB micro.

Teraz, jeśli chodzi o niebezpieczną część, będziesz musiał odciąć plastikową obudowę za pomocą noża X-Acto. Proponuję użyć zestawu szczypiec lub imadła stołowego do przytrzymania wtyczki podczas jej przecinania, aby zminimalizować ryzyko skaleczenia się. Najlepszym sposobem na jej odcięcie jest przecięcie wzdłuż bocznych szwów (wyglądają jak linie), jak widać na zdjęciu. Powinieneś użyć przyzwoitej siły, aby wbić nóż w obudowę. Po pewnym czasie jedna strona może być w stanie „obrócić się” na zewnątrz i w zależności od tego, jak jest wolna, możesz użyć szczypiec, aby oderwać resztę, zamiast ją odciąć.

Finalizowanie elementu USB

Gdy zostanie ci tylko metalowy element, powinieneś usunąć dwa środkowe przewody (nie czerwony i czarny). Możesz to zrobić albo odcinając je, albo używając lutownicy do wylutowania ich połączeń i po prostu je zdejmując (sugeruję wylutowanie, jeśli masz wystarczające doświadczenie). Następnie nałóż trochę gorącego kleju na podstawę przewodów (tam, gdzie stykają się z wtyczką Micro USB), aby zapewnić izolację i zabezpieczyć ją. Kiedy skończysz, obraz powinien wyglądać jak USB na zdjęciu (jednak nie podłączyliśmy go jeszcze do Pi).

Podłączanie go do Pi

Ten krok jest dość prosty. Wszystko, co musisz zrobić, to przylutować czerwony przewód do portu 5v, a czarny przewód do pinu uziemienia (GND) na RPi. Aby zobaczyć dokładnie, jakie porty, zobacz obraz z czerwonym prostokątem na Pi. Aby zobaczyć film o podstawowym lutowaniu, kliknij tutaj. Proponuję użyć gorącego kleju po obu stronach Pi (tam, gdzie lutowałeś), aby zabezpieczyć przewody i zapewnić izolację.

Krok 4: Łączenie wszystkiego

Zabezpieczanie Pi

W tym momencie umieść Pi na module Vufine z portem kamery z przodu i złączami USB (zainstalowanymi na Pi) skierowanymi w dół i do wewnątrz. Zabezpiecz ją za pomocą dwóch par (jedna para z każdej strony) opasek zaciskowych. Zrób to, wkładając suwak przez jeden z górnych otworów narożnych na torcie, owijając go wokół Vufine (w dół) i przekładając go przez dolny otwór narożny po tej samej stronie Pi. Następnie weź kolejny krawat i przypnij go do pierwszego. Dokręć tak, aby Pi było przyciągnięte blisko Vufine. Odetnij pozostałą część opaski na oba opaski (wszystkie na drugi, a część wystającą z drugiego opaski na pierwszy). Powtórz ten krok po drugiej stronie Pi.

Podłączanie rzeczy

To chyba najprostszy krok całej kompilacji. Podłącz kabel USB, który przylutowałeś do Pi do wyświetlacza Vufine.

Klejenie na gorąco złącza

Magnes w magnetycznej stacji dokującej nie jest wystarczająco mocny do naszych celów, więc dodamy trochę gorącego kleju, aby wzmocnić połączenie. Przymocuj moduł Vufine do magnetycznej stacji dokującej, do której jest dołączony (nie plus) za pomocą paska (jak pokazano na rysunku). Upewnij się, że jest prawie równoległy z rzeczywistym Vufine (nadal będziesz mógł dostosować położenie wyświetlacza, przesuwając pasek na okularach). Nałóż przyzwoitą ilość gorącego kleju na górę i dół. Pozwól mu ostygnąć, zanim przejdziesz dalej, aby upewnić się, że nie zostanie zepchnięty w dziwną pozycję, zanim się zestali.

Podłączanie rzeczy, ciąg dalszy

Chociaż ta część nie jest tak łatwa jak pierwsza część Plugging Stuff, nie powinieneś się zbytnio męczyć. Po prostu podłącz kabel taśmowy HDMI zarówno do Vfine, jak i Pi (walka jest bardziej psychologiczna niż fizyczna; możesz to zrobić. Wierzę w ciebie).

Podłączanie aparatu

Konfiguracja lewego oka:

To łatwa część, ale ustawienie kamery sprawia, że trudno ją opisać słowami. Zasadniczo będziesz mocować kamerę tak, aby była bokiem, z zapętlonym pod nią kablem taśmowym. Zobacz zdjęcie, aby zobaczyć, co mam na myśli. Dociśnij go do ekranu Vufine i zabezpiecz w tej pozycji, nakładając gorący klej zarówno na górę, jak i dół. Nie umieszczałbym żadnych po bokach, ponieważ wystarczy zrobić to na górze i na dole, a zrobienie tego po bokach może uniemożliwić boczne dopasowanie zarówno wstążki, jak i ekranu Vufine.

Konfiguracja prawego oka:

Nie robiłem wcześniej konfiguracji prawego oka (wrócę i edytuję raz to zrobię), ale zasadniczo musisz upewnić się, że kamera jest ustawiona bokiem i w rozsądnej pozycji na górze ekranu. Góra (strona przeciwna do złącza) powinna być skierowana w lewo (w lewo, gdy go nosisz). Użyj gorącego kleju, aby przymocować kamerę do kawałka ekranu w module Vfine. Dodatkowo możesz użyć gorącego kleju (lub opasek zaciskowych), aby upewnić się, że nadmiar kabla taśmowego jest zabezpieczony (daj mu pewną swobodę regulacji i staraj się nie marszczyć taśmy, ponieważ nie jest przeznaczona do wytrzymywania wysokich stopni obrotu). Możesz również wrócić do kroku 2: Instalowanie kamery, jeśli musisz ponownie skonfigurować strumień kamery w wyniku zmiany jego fizycznego położenia.

Krok 5: Fin

Włączam

Aby go włączyć, po prostu włącz moduł Vfine, naciskając szary przycisk z tyłu. Powinien zacząć migać na niebiesko. Następnie podłącz urządzenie Pi Zero do skrajnego prawego portu USB (na zewnątrz i oznaczonego jako PWR IN). Powinieneś zobaczyć teraz ciągłe czerwone światło oprócz migającej niebieskiej diody LED na module Vfine. Oznacza to, że Vufine jest ładowany. Dodatkowo ekran powinien się uruchomić i powinieneś zobaczyć, jak Pi przechodzi przez proces rozruchu, a strumień z kamery zbliża się na końcu. Gdy ekran się pojawi, migające niebieskie światło na przycisku Vufine powinno świecić stałym światłem.

Uwaga: jeśli najpierw włączysz Pi (a następnie Vufine), ekran może wyglądać dziwnie. Aby to naprawić, wyłącz Pi, a następnie włącz je ponownie.

Wyłączam to

Wyłącz RPi, odłączając port USB, który zapewnia mu zasilanie. Aby wyłączyć Vufine, możesz pozwolić mu wyłączyć się samoczynnie (co zrobi, gdy nie otrzyma sygnału przez krótki czas) lub możesz przytrzymać szary przycisk (z niebieską diodą LED) na Vufine, aż niebieska dioda LED zgaśnie. Wolę, żeby się wyłączyło, ale ty to robisz.

Dalsze doskonalenia

Jak wspomniano w streszczeniu, ponieważ projekt jest oparty na Raspberry Pi, projekt ma ogromne możliwości rozwoju. Na początek kilka pomysłów, które miałem:

• Możesz podłączyć go do bezprzewodowej klawiatury, aby wygodnie używać go jako komputera z systemem Linux. Używałbym klawiatury (i myszy) takiej jak ta i podłączyłbym ją w podobny sposób.

  Dodanie takiego interfejsu opartego na ruchach rąk również byłoby fajne

• Dodaj przyciski z boku do zapisywania zdjęć i filmów oraz do powiększania i pomniejszania
• Dodaj natywny wyłącznik zasilania (mówię natywny, ponieważ niektóre kable USB mają wbudowane przełączniki)
• Zrób wydruk 3D na wszystko.
• Dodaj wyjście audio

• Dodaj załącznik baterii

  Umieszczenie go po drugiej stronie okularów byłoby wygodnym sposobem na dodanie przeciwwagi (ciężar na okularach jest obecnie nieco przekrzywiony)

• Stwórz CNN (konwolucyjną sieć neuronową) z wyjściem TTS (zamiana tekstu na mowę) dla audiodeskrypcji otoczenia. Ta sieć neuronowa może działać na karcie Movidius Neural Compute Stick, aby uzyskać większą moc obliczeniową.

  Możliwość zastosowania galwanicznej stymulacji przedsionkowej do manewrów awaryjnych

Niektóre z tych pomysłów można zobaczyć na mojej stronie github.

Notatka:

Pewnie dodam więcej zdjęć później. Jeśli potrzebujesz konkretnego zdjęcia, daj mi znać, a zrobię co w mojej mocy. To samo dotyczy wyjaśnień; jeśli chcesz, żebym omówił coś bardziej szczegółowo, daj mi znać, a postaram się to zrobić.

Dziękuję

• Wiele się nauczyłem od tej społeczności; miejmy nadzieję, że to pomoże innym, ponieważ tak wielu tutaj pomogło mi wcześniej.
• Ponownie, jest to moja pierwsza instrukcja i wszelkie opinie byłyby bardzo mile widziane. Jeśli ktoś coś z tym zrobi, daj mi znać; Chciałbym zobaczyć, gdzie społeczność to zabiera.

Specjalne podziękowania dla mojej babci za wszystko, co zrobiła dla mnie przez całe moje życie. Nigdy nie będę w stanie ci spłacić, ale na pewno zrobię co w mojej mocy.

Pierwsza nagroda w konkursie Raspberry Pi 2017