PiTextReader - łatwy w użyciu czytnik dokumentów dla osób z dysfunkcją wzroku: 8 kroków (ze zdjęciami)

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:31

Przegląd

Aktualizacja: Krótkie demo wideo:

PiTextReader umożliwia osobie z wadami wzroku „czytanie” tekstu z kopert, listów i innych przedmiotów. Wykonuje migawkę obrazu przedmiotu, konwertuje na zwykły tekst za pomocą OCR (optyczne rozpoznawanie znaków), a następnie odczytuje tekst za pomocą zamiany tekstu na mowę.

Czytnik został zaprojektowany tak, aby był jak najprostszy w użyciu. Bez internetu, bez interfejsu graficznego, tylko jeden przycisk. Wystarczy umieścić czytany przedmiot na stojaku i nacisnąć przycisk. Po kilku chwilach tekst zostanie im z powrotem odczytany.

Zaprojektowałem to dla starszego rodzica z problemami ze wzrokiem, takimi jak zwyrodnienie plamki żółtej, ale może być używane szerzej dla każdego, kto chce wydrukować tekst przetłumaczony na mowę dźwiękową.

Dostępnych jest wiele czytników, jednak większość kosztuje tysiące dolarów lub jest przeznaczona dla kogoś, kto zna się na technologii, wymaga połączenia z Internetem i korzystania ze smartfona. Ten czytnik został zaprojektowany jako całkowicie samodzielny, bez internetu i interfejsu innego niż duży przycisk.

Plusy

• Jeden przycisk do sterowania
• Nie wymaga połączenia z Internetem
• Brak graficznego interfejsu użytkownika do nawigacji
• Całkowity koszt poniżej 100 USD
• Zawsze gotowy do pracy

Cons

• OCR może być ograniczony ze względu na czcionki, kolory, rozmiar tekstu itp.
• Mowa brzmi jak Stephen Hawking
• Sprawdza się najlepiej w przypadku małych fragmentów czarnego tekstu na białym papierze.

Krok 1: Sprzęt

• Raspberry Pi 3 (potrzebuje mocy!)
• 8 GB + karta microSD
• Zasilacz 5v 2A DC dla Raspberry
• Kamera Raspberry Pi (zwykła lub NoIR)
• Kabel do kamery Raspberry Pi 24”https://www.adafruit.com/product/1731
• Uchwyt lub futerał na kameręhttps://www.adafruit.com/product/3253 lubhttps://www.adafruit.com/product/1434
• Narzędzie do regulacji obiektywu (do ustawiania ostrości kamery)
• Głośnik mono zasilany przez USB (preferowany mały rozmiar!)https://www.adafruit.com/product/1363
• Duży przycisk – Chwilowy z diodą LEDhttps://www.adafruit.com/product/1440
• Rezystor 330 omów dla powyższej diody LED przycisku;
• Drewniane pudełko 8”x8”x2” od Michaels lub innych dużych sklepów z artykułami artystycznymi.
• Złom drewna do budowy stojaka na aparat:
• Płaski pasek 8 "Lx1" Wx1/2 "T)
• Płaski pasek 5”Lx1” Wx1/4”T
• Kwadratowy kołek 6”Lx1/2”x1/2” do umieszczenia prowadnicy
• Śruby, klej, drut, lut itp.

Krok 2: Budowa sprzętu

Korzystanie z pudełka 8”x8”:

1. Wywierć otwór z tyłu na przewód zasilający.

2. Wywierć otwór w prawym przednim rogu na chwilowy button3. Wywierć otwór(y) na głośnik. (patrz audio krok 12 poniżej)

4. Użyłem kawałka aluminiowej listwy 2”x1/4”x13” do mocowania kamery, ale listwy drewniane też działają.

a. Zamontuj 8-calowy płaski drewniany pasek z tyłu pudełka LID. (upewnij się, że jest przymocowany do POKRYWY, a nie do dna pudełka, w przeciwnym razie nie będziesz mógł go otworzyć!)

b. Zamontuj 5” płaski pasek drewna na górze 8” pionowej za pomocą śrub i kleju. PAMIĘTAJ, że wysokość kamery określa rozmiar dokumentu i wymaganą ostrość. Możesz chcieć iść wyżej w przypadku dokumentów o większym obszarze.

5. Wytnij szczelinę o wymiarach 1”x1/16” w górnej części pudełka w pobliżu 8” pionu, aby przez nią przejść kabel kamery.

UWAGA: W przypadku elektroniki sugeruję jeszcze NIE montować elementów na stałe, aby można było łatwo dokonywać regulacji.

6. Podłącz kabel kamery 24” do kamery. NIE PODŁĄCZAJ SIĘ DO RASPBERRY.

Krok 3: Sprzęt c…

7. Zamontuj kamerę skierowaną w dół od końca 5-calowego listwy drewnianej. Proponuję poczekać przed umieszczeniem aparatu w futerale, aby łatwiej ustawić ostrość po uruchomieniu!

W celu wstępnego ustawienia ostrości użyj narzędzia do regulacji i obróć obiektyw w lewo o 1/4! zakręt.

8. Przeprowadź kabel kamery w dół przez gniazdo, a następnie podłącz go do Pi. (Upewnij się, że Pi jest WYŁĄCZONE!)

9. Zainstaluj przycisk chwilowy i podłącz przewody między nim a pinami 24 Pi GPIO i GND. I podłącz diodę LED przycisku przez rezystor 220 omów do pinów 18 GPIO Pi i GND.

10. Podłącz zasilacz do pudełka i podłącz do Pi. Musisz użyć odciążenia, takiego jak klej topliwy lub podobny, aby zatkać otwór w pudełku, aby nie można było wyciągnąć kabla.

Krok 4: Instalacja sprzętu audio…

11. Do dźwięku użyłem głośnika mono, który korzystał z zasilania USB i dźwięku mini jack. Wyjąłem elektronikę i głośnik z oryginalnej plastikowej obudowy i podłączyłem wtyczkę audio do gniazda audio Pi i kabel USB do Pi USB. Wymieniłem również oryginalny mały głośnik na większy 3” dla znacznie lepszej jakości dźwięku.

Odkąd zamontowałem głośnik pod pokrywą pudełka, wywierciłem wiele małych otworów w kształcie maskownicy głośnika.

12. Na koniec sprawdź połączenia, w szczególności kabel kamery i połączenia GPIO.

NIE WŁĄCZAJ JESZCZE PI. Kontynuuj najpierw konfigurację oprogramowania…

Nie ma przełącznika On/Off, ponieważ zakłada się, że Pi powinno być cały czas uruchomione, więc jest gotowe do natychmiastowego odczytu. Zużywa tylko kilka watów i może działać bez problemów 24/7.

Karta SD może ulec uszkodzeniu w przypadku odłączenia lub awarii zasilania, ale zdarza się to rzadko. Jeszcze nigdy nie miałem karty SD, której nie można uruchomić. Ale nie podłączaj do listwy zasilającej, która jest regularnie wyłączana/włączana.

Krok 5: Konfiguracja i konfiguracja systemu operacyjnego

Sformatuj kartę microSD o pojemności 8 GB lub większej za pomocą Raspbian Jessie (lub Stretch) Lite (bez GUI dla tego projektu).

www.raspberrypi.org/downloads/raspbian/

Będziesz musiał uzyskać zdalny dostęp do Raspberry przez SSH. W systemie Windows możesz użyć programu terminalowego PUTTY SSH. Na Macu po prostu otwórz okno terminala poleceń. Alternatywnie możesz tymczasowo podłączyć klawiaturę i monitor HDMI, aby je zbudować, ale SSH ułatwia późniejszą pracę.

Czy wiesz?Jeśli zainstalujesz Raspbian Jessie na karcie SD za pomocą komputera z systemem Windows, możesz utworzyć dwa pliki na karcie, aby skonfigurować dostęp Wi-Fi i SSH przed uruchomieniem go na Raspberry?

W tym celu załóżmy, że twoja karta SD jest obecnie zamontowana jako K: na twoim komputerze:

1) Zainstaluj najnowszy obraz Raspbian Jessie na karcie SD. W tym projekcie Jessie Lite powinno działać.

2) Za pomocą notatnika utwórz plik o nazwie „ssh” i użyj opcji Zapisz jako „Wszystkie pliki” do K:\ssh Plik może zawierać wszystko. Ważna jest nazwa pliku. NIE MOŻE być „ssh.txt”!!!

3) Za pomocą notatnika utwórz plik o nazwie „wpa_supplicant.conf” z następującymi danymi:

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdevupdate_config=1

sieć={

ssid = "moje SSID" psk = "moje hasło" key_mgmt = WPA-PSK }

Użyj Zapisz jako „Wszystkie pliki” do K:\wpa_supplicant.conf Ponownie, nie pozwól, aby Notatnik zmienił go na „wpa_supplicant.conf.txt”!!

Gdy uruchomisz Raspberry po raz pierwszy, Jessie poszuka ich i połączy się z Wifi. Musisz jednak poszukać adresu IP routera, ponieważ jest on automatycznie przypisywany za pomocą DHCP.

Teraz gotowy do instalacji na Twoim Pi:

1. Włóż kartę microSD do Pi i podłącz teraz zasilanie.

2. Aby zdalnie zalogować się do Raspberry Pi, musisz znaleźć jego adres IP. Możesz spróbować:

$ ssh [email protected]

Lub z Putty wpisz nazwę hosta: [email protected]

W przeciwnym razie trzeba będzie sprawdzić, czy router będzie wyświetlał adresy IP urządzeń lokalnych.

Po zalogowaniu się jako użytkownik pi:

3. Zaktualizuj system Raspbian:

$ sudo apt aktualizacja

$ sudo apt upgrade

4. Skonfiguruj Raspberry i włącz kamerę:

$ sudo raspi-config

a. Zmień hasło użytkownika

b. Opcje interfejsu -> Kamera -> Włącz

C. Skończyć

D. Restart

Krok 6: Instalacja oprogramowania aplikacji

Teraz zaloguj się ponownie do swojego Pi i jesteś gotowy do zainstalowania aplikacji PiTextReader.

1. Zainstaluj początkowe wymagane oprogramowanie: $ sudo apt install git –y

2. Pobierz oprogramowanie:

$ cd /home/pi

$ klon git

$ cd PiTextReader

$ sh install.sh

W razie potrzeby można bezpiecznie ponownie uruchomić plik install.sh kilka razy.

3. Umieść prosty dokument do przeczytania i uruchom program testowy, który ustawi głośność, odtworzy dźwięk zamiany tekstu na mowę i zrobi zdjęcie.

$ sh test.sh

Jeśli pojawią się jakiekolwiek komunikaty o błędach, sprawdź Rozwiązywanie problemów poniżej. W razie potrzeby edytuj program test.sh, aby dostosować głośność.

4. Program testowy zapisuje zdjęcie w pliku „test.jpg”. Będziesz musiał skopiować ten obraz na komputer, aby zobaczyć ostrość i pole widzenia. Szybkim i brudnym sposobem na to jest uruchomienie małego serwera internetowego na swoim Pi i użycie przeglądarki:

$ python -m SimpleHTTPServer 8080 &

Następnie przejdź do

Kliknij na test.jpg

Użyj narzędzia do regulacji obiektywu, aby ustawić ostrość kamery.

Uruchom ponownie program test.sh tak często, jak to konieczne.

UWAGA: jeśli chcesz dostosować ustawienia kamery raspistill, będziesz musiał również edytować program pitextreader.py z nowymi ustawieniami.

KAMERA = "raspistill -cfx 128:128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ restart sudo

Pi powinno pojawić się i działać automatycznie, gotowe do pracy.

Krok 7: Operacja

Po uruchomieniu Pi usłyszysz komunikat „OK Ready”, a także zobaczysz, że dioda LED przycisku zaświeci się.

Za każdym razem, gdy dioda się świeci, urządzenie jest gotowe do pracy.

Umieść wydrukowany tekst pod aparatem, najlepiej kilka linijek czarnego tekstu na białym papierze.

Zwróć uwagę, że kamera nie potrzebuje dużo światła, szczególnie NoIR. Oświetlenie w pomieszczeniu było dla mnie w porządku. Zbyt dużo światła powoduje nierównomierne oświetlenie i zniekształca OCR.

Naciśnij przycisk.

Powinna zapalić się dioda LED i dźwięk kliknięcia kamery oraz komunikat „OK działa”.

Po kilku sekundach tekst powinien zostać przeczytany. Jeśli tekst jest zniekształcony, czcionka zbyt ciemna lub zbyt jasna, na boki lub do góry nogami, rezultatem będzie straszna mowa!

Konwersja i rozpoczęcie czytania może zająć od 5 do 30 sekund, więc bądź cierpliwy. Im więcej tekstu, tym dłużej to trwa.

Jeśli chcesz przerwać czytanie, możesz nacisnąć przycisk podczas odtwarzania dźwięku (dioda LED jest wyłączona).

Po zakończeniu mowy, po kilku sekundach, dioda LED ponownie się zaświeci i ponownie usłyszysz „OK gotowe”. Jest gotowy do wykonania kolejnego skanu.

Zwróć uwagę, że odległość, na jaką kamera jest ustawiona dla kamery Raspi i tylko dla części dokumentu 8x10. Odkryłem, że najlepiej jest czytać fragmenty dokumentu na raz, ponieważ pełne strony mogą być trudne do słuchania. Wiele rzeczy, które trzeba przeczytać, to mniejszy tekst, więc jeśli aparat jest zbyt daleko, nie może go rozwiązać.

Aby rozwiązać problem, sprawdź poniżej, w szczególności sekcję SKANOWANIE I OCR

Jeśli wszystko jest w porządku, zamontuj na stałe wszystkie elementy, aby ukończyć konstrukcję.

Krok 8: Rozwiązywanie problemów

1. KAMERA

Sprawdź, czy kamera jest włączona przez

$ sudo raspi-config

Opcje interfejsu -> Kamera

Ponownie podłącz kabel taśmowy, ponieważ jest delikatny i musi być dokładnie wyrównany. W razie potrzeby wyszukaj w Google „rozwiązywanie problemów z aparatem raspberry pi”, aby wyszukać podobne problemy. Wygoogluj także komunikat o błędzie, który pojawia się podczas uruchamiania programu test.sh.

2. DŹWIĘK

Zwiększasz głośność?

$ sudo mikser -q sset PCM, 0 100%

Uruchom test dźwięku

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Nadal nie ma dźwięku? Wymuś wyjście audio z gniazda:

$ sudo raspi-config Opcje zaawansowane -> Audio -> Wymuś gniazdo słuchawkowe

3. MOWA

Jeśli dźwięk powyżej brzmi dobrze, spróbuj:

$ flite -t TEST

ewentualne komunikaty o błędach Google.

Uruchom ponownie install.sh

Tak, mowa brzmi trochę jak Stephen Hawking.

4. SKANOWANIE I OCR

To jest największy obszar potrzebny do strojenia. Aby OCR działał poprawnie, obraz z kamery musi być dobrej jakości; dokument musi być oświetlony płynnie, ale niekoniecznie jasno.

Tekst musi być płaski i wyraźny. Nie wszystkie czcionki są czytelne.

Aby zweryfikować jakość, sprawdź dwa pliki:

/tmp/text.txt i /tmp/image.jpg

Możesz uruchomić maleńki serwer WWW i korzystać z przeglądarki:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Tekst na obrazku powinien być prosty i czytelny. Obraz powinien być ustawiony właściwą stroną do góry, dobry kontrast, ostry. Może być konieczne odwrócenie dokumentu, jeśli jest do góry nogami. (przypomnij użytkownikowi, że jeśli usłyszy gobbly-gook, spróbuj odwrócić dokument.) Jeśli obraz ma słaby kontrast, będziesz musiał poprawić oświetlenie, zbyt dużo lub zbyt mało może powodować problemy. Nierówne oświetlenie spowoduje również uszkodzenie części tekstu. Możesz znaleźć więcej pomocy, wpisując w google „tesseract-ocr help”

5. MONITOR/KLAWIATURA HDMI

Tak, możesz podłączyć klawiaturę i monitor do Pi, zwł. jeśli nie możesz znaleźć adresu IP lub nie możesz uzyskać dostępu przez SSH. Nie ma interfejsu GUI i może to spowodować wyłączenie dźwięku, chyba że monitor ma głośnik.

6. INTERNET/WIFI

Jeśli WIFI nie działa, możesz po prostu tymczasowo podłączyć kabel Ethernet i użyć go.

Ten projekt nie wymaga Internetu ani Wi-Fi po zakończeniu instalacji i konfiguracji.