Historyczny Voicebot: 8 kroków (ze zdjęciami)

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:29

Poniżej krótki przegląd treści.

• Wprowadzenie i prezentacja wideo
• Pojęcie
• Architektura
• Krok 1: Chatbot
• Krok 2: Ekran dotykowy
• Krok 3: Przerwa
• Krok 4: Vintage telefon i zestaw głosowy
• Krok 5: Przetestuj!

Kieszonkowe dzieci

Rama

Ekran dotykowy

Zabytkowy telefon

Głos Google AIY

Node.js

Amazon Web Services AWS EC2

Google Dialogflow

Pistolet do klejenia na gorąco (ogólny)

Piła ręczna

Lutownica (ogólna)

Krok 1: Wprowadzenie i prezentacja wideo

Porozmawiaj ze swoją ulubioną osobą z przeszłości dzięki Historycznemu Voicebotowi! Dzięki tej interaktywnej instalacji możesz rozmawiać z postacią historyczną zarówno przez czat, jak i głos. Wykonane przy użyciu Dialogflow, Node.js, HTML Canvas, zestawu głosowego AIY, Raspberry Pi i starego telefonu.

Krok 2: Koncepcja

Koncepcja składa się z dwóch części: Ekranu dotykowego z animacjami postaci historycznej. Ekran dotykowy wyświetla również okno dialogowe i ma przyciski, dzięki którym ludzie mogą zadać często zadawane pytania. Fizyczny telefon, który przechwytuje mowę i przekazuje dźwięk, dzięki czemu można go używać do zadawania pytań i słuchania odpowiedzi.

Krok 3: Architektura

Trzy główne części to:

• Backend, który obejmuje Dialogflow i serwer Node.js
• Frontend, który składa się ze strony HTML Canvas
• Instalacja interaktywna, która obejmuje ekran dotykowy i zestaw głosowy AIY zintegrowany z zabytkowym telefonem

Krok 4: Krok 1: Chatbot

Dialogflow

Aby stworzyć agenta konwersacyjnego w Dialogflow, wypróbowałem i przetestowałem wiele różnych podejść, aby uzyskać jak najdokładniejsze i najbardziej wiarygodne odpowiedzi. Postanowiłem również zautomatyzować tworzenie dialogów w jak największym stopniu. Odkryłem, że w tym przypadku najłatwiejszym i najbardziej niezawodnym sposobem dodania wiedzy do chatbota Dialogflow było dodanie pliku CSV z parami pytań i odpowiedzi. W przypadku historycznego Voicebota ręcznie utworzyłem 20 par pytań i odpowiedzi i dodałem je do Dialogflow. Jak widać, odpowiedzi Ady Lovelace są poprawne, aktualne i wiarygodne. Więcej informacji o Dialogflow znajdziesz tutaj.

Node.js

Serwer Jak wspomniano w architekturze, serwer Node.js jest mózgiem operacji, zapewniając połączenie między Dialogflow a różnymi urządzeniami. W przypadku pierwszych wersji serwer działał lokalnie na moim laptopie. W obecnej wersji serwer jest wdrożony na serwerze EC2 Amazon Web Services z systemem Ubuntu. Istnieje kilka świetnych samouczków dotyczących Node.js i uruchamiania go w AWS.

Krok 5: Krok 2: Ekran dotykowy

Grafika Animacje do Historycznego Voicebota powstały poprzez wycięcie różnych elementów, takich jak ramiona, brwi i podbródek, z obrazu Ady Lovelace za pomocą Adobe Photoshop. Każdy z tych elementów został indywidualnie umieszczony na HTML Canvasfrontend. Biblioteka TweenJSJavaScript została użyta do przenoszenia i animowania tych wycinanek na podstawie danych wejściowych od użytkowników i odpowiedzi z Dialogflow.

Ramka Aby dopełnić obraz, stara ramka została przycięta do rozmiaru ekranu dotykowego. Jak zawsze, zmierz dwa razy, wytnij raz.

Krok 6: Krok 3: Przerwa

Nie zapomnij raz na jakiś czas zrobić sobie relaksującą przerwę!

Krok 7: Krok 4: Vintage telefon i zestaw głosowy

Do telefonu próbowałem znaleźć taki, który był używany w erze Ada Lovelace. Nie tylko telefony zostały wynalezione długo po jej śmierci, ale naprawdę stare telefony są trudne do zdobycia. Mimo to udało mi się kupić stary telefon obrotowy Ericssona wyprodukowany w latach 60-tych.

Aby stworzyć działającego Voicebota, chciałem umieścić zestaw AIY wewnątrz telefonu, jednocześnie wykorzystując jak najwięcej oryginalnych funkcji.

Udało mi się ponownie użyć głośnika i dwóch dzwonków wewnątrz telefonu. Tarcza obrotowa również pozostała nienaruszona, ale obecnie nie działa. Zaktualizowałem mikrofon, który był w uchwycie do nowoczesnego, aby móc dokładnie uchwycić wejście audio. Wymieniłem stary przewód telefoniczny na nowy, aby móc poprawnie podłączyć nowy mikrofon.

Krok 8: Krok 5: Test

Czy to faktycznie działa? Tylko jeden sposób, aby się przekonać, przetestujmy to!

To tyle, jeśli chodzi o projekt Historyczny Voicebot, porozmawiamy później!