Multimodalny stojak na nuty: 9 kroków (ze zdjęciami)

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:33

Multimodalny statyw muzyczny (MMMS) to nowy sposób sterowania syntezą dźwięku i efektami podczas gry na tradycyjnym instrumencie (saksofon, flet, skrzypce, jak tylko chcesz) i oferuje wiele dodatkowych możliwości dla rozszerzonych technik, które można wykorzystać podczas gry ! Istnieje już strona internetowa o naszym projekcie grupowym na UC Santa Barbara, w której opracowaliśmy MMMS, więc zamiast powtarzać to tutaj, zamieszczę link - sprawdź! tutaj, ale na powyższej stronie są lepsze filmy… Multimodalność odnosi się do możliwości wykrywania sygnału wejściowego w więcej niż jednej modalności (wejście audio, wejście wideo i wejście oparte na czujnikach). Wejście audio i wideo jest dość proste, obejmuje normalny mikrofon i kamerę internetową podłączoną do komputera, ale wejście czujnika jest nieco bardziej złożone, stąd ta instrukcja… Używamy interfejsu CREATE USB, prostego obwodu, który opracowałem dla klasy Uczę w UCSB, wraz z zestawem ThereminVision II dla pola E (znanego również jako wykrywanie pojemnościowe), jak pokazano tutaj: UTWÓRZ Interfejs USB Zestaw ThereminVision II Jeśli nie wiesz, co to jest Theremin, zrób sobie przysługę i przeszukaj Youtube, wygrałeś nie bądź zawiedziony! MMMS jest zasadniczo odpowiednikiem 2 Theremins, ponieważ ma 4 anteny wykrywające pole elektromagnetyczne, oczywiście oprócz wejścia audio/wideo. nie chcesz używać prostych pedałów, zbuduj sobie multimodalny stojak muzyczny i zacznij z nim ćwiczyć!

Krok 1: O UTWÓRZ interfejs USB

Interfejs CREATE USB (CUI) to prosty programowalny obwód oparty na PIC, który można zbudować całkowicie samodzielnie lub możesz otrzymać gotowy ode mnie bezpośrednio za 50 USD (+ 5 na wysyłkę) i nie będziesz potrzebować kupić programator PIC, ponieważ umieściłem na nim bootloader… odwiedź stronę internetową, aby uzyskać szczegółowe informacje, lub po prostu napisz do mnie, aby poprosić o jeden: UTWÓRZ witrynę interfejsu USB CUI może działać z wieloma różnymi funkcjami, a do tej pory był używany w setkach ciekawe projekty na całym świecie… kilka przykładów od studentów UC Santa Barbara znajduje się w tym artykule konferencyjnym (PDF). CUI można przeprogramować za pomocą kabla USB za pomocą bootloadera, dlatego można go tak łatwo dostosować - wystarczy zmienić oprogramowanie układowe i jest to coś innego. Na przykład łatwo jest przekształcić CUI w bezprzewodowy interfejs czujnika za pomocą jednego z moduły Bluetooth od iskrzą zabawy - jeśli ktoś jest tym zainteresowany, zamieść w komentarzach notatkę z prośbą o kolejną instrukcję. CUI ma 13 kanałów 10-bitowych wejść analogowych i 16 pinów wejścia/wyjścia ogólnego przeznaczenia. Domyślne oprogramowanie układowe dostarczane z płytami CUI v1.0 wysyła je wszystkie jako wejścia do komputera hosta i dobrze współpracuje z interaktywnymi środowiskami tworzenia grafiki, takimi jak Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck itp. jedna z płyt CUI v1.0 do zbudowania multimodalnego stojaka muzycznego w tej instrukcji. Używamy Max/MSP/Jitter jako środowiska, ale wszelkimi sposobami możesz dostosować to do Pd lub wybranego oprogramowania. Jestem wielkim fanem open source (sam CUI jest open source) i bardzo pomaga, jeśli wszyscy stoimy sobie na ramionach i ulepszamy to, co robimy!

Krok 2: O zestawie ThereminVision II

ThereminVision II jest dostępne zarówno jako zestaw (50 USD), jak i gotowe (80 USD) ze strony producenta, RobotLand, a także jest oprogramowaniem typu open source – instrukcja ThereminVision II (PDF) zawiera schematy obwodów. W przypadku MMMS kupiłem zestaw, a następnie zdecydowałem się tym razem wybrać gotowy (jest to drugi MMMS, który zbudowałem). Na marginesie, jeśli zastanawiasz się, dlaczego nie oferuję forma zestawu interfejsu CREATE USB, ponieważ bootloader CUI musi być zaprogramowany za pomocą konwencjonalnego programatora PIC, zanim nowy firmware będzie mógł zostać przesłany przez USB - w przeciwnym razie zdecydowanie oferowałbym zestaw, choć wymagałoby to lutowania powierzchniowego… Więc wróć do ThereminVision II - jeśli kupiłeś go w formie zestawu, postępuj zgodnie z (świetnie!) instrukcjami w pdf: Instrukcja ThereminVision II Istnieje wiele ładnych schematów okablowania, które musisz zrobić - jedyne, czego nie widać to połączenia z interfejsem CREATE USB, więc opublikuję zdjęcia, które zrobiłem w następnych kilku krokach… och, i dostałem anteny do ThereminVision (brak w zestawie) od All Electronics.

Krok 3: Przygotowanie pulpitu muzycznego

Wyróżnij swój multimodalny stojak muzyczny z ładnego stojaka na nuty, takiego jak pokazany tutaj "stojak do dyrygentów", lub użyj tego, co masz pod ręką - jeszcze lepiej, stwórz własny!

Bez względu na to, jakiego stojaka używasz, będzie potrzebować izolowanych uchwytów na cztery anteny w rogach stojaka. Zacznij od wywiercenia otworów w rogach - sprzęt montażowy, który ułożyłem, pracował z wiertłem 1/4 , twój prawdopodobnie będzie inny. Staraj się, aby przód powierzchni był jak najbardziej wyrównany, aby uniknąć zakłóceń z nutami.

Krok 4: Podłączanie modułów czujnika ThereminVision

Podłączenie modułów „czujnikowych” ThereminVision (555 obwodów czasowych) do modułu „procesorowego” ThereminVision jest również omówione bardziej szczegółowo w podręczniku ThereminVision II, ale oto kilka zdjęć tego procesu…

Krok 5: Podłączanie ThereminVision do interfejsu CREATE USB

Jak widzieliśmy w ostatnim kroku, są 4 przewody łączące każdy z modułów czujników z modułem procesora ThereminVision. Istnieje również 6 przewodów łączących moduł procesora ThereminVision z interfejsem CREATE USB - są to: zasilanie, uziemienie, wyjście czujnika, wybór czujnika A, wybór czujnika B i zatrzymanie czujnika.

Ponieważ ThereminVision II będzie zasilane z interfejsu CREATE USB (który z kolei pobiera zasilanie z USB), zdecydowałem się podłączyć zasilanie dla każdego z modułów czujników ThereminVision bezpośrednio do interfejsu CREATE USB - to sprawia, że jest to trochę mniej ptasiego gniazda na okablowaniu, ponieważ do płyty procesora TherminVision jest już wiele przewodów. Połącz „+” w ThereminVision z „5V” w CUI Połącz „-” w ThereminVision z „GND” w CUI Połącz „4” (wyjście dzielenia przez 4) w ThereminVision do „D7” w CUI Connect „SEL B” w ThereminVision do „D5” w CUI Połącz „SEL A” w ThereminVision z „D4” w CUI Połącz „S” w ThereminVision z „D6” w CUI

Krok 6: Montaż wszystkiego na stojaku

Czyli elektronika jest gotowa, teraz wystarczy zamontować ją na stojaku - jest na to wiele sposobów, a może zechcesz włożyć elektronikę do pudełka ochronnego itp….

Oto kilka zdjęć niektórych z najprostszych metod montażu.

Krok 7: Ładowanie oprogramowania układowego ThereminVision do CUI

ThereminVision wysyła sygnały czasowe do swoich czujników zamiast wyjść analogowych (lub dowolnych standardowych protokołów cyfrowych, takich jak I2C lub SPI). Potrzebne było więc trochę niestandardowego oprogramowania układowego do pomiaru taktowania tych sygnałów… Pierwsza wersja oprogramowania układowego Multimodal Music Stand znajduje się w pliku zip poniżej, zawiera zarówno kod źródłowy, jak i skompilowany plik hex (wraz z łatką testową dla Max/ MSP/Jitter): Oprogramowanie układowe CUI-ThereminVision Poniższy zrzut ekranu przedstawia program Boot Down autorstwa Craiga Schimmela dla systemu OS X - narzędzie do ładowania systemu CUI dla komputerów Macintosh. Jeśli korzystasz z systemu Windows, najłatwiej jest użyć własnego narzędzia Microchip, PDFSUSB.exe, które można pobrać z ich strony internetowej lub dołączyć do tego przykładowego kodu interfejsu CREATE USB. Aby przełączyć CUI w „tryb bootloadera”, przytrzymaj przycisk programu i naciśnij przycisk resetowania (lub po prostu podłącz kabel USB, przytrzymując przycisk programu). Dioda LED stanu CUI będzie migać w sposób ciągły, wskazując, że jest w trybie bootloadera. Teraz możesz użyć funkcji Boot Down, aby wysłać plik CUIEfieldBootDown.hex do interfejsu CREATE USB. CUI również tutaj.

Krok 8: Testowanie multimodalnego statywu muzycznego w trybie Max/MSP/Jitter

Otwórz przykładową łatkę w Max/MSP/Jitter (30-dniowe demo można pobrać ze strony www.cycling74.com, dostępna jest również wersja „runtime”, która nie pozwala na zapisywanie łatek) lub postępuj zgodnie z konwencjami w łatce Max i stwórz własną łatkę w PureData (Pd)… Jitter jest używany do wyświetlania pozycji 3D wejść gestów, gdzie oś z (w kierunku i od stojaka) jest odwzorowana na ogólną intensywność wszystkich 4 anten - niezbyt naukowo, ale to działa! Dane z poszczególnych czujników są również wysyłane jako OSC do 127.0.0.1 (localhost) do wykorzystania przez inne aplikacje w razie potrzeby. Użyteczny obiekt w Max/MSP/Jitter do filtrowania pików z danych czujnika (spowodowanych zakłóceniami elektrycznymi) jest „smoother” Tristana Jehana, który można pobrać tutaj:smoother max object Witryna Tristana zawiera również kilka zewnętrznych elementów MSP dla Maxa, których używamy do analizy dźwięku na wejściu Multimodal Music Stand – obejmują one wysokość~, głośność~, jasność~, noisiness~ i analizator typu wszystko-w-jednym~. Kiedy dane wejdą do Maxa, będziesz musiał indywidualnie dostosować czułość czujników ThereminVision za pomocą małego śrubokręta. Zrób to, wysuwając anteny do końca, a następnie obracając niebieski potencjometr w kierunku przeciwnym do ruchu wskazówek zegara, aż przejdzie w tryb „odwrotnego wykrywania” – a następnie obróć go z powrotem zgodnie z ruchem wskazówek zegara, aż wrócisz do normalnego zakresu wykrywania. Niewielkie regulacje (strojenie czułości, podobnie jak strojenie gitary) można dokonać poprzez zmianę długości anten, dzięki czemu nie będziesz musiał nosić ze sobą małego śrubokręta na koncerty.

Krok 9: Korzystanie z multimodalnego statywu muzycznego podczas występu! (i rozszerzenie go)

Nie zapomnij, że nowe techniki wykonania, które umożliwia multimodalny pulpit nutowy, wymagają praktyki i opracowania nowych mapowań i pomysłów na to, co chcesz za jego pomocą kontrolować! Również, jeśli chcesz rozszerzyć swój MMMS o inne rodzaje czujników, możliwe będzie użycie 13 wejść analogowych w CUI oprócz czujników ThereminVision w przyszłych wersjach oprogramowania MMMS, więc z niektórymi prostymi czujnikami (suwaki/pokrętła/pedały) lub innymi typami czujników (IR/USG/itp.), można ich używać wraz z wejściem audio i wideo do komputera. Obecnie oprogramowanie sprzętowe korzysta z protokołu „serial-over-USB”, ale ostatecznie planuje się przejście na protokół „HID” (Human Input Device) zwykle używany przez interfejs CREATE USB. Zachęcamy do wniesienia wkładu w ten wysiłek… Istnieje podobny projekt typu open source dotyczący wykrywania pola elektrycznego (znanego również jako wykrywanie pojemnościowe), który wykorzystuje tę samą topologię obwodu (opartą na projekcie ThereminVision) o nazwie CapToolKit – używa „młodszego brata”. PIC18F4550, PIC18F2550, który nie ma tylu wejść analogowych (10 zamiast 13). Oprogramowanie sprzętowe dla CapToolKit będzie nieco inne, ponieważ nie korzysta z płyty procesora ThereminVision. Używamy prostej kamery FireWire (w stylu kamery internetowej) zamontowanej na górze pulpitu muzycznego do optycznego rozpoznawania gestów fizycznych i wykrywania spojrzenia - jeśli są zainteresowani aspektami wizji komputerowej lub analizy i syntezy dźwięku w badaniach naszej grupy, zapraszamy do zapoznania się z artykułami na stronie Multimodal Music Stand. I proszę, opublikuj swoje doświadczenia, jeśli zbudujesz Multimodalny stojak muzyczny… Mamy teraz dwa z nich w UCSB, jak pokazano na poniższym zdjęciu - byłoby wspaniale mieć więcej kompozycji, występów i muzyków korzystających z nich! Dr JoAnn Kuchera-Morin napisała pierwszą kompozycję wykorzystującą MMMS, którą w marcu 2007 roku wykonała flecistka Jill Felber w Eastman School of Music.