[VXML] Sterowanie głosowe i Web 3.0

[WebCM]

Po wejściu Web 2.0 i społecznościowej rewolucji powstają koncepcje Web 3.0. Główne założenia:

1. Aplikacje będą opierać się o bazy danych, aby przeglądarki lub inne czytniki mogły dopasować je do wzorca, czyli przekazać internautom w odpowiedniej formie.
2. Sztuczna inteligencja, naturalna interakcję z użytkownikiem.
3. Wyświetlanie i przetwarzanie danych w 3D.
4. Rozpoznawanie zamiarów internauty na podstawie kontekstu danych (z tym obecnie nawet Google ma problemy)
5. Semantyczny kod - mikroformaty, poprawne znaczniki, wykorzystanie CSS

Przyjrzałem się bliżej funkcjom głosowym w Operze. Przeprowadzenie prostej interakcji z użytkownikiem nie jest trudne, ale rozwiązanie aktualnie nie nadaje się do zaawansowanych aplikacji lub gier.

Technologię opisują języki VoiceXML i SML oparte na XML. Twórcy zewnętrznych aplikacji lub telefonicznych systemów zamówień mają ułatwione zadanie, bo wystarczy wykorzystać libexpat, a syntezator sam zadba o interpretację i podział na etapy (analogicznie do: wybierz 1, aby... naciśnij 2, aby...) na podstawie kodu. Wszystko wg ściśle ustalonych schematów, choć specyfikacja pozwala wtrącić kod JS, wyrażenia regularne, opcje wyboru i znacznie więcej. Otrzymane odpowiedzi są przechowywane w polach abstrakcyjnego formularza.

W przypadku zaawansowanych aplikacji internetowych XVML może nie zdać egzaminu. Jest zbyt skomplikowany, przez co można łatwo zagmatwać kod HTML i zgubić się. Coś się pewnie zmieni w Voice XML 3, ale mimo wszystko chyba lepiej napisać całą logikę w JS. HTML 5 pozwala osadzić SVG i MathML, ale nie wiem, czy VXML też.

Moja wizja: istnieje obiekt, na przykład VOICE, inicjowany podobnie jak XMLHttpRequest. Kluczową rolę pełnią zdarzenia oraz metody pozwalające wykryć określone słowa, znaki lub sekwencje. Obiekt ma własności dotyczące opóźnień, szybkości... które można zmienić.

Na przykładzie gry logiczno-przygodowej:
1) polecenia "[go] left", "[go] right", "enter"... są interpretowane zawsze
2) inne polecenia, np. "open drawer", "put CD", "turn on [the] computer" - w razie potrzeby
3) inne przykłady: "[tell me] about ", "where I am", dyktowanie kodu

Tego nie da się zrobić etapami, a najlepszą metodą na 50% jest przekazywanie sobie zdarzeń między obiektami lub funkcjami - podobnie przechwytuję klawiaturę - onkeydown - niektóre pokoje lub elementy w grze mają zdarzenie zdefiniowane przeze mnie

Zatem powinna powstać specyfikacja JavaScript dla funkcji głosowych
W tym przypadku XML-owe rozwiązania za bardzo ograniczają funkcjonalność.

Co myślicie o interakcji werbalnej w aplikacjach i grach?

[Lobo]

spotkałem się z próbami formowania ram czegoś na co mówią web 3.0 (choć dla mnie już samo web 2.0 jest naciąganym określeniem). Choć w web 2.0 można było wyróżnić konkretne elementy, które go cechowały, jak dla mnie jest bardziej stylem jak vintage, czy retro. I gdyby nie O'Reilly samego określenia pewnie by nie było. Wtedy to był dobry chwyt marketingowy teraz raczej odgrzewany kotlet.

Co do listy to jest moim zdaniem niespójna, ogólnikowa i miejscami surrealistyczna. Idąc po kolei :

1. Co to znaczy opierać się o bazy danych. Aplikacje jak i strony opierają się o bazy danych od dawna.
2. Tu jest ta cześć ala sf. Puki co sztucznej inteligencji nie ma(pomijając filmy o Terminatorze).
3. To dość ciekawa propozycja, pytanie tylko na ile praktyczna. Niektóre strony we flashu umożliwiają coś zbliżonego ale poruszanie się po nich do przyjemnych nie należy.
4. Na czym by polegała nowość w stosunku do stosowanych obecnie technik w tej dziedzinie?
5. To już kwestia rzetelności twórcy co to ma w ogóle wspólnego z web 3.0 nie wiem.

Bardziej to przypomina listę życzeń (w dodatku dość luźno związaną ze stronami internetowymi), albo przepowiadania z cyklu za xx lat to i tamto(notabene ludzie już mowili np. o roku 2000, że będą latające auta, prawdziwe AI itp.)

Co do funkcji głosowych kwestią nie są jakieś specyfikacje tylko poprawne rozpoznawanie mowy, które ciągle jest w powijakach. Jak działają funkcje głosowe w operze każdy widzi. (a i tak radzą sobie radzą całkiem nieźle) .