Hlasová guľa, ktorá skutočne riadi stránku: architektúra asistenta, nie „hovoriace často kladené otázky“
Stručne o hlavnej veci (BLUF)
Hovoriaci widget na webovej stránke nie je asistent, ale hračka: hovorí, ale nič nerobí. Naša hlasová guľa skutočne riadi stránku. Vnútri sú tri vrstvy architektúry, tri hrable, na ktoré sme vstúpili, ekonomika dialógu a spôsob, ako umiestniť rovnakú guľu na váš web.
Hlasoví asistenti na webových stránkach zvyčajne končia jedným z dvoch spôsobov: buď je to chatbot s pripojeným rozpoznávaním reči, alebo je to hlasový prejav FAQ. sme vNeuralSpacevyšiel z inverznej úlohy - urobiť hlashlavný spôsob správy rozhrania, a nie nadstavbu nad textom. Nižšie je uvedená analýza architektúry a rozhodnutí, ktoré bolo potrebné urobiť.
Úloha
Používateľ otvorí komplexnú stránku generovania −video, obrázky, hudba— kde je výber modelu, načítanie referencie, požiadavka, parametre. Nováčik je stratený. Klasický onboarding (prehliadka so šípkami) ľudia uzatvárajú v druhom kroku. Chceli sme, aby to bolo možné jednoduchopovedať hlasom: „Chcem oživiť túto fotografiu,“ a samotný asistent zvýraznil požadované tlačidlo, vysvetlil ho a priviedol k výsledku.
Hlavný rozdiel od chatbota: orbvidí stav stránkyApôsobí na ňunamiesto toho, aby ste odpovedali textom „stlačte tlačidlo X niekde tam“.
Architektúra: tri vrstvy
- Vokálny trakt.Rozpoznávanie prúdovej reči → model → syntéza odozvy. Požiadavkou je nízka latencia a schopnosťprerušiť(vstup): používateľ začne hovoriť – asistent stíchne. Bez toho sa dialóg cíti skôr ako vysielačka než ako rozhovor.
- Mozog.Zámerne sme oddelili „osobnosť“ asistenta od špecifického jazykového modelu: model je nakonfigurovaný na strane servera, takže ho možno zmeniť tak, aby vyhovoval úlohe a nákladom bez opätovného vývoja frontendu. Asistent dostane nielen odpoveď používateľa, ale ajstrojovo čitateľná snímka aktuálnej stránky: aké prvky sú tam, aké tlačidlá, čo je už vybraté.
- Exekútor na klienta.Model vracia nielen text, ale ajakcie: zvýraznenie prvku, rolovanie na blok, vysvetlenie poľa. Klient ich vykonáva nad skutočným DOM.
Tri hrable, na ktoré sme šliapali
Najzaujímavejšia vec nie je šťastná cesta, ale neúspechy. Analyzovali sme záznamy skutočných dialógov a prišli s koreňovými pravidlami.
1. Halucinácia možností.Asistent navrhol modely, ktoré sa nenachádzali na aktuálnej stránke, alebo si pomýlil model pre obrázky s modelom pre video. Používateľ sa právom hnevá: „Takýto model neexistuje.“ Oprava – nespoliehajte sa na „poznanie sveta“ modelu: asistent môže pomenovať a prepínaťiba to, čo je skutočne na snímke aktuálnej stránky. Toto je klasický problém uzemnenia - model musí byť prísne viazaný na stav rozhrania, inak bude s istotou klamať.
2. Svieti nesprávne tlačidlo.Požiadajú vás, aby ste ukázali „nahrať fotografiu“ - zvýrazní sa „Generovať“. Dôvodom je fuzzy mapovanie „intent → element“. Riešenie: prvky dostanú sémantické kotvy a asistent musí zvýrazniťpresne ten, o ktorom hovorí, a významovo nie susedný.
3. Obsedantnosť.Model je už vybratý - asistent sa ho stále pokúša zmeniť; používateľ sa pýta „stačí napísať žiadosť“ - a argumentuje. Pravidlo: ak je stav už vhodný alebo používateľ výslovne žiada, aby sa nedotýkal -nekonať ani sa nehádať, okamžite urobte, o čo sa žiada. Menej iniciatívy, viac realizácie.
Záver, ktorý by sme dali každému, kto vytvára agenta na rozhraní, je:90% kvality nie je vzor, ale uzemnenie a disciplína konania. Modelka musí vidieť presný stav a nesmie ho prekročiť.
Ekonomika dialógu
Hlas je drahší ako text, takže Orb má bezplatné okno, potom sa platba uskutoční po konverzácii. Fakturácia je viazaná na trvanie hlasovej interakcie, nie na počet „správ“.
Rovnaká guľa je na vašom webe
Orb sme si prispôsobili pre seba, ale úloha je univerzálna: každá stránka s netriviálnym rozhraním (konfigurátor, osobný účet, komplexný formulár, obchod s filtrami) využíva hlasového sprievodcu, ktorý vidí stránku a pôsobí na ňu. Preto sme ho vložili do vstavaného widgetu - o tom, ako sa inštaluje a čo dokáže, sa hovorí samostatne:hlasový agent pre akúkoľvek webovú stránku.
Ak robíte niečo podobné, je zaujímavé porovnať prístupy k uzemňovaniu a priplávaniu. Orb si môžete vyskúšať naživoneuralspace.pro.
Často kladené otázky (FAQ)
Otázka: Ako získať najlepší výsledok z neurónovej siete?
Odpoveď: Použite podrobné výzvy (popisy) v angličtine, nastavte štýl a detaily scény.
Otázka: Môžu byť tieto materiály použité na komerčné účely?
Odpoveď: Áno, vygenerovaný obsah je výlučne váš.