Un orb vocal care controlează de fapt site-ul: arhitectura unui asistent, nu o „întrebări frecvente vorbitoare”

Pe scurt despre principalul lucru (BLUF)

Un widget care vorbește pe un site web nu este un asistent, ci o jucărie: vorbește, dar nu face nimic. Orbul nostru vocal conduce cu adevărat site-ul. Înăuntru sunt trei straturi de arhitectură, trei greble pe care am pășit, economia dialogului și o modalitate de a pune același orb pe site-ul tău.

Asistenții vocali de pe site-uri web ajung, de obicei, într-unul din două moduri: fie este un chatbot cu recunoaștere vocală atașată, fie este o voce off-in întrebări frecvente. Suntem în NeuralSpace a trecut de la sarcina inversă - a face o voce principala modalitate de a gestiona interfața, și nu o suprastructură peste text. Mai jos este o analiză a arhitecturii și a deciziilor care trebuiau luate.

Sarcină

Utilizatorul deschide o pagină de generare complexă − video, poze, muzică — unde există o alegere a modelului, încărcarea unei referințe, o solicitare, parametri. Noul venit este pierdut. Oamenii închid clasicul onboarding (tur cu săgeți) la a doua etapă. Am vrut să fie posibil să fie simplu spune cu o voce: „Vreau să dau viață acestei fotografii”, iar asistentul însuși a evidențiat butonul dorit, l-a explicat și l-a adus la rezultat.

Diferența cheie față de un chatbot: orb vede starea paginii Şi acţionează asupra ei, în loc să răspundă cu textul „apăsați butonul X undeva acolo”.

Arhitectură: trei straturi

1. Tractul vocal. Recunoașterea vorbirii în flux → model → sinteza răspunsului. Cerința este o latență scăzută și capacitatea întrerupe (barge-in): utilizatorul începe să vorbească - asistentul tăce. Fără aceasta, dialogul pare mai degrabă un walkie-talkie decât o conversație.
2. Creier. Am decuplat în mod deliberat „personalitatea” asistentului de un anumit model de limbă: modelul este configurat pe partea de server, astfel încât să poată fi schimbat pentru a se potrivi sarcinii și costului fără a redezvolta front-end-ul. Asistentul primește nu numai răspunsul utilizatorului, ci și instantaneu citibil de mașină a paginii curente: ce elemente sunt acolo, ce butoane, ce este deja selectat.
3. Executor pe client. Modelul returnează nu numai text, ci și actiuni: evidențiați elementul, derulați pentru a bloca, explicați câmpul. Clientul le execută deasupra DOM-ului real.

Trei greble pe care am călcat

Cel mai interesant lucru nu este calea fericită, ci eșecurile. Am analizat jurnalele dialogurilor reale și am venit cu regulile rădăcină.

1. Halucinația posibilităților. Asistentul a sugerat modele care nu erau pe pagina curentă sau a confundat modelul pentru poze cu modelul pentru video. Utilizatorul este pe bună dreptate supărat: „nu există un astfel de model”. Remediere - nu vă bazați pe „cunoașterea lumii” a modelului: asistentul poate denumi și comuta doar ceea ce este de fapt în instantaneul paginii curente. Aceasta este o problemă clasică de împământare - modelul trebuie să fie strict legat de starea interfeței, altfel va minți cu încredere.

2. Butonul greșit este iluminat. Vă cer să afișați „încărcați o fotografie” - „Generați” este evidențiat. Motivul este maparea neclară „intenție → element”. Soluție: elementele primesc ancore semantice, iar asistentul trebuie să evidențieze exact acela, despre care vorbește, și nu vecine ca sens.

3. Obsesivitatea. Modelul a fost deja selectat - asistentul încă încearcă să-l schimbe; utilizatorul întreabă „doar scrie o cerere” - și el argumentează. Regula: dacă starea este deja potrivită sau utilizatorul cere în mod explicit să nu atingă - nu acţiona sau argumenta, faceți imediat ce vi se cere. Mai puțină inițiativă, mai multă execuție.

Concluzia pe care am da-o oricui construiește un agent deasupra unei interfețe este: 90% din calitate nu este un model, ci baza și disciplina de acțiune. Modelul trebuie să vadă starea exactă și nu are voie să o depășească.

Economia dialogului

Vocea este mai scumpă decât textul, așa că Orb are o fereastră liberă, apoi plata se face la conversație. Facturarea este legată de durata interacțiunii vocale, nu de numărul de „mesaje”.

Aceeași orb se află pe site-ul tău web

Am personalizat orb-ul pentru noi, dar sarcina este universală: orice site cu o interfață nebanală (configurator, cont personal, formular complex, magazin cu filtre) beneficiază de un ghid vocal care vede pagina și acționează pe ea. Prin urmare, îl punem într-un widget încorporat - cum este instalat și ce poate face este discutat separat: agent vocal pentru orice site web.

Dacă faceți ceva similar, este interesant să comparați abordările legate de împământare și barge-in. Puteți încerca orb live la spatiul neural.pro.

Întrebări frecvente (FAQ)

Întrebare: Cum să obțineți cel mai bun rezultat dintr-o rețea neuronală?
Răspuns: Folosiți instrucțiuni detaliate (descrieri) în engleză, setați stilul și detaliile scenei.

Întrebare: Aceste materiale pot fi utilizate în scopuri comerciale?
Răspuns: Da, conținutul generat este în întregime al tău.