← Kaikki artikkelit

Äänipallo, joka todella ohjaa sivustoa: avustajan arkkitehtuuri, ei "puhuva FAQ"

Äänipallo, joka todella ohjaa sivustoa: avustajan arkkitehtuuri, ei "puhuva FAQ"

Lyhyesti pääasiasta (BLUF)

Puhuva widget verkkosivustolla ei ole avustaja, vaan lelu: se puhuu, mutta ei tee mitään. Äänipallomme todella pyörittää sivustoa. Sisällä on kolme arkkitehtuurikerrosta, kolme haravaa, joiden päälle astuimme, dialogin taloudellisuus ja tapa laittaa sama pallo verkkosivustollesi.

Web-sivustojen puheavustajat päätyvät yleensä kahdella tavalla: joko se on chatbot, johon on liitetty puheentunnistus, tai se on UKK-selostus. Olemme mukanaNeuralSpacelähti käänteisestä tehtävästä - tehdä äänitärkein tapa hallita käyttöliittymää, eikä tekstin yläpuolella oleva ylärakenne. Alla on analyysi arkkitehtuurista ja tarvittavista päätöksistä.

Tehtävä

Käyttäjä avaa monimutkaisen sukupolven sivun −video, kuvia, musiikkia— jos on valittavissa malli, lataamalla viittaus, pyyntö, parametrit. Uusi tulokas on hukassa. Ihmiset sulkevat klassisen perehdyttämisen (kiertomatka nuolilla) toisessa vaiheessa. Halusimme sen olevan mahdollista yksinkertaisestisanoa äänellä: "Haluan herättää tämän valokuvan henkiin", ja avustaja itse korosti halutun painikkeen, selitti sen ja toi sen tulokseen.

Keskeinen ero chatbotista: orbnäkee sivun tilanJatoimii häneen, sen sijaan että vastaisit tekstillä "paina X-painiketta jossain siellä".

Arkkitehtuuri: kolme kerrosta

Three layers: vocal tract, brain with machine-readable page snapshot, executor on top of DOM
Kolme kerrosta: äänikanava, aivot koneellisesti luettavalla sivuvedolla, toteuttaja DOM:n päällä
  1. Äänikanava.Suoratoistopuheentunnistus → malli → vastaussynteesi. Vaatimus on alhainen latenssi ja kykykeskeyttää(proomu): käyttäjä alkaa puhua - avustaja vaikenee. Ilman tätä vuoropuhelu tuntuu pikemminkin radiopuhelimelta kuin keskustelulta.
  2. Aivot.Irrotimme tarkoituksella avustajan "persoonallisuuden" tietystä kielimallista: malli on konfiguroitu palvelinpuolelle, joten sitä voidaan muuttaa tehtävän ja kustannusten mukaan ilman käyttöliittymän uudelleenkehittämistä. Assistentti saa paitsi käyttäjän vastauksen myöskoneellisesti luettava tilannekuva nykyisestä sivusta: mitä elementtejä siellä on, mitä painikkeita, mikä on jo valittu.
  3. Toteuttaja asiakkaan päällä.Malli palauttaa tekstin lisäksi myöstoimia: korosta elementti, vieritä lohkoon, selitä kenttä. Asiakas suorittaa ne todellisen DOM:n päällä.

Astuimme kolmen haravan päälle

Mielenkiintoisin asia ei ole onnellinen polku, vaan epäonnistumiset. Analysoimme todellisten dialogien lokit ja keksimme juurisäännöt.

1. Mahdollisuuksien hallusinaatiot.Assistentti ehdotti malleja, jotka eivät olleet nykyisellä sivulla, tai sekoitti kuvien mallin videon malliin. Käyttäjä on oikeutetusti vihainen: "Tällaista mallia ei ole." Korjaus – älä luota mallin "maailmantietoon": avustaja voi nimetä ja vaihtaavain sen, mikä todella on nykyisen sivun tilannekuvassa. Tämä on klassinen maadoitusongelma - mallin on oltava tiukasti sidottu käyttöliittymän tilaan, muuten se valehtelee varmasti.

2. Väärä painike palaa.He pyytävät sinua näyttämään "lähetä valokuva" - "Luo" on korostettu. Syynä on sumea "intent → element" -kartoitus. Ratkaisu: elementit saavat semanttiset ankkurit, ja avustajan on korostettavajuuri sitä, josta hän puhuu, eikä läheisessä merkityksessä.

3. pakkomielle.Malli on jo valittu - avustaja yrittää edelleen muuttaa sitä; käyttäjä kysyy "kirjoita vain pyyntö" - ja hän väittää. Sääntö: jos tila on jo sopiva tai käyttäjä pyytää nimenomaisesti olla koskematta -älä toimi tai väittele, tee heti mitä pyydetään. Vähemmän aloitetta, enemmän toteutusta.

Johtopäätös, jonka teemme kenelle tahansa, joka rakentaa agentin käyttöliittymän päälle, on:90 % laadusta ei ole mallia, vaan maadoitusta ja toiminnan kurinalaisuutta. Mallin on nähtävä tarkka tila, eikä se saa ylittää sitä.

Dialogin taloustiede

Puhe on kalliimpaa kuin teksti, joten Orbilla on ilmainen ikkuna, jonka jälkeen maksu suoritetaan keskustelun yhteydessä. Laskutus on sidottu puhevuorovaikutuksen kestoon, ei "viestien" määrään.

Sama pallo on verkkosivustollasi

Räätälöimme orbin itsellemme, mutta tehtävä on universaali: mikä tahansa sivusto, jolla on ei-triviaali käyttöliittymä (konfiguraattori, henkilökohtainen tili, monimutkainen lomake, kauppa suodattimilla), hyötyy äänioppaasta, joka näkee sivun ja toimii sen mukaan. Siksi laitamme sen upotettuun widgetiin - kuinka se asennetaan ja mitä se voi tehdä, keskustellaan erikseen:ääniagentti mille tahansa verkkosivustolle.

Jos teet jotain vastaavaa, on mielenkiintoista verrata lähestymistapoja maadoitus- ja proomukäyttöön. Voit kokeilla orbia livenä osoitteessaneuralspace.pro.

Three layers: voice pipeline, brain with a machine-readable page snapshot, client executor over the DOM
Kolme kerrosta: ääniputki, aivot koneellisesti luettavalla sivuvedos, asiakkaan suorittaja DOM:n kautta

Usein kysytyt kysymykset (FAQ)

Kysymys: Kuinka saada paras tulos hermoverkosta?
Vastaus: Käytä yksityiskohtaisia ​​kehotteita (kuvauksia) englanniksi, aseta kohtauksen tyyli ja yksityiskohdat.

Kysymys: Voidaanko näitä materiaaleja käyttää kaupallisiin tarkoituksiin?
Vastaus: Kyllä, luotu sisältö on kokonaan sinun.