Glasovna kugla koja zapravo kontrolira stranicu: arhitektura pomoćnika, a ne "česta pitanja koja govore"

Ukratko o glavnom (BLUF)

Widget koji govori na web stranici nije pomoćnik, već igračka: govori, ali ne radi ništa. Naša glasovna kugla stvarno upravlja web mjestom. Unutra su tri sloja arhitekture, tri grablje na koje smo stali, ekonomija dijaloga i način da istu kuglu postavite na svoju web stranicu.

Glasovni pomoćnici na web-mjestima obično završavaju na jedan od dva načina: ili je to chatbot s priloženim prepoznavanjem govora ili je to glasovni prikaz s često postavljanim pitanjima. Ušli smoNeuralSpaceišao od obrnutog zadatka – napraviti glasglavni način upravljanja sučeljem, a ne nadgradnja nad tekstom. U nastavku je analiza arhitekture i odluka koje su morale biti donesene.

Zadatak

Korisnik otvara stranicu složene generacije −video, slike, glazba— gdje postoji izbor modela, učitavanje reference, zahtjeva, parametara. Pridošlica je izgubljena. Ljudi zatvaraju klasični onboarding (obilazak sa strelicama) u drugom koraku. Htjeli smo da bude moguće jednostavnoreci glasom: "Želim oživjeti ovu fotografiju", a pomoćnik je sam označio željeni gumb, objasnio ga i doveo do rezultata.

Ključna razlika od chatbota: orbvidi stanje straniceIdjeluje na nju, umjesto da odgovorite tekstom "pritisnite gumb X negdje tamo."

Arhitektura: tri sloja

1. Vokalni trakt.Streaming prepoznavanje govora → model → sinteza odgovora. Zahtjev je niska latencija i sposobnostprekinuti(upad): korisnik počinje govoriti - pomoćnik ušuti. Bez toga, dijalog više liči na voki-toki nego na razgovor.
2. Mozak.Namjerno smo odvojili "osobnost" pomoćnika od specifičnog jezičnog modela: model je konfiguriran na strani poslužitelja, tako da se može mijenjati kako bi odgovarao zadatku i cijeni bez ponovnog razvoja sučelja. Pomoćnik prima ne samo korisnikov odgovor, već istrojno čitljiva snimka trenutne stranice: koji elementi postoje, koji gumbi, što je već odabrano.
3. Izvršitelj na naručitelju.Model vraća ne samo tekst, već iakcije: označite element, pomaknite se do bloka, objasnite polje. Klijent ih izvršava povrh pravog DOM-a.

Tri grablje na koje smo nagazili

Najzanimljiviji nije sretan put, već neuspjesi. Analizirali smo zapisnike pravih dijaloga i došli do osnovnih pravila.

1. Halucinacija mogućnosti.Pomoćnik je predložio modele koji nisu bili na trenutnoj stranici ili je pobrkao model za slike s modelom za video. Korisnik je s pravom ljut: "ne postoji takav model." Popravak - nemojte se oslanjati na "poznavanje svijeta" modela: pomoćnik može imenovati i mijenjatisamo ono što je zapravo na snimci trenutne stranice. Ovo je klasični problem uzemljenja - model mora biti strogo vezan za stanje sučelja, inače će pouzdano lagati.

2. Pogrešna tipka je osvijetljena.Traže od vas da pokažete "upload a photo" - "Generiraj" je istaknuto. Razlog je nejasno preslikavanje "namjera → element". Rješenje: elementi dobivaju semantička sidra, a pomoćnik mora istaknutiupravo taj, o kojoj govori, a ne susjedne po značenju.

3. Opsesivnost.Model je već odabran - pomoćnik ga i dalje pokušava promijeniti; korisnik pita "samo napiši zahtjev" - i on se svađa. Pravilo: ako je stanje već prikladno ili korisnik izričito traži da se ne dira -nemojte djelovati ili raspravljati, odmah učiniti što se traži. Manje inicijative, više izvršenja.

Zaključak koji bismo dali svakome tko gradi agenta na sučelju je:90% kvalitete nije model, već utemeljenost i disciplina djelovanja. Model mora vidjeti točno stanje i ne smije ići izvan njega.

Ekonomija dijaloga

Glas je skuplji od teksta, tako da Orb ima besplatan prozor, a onda se plaća po razgovoru. Naplata je vezana za trajanje glasovne interakcije, a ne za broj "poruka".

Ista kugla je na vašoj web stranici

Prilagodili smo kuglu za sebe, ali zadatak je univerzalan: svaka stranica s netrivijalnim sučeljem (konfigurator, osobni račun, složeni obrazac, trgovina s filtrima) ima koristi od glasovnog vodiča koji vidi stranicu i djeluje na njoj. Stoga smo ga stavili u ugrađeni widget - kako se instalira i što može učiniti raspravlja se zasebno:glasovni agent za bilo koje web mjesto.

Ako radite nešto slično, zanimljivo je usporediti pristupe uzemljenju i upadanju. Orb možete isprobati uživo naneuralspace.pro.

Često postavljana pitanja (FAQ)

Pitanje: Kako dobiti najbolji rezultat od neuronske mreže?
Odgovor: Koristite detaljne upute (opise) na engleskom jeziku, postavite stil i detalje scene.

Pitanje: Mogu li se ti materijali koristiti u komercijalne svrhe?
Odgovor: Da, generirani sadržaj je u potpunosti vaš.