Egy hanggömb, amely ténylegesen irányítja a webhelyet: egy asszisztens architektúrája, nem egy „beszélő GYIK”

Röviden a legfontosabbról (BLUF)

A beszélő widget a webhelyen nem asszisztens, hanem játék: beszél, de nem csinál semmit. A mi hanggömbünk irányítja igazán az oldalt. Belül három réteg építészet, három gereblye, amelyre ráléptünk, a párbeszéd gazdaságossága és egy módja annak, hogy ugyanazt a gömböt helyezze el webhelyén.

A webhelyeken található hangasszisztensek általában kétféleképpen működnek: vagy egy chatbot beszédfelismeréssel, vagy egy GYIK-beszéd. Benne vagyunkNeuralSpaceelment a fordított feladattól - hangot adniaz interfész kezelésének fő módja, és nem a szöveg feletti felépítmény. Az alábbiakban az architektúra és a meghozandó döntések elemzése olvasható.

Feladat

A felhasználó megnyit egy összetett generálási oldalt −videó, képeket, zene— ahol van modellválasztás, hivatkozás, kérés, paraméterek betöltése. A jövevény elveszett. Az emberek a klasszikus onboardingot (nyilakkal ellátott túrát) a második lépésben zárják le. Azt akartuk, hogy ez egyszerűen lehetséges legyenmondja hanggal: „Életre akarom kelteni ezt a fényképet”, és maga az asszisztens kiemelte a kívánt gombot, elmagyarázta és az eredményre hozta.

A legfontosabb különbség a chatbothoz képest: orblátja az oldal állapotátÉscselekszik rajta, ahelyett, hogy a „nyomja meg az X gombot valahol ott” szöveggel válaszoljon.

Építészet: három réteg

1. Hangcsatorna.Streaming beszédfelismerés → modell → válaszszintézis. A követelmény az alacsony késleltetés és a képességmegszakítani(barge-in): a felhasználó beszélni kezd - az asszisztens elhallgat. E nélkül a párbeszéd inkább walkie-talkie-nek, mint beszélgetésnek tűnik.
2. Agy.Szándékosan elválasztottuk az asszisztens „személyiségét” egy adott nyelvi modelltől: a modell a szerver oldalon van konfigurálva, így a front end újrafejlesztése nélkül a feladatnak és költségnek megfelelően módosítható. Az asszisztens nemcsak a felhasználó válaszát kapja, hanem azt isgéppel olvasható pillanatkép az aktuális oldalról: milyen elemek vannak, milyen gombok, mi van már kiválasztva.
3. Végrehajtó az ügyfélen.A modell nem csak szöveget ad vissza, hanem azt isakciók: elem kiemelése, görgetés a blokkhoz, mező magyarázata. A kliens a valódi DOM tetején hajtja végre őket.

Három gereblyére léptünk

A legérdekesebb nem a boldog út, hanem a kudarcok. Elemeztük a valódi párbeszédek naplóit, és kitaláltuk a gyökérszabályokat.

1. A lehetőségek hallucinációja.Az asszisztens olyan modelleket javasolt, amelyek nem szerepelnek az aktuális oldalon, vagy összekeverte a képek modelljét a videó modelljével. A felhasználó joggal mérges: „nincs ilyen modell”. Javítás – ne hagyatkozzon a modell „világismeretére”: az asszisztens nevezhet és válthatcsak az aktuális oldal pillanatképen látható. Ez egy klasszikus földelési probléma - a modellt szigorúan az interfész állapotához kell kötni, különben magabiztosan hazudik.

2. A rossz gomb világít.Megkérik, hogy mutassa meg a „Fotó feltöltése” lehetőséget – a „Létrehozás” ki van jelölve. Az ok a homályos „intent → element” leképezés. Megoldás: az elemek szemantikai horgonyokat kapnak, és az asszisztensnek ki kell emelniepontosan azt, amelyről beszél, és nem szomszédos jelentéssel.

3. Megszállottság.A modell már kiválasztott - az asszisztens még mindig megpróbálja megváltoztatni; a felhasználó azt kérdezi, hogy „csak írj egy kérést” – és vitatkozik. Szabály: ha az állapot már megfelelő, vagy a felhasználó kifejezetten kéri, hogy ne érintse meg -ne cselekedj és ne vitatkozz, azonnal tegye meg, amit kér. Kevesebb kezdeményezés, több végrehajtás.

A következõ következtetést levonjuk bárkinek, aki ügynököt épít egy interfészre:A minőség 90%-a nem modell, hanem megalapozottság és cselekvési fegyelem. A modellnek látnia kell a pontos állapotot, és nem lépheti túl azt.

A párbeszéd gazdaságtana

A hang drágább, mint a szöveges üzenet, így az Orbnak van egy szabad ablaka, majd a fizetés beszélgetéskor történik. A számlázás a hanginterakció időtartamához van kötve, nem az „üzenetek” számához.

Ugyanez a gömb található a webhelyén

Saját magunkra szabtuk a gömböt, de a feladat univerzális: minden nem triviális felülettel rendelkező oldal (konfigurátor, személyes fiók, összetett űrlap, szűrőkkel ellátott üzlet) részesül egy hangos útmutatóból, amely látja az oldalt és cselekszik rajta. Ezért egy beágyazott widgetbe helyezzük – a telepítés módját és képességeit külön tárgyaljuk:hangügynök bármely webhelyhez.

Ha valami hasonlót csinál, érdekes összehasonlítani a földelés és az uszály megközelítését. Kipróbálhatod élőben az orbitneuralspace.pro.

Gyakran ismételt kérdések (GYIK)

Kérdés: Hogyan lehet a legjobb eredményt elérni egy neurális hálózatból?
Válasz: Használjon részletes angol nyelvű promptokat (leírásokat), állítsa be a jelenet stílusát és részleteit.

Kérdés: Felhasználhatók-e ezek az anyagok kereskedelmi célokra?
Válasz: Igen, a generált tartalom teljes mértékben az Öné.