Μια φωνητική σφαίρα που ελέγχει πραγματικά τον ιστότοπο: η αρχιτεκτονική ενός βοηθού, όχι ένα "συχνές ερωτήσεις που μιλάνε"

Εν συντομία για το κύριο πράγμα (BLUF)

Ένα γραφικό στοιχείο που μιλάει σε έναν ιστότοπο δεν είναι βοηθός, αλλά παιχνίδι: μιλάει αλλά δεν κάνει τίποτα. Η σφαίρα φωνής μας τρέχει πραγματικά τον ιστότοπο. Μέσα υπάρχουν τρία στρώματα αρχιτεκτονικής, τρεις τσουγκράνες που πατήσαμε, η οικονομία του διαλόγου και ένας τρόπος να βάλετε την ίδια σφαίρα στον ιστότοπό σας.

Οι βοηθοί φωνής σε ιστότοπους συνήθως καταλήγουν με έναν από τους δύο τρόπους: είτε πρόκειται για ένα chatbot με συνδεδεμένη την αναγνώριση ομιλίας είτε για φωνητικές ερωτήσεις με συχνές ερωτήσεις. Είμαστε μέσαNeuralSpaceπήγε από την αντίστροφη εργασία - να κάνει μια φωνήο κύριος τρόπος διαχείρισης της διεπαφής, και όχι υπερκατασκευή πάνω από το κείμενο. Ακολουθεί μια ανάλυση της αρχιτεκτονικής και των αποφάσεων που έπρεπε να ληφθούν.

Εργο

Ο χρήστης ανοίγει μια σύνθετη σελίδα δημιουργίας −βίντεο, εικόνες, μουσική— όπου υπάρχει επιλογή μοντέλου, φόρτωση αναφοράς, αίτημα, παραμέτρους. Ο νεοφερμένος χάθηκε. Οι άνθρωποι κλείνουν την κλασική ενσωμάτωση (περιήγηση με βέλη) στο δεύτερο βήμα. Θέλαμε να είναι δυνατό να γίνει απλάπες με φωνή: "Θέλω να ζωντανέψω αυτή τη φωτογραφία" και ο ίδιος ο βοηθός τόνισε το επιθυμητό κουμπί, το εξήγησε και το έφερε στο αποτέλεσμα.

Βασική διαφορά από ένα chatbot: orbβλέπει την κατάσταση της σελίδαςΚαιενεργεί πάνω της, αντί να απαντήσετε με το κείμενο "πατήστε το κουμπί X κάπου εκεί".

Αρχιτεκτονική: τρία στρώματα

1. Φωνητική οδός.Αναγνώριση ομιλίας ροής → μοντέλο → σύνθεση απόκρισης. Η απαίτηση είναι η χαμηλή καθυστέρηση και η ικανότηταδιακοπή(barge-in): ο χρήστης αρχίζει να μιλάει - ο βοηθός σωπαίνει. Χωρίς αυτό, ο διάλογος μοιάζει περισσότερο με γουόκι-τόκι παρά ως συνομιλία.
2. Εγκέφαλος.Αποσυνδέσαμε σκόπιμα την «προσωπικότητα» του βοηθού από ένα συγκεκριμένο μοντέλο γλώσσας: το μοντέλο έχει διαμορφωθεί στην πλευρά του διακομιστή, ώστε να μπορεί να αλλάξει ώστε να ταιριάζει στην εργασία και το κόστος χωρίς να αναπτυχθεί εκ νέου η διεπαφή. Ο βοηθός λαμβάνει όχι μόνο την απάντηση του χρήστη, αλλά καιαναγνώσιμη από μηχανή στιγμιότυπο της τρέχουσας σελίδας: ποια στοιχεία υπάρχουν, ποια κουμπιά, τι έχει ήδη επιλεγεί.
3. Εκτελεστής στον πελάτη.Το μοντέλο επιστρέφει όχι μόνο κείμενο, αλλά καιδράσεις: επισήμανση στοιχείου, κύλιση για αποκλεισμό, επεξήγηση πεδίου. Ο πελάτης τα εκτελεί πάνω από το πραγματικό DOM.

Τρεις ρακές πατήσαμε

Το πιο ενδιαφέρον δεν είναι η ευτυχισμένη πορεία, αλλά οι αποτυχίες. Αναλύσαμε τα αρχεία καταγραφής των πραγματικών διαλόγων και καταλήξαμε στους βασικούς κανόνες.

1. Ψευδαίσθηση πιθανοτήτων.Ο βοηθός πρότεινε μοντέλα που δεν υπήρχαν στην τρέχουσα σελίδα ή μπέρδεψε το μοντέλο για φωτογραφίες με το μοντέλο για βίντεο. Ο χρήστης είναι δικαίως θυμωμένος: «δεν υπάρχει τέτοιο μοντέλο». Διόρθωση - μην βασίζεστε στη "γνώση του κόσμου" του μοντέλου: ο βοηθός μπορεί να ονομάσει και να αλλάξειμόνο αυτό που υπάρχει στην πραγματικότητα στο στιγμιότυπο της τρέχουσας σελίδας. Αυτό είναι ένα κλασικό πρόβλημα γείωσης - το μοντέλο πρέπει να είναι αυστηρά συνδεδεμένο με την κατάσταση της διεπαφής, διαφορετικά θα ψεύδεται με σιγουριά.

2. Το λάθος κουμπί ανάβει.Σας ζητούν να δείξετε "μεταφόρτωση φωτογραφίας" - επισημαίνεται η "Δημιουργία". Ο λόγος είναι η ασαφής αντιστοίχιση «πρόθεση → στοιχείο». Λύση: τα στοιχεία λαμβάνουν σημασιολογικές αγκυρώσεις και ο βοηθός πρέπει να τονίσειακριβώς αυτό, για το οποίο μιλάει, και όχι γειτονικό στη σημασία.

3. Εμμονή.Το μοντέλο έχει ήδη επιλεγεί - ο βοηθός εξακολουθεί να προσπαθεί να το αλλάξει. ο χρήστης ρωτά "απλώς γράψε ένα αίτημα" - και διαφωνεί. Κανόνας: εάν η κατάσταση είναι ήδη κατάλληλη ή ο χρήστης ζητά ρητά να μην αγγίξει -μην ενεργείτε ή μαλώνετε, κάντε αμέσως ό,τι σας ζητηθεί. Λιγότερη πρωτοβουλία, περισσότερη εκτέλεση.

Το συμπέρασμα που θα δίναμε σε οποιονδήποτε δημιουργεί έναν πράκτορα πάνω από μια διεπαφή είναι:Το 90% της ποιότητας δεν είναι πρότυπο, αλλά γείωση και πειθαρχία δράσης. Το μοντέλο πρέπει να δει την ακριβή κατάσταση και δεν επιτρέπεται να το υπερβεί.

Οικονομικά του διαλόγου

Η φωνή είναι πιο ακριβή από το κείμενο, επομένως το Orb έχει ένα δωρεάν παράθυρο και, στη συνέχεια, η πληρωμή πραγματοποιείται κατά τη συνομιλία. Η χρέωση συνδέεται με τη διάρκεια της φωνητικής αλληλεπίδρασης και όχι με τον αριθμό των "μηνυμάτων".

Η ίδια σφαίρα υπάρχει στον ιστότοπό σας

Προσαρμόσαμε τη σφαίρα για εμάς, αλλά η εργασία είναι καθολική: οποιοσδήποτε ιστότοπος με μη τετριμμένη διεπαφή (διαμορφωτής, προσωπικός λογαριασμός, σύνθετη φόρμα, κατάστημα με φίλτρα) επωφελείται από έναν φωνητικό οδηγό που βλέπει τη σελίδα και ενεργεί σύμφωνα με αυτήν. Επομένως, το τοποθετούμε σε ένα ενσωματωμένο γραφικό στοιχείο - πώς εγκαθίσταται και τι μπορεί να κάνει συζητείται ξεχωριστά:φωνητικός πράκτορας για οποιονδήποτε ιστότοπο.

Εάν κάνετε κάτι παρόμοιο, είναι ενδιαφέρον να συγκρίνετε τις προσεγγίσεις για τη γείωση και τη φορτηγίδα. Μπορείτε να δοκιμάσετε το orb live στοneuralspace.pro.

Συχνές ερωτήσεις (FAQ)

Ερώτηση: Πώς να έχετε το καλύτερο αποτέλεσμα από ένα νευρωνικό δίκτυο;
Απάντηση: Χρησιμοποιήστε λεπτομερείς προτροπές (περιγραφές) στα Αγγλικά, ορίστε το στυλ και τις λεπτομέρειες της σκηνής.

Ερώτηση: Μπορούν αυτά τα υλικά να χρησιμοποιηθούν για εμπορικούς σκοπούς;
Απάντηση: Ναι, το περιεχόμενο που δημιουργείται είναι εξ ολοκλήρου δικό σας.