Bola suara yang benar-benar mengontrol situs: arsitektur asisten, bukan “FAQ yang bisa berbicara”

Secara singkat tentang hal utama (BLUF)

Widget berbicara di situs web bukanlah asisten, melainkan mainan: ia berbicara tetapi tidak melakukan apa pun. Bola suara kami benar-benar menjalankan situs ini. Di dalamnya terdapat tiga lapisan arsitektur, tiga garu yang kami injak, ekonomi dialog, dan cara untuk menempatkan bola yang sama di situs web Anda.

Asisten suara di situs web biasanya menggunakan salah satu dari dua cara berikut: chatbot dengan pengenalan suara terpasang, atau sulih suara FAQ. Kami masukRuang Neuralberangkat dari tugas sebaliknya - membuat suaracara utama untuk mengelola antarmuka, dan bukan superstruktur di atas teks. Di bawah ini adalah analisis arsitektur dan keputusan yang harus diambil.

Tugas

Pengguna membuka halaman pembuatan yang kompleks -video, gambar, musik— di mana terdapat pilihan model, memuat referensi, permintaan, parameter. Pendatang baru tersesat. Orang-orang menutup orientasi klasik (tur dengan panah) pada langkah kedua. Kami ingin hal itu menjadi mungkin secara sederhanaucapkan dengan suara: “Saya ingin menghidupkan foto ini,” dan asistennya sendiri yang menyorot tombol yang diinginkan, menjelaskannya, dan menampilkan hasilnya.

Perbedaan utama dari chatbot: orbmelihat status halamanDanbertindak padanya, daripada merespons dengan teks “tekan tombol X di suatu tempat di sana.”

Arsitektur: tiga lapisan

1. Saluran vokal.Pengenalan ucapan streaming → model → sintesis respons. Persyaratannya adalah latensi rendah dan kemampuanmengganggu(tongkang masuk): pengguna mulai berbicara - asisten terdiam. Tanpa ini, dialog akan terasa seperti walkie-talkie dan bukan percakapan.
2. Otak.Kami sengaja memisahkan “kepribadian” asisten dari model bahasa tertentu: model dikonfigurasikan di sisi server, sehingga dapat diubah agar sesuai dengan tugas dan biaya tanpa mengembangkan kembali front end. Asisten tidak hanya menerima respons pengguna, tetapi jugasnapshot halaman saat ini yang dapat dibaca mesin: elemen apa saja yang ada, tombol apa saja, apa saja yang sudah dipilih.
3. Pelaksana pada klien.Model tidak hanya mengembalikan teks, tetapi jugatindakan: menyorot elemen, gulir untuk memblokir, jelaskan bidang. Klien mengeksekusinya di atas DOM asli.

Tiga garu kami injak

Yang paling menarik bukanlah jalan bahagianya, melainkan kegagalannya. Kami menganalisis log dialog nyata dan menemukan aturan dasarnya.

1. Halusinasi kemungkinan.Asisten menyarankan model yang tidak ada di halaman ini, atau bingung antara model gambar dan model video. Pengguna benar-benar marah: “tidak ada model seperti itu.” Perbaiki - jangan bergantung pada "pengetahuan dunia" model: asisten dapat memberi nama dan beralihhanya apa yang sebenarnya ada dalam cuplikan halaman saat ini. Ini adalah masalah landasan klasik - model harus benar-benar terikat dengan keadaan antarmuka, jika tidak maka model akan berbohong.

2. Tombol yang salah menyala.Mereka meminta Anda untuk menampilkan "unggah foto" - "Hasilkan" disorot. Alasannya adalah pemetaan “maksud → elemen” yang tidak jelas. Solusi: elemen menerima jangkar semantik, dan asisten harus menyorotnyapersis yang itu, yang dibicarakannya, dan tidak bertetangga dalam arti.

3. Obsesif.Model telah dipilih - asisten masih mencoba mengubahnya; pengguna bertanya "tulis saja permintaan" - dan dia berpendapat. Aturan: jika keadaan sudah sesuai atau pengguna secara eksplisit meminta untuk tidak menyentuh -jangan bertindak atau berdebat, segera lakukan apa yang diminta. Kurang inisiatif, lebih banyak eksekusi.

Kesimpulan yang akan kami berikan kepada siapa pun yang membangun agen di atas antarmuka adalah:90% kualitas bukanlah keteladanan, melainkan landasan dan disiplin bertindak. Model harus melihat keadaan sebenarnya dan tidak diperbolehkan melampauinya.

Ekonomi dialog

Suara lebih mahal daripada teks, jadi Orb memiliki jendela gratis, lalu pembayaran dilakukan saat percakapan. Penagihan terkait dengan durasi interaksi suara, bukan jumlah “pesan”.

Bola yang sama ada di situs web Anda

Kami menyesuaikan bola itu untuk diri kami sendiri, tetapi tugasnya bersifat universal: situs mana pun dengan antarmuka yang tidak sepele (konfigurator, akun pribadi, formulir kompleks, penyimpanan dengan filter) mendapat manfaat dari panduan suara yang melihat halaman dan bertindak berdasarkan itu. Oleh karena itu, kami memasukkannya ke dalam widget yang disematkan - cara pemasangannya dan apa yang dapat dilakukannya dibahas secara terpisah:agen suara untuk situs web apa pun.

Jika Anda melakukan hal serupa, menarik untuk membandingkan pendekatan grounding dan barge-in. Anda dapat mencoba orb live diruang saraf.pro.

Pertanyaan yang sering diajukan (FAQ)

Pertanyaan: Bagaimana cara mendapatkan hasil terbaik dari jaringan saraf?
Jawaban: Gunakan petunjuk rinci (deskripsi) dalam bahasa Inggris, atur gaya dan detail adegan.

Pertanyaan: Apakah bahan-bahan ini dapat digunakan untuk tujuan komersial?
Jawaban: Ya, konten yang dihasilkan sepenuhnya milik Anda.