Um orbe de voz que realmente controla o site: a arquitetura de um assistente, não um “FAQ falante”

Resumidamente sobre o principal (BLUF)

Um widget falante em um site não é um assistente, mas um brinquedo: ele fala, mas não faz nada. Nosso orbe de voz realmente administra o site. Dentro estão três camadas de arquitetura, três ancinhos que pisamos, a economia do diálogo e uma forma de colocar o mesmo orbe no seu site.

Os assistentes de voz em sites geralmente terminam de duas maneiras: ou é um chatbot com reconhecimento de fala anexado ou é uma narração de perguntas frequentes. Estamos em NeuralSpace saiu da tarefa inversa - fazer uma voz a principal forma de gerenciar a interface, e não uma superestrutura sobre o texto. Abaixo está uma análise da arquitetura e das decisões que tiveram que ser tomadas.

Tarefa

O usuário abre uma página de geração complexa - vídeo, fotos, música — onde há escolha de modelo, carregamento de referência, solicitação, parâmetros. O recém-chegado está perdido. As pessoas fecham o onboarding clássico (tour com setas) na segunda etapa. Queríamos que fosse possível simplesmente diga com uma voz: “Quero dar vida a essa foto”, e o próprio assistente destacou o botão desejado, explicou e trouxe para o resultado.

Diferença principal de um chatbot: orb vê o estado da página E age sobre ela, em vez de responder com o texto “pressione o botão X em algum lugar”.

Arquitetura: três camadas

1. Trato vocal. Streaming de reconhecimento de fala → modelo → síntese de resposta. O requisito é baixa latência e a capacidade interromper (interrupção): o usuário começa a falar - o assistente fica em silêncio. Sem isso, o diálogo parece mais um walkie-talkie do que uma conversa.
2. Cérebro. Dissociamos deliberadamente a “personalidade” do assistente de um modelo de linguagem específico: o modelo é configurado no lado do servidor, para que possa ser alterado para se adequar à tarefa e ao custo, sem desenvolver novamente o front-end. O assistente recebe não apenas a resposta do usuário, mas também instantâneo legível por máquina da página atual: quais elementos existem, quais botões, o que já está selecionado.
3. Executor no cliente. O modelo retorna não apenas texto, mas também ações: destacar elemento, rolar para bloquear, explicar campo. O cliente os executa sobre o DOM real.

Três ancinhos em que pisamos

O mais interessante não é o caminho feliz, mas os fracassos. Analisamos os registros de diálogos reais e criamos as regras de root.

1. Alucinação de possibilidades. O assistente sugeriu modelos que não estavam na página atual, ou confundiu o modelo para fotos com o modelo para vídeo. O usuário está zangado com razão: “tal modelo não existe”. Correção – não confie no “conhecimento de mundo” do modelo: o assistente pode nomear e trocar apenas o que está realmente no instantâneo da página atual. Este é um problema clássico de aterramento - o modelo deve estar estritamente vinculado ao estado da interface, caso contrário, ele mentirá com segurança.

2. O botão errado está iluminado. Eles pedem que você mostre “carregar uma foto” - “Gerar” está destacado. O motivo é o mapeamento difuso de “intenção → elemento”. Solução: os elementos recebem âncoras semânticas, e o assistente deve destacar exatamente esse, sobre o qual ele fala, e não vizinho em significado.

3. Obsessividade. O modelo já foi selecionado - o assistente ainda tenta alterá-lo; o usuário pede “basta escrever uma solicitação” - e ele argumenta. Regra: se o estado já for adequado ou o usuário pedir explicitamente para não tocar - não aja nem discuta, faça imediatamente o que é solicitado. Menos iniciativa, mais execução.

A conclusão que daríamos a qualquer pessoa que construísse um agente sobre uma interface é: 90% da qualidade não é modelo, mas sim fundamentação e disciplina de atuação. O modelo deve ver o estado exato e não pode ir além dele.

Economia do diálogo

A voz é mais cara que o texto, então o Orb tem uma janela gratuita, então o pagamento é feito na conversa. O faturamento está vinculado à duração da interação de voz, não ao número de “mensagens”.

O mesmo orbe está em seu site

Personalizamos o orbe para nós mesmos, mas a tarefa é universal: qualquer site com uma interface não trivial (configurador, conta pessoal, formulário complexo, loja com filtros) se beneficia de um guia de voz que vê a página e atua nela. Portanto, nós o colocamos em um widget incorporado - como ele é instalado e o que ele pode fazer é discutido separadamente: agente de voz para qualquer site.

Se você estiver fazendo algo semelhante, é interessante comparar as abordagens de aterramento e invasão. Você pode experimentar o orb ao vivo em neuralspace.pro.

Perguntas frequentes (FAQ)

Pergunta: Como obter o melhor resultado de uma rede neural?
Resposta: Use instruções detalhadas (descrições) em inglês, defina o estilo e os detalhes da cena.

Question: Esses materiais podem ser usados ​​para fins comerciais?
Resposta: Sim, o conteúdo gerado é inteiramente seu.