مدار صوتي يتحكم فعليًا في الموقع: بنية المساعد، وليس "الأسئلة الشائعة الناطقة"

باختصار عن الشيء الرئيسي (BLUF)

أداة التحدث الموجودة على موقع الويب ليست مساعدًا، ولكنها لعبة: فهي تتحدث ولكنها لا تفعل شيئًا. مدارنا الصوتي يدير الموقع حقًا. يوجد في الداخل ثلاث طبقات من الهندسة المعمارية، وثلاث مكابس صعدنا عليها، واقتصاد الحوار، وطريقة لوضع نفس الجرم السماوي على موقع الويب الخاص بك.

عادةً ما ينتهي الأمر بالمساعدين الصوتيين على مواقع الويب بإحدى طريقتين: إما أن يكون برنامج دردشة مزودًا بخاصية التعرف على الكلام، أو أن يكون تعليقًا صوتيًا للأسئلة الشائعة. نحن في NeuralSpace ذهب من المهمة العكسية - لإحداث صوت الطريقة الرئيسية لإدارة الواجهة، وليس البنية الفوقية على النص. فيما يلي تحليل للبنية والقرارات التي كان لا بد من اتخاذها.

مهمة

يفتح المستخدم صفحة إنشاء معقدة - فيديو, صور, موسيقى — حيث يوجد اختيار للنموذج، وتحميل مرجع، وطلب، ومعلمات. الوافد الجديد ضائع. يغلق الأشخاص عملية الإعداد الكلاسيكية (جولة بالأسهم) في الخطوة الثانية. أردنا أن يكون ذلك ممكنًا بكل بساطة قل بصوت: "أريد إحياء هذه الصورة،" وقام المساعد نفسه بتسليط الضوء على الزر المطلوب وشرحه وأوصله إلى النتيجة.

الفرق الرئيسي من chatbot: الجرم السماوي يرى حالة الصفحة و يتصرف عليها، بدلاً من الرد بالنص "اضغط على الزر X في مكان ما هناك."

العمارة: ثلاث طبقات

1. المسالك الصوتية. التعرف على الكلام المتدفق ← النموذج ← تركيب الاستجابة. الشرط هو الكمون المنخفض والقدرة يقاطع (البارجة): يبدأ المستخدم في التحدث - يصمت المساعد. وبدون ذلك، يبدو الحوار وكأنه جهاز اتصال لاسلكي وليس محادثة.
2. مخ. لقد قمنا عمدا بفصل "شخصية" المساعد عن نموذج لغة محدد: يتم تكوين النموذج على جانب الخادم، بحيث يمكن تغييره ليناسب المهمة والتكلفة دون إعادة تطوير الواجهة الأمامية. المساعد يتلقى ليس فقط استجابة المستخدم، ولكن أيضا لقطة يمكن قراءتها آليًا للصفحة الحالية: ما هي العناصر الموجودة، ما هي الأزرار، ما تم تحديده بالفعل.
3. المنفذ على العميل . لا يُرجع النموذج النص فحسب، بل يُرجعه أيضًا الإجراءات: تسليط الضوء على العنصر، قم بالتمرير إلى الحظر، وشرح الحقل. يقوم العميل بتنفيذها فوق DOM الحقيقي.

ثلاثة مكابس صعدنا عليها

الشيء الأكثر إثارة للاهتمام ليس المسار السعيد، بل الفشل. قمنا بتحليل سجلات الحوارات الحقيقية وتوصلنا إلى القواعد الجذرية.

1. هلوسة الاحتمالات. اقترح المساعد نماذج غير موجودة في الصفحة الحالية، أو خلط بين نموذج الصور ونموذج الفيديو. المستخدم غاضب بحق: "لا يوجد مثل هذا النموذج". الإصلاح - لا تعتمد على "معرفة العالم" الخاصة بالنموذج: يمكن للمساعد أن يقوم بالتسمية والتبديل فقط ما هو موجود بالفعل في لقطة الصفحة الحالية. هذه مشكلة أساسية كلاسيكية - يجب أن يكون النموذج مرتبطا بشكل صارم بحالة الواجهة، وإلا فإنه سوف يكذب بثقة.

2. الزر الخطأ مضاء. يطلبون منك إظهار "تحميل صورة" - يتم تمييز "إنشاء". والسبب هو التعيين الغامض لـ "القصد → العنصر". الحل: تتلقى العناصر نقاط ارتكاز دلالية، ويجب على المساعد إبرازها هذا بالضبطالذي يتحدث عنه، وليس مجاورًا في المعنى.

3. الوسواس. تم بالفعل تحديد النموذج - لا يزال المساعد يحاول تغييره؛ يسأل المستخدم "فقط اكتب طلبًا" - وهو يجادل. القاعدة: إذا كانت الحالة مناسبة بالفعل أو طلب المستخدم صراحةً عدم لمسها - لا تتصرف أو تجادل، افعل ما يطلب منك على الفور. مبادرة أقل، تنفيذ أكثر.

الاستنتاج الذي سنقدمه لأي شخص يقوم ببناء وكيل فوق الواجهة هو: 90٪ من الجودة ليست نموذجًا، ولكنها أسس وانضباط للعمل. يجب أن يرى النموذج الحالة الدقيقة ولا يُسمح له بتجاوزها.

اقتصاديات الحوار

الصوت أغلى من النص، لذا فإن Orb لديه نافذة مجانية، ثم يتم الدفع عند المحادثة. ترتبط الفوترة بمدة التفاعل الصوتي، وليس بعدد "الرسائل".

نفس الجرم السماوي موجود على موقع الويب الخاص بك

لقد قمنا بتخصيص الجرم السماوي لأنفسنا، ولكن المهمة عالمية: أي موقع به واجهة غير تافهة (أداة التهيئة، حساب شخصي، نموذج معقد، مخزن مزود بمرشحات) يستفيد من دليل صوتي يرى الصفحة ويتصرف عليها. لذلك، قمنا بوضعه في عنصر واجهة مستخدم مضمن - تتم مناقشة كيفية تثبيته وما يمكنه فعله بشكل منفصل: الوكيل الصوتي لأي موقع.

إذا كنت تفعل شيئًا مشابهًا، فمن المثير للاهتمام مقارنة طرق التأريض والدخول. يمكنك تجربة Orb Live على com.neuralspace.pro.

الأسئلة المتداولة (الأسئلة الشائعة)

سؤال: كيف تحصل على أفضل نتيجة من الشبكة العصبية؟
الإجابة: استخدم المطالبات التفصيلية (الأوصاف) باللغة الإنجليزية، واضبط نمط المشهد وتفاصيله.

سؤال: هل يمكن استخدام هذه المواد لأغراض تجارية؟
الإجابة: نعم، المحتوى الذي تم إنشاؤه ملك لك بالكامل.