Firecrawl فتح pdf-inspector: PDF في Markdown بالمللي ثانية، بدون OCR
Firecrawl، وهي شركة ناشئة من Y Combinator تصنع أدوات لاستخراج البيانات من مواقع الويب، فتحت مصادر pdf-inspector: مكتبة Rust التي تحدد بالمللي ثانية ما إذا كان النص الموجود أمامك هو PDF أو مسح ضوئي، وتحول المستندات النصية إلى Markdown خالصة بدون OCR على الإطلاق. وفقًا لتقديرات الفريق، فإن حوالي 54% من PDF في المشكلات الحقيقية تعتمد على النصوص، وببساطة لا فائدة من تشغيلها من خلال OCR البطيئة والمكلفة.
إذا سبق لك أن قمت بتغذية شبكة عصبية PDF - عقد أو تقرير أو كتاب - فأنت تعرف هذا الشعور: يبدو أن الملف مفتوح، لكن النص منه لا يتم نسخه أو نسخه في العصيدة. المحللون الكلاسيكيون إما يختنقون الطاولات أو يقومون بتشغيل كل صفحة خلال OCR، مما يؤدي إلى إضاعة الثواني والمال. يعاني pdf-Inspector من هذا الألم تمامًا: أولاً، ينظر بسرعة إلى نوع الملف، ويتصل OCR فقط إذا كان مسحًا حقيقيًا.
التصنيف الأول ثم الاستخراج
في تمريرة واحدة، تقوم المكتبة بتعيين PDF لأحد الأنواع الأربعة - TextBased، أو Scanned، أو ImageBased أو Mixed - وتعطي ثقة من 0 إلى 1 بالإضافة إلى مسار الصفحة: الذي سيتم قراءته كنص، والذي سيتم إرساله إلى OCR. يستغرق التصنيف من 10 إلى 50 مللي ثانية. بعد ذلك، بالنسبة للصفحات النصية، يتم استخراج الإحداثيات والخطوط وترتيب القراءة، ويكون الإخراج Markdown مع العناوين والقوائم والجداول والروابط.
أرقام مثيرة للإعجاب
على منصة opendataloader من أصل 200 PDF pdf-inspector قام بتفكيك العلبة بأكملها في 0.47 ثانية. للمقارنة: pymupdf4llm - 17 ثانية، markitdown - 16 ثانية. وفي الوقت نفسه، فهي الأعلى جودة: النتيجة الإجمالية هي 0.875 مقابل 0.735 لـ pymupdf4llm و0.589 لـ markitdown. يتعرف على الجداول بشكل أفضل - 0.814 مقابل 0.401 و0.273.
ماذا يمكنه أن يفعل؟
تخطيطات الصحف متعددة الأعمدة، والنص من اليمين إلى اليسار، وخطوط CID، واكتشاف التشفير المعطوب. بشكل منفصل - انتقائي OCR: إذا كانت الصفحات الفردية الممسوحة ضوئيًا عالقة في PDF، فيمكنك تشغيلها فقط من خلال OCR، محليًا، من خلال PP-OCRv6 صغير، وليس المستند بأكمله.
أين الصيد؟
بصراحة: بالنسبة لعمليات المسح الضوئي والصور الفوتوغرافية الحقيقية للمستندات، لا تزال هناك حاجة إلى OCR، وهنا ليس مفتش pdf سحريًا - فهو لا ينفق OCR على شيء لا يحتاج إليه. يمكن أيضًا أن تعمل التخطيطات المعقدة، حيث يتم خلط الصيغ والتخطيط مع النص. وهذه مكتبة، وليست خدمة جاهزة: لاستخدامها، عليك كتابة رمز صغير.
توجد روابط لـ Python وNode.js وWASM المستندة إلى المتصفح - يعمل نفس محلل Rust مباشرة في المتصفح بدون خادم. اكتسب المستودع الموجود على GitHub بالفعل ما يقرب من 17 ألف نجم. إذا كنت تحمل غالبًا PDF في شبكة عصبية، فإن الأمر يستحق المشاهدة.