التحدي: لماذا يصعب استخراج الأسعار تلقائياً؟
قد يبدو استخراج سعر منتج من صفحة ويب أمراً بسيطاً للإنسان: تنظر إلى الصفحة وتجد الرقم بجوار رمز العملة. لكن بالنسبة للبرمجيات، الأمر أعقد بكثير مما يبدو.
يحتوي كل متجر إلكتروني على تصميم مختلف وبنية تقنية فريدة. ما يعمل على متجر واحد لن يعمل بالضرورة على آخر. بل إن المتجر الواحد قد يعرض الأسعار بأشكال مختلفة حسب فئة المنتج أو نوع العرض الترويجي.
تعقيدات عرض الأسعار على الويب
- تنوع التنسيقات: تختلف طريقة كتابة الأسعار بين المتاجر. فبعضها يستخدم الفاصلة العشرية وبعضها النقطة، وبعضها يضع رمز العملة قبل الرقم وبعضها بعده.
- أسعار متعددة في صفحة واحدة: قد تحتوي الصفحة على السعر الأصلي والسعر بعد الخصم وسعر الشحن وأسعار منتجات مقترحة، مما يجعل تحديد السعر الفعلي تحدياً.
- المحتوى الديناميكي: كثير من المتاجر الحديثة تعتمد على جافاسكريبت لتحميل الأسعار بعد تحميل الصفحة الأساسية، مما يعني أن السعر قد لا يكون موجوداً في الشيفرة المصدرية المبدئية.
- التحديثات المستمرة: تُحدّث المتاجر تصميماتها باستمرار، مما يُبطل أي قواعد استخراج ثابتة بسرعة.
الحلول التقليدية وقيودها
الاستخراج القائم على القواعد
تعتمد الطريقة التقليدية على كتابة قواعد محددة لكل متجر: ابحث عن عنصر معيّن بمعرّف معيّن واستخرج النص منه. هذا النهج يعمل بدقة عالية على المتاجر المدعومة، لكنه يعاني من مشكلتين رئيسيتين:
- يحتاج إلى صيانة مستمرة مع كل تحديث لتصميم المتجر.
- لا يمكنه التعامل مع متاجر جديدة دون إضافة قواعد خاصة بها يدوياً.
التعبيرات النمطية
يمكن استخدام التعبيرات النمطية للبحث عن أنماط أسعار في النص، لكنها تنتج عدداً كبيراً من النتائج الخاطئة لأن الأرقام التي تشبه الأسعار منتشرة في كل مكان على صفحات الويب.
نهج الذكاء الاصطناعي: كيف يعمل DealMonitor
يستخدم DealMonitor نهجاً مبتكراً يعتمد على تعلّم الآلة للتغلب على هذه التحديات. بدلاً من كتابة قواعد لكل متجر، يتعلّم النظام أنماط الأسعار من آلاف الصفحات المختلفة ويستخدم هذه المعرفة لاكتشاف الأسعار على أي موقع جديد.
مرحلة جمع البيانات
تبدأ العملية بتحميل صفحة المنتج بالكامل، بما في ذلك المحتوى الديناميكي. يستخدم DealMonitor متصفحاً مؤتمتاً قادراً على تنفيذ جافاسكريبت وانتظار تحميل جميع عناصر الصفحة، تماماً كما يفعل المتصفح العادي.
مرحلة استخراج المرشحين
بعد تحميل الصفحة، يقوم النظام بتحليل بنيتها واستخراج جميع العناصر التي قد تحتوي على أسعار. يتم جمع معلومات سياقية غنية عن كل مرشح محتمل:
- الموقع في الصفحة: هل العنصر في المنطقة الرئيسية للمنتج أم في الشريط الجانبي؟
- الحجم والتنسيق: هل يبدو كسعر رئيسي بحجم خط كبير أم كنص عادي؟
- السياق المحيط: ما النصوص المحيطة بالرقم؟ هل هناك كلمات مثل "السعر" أو "خصم" أو رموز عملات قريبة؟
- البنية التقنية: ما العناصر والخصائص التقنية المحيطة بالرقم في شيفرة الصفحة؟
مرحلة التصنيف بالذكاء الاصطناعي
هنا يأتي دور نموذج تعلّم الآلة. يأخذ النموذج جميع المعلومات المجمّعة عن كل مرشح ويقيّم احتمالية كونه السعر الفعلي للمنتج. تم تدريب هذا النموذج على مجموعة بيانات ضخمة من صفحات المنتجات عبر متاجر مختلفة، مما يمكّنه من التعميم على متاجر لم يرها من قبل.
يتميّز هذا النهج عن استخدام النماذج اللغوية الكبيرة بأنه أسرع بكثير وأكثر موثوقية، فهو مصمم خصيصاً لمهمة اكتشاف الأسعار ولا يتأثر بحجم الصفحة أو تعقيدها.
لماذا لا يستخدم DealMonitor النماذج اللغوية الكبيرة؟
قد يتساءل البعض: لماذا لا يُستخدم نموذج لغوي كبير لاستخراج الأسعار؟ هناك عدة أسباب عملية:
- حجم البيانات: صفحات المنتجات تحتوي على كمية هائلة من الشيفرة المصدرية قد تتجاوز حدود السياق المتاح للنماذج اللغوية.
- السرعة: استدعاء نموذج لغوي كبير لكل فحص سعر سيكون بطيئاً ومكلفاً، خاصة عند مراقبة آلاف المنتجات يومياً.
- الموثوقية: النماذج اللغوية قد تعطي نتائج متباينة لنفس المدخلات، بينما نموذج تعلّم الآلة المتخصص يقدّم نتائج أكثر استقراراً وقابلية للتكرار.
دقة النظام وموثوقيته
بفضل هذا النهج، يحقق DealMonitor دقة عالية في اكتشاف الأسعار عبر مختلف المتاجر الإلكترونية. يمكن للنظام التعامل مع:
- متاجر بعشرات اللغات والعملات المختلفة.
- صفحات ذات تصميمات معقدة ومتعددة العناصر.
- عروض ترويجية بأسعار متعددة والتمييز بين السعر الحالي والسعر قبل الخصم.
- متاجر جديدة لم تُضَف سابقاً إلى قاعدة بيانات النظام.
ماذا يعني هذا للمستخدم؟
بالنسبة لك كمستخدم، هذه التقنية تعني أمراً واحداً بسيطاً: يمكنك إضافة منتج من أي متجر إلكتروني تقريباً وسيتعرّف DealMonitor على سعره تلقائياً. لا حاجة لانتظار دعم متجر معين، ولا حاجة لإدخال السعر يدوياً.
هذا ما يميّز DealMonitor عن أدوات تتبع الأسعار التقليدية التي تقتصر على قائمة محدودة من المتاجر المدعومة. سواء كنت تتسوق من متجر عالمي كبير أو من متجر محلي متخصص، يستطيع النظام التعامل معه.
جرّبه بنفسك
أفضل طريقة لفهم قوة هذه التقنية هي تجربتها عملياً. أنشئ حساباً مجانياً وأضف منتجاً من أي متجر تختاره. ستلاحظ كيف يكتشف النظام السعر تلقائياً ويبدأ في مراقبته لك. ولمعرفة المزيد عن كيفية الاستفادة القصوى من هذه التقنية، اطلع على الدليل الشامل للتسوق الذكي.
