تطوير خوارزمية لحذف الصور شبه المكرّرة في Hadoop

الملخص

يشير مفهوم الصور شبه المتطابقة إلى الصور التي تعرضت للتشويش، أو التي تم ضغطها، أو التي انخفضت دقتها نتيجةً لنقلها، بالإضافة إلى الصور التي خضعت لعمليات معالجة الصور الرقمية. يهدف نظام التخزين الأمثل إلى تحسين استخدام مساحة التخزين من خلال إدارة البيانات وهيكلتها وتنظيمها بكفاءة، بحيث تُحفظ مساحة التخزين بما فيها المعلومات القيّمة والمفيدة، مع التخلص من البيانات غير الضرورية. تُسمى المساحة التي تشغلها البيانات غير المهمة بالمساحة المهدرة، وتزداد هذه المساحة مع ازدياد حجم هذه الملفات، مما يؤدي إلى هدر مساحة التخزين، الأمر الذي يُصعّب إدارة مساحة التخزين وتنظيم البيانات، ويؤثر سلبًا على أداء النظام ككل. يُستخدم هادوب لتخزين ومعالجة البيانات الضخمة، ويعتمد على التفرع في تخزين البيانات، حيث تُقسّم البيانات إلى أجزاء (كتل)، وتُوزّع هذه الأجزاء على أجهزة حاسوب تُسمى عُقد البيانات. لقد طور الباحثون تقنيات للتخلص من أجزاء البيانات المكررة، من أجل توفير مساحة التخزين في نظام Hadoop، ولكن قد تحتوي كل عقدة على ملفات غير مهمة تشغل جزءًا من هذه المساحة، لذلك سنقدم في هذا البحث تقنية لحذف الصور شبه المكررة المخزنة داخل عقد البيانات، باستخدام تحويل جيب التمام المنفصل (DCT).