ما هي معالجة البيانات وما هي أنواعها ومراحلها

معالجة البيانات أو Information processing تعتبر من أهم العمليات التقنية التي تعتمد عليها حياتنا الرقمية! قد تظن أن البيانات هنا يقصد بها بيانات الشركات والأرقام والمبيعات وما إلى ذلك، وهذا صحيح، لكنه يشكل جزء من هذه البيانات فقط.

استخدام الآلة الحاسبة لمعرفة نتائج العمليات الحسابية يعتبر من أنواع معالجة البيانات، تحرير مقاطع الفيديو في صورتها الأولية من أجل الحصول على مقاطع أصغر يعتبر أيضاً معالجة بيانات، وكذلك طلبات سحب وإيداع الأموال في ماكينات الصراف الآلي.

لكن كيف تتم معالجة البيانات؟ هل هي عملية بسيطة؟ أم معقدة؟ في هذا المقال نبحر في مجال معالجة البيانات للرد على هذه الأسئلة وأكثر، ونوضح مراحلها، وأنواعها بشكل تفصيلي، لكن بأسلوب مبسط.

ما هي معالجة البيانات Information processing

معالجة البيانات هي عملية يتم فيها تحويل كمية ضخمة من البيانات إلى معلومات مفيدة قابلة للفهم والتحليل، التحويل يتم من خلال برامج وأدوات خاصة في مجال التحليل والمعالجة للبيانات.

عادة تقع مهمة معالجة البيانات على عاتق عالم أو فريق من علماء البيانات Data Scientists. حالياً أغلب مجالات الحياة الحيوية تعتمد على معالجة البيانات، مما يجعلها عملية هامة لا تحتمل وجود أي أخطاء في مخرجاتها.

فعلى سبيل المثال تقوم الحكومات والمؤسسات الاقتصادية العملاقة بمعالجة البيانات التي تقوم بجمعها لتتمكن من التخطيط للمستقبل، تعتمد مواقع التجارة الإلكترونية على معالجة البيانات التي تجمعها من المستخدمين لمساعدتهم على إيجاد المنتجات التي يحتاجونها.

أيضاً يُعتمد عليها بشكل أساسي في مجال التقنية لتحديد ما يحتاجه المستخدمون سواء الآن أو في المستقبل.

تبدأ معالجة البيانات بالبيانات في شكلها الأولي، ثم تحويلها إلى شكل يمكن قراءته وفهمه بشكل سهل.

من أشهر الأشكال التي يُعتَمد عليها لفهم البيانات بعد معالجتها:

• الرسوم البيانية.
• الوثائق.
• الجداول.

الأشكال السابقة تمنح البيانات الشكل والسياق الضروريين لتفسيرها بواسطة أجهزة الحاسب الآلي، أيضاً تسهل هذه الأشكال إمكانية استخدام البيانات من قبل العاملين في الشركات والجهات المعنية.

لمزيد من المعلومات حول تحليل البيانات Data Analysis طالع مقالنا المخصص لشرح أساسيات هذا المجال.

اقرأ أيضاً: ما هو ChatGPT وما استخداماته وكيف تستعمله من أي بلد

مراحل معالجة البيانات

1. الجمع Collection

في هذه الخطوة يتم جمع البيانات من مصادر البيانات المتاحة والتي قد تتضمن:

أ) بحيرات البيانات Data Lakes

بحيرات البيانات هي مخزن بيانات يمكنه الاحتفاظ بجميع بيانات الجهة التي يعمل فيها، هذه البيانات قد تتضمن الصور والملفات النصية.

أيضاً تستطيع بحيرات البيانات الاحتفاظ بمعلومات من مصادر خارجية مثل تلك التي يتم جمعها من خلال:

• الأجهزة التي تعتمد على إنترنت الأشياء.
• نقرات المستخدمين داخل المواقع الإلكترونية.
• تفاعل المستخدمين على منصات الوسائط الاجتماعية (الضغط المشاركة الإعجاب وهكذا).

أيضاً تستطيع بحيرات البيانات تخزين البيانات التي تم جمعها من التطبيقات التي تعتمد على التقنيات السحابية. تستطيع الشركات تحليل هذه المعلومات باستخدام مجموعة متنوعة من الأدوات بما في ذلك تقنية التعلم الآلي التي تبحث تلقائياً عن الأنماط.

العثور على أنماط السلوك هو الهدف الرئيسي لمعالجة البيانات، حيث من خلاله يتم التنبؤ بأفعال المستخدمين واتخاذ القرارات.

ب) مستودعات البيانات Data Warehouse

مستودعات البيانات هي مخازن للبيانات مثلها مثل البحيرات، الفرق بين الاثنين يمتد ليشمل جوانب كثيرة، مع ذلك قد يكون أهم اختلاف هو أن مستودعات البيانات تقوم بتخزين بيانات تمت معالجتها بعكس البحيرات التي تخزن البيانات في صورتها الأولية.

أيضاً تقوم المستودعات بتخزين بيانات عن مواضيع محددة، ولا تخزن كل البيانات عن كل شيء خاص بالمؤسسة الخاصة بها.

كل مجال من المجالات يعتمد على مصدر معين من مصادر جميع البيانات، هذا يرجع لما يوفره كل مصدر من أشكال البيانات التي تلائم مجالات بعينها أكثر من مجالات أخرى، وبالطبع مميزات كل مصدر في تخزين البيانات بشكل عام.

مجالات مثل الصحة والتعليم والمواصلات تفضل الاعتماد على بحيرات البيانات لتخزين البيانات الخاصة بها، على الجانب الآخر تفضل الجهات والمؤسسات التجارية والاقتصادية الاعتماد على مستودعات البيانات لتخزين بياناتها.

أخيراً من المهم أن تكون مصادر البيانات المتاحة جديرة بالثقة وجيدة البناء، الجودة عامل مهم أيضاً يجب الانتباه له أثناء جمع البيانات، حيث يجب أن تمتاز هذه البيانات بأعلى جودة ممكنة.

لاحظ أن هذه البيانات سوف يتم تحويلها إلى معلومات تساهم في اتخاذ قرارات مصيرية بالنسبة لجهات ومؤسسات عملاقة، بمعنى آخر أي بيانات منخفضة الجودة أو غير جديرة بالثقة يمكنها التسبب في حدوث كوارث ضخمة في المجالات التي تعتمد عليها.

2. التحضير Preparation

بعد جمعها تدخل البيانات مرحلة الإعداد (تعرف هذه المرحلة أيضاً باسم مرحلة ما قبل المعالجة أو pre-processing. في هذه المرحلة يتم تنظيف البيانات الأولية (يطلق عليها أيضاً بيانات خام أو raw)، وتنظيمها للمرحلة التالية.

أثناء التحضير يتم فحص البيانات بحثاً عن أي أخطاء، الغرض من هذه الخطوة هو إزالة البيانات السيئة (البيانات الزائدة عن الحاجة أو غير المكتملة أو غير الصحيحة)، والحصول على كمية بيانات عالية الجودة ليستخدمها ذكاء الأعمال.

ذكاء الأعمال أو Business Intelligence هو عبارة عن مجموعة من العمليات والتطبيقات المستخدمة التي تعتمد على البيانات لاتخاذ القرارات الخاصة بالشركات والمؤسسات.

يشمل ذكاء الأعمال العمليات التالية:

• جمع البيانات.
• تحليل البيانات.
• عرض المعلومات التي تم التوصل لها من خلال معالجة البيانات بهدف تسهيل اتخاذ القرارات.

3. الإدخال Input

البيانات التي تم تنقيحها يتم إدخالها إلى التطبيق المخصص للتعامل معها وعرضها، فمثلاً تقوم مواقع التجارة الإلكترونية وتلك التي تتعامل مع عملاء بشكل دوري بجمع بياناتهم وتنقيحها ثم إضافتها داخل برنامج إدارة العملاء مثل Hubspot CRM.

بمعنى آخر يتم تحويل البيانات إلى معلومات يمكن فهمها بسهولة. إدخال البيانات هو المرحلة الأولى التي تبدأ فيها البيانات الأولية التحول إلى صورة معلومات يمكن استخدامها وفهمها من قبل الأفراد الذين يديرون المؤسسات والشركات التي تجمعها.

عادة يتم إدخال البيانات لهذه البرامج من خلال المكونات المسؤولة عن عمليات الإدخال في الحاسب الآلي مثل:

• لوحة المفاتيح.
• القارئ الضوئي.

الإدخال الذي يتم بهذا الأسلوب يقوم به أفراد بالطبع، أيضاً قد يتم تحويل البيانات بشكل آلي من مصدرها إلى البرنامج الذي سوف يقوم بمهمات التنسيق ومعالجة البيانات فيما بعد.

4. المعالجة Processing

خلال هذه المرحلة تتم معالجة البيانات التي تم إدخالها إلى الحاسب الآلي في المرحلة السابقة من أجل تفسيرها ومعالجتها، تتم المعالجة باستخدام الذكاء الاصطناعي وخوارزميات تعلم الآلة أو Machine learning.

بالطبع تختلف العملية نفسها بناءًا على مصدر البيانات التي اعتمدت عليه (بحيرات أم مستودعات)، أيضاً يشكل الغرض من جميع هذه البيانات اختلافاً آخر في عمليات المعالجة وكذلك حجمها.

فمثلاً تختلف معالجة البيانات التي تهدف إلى تحديد سلوك العملاء عن تلك التي تهدف إلى تشخيص حالة طبية. بالنسبة لحجم البيانات فهي تتناسب طردياً مع قوة المعالجة المطلوبة لمعالجتها، بمعنى آخر كلما زاد حجم البيانات احتاجت إلى قوة معالجة أكبر.

أي حاسب آلي يقوم بمعالجة البيانات من خلال وحدة المعالجة المركزية أو CPU، لكن الفرق بين كل جهاز وآخر هو حجم البيانات التي يقوم بمعالجتها، لذلك هناك معالجات مناسبة للاستخدام المنزلي، وأخرى عملاقة مثل الموجودة في مراكز البيانات.

أخيراً تلعب البرامج المستخدمة دوراً أساسياً في باقي خطوات هذه العملية مثل التفسير والتخزين.

5. إخراج البيانات وتفسيرها Outputting and Interpretation

عملية المعالجة ينتج عندها مخرجات وللاستفادة من هذه المخرجات يجب تفسيرها، المخرجات -والتي تكون عبارة عن مجموعة من المعلومات- يتم تصديرها للمستخدم في أحد الأشكال الآتية:

• رسم بياني.
• تقارير.
• مقاطع فيديو.
• وثائق.
• جداول.
• مقاطع صوتية.

اختيار الشكل الذي يتم الاعتماد عليه لتصدير مخرجات البيانات يتعلق بعوامل كثيرة مثل المجال ووظيفة المستفيد منها، يعتبر الشكل هو تفسير للمعلومات التي قامت المؤسسة أو الشركة بجمعها ثم معالجتها.

محللو وعلماء البيانات يستطيعون فهم أي شكل من أشكال البيانات السابقة على عكس الأفراد الغير متخصصين في هذا المجال، لذلك بعض المخرجات تتخذ أشكال مناسبة لجميع الأفراد، وأخرى تتخذ أشكال أكثر تعقيداً كونها موجهة متخصصون في مجال ما.

بشكل عام نرى حولنا العديد من أشكال تفسير البيانات، على سبيل المثال تقوم الشركات الكبرى بنشر ميزانيتها عن العام المالي المنصرم في الصحف، الميزانية هي الشكل الأقرب للجدول، والتفسير هنا هو تبويب كل إيراد ومصروف وكتابة اسمه.

بهذا الشكل يستطيع عدد كبير من الأفراد من مختلف الاهتمامات فهم هذه المعلومات أو المخرجات (الميزانية). الأفراد العاديين يستطيعون مراجعة هذه البيانات وكذلك المستثمرون وصناع القرار كلً حسب هدفه من هذه البيانات.

6. التخزين Storing

تعتبر عملية تخزين البيانات التي تمت معالجتها أخر مرحلة. التخزين في عالم الحاسب الألي غرضه الأساسي هو الحفظ للإطلاع فيما بعد ومجال معالجة البيانات لا يستثني من هذه القاعدة.

تخزين البيانات يخدم عدة أهداف أخرى هامة أهمها:

أ) الحماية

حماية البيانات أمر ضروري لأي نوع منها وفي أي مجال. تخزين البيانات يساهم بشكل كبير في حمايتها من السرقة أو التلاعب وهي مخاطر كارثية تخيف الشركات والمؤسسات الكبرى لتأثيرها الكبير على مستقبلها… بدون تخزين البيانات يصعب حمايتها.

تخيل تلف الحاسب الآلي الذي يستخدمه محلل البيانات أثناء الإطلاع عليها. التلف قد يكون بسبب خطر سيبراني أو عطل كهربائي أو أي شيء آخر، وقد يحدث رغم كل الإجراءات التي تقوم بها الشركات لتأمين وحماية أجهزتها.

إن لم تكن تلك البيانات مخزنة، فهذا معناه أنها ضاعت إلى الأبد وقد تحتاج إلى تكرار عملية المعالجة وهو أمر مرهق ومكلف. أخيراً حماية البيانات تحقق شروط اللائحة العامة لحماية البيانات أو GDPR التي تلتزم بها جميع الجهات التي تتعامل مع البيانات.

ب) تسهيل عملية الوصول إليها

الجهات التي تقوم بمعالجة البيانات تعتمد على عدة أقسام لتحليها والإطلاع عليها والتخزين يسمح بذلك، الإطلاع على البيانات فقط دون تخزينها يجعل إمكانية الوصول إليها عند الحاجة لها محدودة.

فمثلاً بيانات مبيعات الشركات يجب تخزينها حتى تتمكن أقسام أخرى من الإطلاع عليها غير قسم المبيعات، أقسام مثل التسويق والمشتريات تحتاج إلى الإطلاع على بيانات المبيعات لأنها تؤثر على أدائها وقراراتها.

ج) مقارنتها مع البيانات السابقة واللاحقة والقرارات التي تمت بناء عليها.

يعتمد صناع القرار في المؤسسات والشركات على معالجة البيانات لاتخاذ القرارات المناسبة لشركاتهم ومؤسساتهم، ولقياس مدى فاعلية هذه القرارات تقوم الشركات بمقارنتها هي ونتائجها بالبيانات التي تم الاعتماد عليها لاتخاذها قبل اتخاذها.

أيضاً تستخدم معالجة البيانات في مقارنة البيانات بعضها سواء كان ذلك من خلال إطار زمني أو مكاني، فمثلاً تقوم الشركات بمقارنة بيانات مبيعاتها في العام الحالي بنظيرتها من العام السابق أو مع تلك الخاصة بفرع أو منطقة جغرافية أخرى.

بدون تخزين البيانات لن يكون لدى محللو البيانات مرجع يساعدهم على اكتشاف التغيرات التي حدثت لها وتحليلها بشكل صحيح.

بالطبع بعض البيانات تتطلب أن يتم الإطلاع عليها واتخاذ القرارات بناءًا عليها فوراً، وعادة هذا يتعلق بمجال هذه البيانات.

أشهر أنواع معالجة البيانات

هل كل البيانات تتم معالجتها بنفس الطريقة؟ نعم ولا، تتشابه عملية معالجة البيانات مع بعضها البعض إلا أن الحجم وطبيعة البيانات قد يتطلب الاعتماد على أحد الأساليب التالية في معالجة البيانات.

1. التجميع على دفعات Batch processing

في هذه العملية تتم معالجة البيانات من خلال تجميعها في دفعات أو مجموعات، تعتبر هذه الطريقة هي الأنسب لمعالجة الكميات الضخمة من البيانات التي تتعامل معها الشركات الكبرى مثل معالجة بيانات عمليات عملاء شركات البطاقات الائتمانية.

2. معالجة البيانات لحظياً أو Real Time Processing

في هذا النوع تتم معالجة البيانات الأولية في نفس توقيت الحصول عليها، تعتمد العمليات التي تحتاج معالجة قدر بسيط من البيانات على هذا النوع من المعالجة، وأشهر استخداماته هو ماكينات الصراف الآلي التي تقوم بمعالجة بيانات طلبات العملاء لحظياً وتنفيذها.

أيضاً يعتمد معالجة البيانات لحظياً على مستشعرات لاستقبال البيانات ثم معالجتها لحظيها واخراجها، أشهر الأنظمة التي تعتمد على هذا النوع هي أنظمة الحماية وأجهزة الإنذار.

3. معالجة البيانات عبر الإنترنت Online Processing

تتشابه معالجة البيانات عبر الإنترنت مع المعالجة اللحظية، الفرق الجوهري بين النوعين هو أن الأول يعتمد على الإنترنت بشكل كبير لارسال واستقبال البيانات، كما يخضع لقوة النظام الذي يدير هذه البيانات مما يعرضها أحياناً للتأخير.

الفارق بين النوعين يمكن ملاحظته أيضاً عند إيداع مبالغ نقدية في أحد ماكينات الصراف الآلي، الماكينة سوف تضيف المبلغ الذي تم إيداعه إلى حساب صاحبه بشكل لحظي، لكن نظام البنك التابع له قد يستغرق وقتاً لمعالجة قيد المبلغ وإضافته إلى الحساب.

4. المعالجة المتعددة Multiprocessing

في المعالجة المتعددة تتم المعالجة باستخدام أكثر من وحدة معالجة مركزية، هنا تقوم كل وحدة بمعالجة جزء محدد من البيانات ثم تتفرغ لمعالجة جزء آخر وهكذا.

عادة يستخدم هذا النوع من أجل معالجة الكميات الهائلة من البيانات ويعتمد على عدد كبير من المعالجات المركزية. قديماً كان هذا النوع يقتصر استخدامه على أجهزة الحاسب الآلي العملاقة التي تحتوي على أكثر من وحدة معالجة مركزية.

الآن أصبحت المعالجات المركزية أرخص من ذي قبل مما ساهم في أن يتم استخدامه في الحواسيب المنزلية أيضاً، لاحظ أن حالياً تحتوى المعالجات المركزية على أكثر من وحدة معالجة بداخلها أو cores تستطيع معالجة البيانات بسهولة.

يستخدم هذا النوع في معالجة بيانات الطقس من المناطق المختلفة للتنبؤ بالأحوال الجوية في مناطق معينة.

5. تقاسم أو مشاركة الوقت Time Sharing

معالجة مجموعات مختلفة من البيانات في وقت واحد (أو مشاركة الوقت) مرتبط بشكل كبير بالمعالجة المتعددة، في كلا النوعين تتم معالجة البيانات من خلال أكثر من وحدة معالجة مركزية في آن واحد.

الفارق هو أن معالجة البيانات من خلال تقسيم الوقت تقوم الواحدة بمعالجة البيانات في وقت واحد تقريباً. كل مستخدم يتواصل مع المعالج المركزي لمعالجة بيانات خاصة به يحصل على نصيب من وقت المعالج يطلق عليه شريحة زمنية أو Time Slice.

يقوم المعالج بترتيب الشرائح ومعالجة البيانات بشكل متتالي بفارق زمني بسيط بين كل عملية معالجة والأخرى، هذا الفرق يكاد يكون جزء من الثانية الواحدة، وبالتالي لا يشعر المستخدم بأي تأخير يذكر في معالجة البيانات الخاصة به.

طرق معالجة البيانات

1. الطريقة اليدوية

تعتبر الطريقة اليدوية من أقدم طرق معالجة البيانات، كما هو واضح من الاسم تتم معالجة البيانات يدوياً بواسطة شخص أو عدة أشخاص، هنا يتم الاعتماد على العنصر البشري في جميع المراحل التي وضحناها سابقاً.

لهذه طريقة عدة مميزات كثيرة مثل انخفاض تكلفتها وعدم اعتمادها على أي أدوات من أي نوع، مع ذلك لدى هذه الطريقة عيوب تخرجها من الحسبان عند اختيار طريقة لمعالجة البيانات… أهمها هو تطلبها وقت وجهد كبيرين للحصول على المعلومات.

أيضاً أكبر عيوب هذه الطريقة هو معدل الخطأ المرتفع نتيجة الاعتماد على العنصر البشري وحده في العملية. حالياً نادراً ما يتم استخدام هذه الطريقة، إذ أن الطريقة الإلكترونية استبدلتها حتى في عمليات معالجة البيانات الصغيرة.

2. الطريقة الميكانيكية

اعتمد هذا النوع على أدوات آلية أو ميكانيكية في أغلب مراحل معالجة البيانات، هذه الأدوات قد تشمل ولا تقتصر على:

• الآلات الحاسبة (الميكانيكية منها والتي كانت تستخدم قديماً).
• الآلات الكاتبة.
• ماكينات الطباعة التي تعمل بالضغط.

معدل الخطأ في هذه الطريقة أقل بكثير من نظيرتها السابقة، ولكن أكبر عيوب هذه الطريقة هو عدم قدرتها على التعامل مع كميات البيانات الضخمة الموجودة في وقتنا الحالي، مثل الطريقة السابقة لا يتم الاعتماد على هذه الطريقة حالياً في معالجة البيانات.

3. الطريقة الإلكترونية

التطور التقني الذي أوجد لنا أجهزة الحاسب الآلي جلب معه أيضاً كميات مهولة من البيانات التي تحتاج إلى معالجة، استغلت هذه الكميات المميزات التي وفرها الحاسب الآلي مثل أتمتة العمليات، وتوفير معلومات موثوق فيها بسرعة وبدون أخطاء.

تستطيع تشغيل تطبيق إلكتروني يقوم بجمع البيانات وتصنيفها واخراجها في الشكل المطلوب خلال دقائق وبدون جهد يذكر. تفضل الشركات الكبرى الاعتماد على هذه الطريقة كونها الأكثر فاعلية، كما أن مخرجاتها يمكن الاعتماد عليها لاتخاذ قرارات نمو ناجحة.

أخيراً كل طريقة من الطرق السابقة كانت الطريقة الرئيسية لمعالجة البيانات في عصر من عصور، حالياً كل عمليات معالجة البيانات تعمد على الطريقة الإلكترونية، وذلك نظراً لأن الأجهزة الإلكترونية أصبحت في متناول يد الجميع.

خاتمة

حاولنا في هذا المقال شرح عملية معالجة البيانات ومراحلها بشكل مبسط. بشكل عام نقوم جميعاً بعمليات تندرج تحت بند معالجة البيانات بشكل يومي من استخدام الآلة الحاسبة على هواتفنا لاستخدام برامج مثل MS Excel في جمع ومقارنة الأرقام.

هل تعمل في مجال تتم فيه معالجة البيانات؟ شاركنا معنا في التعليقات طبيعة عملك، والدور الذي تقوم به في هذه العملية.