تم الإعلان عن نظرية المعلومات الحديثة لأول مرة في العام 1948 من قبل شانون
( Claud Elmwood Shannon )
وقد تم إعـادة أوراقـه البحثية من قبل IEEE .
2=الانتروبي وعدم الدقة
نظرية المعلومات تعرف كمية المعلومات
في عبارة معينة بأنها العدد الأدنى من البتات المطلوبة لغرض ترميز
كل المعاني الممكنة لتلك العبارة
تقاس كمية المعلومات في عبارة معينة M بواسطـة الانتروبي للعبارة , يرمز لهـا (M ) .
من الناحية التاريخية ,فانه في العام 1949
فان شانون أوضح الترابط بين الانتروبي لنظام الحركة الحرارية ونظرية الاتصالات .
منذ ذلك الوقت فان الانتروبي استخدمت كمقياس لمحتويات المعلومات .
في الأنظمة الفيزيائية
فان الانتروبي عبارة عن مقياس لعدم توفر الطاقة
درجة العشوائية
وميل النظام الفيزيـائي لان يصبـح معرضـا للانتهـاك .
فان الانتروبي تستخدم لقياس محتويات المعلومات
محتويات المعلومات المرتبطة مع عدم الدقة
وعدم الدقة التي تصف المظهر الأساسي للعشوائية .
فان الانتروبي لأي عبارة مقاسة في Bits هو log2n , حيث n هو عدد المعاني الممكنة .
الانتروبي لعبارة معينة تقيس أيضا عدم دقتها
وهي عدد بتات النص الواضح المطلوب استرجاعها عندما العبارة تجمع في نص مشفر لغرض معرفة النص الواضح .
معدل اللغة هو :
r= H ( M ) / N
حيث N هو طول العبارة .
معدل اللغة الإنكليزية يأخذ عدة قيم مختلفة بين 1.0 bits /letter و 1.5 bits / letter بالنسبة إلى قيـم كبيرة لـ N .
أكد شانون أن الانتروبي تعتمد على طول النص .
المعدل المطلق
لأي لغة هو العدد الأقصى لعدد البتات التي يمكن ترميزها في كل حرف .
إذا كان هناك L
من الحروف في لغة معينة
فان المعدل المطلق هو :
R=log2 L
هذا هو الانتروبي الأقصى للحروف المستقلة .
بالنسبة للغة الإنكليزية فان المعدل المطلق هو log2 26
او حوالي 4.7 bits /letters .
الحشو لأي لغة
ويرمز لها D , تعرف كالآتي :
D= R-r
إذا كـان المعـدل فـي اللغـة الإنكليزيـة هـو 1.3
فان الحشـو هو 3.4 bits /letters
هذا يعني أن كل حرف في اللغة الإنكليزية
يحمل 3.4 من المعلومات المتكررة .
4: مسافة الوحـد:
بالنسبـة لأي عبارة بطول n
فان عدد المفاتيح المختلفة والتي سوف تفتح شفرة عبارة نص مشفر إلى نص واضح ذو معنى بنفس اللغة الأصلية
فان هذا العدد ( عدد المفاتيح المختلفة ) يعطى بالصيغة التالية :
2H (K ) – nD - 1
عرف شانون مساحة الوحدة
وأطلق عليها كذلك نقطة الوحدة
بأنها التقريب لكمية النص المشفر بحيث أن مجموع المعلومات الحقيقية
في النص الواضح المقابل
زائدا الانتروبي لمفتـاح التشفير يساوي عدد بتـات النص المشفر المستخدمة .
ليست هناك تعليقات:
إرسال تعليق