قياس عدم اليقين

ما مقدار ما نعرفه، وكيف نقيسه؟ كوّن فهمًا حدسيًا للرياضيات وراء كل تنبؤ.

قراءات إضافية

المصادر التالية بالإنجليزية.

تمهيدية

نظرية المعلومات والإنتروبيا

خوارزميات الضغط

  • ترميز هوفمان — كيف تحقق الشفرات متغيّرة الطول ضغطًا قريبًا من الحد الأمثل باستخدام الإنتروبيا.
  • الترميز الحسابي — أسلوب أكثر تقدّمًا يمكنه الاقتراب من حد الإنتروبيا إلى أي دقة مطلوبة.

نماذج المقاطع المتتابعة (N-grams) ونماذج اللغة

متقدّمة

أسس نظرية المعلومات

  • نظرية رياضية للاتصال لكلود شانون (1948) — الورقة الأصلية التي انطلقت منها نظرية المعلومات؛ القسمان الأول والثاني هما الأكثر صلة بهذا الفصل.