قياس عدم اليقين
ما مقدار ما نعرفه، وكيف نقيسه؟ كوّن فهمًا حدسيًا للرياضيات وراء كل تنبؤ.
مساحتك للتعلّم
01
اقرأ الدرس
تتبّع الأفكار والرياضيات والأمثلة المشروحة خطوةً خطوة.
افتح الدرس 02افتح دفترك البرمجي
اختبر فهمك بالتجارب. التعليمات بالعربية والبرامج كما في الأصل.
ابدأ التجربة 03شاهد اللقاء
تابع التسجيل الأصلي المتاح للجزء الثاني. تسجيل الجزء الأول سيُضاف لاحقًا.
افتح التسجيلاتقراءات إضافية
المصادر التالية بالإنجليزية.
تمهيدية
نظرية المعلومات والإنتروبيا
- شرح بصري لنظرية المعلومات — شرح كريس أولاه للإنتروبيا والمعلومات المتبادلة وتباعد كولباك–ليبلر (KL) بالرسوم.
خوارزميات الضغط
- ترميز هوفمان — كيف تحقق الشفرات متغيّرة الطول ضغطًا قريبًا من الحد الأمثل باستخدام الإنتروبيا.
- الترميز الحسابي — أسلوب أكثر تقدّمًا يمكنه الاقتراب من حد الإنتروبيا إلى أي دقة مطلوبة.
نماذج المقاطع المتتابعة (N-grams) ونماذج اللغة
- الفصل الثالث: نماذج اللغة القائمة على المقاطع المتتابعة من كتاب «معالجة الكلام واللغة» لجورافسكي ومارتن — فصل مرجعي عن نماذج المقاطع المتتابعة ومقياس الحيرة (Perplexity).
متقدّمة
أسس نظرية المعلومات
- نظرية رياضية للاتصال لكلود شانون (1948) — الورقة الأصلية التي انطلقت منها نظرية المعلومات؛ القسمان الأول والثاني هما الأكثر صلة بهذا الفصل.