نظرية المعلومات Information theory أحد تخصصات و فروع الرياضيات التطبيقية الذي يتضمن تكمية Quantification (التحويل إلى كميات) البيانات بهدف تمكين نقل أو تخزين البيانات ضمن وسط ما أو نقلها عبر قناة اتصال ما بأكبر قدر ممكن . قياس المعلومات يعرف عادة بإنتروبية المعلومات و هو عبارة عن العدد الوسطي من البتات اللازم للتخزين أو الاتصال . مثلا ، إذا كان وصف الطقس اليومي له إنتروبية بمقدار 3 ، فذا يعني انه على مدى عدد كاف من الأيام يمكننا وصف الطقس اليومي يمعدل 3 بتات لليوم الواحد . .. .