חוק שנון
מתוך ויקיפדיה, האנציקלופדיה החופשית
חוק שנון הוא משפט מתמטי בתורת האינפורמציה המגדיר את "קיבול הערוץ": כמות האינפורמציה המרבית שניתן לשדר באמינות בערוץ כפונקציה של המודל ההסתברותי של הערוץ. כמות האינפורמציה נמדדת בביטים לשימוש ערוץ. עבור ערוץ גאוסי לבן, ניתן להראות תוך שימוש במשפט, קשר בין רוחב הפס האינפורמציה במבוא הערוץ ויחס האות לרעש בערוץ, לבין קיבול הערוץ המתקבל בסיביות לשנייה. המשפט הינו איפורמציוני ולא קונסטרוקטיבי, כלומר המשפט מוכיח את קיומו של קודי תיקון המאפשר שידור באמינות טובה כרצוננו של המידע המשודר. אולם המשפט לא מראה את הדרך לבנות מכונות קידוד מעשיות. עבור המקרה של ערוץ גאוסי לבן עם מגבלת רוחב סרט במבוא הערוץ, קיבול הערוץ נתון על ידי הנוסחה:
כאשר
חוק זה, שנחשב לאבן הפינה של תורת האינפורמציה, הוכח על-ידי קלוד שנון בשנת 1948. רק לאחר כ- 50 שנות מחקר בתורת הקודים, החלו מדענים לגלות קודים מעשיים המשיגים ביצועים הקרובים לקיבול הערוץ הגאוסי.