Θεωρία Πληροφορίας
Χαϊκάλης Κωνσταντίνος
Αναπληρωτής Καθηγητής
Μαθησιακά Αποτελέσματα
Το μάθημα αυτό εισάγει τους φοιτητές στη θεωρία της πληροφορίας του Shannon, τη
μαθηματική βάση των τηλεπικοινωνιών.
Μέχρι το τέλος του μαθήματος, οι φοιτητές πρέπει να είναι σε θέση να επιλύουν
προβλήματα κωδικοποίησης πηγής και κωδικοποίησης καναλιού, να επεξηγούν θεμελιώδη
ζητήματα στον τομέα των τηλεπικοινωνιών και να επιλύουν σχετικά προβλήματα
βελτιστοποίησης. Τυπικά οι φοιτητές θα έχουν αποκτήσει τις ακόλουθες δεξιότητες:
- Κατανόηση της φύσης της εντροπίας και των αρχών κωδικοποίησης, καθώς και της χωρητικότητας καναλιού και τη θεωρία ρυθμού – αλλοίωσης για διακριτές και συνεχείς πηγές.
- Ικανότητα να υπολογίζουν σχετικές πληροφοριακές ποσότητες για επιλεγμένες πηγές και κανάλια.
- Βελτιστοποίηση παραμέτρων συστημάτων με πολλαπλές πηγές/πολλαπλά κανάλια.
- Παρουσίαση και επεξήγηση των αποτελεσμάτων με τεχνικούς όρους και επαγγελματικό τρόπο.
- Τα προσόντα για να συνεχίσουν περαιτέρω και σε πιο εξειδικευμένα, στενά σχετιζόμενα θέματα.
Ενδεικτικό Περιεχόμενο Μαθήματος
Τα θέματα που καλύπτονται περιλαμβάνουν το μοντέλο επικοινωνίας πηγής-καναλιού, το αξιωματικό μοντέλο ορισμού της αβεβαιότητας και εντροπίας, σημαντικές πληροφοριακές ποσότητες, όπως από κοινού εντροπία, υπό συνθήκη εντροπία, σχετική εντροπία και αμοιβαία πληροφορία, πληροφοριακές ισότητες και ανισότητες, την αρχή της ασυμπτωτικής ισοκατανομής, ρυθμός εντροπίας, εντροπία αλυσίδων Markov, στιγμιαία αποκωδικοποιούμενοι και προθεματικοί κώδικες, ανισότητες Kraft/McMillan, τα θεωρήματα κωδικοποίησης πηγής του Shannon, κωδικοποίηση εντροπίας Huffman, Shannon, Shannon-Fano, Shannon-Fano-Elias και αριθμητική κωδικοποίηση, το μαθηματικό ορισμό ενός διαύλου επικοινωνίας, την αμοιβαία πληροφορία και της σημασίας της στις επικοινωνίες, χωρητικότητα καναλιού, κωδικοποίηση καναλιού, τα θεωρήματα κωδικοποίησης καναλιού του Shannon, χωρητικότητα συμμετρικών καναλιών, κανάλια με ανάδραση, συνεχείς πηγές και διαφορική εντροπία, Gaussian κανάλι, χωρητικότητα συνεχών καναλιών, αρχή πλήρωσης νερού, θεωρία ρυθμού-αλλοίωσης, τα θεωρήματα ρυθμού-αλλοίωσης του
Shannon, καμπύλες ρυθμού-αλλοίωσης για Gaussian πηγή με μετρική απόστασης τετραγωνικού σφάλματος και πηγή Bernoulli με απόσταση Hamming, κβαντικοποίηση πολλαπλών πηγών, αρχή της αντίστροφης πλήρωσης νερού, αλγόριθμοι Arimoto-Blahut για τον υπολογισμό χωρητικότητας καναλιού και της συνάρτησης ρυθμού-αλλοίωσης, δικτυακή κωδικοποίηση.