Πάτρα: Να νιώθεις τη συναυλία στο σώμα σου, ενώ τη βλέπεις από το σπίτι – Η έρευνα που συντονίζει το Πανεπιστήμιο
Ο Κωνσταντίνος Μουστάκας εξηγεί στο pelop.gr πώς το XR-SENSE, με συντονιστή το Πανεπιστήμιο Πατρών, επιχειρεί να προσθέσει την αφή στην επικοινωνία από απόσταση, στις ζωντανές μεταδόσεις και στην ιατρική
Η ψηφιακή αφή θα μπορούσε να φέρει τη δόνηση του μπάσου μιας συναυλίας στο σώμα ενός θεατή που την παρακολουθεί από το σπίτι ή να του επιτρέψει να αισθανθεί την υφή ενός αντικειμένου μέσα σε ένα εικονικό περιβάλλον. Αυτές τις δυνατότητες ερευνά το XR-SENSE, το πρόγραμμα που συντονίζει το Πανεπιστήμιο Πατρών, με εφαρμογές που εκτείνονται από τις ζωντανές μεταδόσεις και τα αυτοκίνητα έως την καθοδήγηση μιας χειρουργικής επέμβασης από απόσταση.
Μιλώντας στο pelop.gr, ο Κωνσταντίνος Μουστάκας, καθηγητής του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών και επικεφαλής της Ομάδας Οπτικοποίησης και Εικονικής Πραγματικότητας, περιγράφει πώς η ψηφιακή αφή θα μπορούσε να αλλάξει την επαφή μας με έναν χώρο ή ένα αντικείμενο που βρίσκεται μακριά. «Σήμερα οι τεχνολογίες εικονικής και επαυξημένης πραγματικότητας απευθύνονται σχεδόν αποκλειστικά στην όραση και την ακοή. Το XR-SENSE προσθέτει μια τρίτη διάσταση: την αφή. Στόχος είναι ένας άνθρωπος να μπορεί να αγγίξει ένα ψηφιακό ή απομακρυσμένο περιβάλλον, και όχι απλώς να το βλέπει», εξηγεί.
Το έργο χρηματοδοτείται από το Horizon Europe με σχεδόν 6 εκατομμύρια ευρώ και συγκεντρώνει 18 φορείς, με συμμετοχές και από την Ελβετία και τη Νότια Κορέα. Ξεκίνησε την 1η Ιουνίου 2026 και έχει προγραμματιστεί να ολοκληρωθεί στις 31 Μαΐου 2029. Οι εφαρμογές που περιγράφει ο καθηγητής αποτελούν αντικείμενο της έρευνας και των δοκιμών που θα γίνουν σε αυτή την τριετία.
Ο Κωνσταντίνος Μουστάκας, καθηγητής του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών
Ο παλμός μιας συναυλίας από το σπίτι
«Φορώντας μια συσκευή απτικής ανάδρασης το σύστημα του έργου μεταφράζει τις ιδιότητες μιας ψηφιακής επιφάνειας σε δύναμη ή δόνηση στο χέρι μας, ώστε ο εγκέφαλος να αντιλαμβάνεται αν κάτι είναι μαλακό ή σκληρό, λείο ή τραχύ», εξηγεί ο Κωνσταντίνος Μουστάκας. Η ίδια αρχή μπορεί να μεταφέρει στο σώμα του θεατή μια αίσθηση που συνδέει με την παρουσία του μέσα στο κοινό: «Το ωστικό κύμα του μπάσου σε μια συναυλία θα μπορούσε να μεταφραστεί σε συγχρονισμένη δόνηση που αισθάνεσαι στο σώμα σου, σαν να στέκεσαι μέσα στο κοινό».
Για να λειτουργήσει μια τέτοια μετάδοση, η σκηνή της συναυλίας ή της παράστασης θα ανακατασκευάζεται σε τρεις διαστάσεις. «Αυτό επιτρέπει όχι μόνο να αλλάζεις οπτική γωνία όπως θέλεις, αλλά και να “αγγίζεις” ή να αισθάνεσαι στοιχεία της εμπειρίας. Για παράδειγμα, ένα ωστικό κύμα από συναυλία ή μια έκρηξη σε ταινία θα μπορούσε να μεταφραστεί σε δόνηση που αισθάνεσαι στο σώμα σου», περιγράφει ο καθηγητής.
«Προσωπικά θεωρώ πιο κοντά στην πραγματική χρήση τις ζωντανές μεταδόσεις και την εφαρμογή στα οχήματα: και οι δύο βασίζονται σε υποδομές, πλατφόρμες μετάδοσης, αισθητήρες οχημάτων, που ήδη υπάρχουν και αναπτύσσονται εμπορικά, σε αντίθεση με τη χειρουργική εφαρμογή που θα χρειαστεί πολύ αυστηρότερη πιστοποίηση για κλινική χρήση. Η ζωντανή μετάδοση έχει ίσως τον πιο άμεσο δρόμο προς το ευρύ κοινό, ενώ η εφαρμογή στα οχήματα μπορεί να αλλάξει περισσότερο την καθημερινότητα μακροπρόθεσμα, καθώς αγγίζει εκατομμύρια οδηγούς», εκτιμά ο Κωνσταντίνος Μουστάκας.
Ο πεζός που κρύβεται πίσω από το φορτηγό
«Τα αυτοκίνητα του όχι και τόσο μακρινού μέλλοντος “μιλάνε” μεταξύ τους», λέει ο Κωνσταντίνος Μουστάκας, περιγράφοντας την ανταλλαγή πληροφοριών που θα μπορούσε να βοηθήσει έναν οδηγό όταν η ορατότητά του περιορίζεται. «Κάθε όχημα στέλνει στα υπόλοιπα ό,τι “βλέπουν” οι δικοί του αισθητήρες, έτσι ένα αυτοκίνητο μπορεί να σου δείξει κάτι που βρίσκεται έξω από το δικό σου οπτικό πεδίο, π.χ. έναν πεζό πίσω από ένα σταθμευμένο φορτηγό, επειδή κάποιο άλλο όχημα “το βλέπει” και μοιράζεται αυτή την πληροφορία μαζί σου σε πραγματικό χρόνο».
Η εφαρμογή στα οχήματα συνδέεται επίσης με την πρόσβαση στο ταξίδι για ανθρώπους που δυσκολεύονται να μετακινηθούν. Η ένταξη ηλικιωμένων και ανθρώπων με αναπηρία αποτελεί ρητό στόχο του έργου, σύμφωνα με τον καθηγητή. «Για παράδειγμα στο σενάριο του “εξ αποστάσεως συνεπιβάτη” στα οχήματα, άτομα με αναπηρία που δεν μπορούν να ταξιδέψουν, θα μπορούν να “βιώσουν τη δυναμική ενός ταξιδιού” εξ αποστάσεως».
Η χειρουργική εφαρμογή θα δοκιμαστεί σε προσομοίωση
«Ο απομακρυσμένος χειρουργός θα μπορεί να ακολουθεί σε πραγματικό χρόνο τη χειρουργική επέμβαση, να “δείχνει” σημεία σε μια κρίσιμη περιοχή πάνω σε όργανα του ασθενή και να καθοδηγεί την κίνηση του τοπικού χειρουργού, για παράδειγμα τον προσανατολισμό ενός σύνθετου επιπέδου εκτομής, μέσω απτικής αλληλεπίδρασης με τρισδιάστατες τομογραφίες που προσαρμόζονται σε πραγματικό χρόνο πάνω στον ασθενή», περιγράφει ο Κωνσταντίνος Μουστάκας. Το παράδειγμα αφορά την κατεύθυνση στην οποία θα αφαιρεθεί ιστός.
Οι δοκιμές θα γίνουν με χειρουργικά ομοιώματα και κατάλληλο εξοπλισμό, στο XR Medical Simulation Lab του Πανεπιστημίου του Σαλέντο και στο Τμήμα Ηλεκτρολόγων Μηχανικών του Πανεπιστημίου Πατρών, σε συνεργασία με κλινική του Πανεπιστημιακού Νοσοκομείου. Ο καθηγητής θέτει σαφώς το όριο αυτής της φάσης: «Ο τηλεχειρουργικός πιλότος θα δείξει τη δυνατότητα του XR-SENSE σε ελεγχόμενες συνθήκες προσομοίωσης, όχι σε πραγματικούς ασθενείς».
Η έρευνα και οι νέες προσλήψεις στην Πάτρα
Το Πανεπιστήμιο Πατρών έχει τη συνολική επιστημονική και διαχειριστική ευθύνη του έργου απέναντι στην Ευρωπαϊκή Επιτροπή, ενώ η ομάδα του καθηγητή αναπτύσσει μέρος της τεχνολογίας που θα χρησιμοποιηθεί στις δοκιμές. «Πέρα από τον συντονισμό, η ομάδα μας συνεισφέρει τεχνικά στην επεξεργασία σήματος, εικόνας και γεωμετρίας καθώς και στην ανάπτυξη τεχνολογίας εικονικής και επαυξημένης πραγματικότητας συμπεριλαμβανομένης της μοντελοποίησης της αφής και της απτικής αλληλεπίδρασης με τους χρήστες», αναφέρει. Η δουλειά αυτή περιλαμβάνει την αποτύπωση του σχήματος των αντικειμένων και τον τρόπο με τον οποίο οι ιδιότητές τους θα μετατρέπονται σε αισθήσεις για τον χρήστη.
Για το Πανεπιστήμιο Πατρών προβλέπεται χρηματοδότηση 648.750 ευρώ. «Στην ομάδα μας μόνο έχει ήδη γίνει πρόσληψη 4 ατόμων, ενώ προβλέπεται πρόσληψη ακόμα 4», λέει ο Κωνσταντίνος Μουστάκας. Στις αγορές εξοπλισμού περιλαμβάνονται ειδικές κάμερες, συσκευές αφής, μάσκες εικονικής πραγματικότητας και αισθητήρες Lidar, που χρησιμοποιούν λέιζερ για να αποτυπώνουν έναν χώρο.
Οι ερευνητές διαθέτουν ήδη τεχνολογίες για την επεξεργασία τρισδιάστατων σχημάτων, την αναγνώριση και ερμηνεία εικόνων από υπολογιστές και τη σύνθεση εικονικών περιβαλλόντων σε πραγματικό χρόνο. Πολλές, σύμφωνα με τον καθηγητή, έχουν βραβευτεί σε διεθνή συνέδρια και έχουν δημοσιευθεί σε έγκριτα επιστημονικά περιοδικά. «Μεγάλος στόχος είναι η κατασκευή νέων συσκευών ρεαλιστικής απτικής αλληλεπίδρασης και μεθόδων ανακατασκευής σκηνής, συμπίεσης και μετάδοσης σε πραγματικό χρόνο. Αυτό πρακτικά σημαίνει ότι όπως κάποιος έχει σήμερα μία τηλεδιάσκεψη θα μπορεί να έχει μία αντίστοιχη επικοινωνία στις 3 διαστάσεις συμπεριλαμβανομένης της αφής», εξηγεί.
Η ομάδα επιδιώκει επίσης να συμβάλει σε κοινές τεχνικές προδιαγραφές για την αναπαράσταση και τη μετάδοση αυτού του περιεχομένου. Το έργο συμμετέχει σε σχετικές δραστηριότητες των JPEG και MPEG, που αναπτύσσουν διεθνή πρότυπα για ψηφιακά μέσα. Ο Κωνσταντίνος Μουστάκας συνδέει αυτή τη συμμετοχή με την ευρύτερη αξιοποίηση της έρευνας, επισημαίνοντας ότι «θα βοηθήσει στο να διατηρηθούν ανοικτά τα αποτελέσματά του και να αξιοποιηθούν στο μέγιστο δυνατό βαθμό από την επιστημονική κοινότητα».
Η ακρίβεια της αίσθησης και η προστασία των δεδομένων
Μια λανθασμένη αίσθηση ή μια καθυστέρηση στη μετάδοση μπορεί να γίνει επικίνδυνη όταν η τεχνολογία υποστηρίζει έναν οδηγό ή έναν χειρουργό. Ο Κωνσταντίνος Μουστάκας αναγνωρίζει αυτό το ενδεχόμενο και περιγράφει την εποπτεία του έργου: «Για τον λόγο αυτό υπάρχουν ξεκάθαρα όρια ασφαλείας ενώ παράλληλα το έργο παρακολουθείται και από μία επιτροπή ηθικής εξωτερικών προς το έργο εμπειρογνωμόνων οι οποίοι θα βοηθούν με την εμπειρία τους αλλά και θα ορίζουν συγκεκριμένους περιορισμούς που θα πρέπει να ικανοποιούνται από τα συστήματα που αναπτύσσουμε».
«Το έργο θα συλλέγει, σε ορισμένα σενάρια, φυσιολογικά/συναισθηματικά δεδομένα, π.χ. καρδιακό ρυθμό, εκφράσεις προσώπου, παρακολούθηση βλέμματος, με στόχο τη βελτιστοποίηση της εμπειρίας χρήστη. Η πρόσβαση στο αποθετήριο δεδομένων του έργου είναι ελεγχόμενη και όχι δημόσια, και εφαρμόζονται τεχνικές ανωνυμοποίησης και μηχανισμοί αυθεντικοποίησης. Το έργο δεσμεύεται για πλήρη συμμόρφωση με τον Γενικό Κανονισμό Προστασίας Δεδομένων», σημειώνει ο καθηγητής. Οι μηχανισμοί αυτοί αφορούν την αποφυγή ταυτοποίησης του χρήστη από τα δεδομένα και τον έλεγχο της ταυτότητας όσων ζητούν πρόσβαση.
Για τον Κωνσταντίνο Μουστάκα, το ζητούμενο είναι η αφή να αποκτήσει στην ψηφιακή επικοινωνία τη θέση που έχουν ήδη η εικόνα και ο ήχος. «Η αφή είναι ακόμα το μικρό αδερφάκι των άλλων δύο “διδύμων”. Ο στόχος μας είναι να αποκαταστήσουμε αυτή την “αδικία” και να προχωρήσουμε την τεχνολογία ώστε σε λίγα χρόνια να έχουμε τηλεόραση με περιεχόμενο που μπορούμε να “πιάσουμε”, να έχουμε αλληλεπίδραση με πολυμέσα και 3Δ περιεχόμενο ή εικονική παρουσία σε συναυλίες νιώθοντας τον παλμό των γεγονότων».
Διαβάστε επίσης: Τα κατακάθια καφέ γίνονται πρώτη ύλη για καύσιμο στην Πάτρα
Η «Πελοπόννησος» και το pelop.gr σε ανοιχτή γραμμή με τον Πολίτη
Η φωνή σου έχει δύναμη – στείλε παράπονα, καταγγελίες ή ιδέες για τη γειτονιά σου.
Ακολουθήστε μας για όλες τις ειδήσεις στο Bing News και το Google News
