Η έρευνά μας θα ξεκινήσει με την εξερεύνηση μιας νέας ιεραρχικής προσέγγισης πολλαπλών επιπέδων για δυναμική σύντηξη πολλαπλών ανιχνεύσεων, ειδικά βασισμένη σε φορητούς και στατικούς αισθητήρες IoT του έξυπνου οικιακού περιβάλλοντος. Κάθε ενδιάμεσο επίπεδο του ιεραρχικού μοτίβου σύντηξης θα περιλαμβάνει συνθετικά χαρακτηριστικά που θα σχηματιστούν είτε (1) από πιθανότητα, σταθμισμένη σύντηξη των χαρακτηριστικών κατώτερου επιπέδου είτε (2) μετατρέποντας την ουσία των χαρακτηριστικών κατώτερου επιπέδου σε αναπαραστάσεις σημασιολογίας υψηλότερου επιπέδου το πρόβλημα. δηλαδή, η δραστηριότητα στόχος που πρέπει να γίνει κατανοητή, με βάση το πλαίσιο παρακολούθησης. Σε αυτόν τον τομέα, θα επεκτείνουμε τις σύγχρονες προσεγγίσεις στην πολυτροπική σύντηξη που βασίζεται σε αισθητήρες, εστιάζοντας συγκεκριμένα στις βασικές προκλήσεις της εφαρμογής των αντίστοιχων συστημάτων HAR σε ρεαλιστικές ρυθμίσεις, δηλαδή αντίσταση θορύβου αισθητήρα και ευκαιριακές αλλαγές που περιλαμβάνουν διαφορετικούς αισθητήρες (π.χ. φορετά) καθώς και το περιβάλλον -Ανεξάρτητη λειτουργία προσαρμοσμένης λειτουργίας για πιο αποτελεσματική, λεπτομερή αναγνώριση δραστηριότητας και κατανόηση Σε αυτόν τον τομέα, θα επεκτείνουμε τις πιο ενημερωμένες προσεγγίσεις προσαρμοσμένης σύντηξης για να συμπεριλάβουμε περαιτέρω ενδείξεις με βάση το περιβάλλον του χρήστη, όπως χρονικές σχέσεις μεταξύ θεματικών μετρήσεων και συμπεράσματα σχετικά με το περιβάλλον και τις καταστάσεις των χρηστών, συμπεριλαμβανομένης μιας βελτιωμένης προσέγγισης για τις δραστηριότητές του, καθώς υπάρχει αυξημένη πιθανότητα να προσδιοριστεί μια συγκεκριμένη δραστηριότητα. Στο υψηλότερο σημείο, τα χαρακτηριστικά των διαφόρων επιπέδων θα ενσωματωθούν στο σχήμα ταξινόμησης. Θα εξεταστούν τόσο οι απλοί όσο και οι σύνθετοι ταξινομητές, ενώ το κλειδί στο πεδίο εφαρμογής μας θα είναι τα μοντέλα που βασίζονται στο Δυναμικό Bayesian Network (DBN) και στα Autoregressive Networks που βασίζονται στη βαθιά μάθηση.
Ο στόχος εδώ θα είναι να αναπτυχθεί ένα καινοτόμο, συντονιστικό πλαίσιο συντονισμού ανίχνευσης στόχου, ικανό να κατευθύνει τις προσπάθειες του ολοκληρωμένου συστήματος για την ενίσχυση τόσο (α) της αποτελεσματικότητας της αναγνώρισης δραστηριότητας όσο και (β) του επιπέδου λεπτομέρειας και της ευρωστίας στη συμπεριφορά κατανόηση. Στην ουσία, αυτό θα λειτουργήσει ως ένα δεύτερο στρώμα σύντηξης, επεκτείνοντας το πλαίσιο σύντηξης του Στόχου 1, το οποίο ασχολείται με τα φορητά και στατικούς αισθητήρες IoT, σε ένα που συγχωνεύει επίσης δεδομένα που προέρχονται από δυναμικές, ενεργές μεθόδους ανίχνευσης συντονισμένα απρόσκοπτα μέσω της προτεινόμενης προσέγγισής μας, στη συγκεκριμένη περίπτωση μας, μια φορητή μονάδα όρασης ρομπότ. Η έρευνά μας προς το σκοπό αυτό θα ξεκινήσει καθορίζοντας πώς θα λαμβάνονται αποφάσεις από τη μονάδα συντονισμού κατά τη διάρκεια του χρόνου εκτέλεσης (α) κατά πόσον οι δυναμικές λεπτομέρειες, δηλαδή η κάμερα ρομπότ, πρέπει να συμμετέχουν στην εργασία παρακολούθησης του χρήστη και (β) πώς πρέπει να είναι δεσμευμένες. Αυτές οι αποφάσεις θα βασίζονται στην επεξεργασία χαρακτηριστικών πολλαπλών επιπέδων των φορητών / στατικών αισθητήρων (Στόχος 1), και συγκεκριμένα στη σημασιολογική αναπαράσταση των τιμών τους σε συμπεράσματα σε τρεις βασικούς παράγοντες: (α) κατά πόσον μια δραστηριότητα χρήστη το ενδιαφέρον μπορεί να έχει ξεκινήσει με βάση την ανίχνευση που βασίζεται σε IoT, (β) εάν, λαμβάνοντας υπόψη τις δυνατότητες παρακολούθησης του μέρους του συστήματος που βασίζεται σε IoT, η λεπτομερής παρακολούθηση αυτής της εύλογης δραστηριότητας απαιτεί δυναμική παρακολούθηση με βάση την όραση για την κατανόηση των βασικών ιδιοτήτων και εάν η πλοήγηση και η τοποθέτηση του ρομπότ σε ένα μέρος που επιτρέπει αποτελεσματική παρακολούθηση με βάση την όραση του ρομπότ, θα ήταν ευπρόσδεκτη από τον χρήστη, προσπαθώντας να αποφύγει περιπτώσεις μη κοινωνικά αποδεκτής συμπεριφοράς ρομπότ. Βασικό σημείο εκκίνησης της έρευνας για τους μηχανισμούς λήψης αποφάσεων που εμπλέκονται σε αυτό το γνωστικό τμήμα σύντηξης της προσέγγισής μας θα είναι μερικώς παρατηρήσιμα μοντέλα με βάση τις διαδικασίες αποφάσεων Markov (POMDP). Το αποτέλεσμα της παρακολούθησης που βασίζεται σε ρομπότ-όρασης θα τροφοδοτηθεί στο πολυτροπικό πλαίσιο που βασίζεται στη σύντηξη του Στόχου 1.
Οι προτεινόμενες μέθοδοι για την αναγνώριση της ανθρώπινης δραστηριότητας και την κατανόηση της συμπεριφοράς μέσω της σύντηξης (α) φορητών και δεδομένων IoT και (β) φορητών, IoT και φορητών ρομπότ, θα αξιολογούνται συστηματικά κατά τη διάρκεια του έργου. Αυτό θα γίνει μέσω αξιολόγησης πολλαπλών επιπέδων, ξεκινώντας από την αξιολόγηση επιδόσεων μεμονωμένων συστατικών σύντηξης της προσέγγισης σύντηξης πρώτου επιπέδου, μεταβαίνοντας σταδιακά στην αξιολόγηση της ενεργού σύντηξης ανίχνευσης και τέλος στη συνολική, ολοκληρωμένη προσέγγιση. Χρησιμοποιώντας διαφορετικούς ταξινομητές πάνω από τις προτεινόμενες μεθόδους σύντηξης, θα συγκρίνουμε την απόδοση τόσο για την αναγνώριση δραστηριότητας όσο και για την ανίχνευση βασικών ειδικοτήτων δραστηριότητας για ανάλυση συμπεριφοράς, με ένα σύνολο μεθόδων αιχμής, χρησιμοποιώντας είτε φορετά / IoT / ρομπότ ξεχωριστά και σε συνδυασμό. Η αξιολόγηση θα πραγματοποιηθεί τόσο σε (α) διαθέσιμα στο κοινό δεδομένα όσο και (β) σετ δεδομένων που θα συλλεχθούν στις εγκαταστάσεις του έξυπνου σπιτιού CERTH-ITI. Η τελευταία αξιολόγηση θα πραγματοποιηθεί παράλληλα με έναν επιπλέον βασικό στόχο του έργου, αυτόν της δημιουργίας ενός ολοκληρωμένου συστήματος ένδυσης / IoT / ρομπότ, ικανό να λειτουργεί με βάση τις προτεινόμενες μεθόδους μας σε ένα πραγματικό έξυπνο σπίτι. Από αυτή την άποψη, η αξιολόγηση θα περιλαμβάνει επίσης, πέραν της απόδοσης HAR, επίσης τη χρηστικότητα και την αποδοχή από το χρήστη του συνολικού συστήματος. Το σύστημα απόδειξης της έννοιας θα υλοποιηθεί με βάση την υποδομή CERTH-ITI smarthome και το ρομπότ RAMCIP του CERTH-ITI.