Η σύγχρονη υπολογιστική όραση. Καθήκοντα και τεχνολογία οπτικής αναγνώρισης. Προγραμματισμός Vision Computer στην Python

Πώς να διδάξει ένα υπολογιστή για να καταλάβετε τι απεικονίζεται στην εικόνα ή εικόνες; Αυτό φαίνεται απλό, αλλά για έναν υπολογιστή αυτό είναι μόνο ένα πλέγμα που αποτελείται από μηδενικά και μονάδες από το οποίο θέλετε να εξαγάγετε τις σημαντικές πληροφορίες.

Ποιο είναι το όραμά του υπολογιστή; Είναι η ικανότητα να «βλέπει» τον υπολογιστή σας

Όραμα - είναι μια σημαντική πηγή πληροφοριών για το άτομο που το χρησιμοποιεί, παίρνουμε, σύμφωνα με διάφορες εκτιμήσεις, από 70 έως 90% όλων των πληροφοριών. Και, φυσικά, αν θέλουμε να δημιουργήσουμε ένα έξυπνο αυτοκίνητο, θα πρέπει να εφαρμόσουν τις ίδιες ικανότητες και τον υπολογιστή.

Το πρόβλημα της όρασης υπολογιστή μπορεί να δηλωθεί ξεκάθαρα. Τι είναι το «δει»; Εννοείται ότι όπου υπάρχουν ακριβώς με την εξέταση. Αυτό ολοκλήρωσε τις διαφορές της όρασης υπολογιστών και της ανθρώπινης όρασης. Όραμα για μας - είναι μια πηγή γνώσης για τον κόσμο, καθώς και μια πηγή των μετρικών πληροφοριών - δηλαδή, η ικανότητα να κατανοήσουν τις αποστάσεις και τα μεγέθη.

Σημασιολογικό εικόνα του πυρήνα

Κοιτάζοντας την εικόνα, μπορούμε να το περιγράψουμε με μια σειρά από χαρακτηριστικά, να το πω έτσι, να εξάγει σημασιολογική πληροφορία.

Για παράδειγμα, κοιτάζοντας αυτή την εικόνα, μπορούμε να πούμε ότι είναι σε εξωτερικούς χώρους. Ποια είναι η κίνηση της πόλης. Ότι υπάρχουν αυτοκίνητα. μπορούμε να υποθέσουμε ότι αυτή είναι η Νοτιοανατολική Ασία με τη διαμόρφωση του κτιρίου και ιερογλυφικά. Το πορτρέτο του Μάο Τσε Τουνγκ να καταλάβουν ότι αυτό είναι το Πεκίνο, και αν κάποιος είδε ζωντανό βίντεο ή ο ίδιος ήταν εκεί, θα μαντέψει ότι αυτή είναι η περίφημη πλατεία Τιενανμέν.

Αυτό που μπορούμε να πούμε περισσότερα για την εικόνα, βλέπουμε αυτό; Μπορούμε να προσδιορίσει τα αντικείμενα στην εικόνα, για να πω, ότι υπάρχουν άνθρωποι εδώ κοντά - φράχτη. Εδώ ομπρέλες, αφίσες αυτού του κτιρίου. Αυτά είναι παραδείγματα κατηγοριών είναι πολύ σημαντικά αντικείμενα, τα οποία ασχολούνται με την έρευνα για την ώρα.

Ακόμα μπορούμε να μάθουμε μερικά από τα χαρακτηριστικά ή ιδιότητες των αντικειμένων. Για παράδειγμα, εδώ μπορούμε να διαπιστώσουμε ότι αυτό δεν είναι ένα πορτρέτο ενός συνήθους κινέζικα, δηλαδή, ο Μάο Τσε Τουνγκ.

Σύμφωνα με το όχημα μπορεί να προσδιοριστεί ότι είναι ένα κινούμενο αντικείμενο, και είναι δύσκολο, που δεν παραμορφώνεται κατά τη διάρκεια της κίνησης. Σχετικά με σημαίες μπορούμε να πούμε ότι τα αντικείμενα, που επίσης κινείται, αλλά δεν είναι δύσκολο, συνεχώς παραμορφωμένο. Και στη σκηνή είναι ο άνεμος, το οποίο μπορεί να προσδιοριστεί με την ανάπτυξη σημαίες, και μπορεί ακόμη και να καθορίσουν την κατεύθυνση του ανέμου, για παράδειγμα, φυσά από τα αριστερά προς τα δεξιά.

Οι αποστάσεις και τα μήκη στην υπολογιστική όραση

Πολύ σημαντική είναι η μετρική πληροφορίες σχετικά με την επιστήμη της όρασης υπολογιστών. Αυτό είναι όλα τα είδη των αποστάσεων. Για παράδειγμα, για το rover είναι ιδιαίτερα σημαντική, γιατί οι ομάδες είναι από τη Γη περίπου 20 λεπτά και να απαντήσει τόσο πολύ. Κατά συνέπεια, η σύνδεση εκεί και πίσω - 40 λεπτά. Και αν κάνουμε ένα σχέδιο για τις εντολές κίνησης της Γης, θα πρέπει να το λάβουν αυτό υπόψη.

Επιτυχής ενσωματωμένη την τεχνολογία της όρασης υπολογιστών στα video games. Σύμφωνα με το βίντεο, μπορείτε να δημιουργήσετε τρισδιάστατα μοντέλα των αντικειμένων, οι άνθρωποι, και οι φωτογραφίες του χρήστη μπορεί να αποκαταστήσει τα τρισδιάστατα μοντέλα των πόλεων. Και τότε τα πόδια τους.

υπολογιστική όραση - ένα μάλλον ευρύ φάσμα. Είναι άρρηκτα συνδεδεμένη με διάφορες άλλες επιστήμες. Μέρος της όρασης υπολογιστών Συλλαμβάνει την περιοχή επεξεργασίας εικόνας και μερικές φορές διαθέτει όραμα του υπολογιστή, ιστορικά.

Η ανάλυση, αναγνώριση προτύπων - ο δρόμος για τη δημιουργία ανώτερης νοημοσύνης

Ας εξετάσουμε αυτές τις έννοιες ξεχωριστά.

Επεξεργασία Εικόνας - αυτός είναι ένας τομέας των αλγορίθμων, στην οποία η είσοδος και η έξοδος - εικόνα, και έχουμε τον κάνουμε κάτι.

ανάλυσης εικόνας - είναι η περιοχή της όρασης υπολογιστών, η οποία επικεντρώνεται στη συνεργασία με τη δισδιάστατη εικόνα και να κάνει συμπεράσματα από αυτό.

Αναγνώριση Προτύπων - μια αφηρημένη μαθηματική πειθαρχία που αναγνωρίζει τα δεδομένα με τη μορφή των φορέων. Δηλαδή, στην είσοδο - φορέα και έχουμε κάτι να κάνει με αυτό. Σε περίπτωση που ο φορέας είναι, δεν είναι τόσο σημαντικό να γνωρίζουμε.

όραμα Υπολογιστών - αρχικά ήταν να αποκατασταθεί η δομή των εικόνων δύο διαστάσεων. Σήμερα η περιοχή αυτή έχει γίνει ευρύτερη και μπορεί να ερμηνευθεί ως αποδοχή όλων των φυσικών αντικειμένων αποφάσεων, με βάση την εικόνα. Δηλαδή, είναι καθήκον της τεχνητής νοημοσύνης.

Παράλληλα με όραμα υπολογιστή σε έναν εντελώς διαφορετικό τομέα, γεωδαισίας, φωτογραμμετρίας έχει εξελιχθεί - μια μέτρηση της απόστασης μεταξύ των αντικειμένων σε δύο-διαστάσεων εικόνες.

Ρομπότ μπορεί να «δει»

Και τέλος - αυτή είναι η όραση. Σύμφωνα με την όραση σημαίνει ένα όραμα των ρομπότ. Αυτή είναι η απόφαση κάποιων προβλημάτων στην παραγωγή. Μπορούμε να πούμε ότι το όραμα του υπολογιστή - είναι μια μεγάλη επιστήμη. Συνδυάζει μερικά από τα άλλα επιστήμη μέρος. Και όταν το όραμα του υπολογιστή γίνεται καμία συγκεκριμένη εφαρμογή, μετατρέπεται σε μια τεχνητή όραση.

περιοχή της όρασης υπολογιστών έχει μάζα πρακτικές εφαρμογές. Συνδέεται με την αυτοματοποίηση της παραγωγής. Κατά τις επιχειρήσεις να γίνουν πιο αποτελεσματικές για την αντικατάσταση χειρωνακτικής εργασίας από το μηχάνημα. Το μηχάνημα δεν κουράζεται, δεν κοιμάται, είχε ακανόνιστο ωράριο εργασίας, που είναι πρόθυμοι να εργαστούν 365 ημέρες το χρόνο. Έτσι, χρησιμοποιώντας το έργο της μηχανής, μπορούμε να πάρουμε ένα εγγυημένο αποτέλεσμα σε ένα ορισμένο χρονικό διάστημα, και είναι αρκετά ενδιαφέρουσα. Όλες οι εργασίες έχουν σαφή χρήση των συστημάτων μηχανικής όρασης. Και δεν υπάρχει τίποτα καλύτερο από το να δείτε τα αποτελέσματα αμέσως για την εικόνα μόνο στο στάδιο υπολογισμού.

Στο κατώφλι του κόσμου της τεχνητής νοημοσύνης

Πλέον η περιοχή - είναι δύσκολο! Ένα σημαντικό μέρος του εγκεφάλου που είναι υπεύθυνες για την όραση, και πιστεύεται ότι αν σας διδάξει τον υπολογιστή σας για να «δούμε», δηλαδή, η πλήρης όραμα χρήση υπολογιστή, είναι ένας από τους στόχους της πλήρους τεχνητής νοημοσύνης. Αν μπορούμε να λύσουμε το πρόβλημα στο ανθρώπινο επίπεδο, κατά πάσα πιθανότητα, την ίδια στιγμή, θα λύσουμε το πρόβλημα της γρίπης των πτηνών. Αυτό είναι πολύ καλό! Ή δεν είναι πολύ καλή, αν δει κανείς, «Terminator 2».

Γιατί είναι το όραμα - είναι δύσκολο; Επειδή η εικόνα του ίδιου αντικειμένου μπορεί να ποικίλει πολύ ανάλογα με εξωτερικούς παράγοντες. Ανάλογα με το αντικείμενο των σημείων παρατήρησης φαίνονται διαφορετικά.

Για παράδειγμα, ένα και το ίδιο σχήμα, που λαμβάνονται από διαφορετικές γωνίες. Και τι είναι πιο ενδιαφέρον στο σχήμα μπορεί να είναι ένα μάτι, δύο μάτια και ένα μισό. Και ανάλογα με το πλαίσιο (εάν αυτή η εικόνα του ανθρώπου σε ένα πουκάμισο με βαμμένα μάτια), το μάτι μπορεί να είναι περισσότερες από δύο.

Ο υπολογιστής εξακολουθεί να μην καταλαβαίνουν, αλλά «βλέπει»

Ένας άλλος παράγοντας που καθιστά δύσκολο - είναι ο φωτισμός. Η ίδια σκηνή με διαφορετικό φωτισμό θα έχει διαφορετική εμφάνιση. μέγεθος αντικειμένου μπορεί να ποικίλλει. Επιπλέον, τα αντικείμενα της κάθε κατηγορίας. Πώς μπορείτε να πείτε για έναν άνθρωπο που το ύψος του 2 μέτρων; Τίποτα. Ανθρώπινη ανάπτυξη και μπορεί να είναι 2,3 m, και 80 cm. Όπως και με άλλους τύπους αντικειμένων, ωστόσο, είναι αντικείμενα της ίδιας κατηγορίας.

Ιδιαίτερα ζουν αντικείμενα υποβληθούν σε μια ποικιλία στελεχών. Μαλλιά ανθρώπους, τους αθλητές, τα ζώα. Δείτε φωτογραφίες από άλογα που τρέχουν, να καθορίσει τι συμβαίνει με χαίτη τους και η ουρά είναι απλά αδύνατο. Μια επικαλυπτόμενων αντικειμένων σε μια εικόνα; Εάν ώθηση μιας εικόνας υπολογιστή, ακόμα και το πιο ισχυρό μηχάνημα βρίσκουν δυσκολία να δώσει τη σωστή απόφαση.

Επόμενη προβολή - αυτό είναι μια μεταμφίεση. Μερικά αντικείμενα, ζώα μεταμφιεσμένη ως το περιβάλλον, και πολύ επιδέξια. Και τα ίδια σημεία και χρωματισμό. Παρ 'όλα αυτά, τα βλέπουμε, αν και όχι πάντα από μακριά.

Ένα άλλο πρόβλημα - το κίνημα. Αντικείμενα σε κίνηση αφάνταστη υποστούν παραμόρφωση.

Πολλά από τα αντικείμενα είναι πολύ μεταβλητή. Εδώ, για παράδειγμα, στα δύο φωτογραφίες κάτω από τα αντικείμενα της «καρέκλας».

Και αυτό μπορείτε να καθίσετε. Αλλά για να διδάξει ένα μηχάνημα, έτσι ώστε τα διαφορετικά πράγματα στο σχήμα, το χρώμα, το υλικό, τα πάντα είναι ένα αντικείμενο «καρέκλα» - είναι πολύ δύσκολο. Αυτή είναι η πρόκληση. Για την ενσωμάτωση των μεθόδων της υπολογιστικής όρασης - είναι να διδάξει ένα μηχάνημα για την κατανόηση, την ανάλυση, εικασίες.

Ένταξη της όρασης υπολογιστών σε διάφορες πλατφόρμες

Η μάζα της όρασης υπολογιστών άρχισαν να διεισδύουν περισσότερο το 2001, όταν δημιούργησε το πρώτο ανιχνευτή πρόσωπο. Βιόλα, Τζόουνς: Θα είναι δύο συγγραφείς έκανε. Ήταν η πρώτη γρήγορη και αξιόπιστη αρκετά αλγόριθμο, η οποία κατέδειξε τη δύναμη των μεθόδων μηχανικής μάθησης.

Τώρα το όραμα του υπολογιστή έχει αρκετά νέα πρακτικές εφαρμογές - αναγνώριση του ανθρώπινου προσώπου.

Αλλά για να αναγνωρίσει τον άνθρωπο όπως και στις ταινίες - τυχαία γωνίες, διαφορετικές συνθήκες φωτισμού - είναι αδύνατο. Αλλά για να λύσει το πρόβλημα, ή ένα που είναι διαφορετικοί άνθρωποι με διαφορετικό φωτισμό ή σε μια διαφορετική στάση, παρόμοια όπως στη φωτογραφία στο διαβατήριο, είναι δυνατόν με υψηλό βαθμό εμπιστοσύνης.

a απαιτήσεις φωτογραφία διαβατηρίου λόγω της χαρακτηριστικό των αλγορίθμων αναγνώρισης προσώπου σε μεγάλο βαθμό.

Για παράδειγμα, αν έχετε ένα βιομετρικό διαβατήριο, σε ορισμένες σύγχρονα αεροδρόμια, μπορείτε να χρησιμοποιήσετε το αυτόματο σύστημα ελέγχου διαβατηρίων.

Άλυτο πρόβλημα της όρασης υπολογιστών - η ικανότητα να αναγνωρίζει οποιοδήποτε κείμενο

Ίσως κάποιος χρησιμοποίησε το σύστημα OCR. Ένα από αυτά - ένα Fine Reader, είναι πολύ δημοφιλής στο σύστημα RuNet. Υπάρχουν πολλές μορφές, όπου μπορείτε να συμπληρώσετε τα στοιχεία, είναι απόλυτα σαρωθεί, οι πληροφορίες που αναγνωρίζεται από το σύστημα πολύ καλά. Αλλά με οποιοδήποτε κείμενο στην εικόνα, η κατάσταση είναι πολύ χειρότερη. Αυτό το πρόβλημα παραμένει άλυτο.

Παιχνίδια που περιλαμβάνουν υπολογιστική όραση, τη σύλληψη κίνησης

Ξεχωριστή μεγάλη περιοχή - είναι η δημιουργία τρισδιάστατων μοντέλων και καταγραφή της κίνησης (η οποία υλοποιείται με μεγάλη επιτυχία σε παιχνίδια στον υπολογιστή). Το πρώτο πρόγραμμα, το οποίο χρησιμοποιεί το όραμα του υπολογιστή - ένα σύστημα αλληλεπίδρασης με τον υπολογιστή χρησιμοποιώντας χειρονομίες. Όταν δημιουργήθηκε ήταν πολλά πράγματα ανοιχτά.

Ο αλγόριθμος έχει σχεδιαστεί πολύ απλά, αλλά να ρυθμίσετε χρειάστηκε να δημιουργήσετε μια γεννήτρια συνθετικών εικόνων των ανθρώπων για να πάρει ένα εκατομμύριο εικόνες. Υπερυπολογιστή μαζί τους για να επιλέξετε τις παραμέτρους του αλγορίθμου, για την οποία εργάζεται τώρα καλά.

Αυτό είναι ένα εκατομμύριο εικόνες και την εβδομάδα του χρόνου μετρήσιμα υπερυπολογιστή δυνατόν να δημιουργήσουν έναν αλγόριθμο που καταναλώνει το 12% της χωρητικότητας ενός επεξεργαστή και επιτρέπει σε ένα άτομο να αντιληφθεί την θέση του σε πραγματικό χρόνο. Αυτό το σύστημα Microsoft Kinect (2010).

Αναζήτηση εικόνων με βάση το περιεχόμενο σας επιτρέπει να ανεβάσετε τις φωτογραφίες στο σύστημα, και τα αποτελέσματα της θα δώσει όλες τις εικόνες με το ίδιο περιεχόμενο και κατασκευασμένο από την ίδια οπτική γωνία.

Παραδείγματα της όρασης υπολογιστών: τρισδιάστατη και δισδιάστατη χάρτες γίνονται τώρα με αυτό. Οι χάρτες για τα αυτοκίνητα πλοήγησης ενημερώνεται τακτικά, σύμφωνα με το DVR.

Υπάρχει μια βάση δεδομένων με τα δισεκατομμύρια των geotagged φωτογραφίες. Με τη λήψη της εικόνας στη βάση δεδομένων, μπορείτε να προσδιοριστεί ο τόπος όπου έγινε, ακόμη και με κάποια προοπτική. Φυσικά, με την προϋπόθεση ότι ο τόπος είναι αρκετά δημοφιλής ότι σε ένα χρόνο οι τουρίστες και έκανε μια σειρά από φωτογραφίες του χώρου ήταν εκεί.

ρομπότ είναι παντού

Ρομποτική αυτή τη στιγμή, παντού, χωρίς σε καμία περίπτωση. Τώρα υπάρχουν οχήματα που έχουν ειδικές κάμερες που αναγνωρίζουν τους πεζούς και τα οδικά σήματα για τη μετάδοση εντολών από τον οδηγό (αυτό με έναν τρόπο ένα πρόγραμμα υπολογιστή για να δείτε, βοηθά τον οδηγό). Και υπάρχει ένα πλήρως αυτοματοποιημένο ρομποτικό οχήματα, αλλά δεν μπορεί να στηριχθεί μόνο στο σύστημα βιντεοκάμερα, χωρίς τη χρήση ενός μεγάλου ποσού των πρόσθετων πληροφοριών.

Η σύγχρονη φωτογραφική μηχανή - αυτό είναι ένα obscura αναλογική φωτογραφική μηχανή

Ας μιλήσουμε για την ψηφιακή εικόνα. Οι σύγχρονες ψηφιακές φωτογραφικές μηχανές τοποθετημένα στην αρχή της camera obscura. Μόνο αντί της οπής μέσω της οποίας το φως εισέρχεται στο δέσμης και προβάλλεται επάνω στο πίσω τοίχωμα του θαλάμου του κυκλώματος θέματος, έχουμε ένα ειδικό οπτικό σύστημα που ονομάζεται το φακό. Σκοπός της είναι να συλλέγει ένα μεγάλο δέσμη φωτός και το μετατρέπουν, έτσι ώστε όλες οι ακτίνες διέρχονται μέσω ενός εικονικού σημείου προκειμένου να ληφθεί η προβολή και σχηματίζουν μια εικόνα σε φιλμ ή μήτρα.

Σύγχρονη ψηφιακές φωτογραφικές μηχανές (μήτρα) αποτελείται από μεμονωμένα στοιχεία - pixels. Κάθε εικονοστοιχείο μπορεί να μετρήσει την ενέργεια του φωτός που προσπίπτει επί του συνολικού pixel, και να εκδώσει έναν αριθμό εξόδου. Ως εκ τούτου, σε μια ψηφιακή φωτογραφική μηχανή, παίρνουμε αντί των μετρήσεων σετ φως φωτεινότητα της εικόνας, που αλιεύονται σε ένα pixel - τον υπολογιστή οπτικό πεδίο. Ως εκ τούτου, όταν η εικόνα που βλέπουμε δεν είναι ρέουσες γραμμές και σαφή περιγράμματα, και ένα πλέγμα από χρωματιστά τετράγωνα σε διάφορα χρώματα - pixels.

Παρακάτω μπορείτε να δείτε την πρώτη ψηφιακή εικόνα στον κόσμο.

Αλλά σε αυτή την εικόνα δεν είναι; Χρώμα. Τι είναι το χρώμα;

Ψυχολογική αντίληψη των χρωμάτων

Χρώμα - αυτό είναι αυτό που βλέπουμε. Το χρώμα του ένα και το ίδιο πράγμα για τους ανθρώπους και τις γάτες θα είναι διαφορετική. Από τη στιγμή που (οι άνθρωποι) και τα ζωικά οπτικό σύστημα - το όραμα είναι διαφορετικό. Ως εκ τούτου, το χρώμα - είναι ψυχολογική ποιότητα της όρασης μας, που συμβαίνει κατά την παρατήρηση αντικειμένων και το φως. Και δεν είναι μια φυσική ιδιότητα του αντικειμένου και το φως. Χρώμα - είναι το αποτέλεσμα της αλληλεπίδρασης του φωτός συστατικά, και τη σκηνή του οπτικού μας συστήματος.

Προγραμματισμός όρασης υπολογιστών σε Python χρησιμοποιώντας βιβλιοθήκες

Αν έχετε αποφασίσει να ασχοληθούν σοβαρά με τη μελέτη της όρασης υπολογιστή, θα πρέπει να προετοιμαστούν άμεσα για μια σειρά από δυσκολίες, αυτή η επιστήμη δεν είναι ο ευκολότερος και κρύβει αρκετές παγίδες. Αλλά «Προγραμματισμός Υπολογιστών Όραμα για την Python» την πατρότητα του Jan Erik SOLEMA - ένα βιβλίο που περιγράφει όλα τα πιο απλή γλώσσα. Εδώ θα εξοικειωθούν με τις μεθόδους αναγνώρισης των διαφόρων αντικειμένων σε 3D, να μάθουν να συνεργάζονται με την στερεοφωνική εικόνα, εικονική πραγματικότητα και σε πολλές άλλες εφαρμογές της τεχνητής όρασης. Στο βιβλίο είναι αρκετά παραδείγματα στην Python. Αλλά οι εξηγήσεις που παρουσιάζονται, να το πω έτσι, γενικευμένη, έτσι ώστε να μην επιβαρύνει πάρα πολύ την έρευνα και σκληρή δεδομένων. Εργασία κατάλληλο για φοιτητές, ερασιτέχνες και λάτρεις. Κατεβάστε αυτό το βιβλίο και τους άλλους για το όραμα υπολογιστή (μορφή pdf) μπορεί να είναι στο δίκτυο.

Αυτή τη στιγμή, υπάρχουν ανοιχτά βιβλιοθήκη πηγή αλγορίθμων όρασης υπολογιστών και επεξεργασίας εικόνας και αριθμητικών αλγορίθμων OpenCV. Υλοποιείται στις πιο σύγχρονες γλώσσες προγραμματισμού, είναι ανοικτού κώδικα. Αν μιλάμε για το όραμα του υπολογιστή, Python χρησιμοποιεί ως γλώσσα προγραμματισμού, έχει επίσης την υποστήριξη της βιβλιοθήκης, επιπλέον, εξελίσσεται συνεχώς και έχει μια μεγάλη κοινότητα.

Η εταιρεία «Microsoft» παρέχει τις υπηρεσίες της Api-είναι σε θέση να εκπαιδεύσει το νευρωνικό δίκτυο για να συνεργαστεί με τις εικόνες των ανθρώπων. Υπάρχει επίσης η δυνατότητα να εφαρμόσει το όραμά του υπολογιστή, Python χρησιμοποιεί ως γλώσσα προγραμματισμού.