Της Ελένης Νάτση*
«Ο ρατσισμός ανέκαθεν συνδεόταν με την προσπάθεια πρόβλεψης εγκληματικών ενεργειών, οι οποίες εντοπίζονταν πάντα σε συγκεκριμένες φυλετικές ομάδες, στη βάση ότι διαθέτουν την φυσική προδιάθεση προς το έγκλημα, καθιστώντας τον έλεγχο τους απολύτως δικαιολογημένο», Ντόροθι Ρόμπερτς (Dorothy Roberts), καθηγήτρια Δικαίου και Κοινωνιολογίας στο Πανεπιστήμιο της Πενσυλβάνια.
Στις 25 Μαΐου 2020 ο Αφροαμερικανός Τζορτζ Φλόιντ (George Floyd) έπεφτε νεκρός από ασφυξία κάτω από το γόνατο ενός Αμερικανού αστυνομικού. Τα εννιά λεπτά ωμής βίας, που κατεγράφησαν σε βίντεο, οδήγησαν σε ένα μεγάλο κύμα διαδηλώσεων στις ΗΠΑ και διεθνώς. Λίγους μήνες μετά την δολοφονία του Φλόιντ ένα ακόμα τραγικό συμβάν έρχεται να προστεθεί στον μακρύ κατάλογο των περιστατικών ρατσιστικής βίας από την αστυνομία: o Αφροαμερικανός Τζέικομπ Μπλέικ (Jacob Blake) μένει παράλυτος από τη μέση και κάτω μετά τον πυροβολισμό του από αστυνομικό στο Ουισκόνσιν. Ακολουθεί ο Ντίζον Κίζι (Dijon Kizzie), 29 ετών, ο οποίος αφήνει την τελευταία του πνοή από πυρά αστυνομικών σε συνοικία του Λος Άντζελες, ενώ συνεχίζουν να βλέπουν το φως της δημοσιότητας και πλείστα άλλα περιστατικά, όπως ο θάνατος του Αφροαμερικανού Ντάνιελ Προυντ (Daniel Prude) από ασφυξία, έπειτα από τοποθέτηση κουκούλας από αστυνομικούς.
Η κατάχρηση της αστυνομικής εξουσίας δεν συναντάται, όμως, μόνο στους δρόμους ή στις διαδηλώσεις, αλλά, σύμφωνα με τους ακτιβιστές ανθρωπίνων δικαιωμάτων, έχει βρει ένα ισχυρό σύμμαχο με απρόβλεπτες συνέπειες: τα συστήματα πρόβλεψης εγκλημάτων, που χρησιμοποιούν την δύναμη των αλγόριθμων για να αποφασίσουν πού και ποιος είναι πιθανό να τελέσει ένα έγκλημα.
Τα εργαλεία αυτά χωρίζονται σε δύο βασικές κατηγορίες: σε συστήματα που χρησιμοποιούν δεδομένα σχετικά με τον αριθμό προγενέστερων εγκλημάτων σε συγκεκριμένες περιοχές (ένα από τα πιο γνωστά είναι το PredPol), και σε εκείνα που βασίζονται σε δεδομένα, όπως η ηλικία, το φύλο, η οικογενειακή κατάσταση, το ιστορικό χρήσης παράνομων ουσιών, το ποινικό μητρώο πολιτών, για να προβλεφθεί ποιοι εξ αυτών έχουν μεγαλύτερη πιθανότητα να προβούν σε εγκληματική ενέργεια μελλοντικά. Τα τελευταία ενδέχεται να χρησιμοποιηθούν από την αστυνομία, για να επέμβουν εγκαίρως πριν από μία πιθανή εγκληματική ενέργεια ή από τα δικαστήρια κατά τη διάρκεια προδικαστικών ακροάσεων, για να αποφανθούν αν κάποιος που έχει συλληφθεί είναι πιθανό να παρανομήσει ξανά (ένα τέτοιο εργαλείο είναι το Correctional Offender Management Profiling for Alternative Sanctions ή σε συντομογραφία COMPAS).
Στον απόηχο της δολοφονίας του Αφροαμερικανού Τζορτζ Φλόιντ αστυνομικά τμήματα στις ΗΠΑ, μεταξύ αυτών και της Νέας Υόρκης, διπλασίασαν τη χρήση τέτοιων εργαλείων, ενώ χρησιμοποιήθηκαν ευρέως και συστήματα αναγνώρισης προσώπου (facial recognition systems) για τον εντοπισμό υπόπτων.
Με τα περιστατικά αστυνομικής βίας να μην έχουν τελειωμό και το καζάνι στις ΗΠΑ κυριολεκτικά να βράζει, η χρήση τέτοιων συστημάτων έχει μπει στο μικροσκόπιο οργανώσεων ανθρωπίνων δικαιωμάτων, και όχι άδικα: από τη μία πλευρά υπάρχει έλλειψη διαφάνειας ως προς την ακριβή χρήση τέτοιων εργαλείων, και, από την άλλη, τα μεροληπτικά δεδομένα με τα οποία τροφοδοτούνται, τις περισσότερες φορές, δημιουργούν επικίνδυνο προηγούμενο, αντί να αμβλύνουν το πρόβλημα του συστημικού ρατσισμού.
Για παράδειγμα, έγινε γνωστό μόνο μέσω σχετικού δημοσιεύματος στο Verge, ότι οι αστυνομικές αρχές της Νέας Ορλεάνης χρησιμοποιούσαν ένα σύστημα πρόβλεψης, το οποίο είχε αναπτυχθεί από τη σκιώδη εταιρεία Palantir, γνωστή και από τη συνεργασία της στο παρελθόν με την Cambridge Analytica, ενώ δημόσια αρχεία δείχνουν ότι το αστυνομικό τμήμα της Νέα Υόρκης πλήρωσε το δυσθεώρητο ποσό των 2,5 εκατ. δολαρίων στην Palantir, χωρίς να αποκαλύπτει τον ακριβή λόγο.
Διαμορφώνοντας το μέλλον με μεροληπτικό παρελθόν
Τι ακριβώς σημαίνει, όμως, ότι τα δεδομένα με τα οποία τροφοδοτούμε τα εν λόγω συστήματα είναι μεροληπτικά;
Oι αλγόριθμοι πρόβλεψης στηρίζονται σε ιστορικά δεδομένα συλλήψεων. Σύμφωνα όμως με το αμερικάνικο υπουργείο Δικαιοσύνης, αν είσαι μαύρος έχεις διπλάσιες πιθανότητες να συλληφθείς απ’ ότι ένας λευκός, ενώ ένας μαύρος είναι πέντε φορές πιο πιθανό να ελεγχθεί από την αστυνομία χωρίς λόγο σε σύγκριση με έναν λευκό.
Ένα άλλο σημαντικό πρόβλημα, που δημιουργεί μεγάλα περιθώρια λάθους στις προβλέψεις των αλγόριθμων, σχετίζεται με την γεωγραφική προέλευση των δεδομένων, με τα οποία τροφοδοτήθηκαν τα εν λόγω συστήματα. Ειδικότερα, τα δεδομένα αναφέρονται κυρίως σε πληθυσμούς λευκών εκτός ΗΠΑ, διότι η πρόσβαση στα ποινικά μητρώα είναι δύσκολη ή δεν επιτρέπεται σε όλες τις πολιτείες της Αμερικής. Το Static 99, ένα εργαλείο που σχεδιάστηκε για την πρόβλεψη υποτροπής αυτών που έχουν διαπράξει σεξουαλικά εγκλήματα, εκπαιδεύτηκε με δεδομένα από τον Καναδά, όπου μόνο περίπου το 3% του πληθυσμού είναι μαύροι, σε σύγκριση με το αντίστοιχο 12% στις ΗΠΑ. Παρομοίως, άλλα εργαλεία που χρησιμοποιήθηκαν στις ΗΠΑ αναπτύχθηκαν στην Ευρώπη, όπου μόνο το 2% του πληθυσμού είναι μαύροι. Η ουσία είναι ότι λόγω των διαφορών στις κοινωνικοοικονομικές συνθήκες μεταξύ των διαφόρων πληθυσμιακών ομάδων και των χωρών, τα συγκεκριμένα εργαλεία είναι πιθανό να είναι λιγότερο ακριβή όταν χρησιμοποιούνται σε διαφορετικές χώρες από αυτές όπου πραγματικά εφαρμόζονται. Συναντάμε, ακόμη, και αλγόριθμους, που οι παράμετροί τους είναι ξεπερασμένοι. Για παράδειγμα, μερικοί εξ αυτών προβλέπουν ότι ένας κατηγορούμενος είναι λιγότερο πιθανό να εμφανιστεί στο δικαστήριο αν δεν έχει σταθερό τηλέφωνο!
‘Ένα άλλο προφανές πρόβλημα έγκειται στο εξής: τα δεδομένα που διαθέτουμε και με τα οποία εκπαιδεύουμε τους αλγόριθμους αφορούν σε συλλήψεις που δεν οδηγούν πάντα σε καταδίκες. Επομένως, πόσο ασφαλές είναι να προβλέψουμε πιθανή εγκληματική ενέργεια βασιζόμενοι σε τέτοια δεδομένα; Ακόμη περισσότερο με δεδομένο ότι οι συλλήψεις πραγματοποιούνται ουκ ολίγες φορές με ρατσιστικό κίνητρο.
Έτσι εξηγείται το γεγονός ότι είναι πολύ πιο πιθανό οι προβλέψεις να αφορούν περιοχές όπου διαμένουν μειονότητες ή άτομα που ανήκουν σε τέτοιες ομάδες. Αλλά ακόμη και αν τα δεδομένα που αφορούν συλλήψεις, ή και διάπραξη εγκληματικών ενεργειών, ταυτίζονται, υπάρχει μια πλειάδα κοινωνικοοικονομικών λόγων που φωτίζουν τις σύνθετες πτυχές της υψηλής εγκληματικότητας σε πληθυσμιακές ομάδες και περιοχές που δεν λαμβάνονται υπόψη. Υπάρχουν ακόμη και εργαλεία που «αποφασίζουν» και προβλέπουν με βάση το πού έγινε η τηλεφωνική κλήση στην αστυνομία. Αν θυμηθεί κανείς την περίπτωση της Έιμι Κούπερ (Αmy Cooper), η οποία κάλεσε την αστυνομία μόνο και μόνο επειδή ο συμπολίτης της Christian Cooper -ο οποίος διόλου τυχαία ήταν έγχρωμος- της ζήτησε να βάλει λουρί στον σκύλο της στο Central Park της Νέας Υόρκης, συνειδητοποιεί πόσο επικίνδυνη είναι η χρήση τέτοιων εργαλείων στην πράξη από τις αστυνομικές και δικαστικές αρχές.
H άβολη αλήθεια
Η αξιολόγηση ρίσκου αποτελεί κομμάτι του συστήματος ποινικής δικαιοσύνης εδώ και δεκαετίες, αλλά τα αυτοματοποιημένα συστήματα αποτελούν σχετικά πρόσφατη προσθήκη. Δύο από τους βασικότερους λόγους είναι oι περικοπές στον προϋπολογισμό, αλλά και η διαδεδομένη πεποίθηση ότι οι αλγόριθμοι είναι πιο αντικειμενικοί από τους ανθρώπους.
Η τελευταία άποψη που συναντάται συχνά στο πώς αντιμετωπίζουμε την τεχνητή νοημοσύνη και τις πολλαπλές χρήσεις της αγνοεί μία βασική αλήθεια: οι αλγόριθμοι δεν είναι κακοί ή καλοί, παρά μόνο ο καθρέφτης των συνειδητών ή ασυνείδητων προκαταλήψεων που «κρύβονται» στα δεδομένα με τα οποία τους τροφοδοτούμε. Αν θέλουμε πραγματικά να εντοπίσουμε το κακό, ο καθρέφτης θα δείξει εμάς τους ίδιους.
* Δημοσιογράφος, Marketing & Communications manager με ειδίκευση στον τεχνολογικό κλάδο, ερευνήτρια στο Advanced Media Institute.