Schutz der Gesellschaft vor KI-Schäden: Matt Mahmoudi und Damini Satija von Amnesty International (Teil 1)

Jun 20, 2023

Zwei Forscher der Menschenrechtsorganisation diskutieren über die Schnittstelle zwischen Sozialpolitik und Technologie sowie Probleme beim Einsatz von KI im öffentlichen Sektor.

In Zusammenarbeit mit

In Zusammenarbeit mit

Erhalten Sie Updates per E-Mail

Bitte geben Sie eine gültige E-Mail-Adresse ein

Danke fürs Anmelden

Datenschutzrichtlinie

Amnesty International bringt weltweit mehr als 10 Millionen Mitarbeiter und Freiwillige zusammen, um sich für soziale Gerechtigkeit einzusetzen. Damini Satija und Matt Mahmoudi arbeiten mit Amnesty Tech zusammen, einer Abteilung der Menschenrechtsorganisation, die sich auf die Rolle der Regierung, Big Tech und Technologien wie künstliche Intelligenz in Bereichen wie Überwachung, Diskriminierung und Voreingenommenheit konzentriert.

In dieser Folge des Podcasts „Me, Myself, and AI“ beleuchten Matt und Damini gemeinsam mit den Moderatoren Sam Ransbotham und Shervin Khodabandeh Szenarien, in denen KI-Tools die Menschenrechte gefährden können, etwa wenn Regierungen und Behörden des öffentlichen Sektors Gesichtserkennungssysteme verwenden um soziale Aktivisten oder Algorithmen zu verfolgen, um automatisierte Entscheidungen über den Zugang zu Sozialwohnungen und das Wohlergehen von Kindern zu treffen. Damini und Matt warnen davor, dass KI-Technologie menschliche Probleme wie Voreingenommenheit, Diskriminierung und Ungleichheit nicht lösen kann; Das erfordert menschliches Eingreifen und Änderungen der öffentlichen Ordnung.

Weitere Informationen darüber, was Unternehmen tun können, um die unbeabsichtigten negativen Folgen des Einsatzes automatisierter Technologien zu bekämpfen, erfahren Sie in unserer nächsten Folge, Teil 2 unseres Gesprächs mit Matt und Damini, die am 13. September 2023 ausgestrahlt wird.

Matt Mahmoudi ist Dozent, Forscher und Organisator. Er leitet die Forschungs- und Interessenbemühungen von Amnesty International zum Verbot von Gesichtserkennungstechnologien und zur Aufdeckung ihres Einsatzes gegen rassistisch motivierte Gemeinschaften, von New York City bis zu den besetzten palästinensischen Gebieten. Er war der erste Empfänger des Jo Cox Ph.D. Stipendium an der Universität Cambridge, wo er digitale städtische Infrastrukturen als neue Grenzen des Rassenkapitalismus untersuchte und weiterhin Dozent für Soziologie ist. Seine Arbeiten wurden in den Zeitschriften The Sociological Review und International Political Sociology sowie im Buch Digital Witness (Oxford University Press, 2020) veröffentlicht. Sein demnächst erscheinendes Buch ist Migrants in the Digital Periphery: New Urban Frontiers of Control (University of California Press, 2023).

Damini Satija ist eine Expertin für Menschenrechte und öffentliche Ordnung, die sich mit Daten und künstlicher Intelligenz beschäftigt, mit Schwerpunkt auf algorithmischer Diskriminierung, Automatisierung der Sozialfürsorge, staatlicher Überwachung und technischer Gerechtigkeit. Sie ist Leiterin des Algorithmic Accountability Lab und stellvertretende Direktorin bei Amnesty Tech. Zuvor war sie als Beraterin der britischen Regierung für Daten- und KI-Ethik tätig und vertrat das Vereinigte Königreich als politische Expertin für KI und Menschenrechte beim Europarat. Sie hat einen Master-Abschluss in öffentlicher Verwaltung von der School of International and Public Affairs der Columbia University.

Wenn Ihnen der Podcast „Me, Myself, and AI“ gefällt, führen Sie das Gespräch mit uns auf LinkedIn fort. Treten Sie noch heute der AI for Leaders-Gruppe bei.

Jetzt beitreten "

Abonnieren Sie „Me, Myself, and AI“ bei Apple Podcasts, Spotify oder Google Podcasts.

Shervin Khodabandeh: Viele unserer Gäste möchten KI in ihren Organisationen zum Guten nutzen. In der heutigen Folge sprechen wir mit zwei Forschern, die sich auf den Schutz der Menschenrechte beim Einsatz von Werkzeugen der künstlichen Intelligenz konzentrieren.

Damini Satija:Ich bin Damini Satija...

Matt Mahmoudi:… und ich bin Matt Mahmoudi von Amnesty International …

Damini Satija:… und du hörst mir, mir selbst und der KI zu.

Sam Ransbotham: Willkommen bei Me, Myself, and AI, einem Podcast über künstliche Intelligenz in der Wirtschaft. In jeder Folge stellen wir Ihnen jemanden vor, der mit KI innovativ ist. Ich bin Sam Ransbotham, Professor für Analytik am Boston College. Ich bin außerdem Gastredakteur für KI und Geschäftsstrategie bei MIT Sloan Management Review.

Shervin Khodabandeh: Und ich bin Shervin Khodabandeh, Senior Partner bei BCG und einer der Leiter unseres KI-Geschäfts. Gemeinsam forschen und veröffentlichen MIT SMR und BCG seit 2017 zum Thema KI, befragen Hunderte von Praktikern und befragen Tausende von Unternehmen dazu, was nötig ist, um KI-Funktionen aufzubauen, einzusetzen und zu skalieren und die Arbeitsweise von Organisationen wirklich zu verändern.

Willkommen. Heute freuen sich Sam und ich darauf, mit Matt Mahmoudi und Damini Satija von Amnesty International zu sprechen. Matt, Damini, vielen Dank, dass Sie heute bei uns waren. Lass uns anfangen. Matt, erzähl uns ein wenig über deine Rolle bei Amnesty.

Matt Mahmoudi: Absolut. Und ja, vielen Dank, dass Sie uns haben. Ich bin Berater und Forscher für künstliche Intelligenz und Menschenrechte beim Technologieprogramm von Amnesty. Meine Rolle konzentrierte sich darauf, wie bestimmte KI-Technologien und insbesondere KI-gesteuerte Überwachung von Polizeibehörden übernommen und von Unternehmen entwickelt werden, angeblich aus Effizienzgründen, aber oft zu diskriminierenden Ergebnissen und Ungleichheiten unterschiedlicher Art führend und einige davon betreffend einer der historisch am stärksten marginalisierten Gemeinschaften. Daher habe ich insbesondere in den letzten Jahren den Einsatz von Gesichtserkennungsgeräten, die beteiligten Unternehmen und die Orte, an denen die Polizei diese Tools einsetzt, verfolgt.

Wir haben uns die Gesichtserkennung an Orten wie New York City, Hyderabad City in Indien und den besetzten palästinensischen Gebieten angesehen und achten wirklich darauf, wie diese Technologien, die größere Effizienz versprachen und irgendwie intelligenter zu sein versprachen Möglichkeiten, Menschen von A nach B zu bringen oder ihre Sicherheit zu gewährleisten, führen tatsächlich zur Aushöhlung ihrer Rechte.

Sam Ransbotham:Matt, erzähl uns ein wenig darüber, was Amnesty International macht, wie die Struktur ist und wie die Technologiepraktiken entstanden sind.

Matt Mahmoudi:Amnesty International ist eine Bewegung von über 10 Millionen Menschen weltweit, die beispielsweise durch Freiwilligenarbeit oder durch Forschung, Interessenvertretung und Kampagnen zusammenarbeiten, um sich für die wichtigsten aktuellen Menschenrechtsthemen zu mobilisieren.

Was das Technologie- und Menschenrechtsprogramm, auch bekannt als Amnesty Tech, betrifft, sind wir ein Kollektiv aus Technologen, Forschern, Anwälten, Rechtswissenschaftlern und anderen, die zusammenarbeiten, um sowohl Unternehmen als auch Staaten zur Rechenschaft zu ziehen Nutzung und Entwicklung von Technologien, die diese grundlegenden Menschenrechte wirklich gefährden. Unsere Arbeit besteht also darin, die Art und Weise zu untersuchen und aufzudecken, in der diese Konfigurationen von Technologien zur Aushöhlung dieser Rechte eingesetzt werden, und uns, wo möglich, für strengere Schutzmaßnahmen und Vorschriften sowie Menschenrechtspraktiken einzusetzen, die es uns ermöglichen, diese Rechte auch weiterhin zu genießen in einer sich schnell verändernden Welt zu leben.

Shervin Khodabandeh:Damini, erzähl uns ein wenig über die Arbeit des Algorithmic Accountability Lab.

Damini Satija: Ja, vielen Dank, dass wir heute hier sind. Ich arbeite im Tech-Programm und leite ein Team namens Algorithmic Accountability Lab, ein relativ neues Team innerhalb von Amnesty Tech. Wir betrachten insbesondere den zunehmenden Einsatz von Automatisierungs- und KI-Technologien im öffentlichen Sektor und darin insbesondere im Wohlfahrts- und Sozialschutzkontext. Wir schauen uns also an, wie Regierungen und Behörden des öffentlichen Sektors die Automatisierung nutzen, um zu bestimmen, wer Zugang zu grundlegenden Grunddienstleistungen wie Wohnraum, Bildung, Gesundheitsleistungen usw. erhält. Und unser besonderes Interesse gilt der Untersuchung und dem Verständnis, wie diese Instrumente diskriminierende oder unverhältnismäßige Auswirkungen auf bereits marginalisierte Gruppen haben, wofür wir bereits Beweise in der Automatisierung des öffentlichen Sektors oder der Automatisierung des Wohlfahrtswesens gesehen haben.

Und das Team selbst ist ein multidisziplinäres Team aus sieben Personen: Datenwissenschaftler, Menschenrechtsforscher, Interessenvertretung, Rechtsexpertise – eine ganze Reihe … um die Vision zu unterstützen, dass wir bei der Befragung und dem Verständnis der Auswirkungen dieser Systeme auf die Gesellschaft eine ganzheitliche Sichtweise einnehmen werden.

Shervin Khodabandeh: Danke für das. Das ist ziemlich interessant, Sam, denn wenn die meisten unserer Gäste mit uns darüber sprechen, wie sie KI nutzen, geht es darum, mehr Gewinne oder Einnahmen zu erzielen oder Kosten zu senken oder Gutes zu tun, aber im Allgemeinen, nicht wahr? Es scheint, dass Ihre Aufgabe darin besteht, dafür zu sorgen, dass wir mit der KI keine schlechten Dinge tun, oder?

Was sind Ihrer Meinung nach in diesem Zusammenhang angesichts Ihres Hintergrunds und Ihrer Fachkenntnisse im Bereich KI einige der Leitprinzipien und worin besteht der Unterschied? Wenn man zum Beispiel nach schlechten Schauspielern sucht, muss ich mir vorstellen, dass es grundsätzlich etwas anderes ist, als wenn man versucht, Gutes zu tun. Ich fange mit dir an, Matt. Wie gehen Sie dabei vor?

Matt Mahmoudi: Nun, oft erfahren wir von Fällen, in denen es um eine bestimmte Person geht, die einer Form der Diskriminierung ausgesetzt war. Im Kontext von New York City wurden wir beispielsweise mit einem Aktivisten namens Derrick Ingram in Kontakt gebracht, der ein Kollektiv namens Warriors in the Garden gegründet hat, aber auch ein prominenter Aktivist innerhalb der Black Lives Matter-Community war. Und er wurde Opfer von Belästigungen [von der Polizei], die vor seiner Haustür auftauchte und ihn effektiv vier Stunden lang wegen etwas belästigte, von dem er nicht wusste, dass er es getan hatte, und es gab eigentlich keine klare Antwort darauf, warum sie es getan hatten war da.

Und wie sich herausstellte, stellten die Anwesenheit bestimmter Journalisten in seinem Haus, als er belästigt wurde, fest, dass die Polizei einen Gesichtserkennungsbericht ausgedruckt hatte, der am Tatort vorhanden war – was sich dann änderte heraus, hatte ihn als einen der wenigen Demonstranten identifiziert, die bei dem jeweiligen Protest identifiziert werden konnten, bei dem es sich um einen Black-Lives-Matter-Protest handelte, der gegen die Ermordung von George Floyd protestierte. Und in diesem Zusammenhang stellten wir fest, dass die Polizei in Wirklichkeit diesen einen prominenten Demonstranten lediglich mit einem Megaphon identifiziert hatte und es aufgrund der Tatsache, dass sie ihn identifizieren konnte, als ihre Pflicht ansah, ihn auch ohne Durchsuchungsbefehl zu zeigen an seiner Tür stehen und versuchen, ihn zu befragen und zu belästigen.

Die Polizei erfand schließlich eine Art Scheinbeschuldigung, in der sie ihn beschuldigte, einem Beamten ein Megafon zu nahe ans Ohr gehalten zu haben, aber das alles geschah, während Amnesty untersuchte, welche anderen Gemeindemitglieder das NYPD im Visier hatte mit dieser Software vertraut sind und wer die von ihnen verwendete Software entwickelt [und] bereitgestellt hat. Und das NYPD war nicht besonders entgegenkommend.

Daher drehte sich unsere Arbeit in der Regel um beide konventionellen Ansätze, etwa Anträge nach dem Freedom of Information Act oder nach dem Freedom of Information Law, aber es ging auch darum, zum Beispiel Google Street View-Bilder zu verwenden, um Kameras zu kennzeichnen, die vom NYPD betrieben werden, um sie zu geben Geben Sie uns ein Gefühl dafür, wie stark beispielsweise New Yorker vernetzten Kamerasystemen und insbesondere vernetzten Kamerasystemen mit Gesichtserkennung ausgesetzt sind. Und das gibt Ihnen einen Eindruck davon, wie weit verbreitet das Risiko ist.

Sam Ransbotham: Was mich also stört, wenn Leute über künstliche Intelligenz sprechen, ist meiner Meinung nach die Tendenz, eine anthropomorphe Sprache zu verwenden. Es ist verlockend, Ausdrücke wie „KI macht X“ oder „KI macht Y“ zu verwenden, und es fällt bereits auf, dass keiner von Ihnen, als wir mit Ihnen beiden gesprochen haben, KI als Schauspieler eingesetzt hat. Es ist ein Werkzeug, und Sie scheinen sich sehr darauf zu konzentrieren, wer der Schauspieler ist. Das Schwierige dabei ist: Wenn ein Tool das Gute und das Schlechte verstärken kann, wie können wir dann den eigentlichen Akteuren eine Botschaft vermitteln? Wie bringt man Schauspieler dazu, ein Werkzeug zu nutzen, das sowohl zum Guten als auch zum Schlechten eingesetzt werden kann, es zum Guten oder Schlechten einzusetzen? Und selbst zwischen gut und schlecht lässt sich nur schwer eine Grenze ziehen.

Damini Satija: Ja, und wenn ich damit auch auf eine frühere Frage zurückgreifen könnte, in der Sie nach schlechten Schauspielern gefragt haben, finde ich das an sich schon sehr aufschlussreich, weil wir uns sehr auf den Schauspieler konzentrieren und es nicht nur um die KI geht. Es geht auch darum, wer die KI entworfen hat, wie die KI entworfen wurde, wer sie einsetzt und in welchem ​​Kontext sie eingesetzt wird. Und wir müssen wirklich aufpassen, dass wir uns nicht auf das konzentrieren, was mit der KI nicht stimmt, denn dann kann uns das auch weiterführen gehen Sie der Falle nach: „Es gibt eine technische Lösung für dieses Problem.“

Aber oft operationalisieren die Tools der künstlichen Intelligenz, die wir betrachten, auch eine bestimmte Umgebung, mit der wir uns befassen, oder? Wenn wir beispielsweise ein Instrument betrachten, das im Einwanderungskontext eingesetzt wird, und das vorherrschende Narrativ fremdenfeindlich oder einwanderungsfeindlich ist, werden damit Maßnahmen umgesetzt, die in diese Kategorie passen. Es geht also nicht nur um die Technologie, wie Sie sagen, sondern auch um das Umfeld, in dem diese entwickelt, beschafft und eingesetzt wird.

Und das bedeutet, dass wir es nicht immer mit schlechten Akteuren als solchen zu tun haben, sondern mit deren schlechtem Nutzen, um es ganz einfach auszudrücken. Aber ich denke, das ist für uns ebenso ein leitender Faktor bei der Suche nach den Fällen, die wir untersuchen müssen, wie auch, wie Matt sagte, die Suche nach diskriminierenden Auswirkungen. Ich denke, ein weiteres Beispiel, das mir hier in den Sinn kommt, wo ein Tool nicht speziell für negative Folgen eingesetzt wurde, aber am Ende doch negative Folgen hatte, ist ein Fall eines Wohnungsbaualgorithmus, der in San Francisco verwendet wurde. Und vor ungefähr einem Jahr gab es eine Geschichte darüber.

Es gab ein Tool, das für Sozialarbeiter entwickelt wurde, das sie bei der Zuweisung von Sozialwohnungen nutzen konnten. Und die Absicht hinter der Entwicklung dieses Tools bestand darin, etwas bereitzustellen, das es Sozialarbeitern ermöglicht, ein fundierteres Gespräch mit den Personen zu führen, mit denen sie arbeiten und die Wohnunterstützung benötigen. Und das Tool würde ihnen insbesondere dabei helfen, eine Art Gefährdungs- oder Risikobewertung der Person zu erstellen, um dann zu bestimmen, wie viel Wohnunterstützung sie benötigt. Dieses Tool sollte dabei helfen, Gespräche zu erleichtern. So wie es eingesetzt wurde, trafen Sozialarbeiter jedoch Ja- und Nein-Entscheidungen auf der Grundlage dessen, was das Tool ausspuckte, wer Wohnbeihilfe erhalten sollte und wer nicht.

Das heißt also, man könnte sagen, dass es sich dabei um eine schlechte Verwendung handelt, aber es handelt sich auch um eine Art unbeabsichtigte Verwendung des Tools. Wir betrachten also alle möglichen Realitäten, die nicht so einfach sind – es ist einfach nie einfach zu sagen, dass das Problem in der KI selbst liegt, was Ihre ursprüngliche Frage nicht beantwortet, sondern einen Kontext darstellt, den ich wollte um die Frage nach den schlechten Schauspielern noch zu ergänzen.

Shervin Khodabandeh: Es unterstreicht auch, was Sie sagen – die Bedeutung von KI und menschlicher [Interaktion] und nicht nur das eine gegen das andere oder das eine oder das andere. Denn in all diesen Beispielen gibt es Beispiele für eine unbeabsichtigte oder unvorhergesehene Verwendung, oder vielleicht aufgrund mangelnder Schulung, oder wo die zugrunde liegende Erzählung nicht darin besteht, dass man mit der Absicht beginnt, Schaden anzurichten; Sie wussten es einfach nicht oder haben nicht damit gerechnet: „Oh, ich soll es nur als Eingabe und nicht als Hinweis verwenden.“

Die einzige Frage, die ich habe … Sie haben darauf angespielt, aber Sie sind in eine andere Richtung gegangen, als ich gedacht hatte, weil Sie gesagt haben: „Wir reden nicht darüber, was mit der Technologie nicht stimmt, denn die Implikation wäre, dass es so ist.“ eine technologische Lösung.“ Aber ich würde das gerne in Frage stellen, denn warum sollte nicht zumindest ein Teil der Lösung technologisch sein?

Damini Satija: Ja, es gibt technische Lösungen, wenn es um die Voreingenommenheit geht, und es gibt Leute da draußen, die Möglichkeiten zur Beseitigung der Voreingenommenheit entwickelt haben. Ich denke, der Grund dafür, dass wir uns nicht völlig darauf beschränken wollen, liegt in dem, was ich dargelegt habe: Wir müssen einen ganzheitlicheren Ansatz verfolgen, um die Auswirkungen dieser Technologien zu verstehen, denn wie wir sagen, geht es nicht nur um die Art und Weise, wie die Technologien funktionieren Das Tool ist so konzipiert, aber ja, das ist auch wirklich wichtig. Es geht auch um die menschliche Interaktion mit den Werkzeugen und wie Menschen sie nutzen.

Und ich denke, das andere Problem besteht darin, dass der Weg der technischen Lösung dazu führen kann, dass wir das Problem sehr isoliert angehen. So wurden beispielsweise in der Welt der KI-Ethik und der algorithmischen Fairness viele Lösungen zur Verzerrung vorgeschlagen, und das impliziert, dass die Verzerrung auf sehr technische Weise innerhalb des Algorithmus- oder KI-Systems das einzige Problem darstellt. Aber ich denke, es ist durchaus möglich, dass wir das aus technischer Sicht lösen könnten, aber es gibt noch unzählige andere Probleme mit den Tools, die wir betrachten. A: Sie können immer noch auf diskriminierende Weise verwendet werden, selbst wenn es eine technische Lösung gibt. Es bestehen Überwachungsbedenken; Dabei handelt es sich um datenintensive Technologien.

Wir machen uns auch oft Sorgen über die Auswirkungen zweiter und dritter Ordnung, die diese Technologien mit sich bringen. Um zum Beispiel noch einmal das Wohnbeispiel zu nennen: Wenn ein Instrument dazu verwendet wird, jemandem eine Unterkunft oder den Zugang zu Sozialversicherungsleistungen zu verweigern, und er dann nicht in der Lage ist, die Miete zu bezahlen oder Lebensmittel für seine Familie zu kaufen, dann sind das Auswirkungen sind zwei oder drei Grad Abstand vom Werkzeug entfernt aufgetreten, und es passiert immer noch, selbst wenn Sie den Algorithmus umkehren oder aus dem Bild nehmen. Diese Auswirkung ist immer noch vorhanden und hat immer noch stattgefunden.

Ich denke, aus unserer Sicht liegt der Schwerpunkt auf der Aufrechterhaltung dieses ganzheitlichen Verständnisses der sozialen Folgen – politischer, wirtschaftlicher und technischer Art. Ich weiß nicht, ob Matt dazu vielleicht noch etwas hinzufügen möchte.

Matt Mahmoudi: Darauf würde ich gerne etwas weiter aufbauen, insbesondere wegen des Wohnbeispiels und ähnlicher Beispiele. Außerdem Risikoindikatoralgorithmen, die von Kinderschutzdiensten verwendet werden, um Entscheidungen darüber zu treffen, ob ein Kind aus der Pflegefamilie genommen oder sogar in eine Pflegefamilie gegeben werden soll. Insbesondere die Arbeit von Virginia Eubanks wird darlegen, wie die Sozialarbeiter, die mit diesem Algorithmus konfrontiert sind, anhand eines lichtbasierten Indikators Entscheidungen treffen, die ihnen eine Art rotes Signal geben, wenn es den Anschein hat, dass es zu viele unaufgeforderte Meldungen über das Wohlergehen des Kindes gegeben hat Gefahr. Und das sagt Ihnen wirklich, dass das System an sich, die Technologie an sich, nicht so einfach zu reparieren ist, wie man sagt: „Na ja, dann entfernen Sie die Indikatoren und drehen Sie sie um.“ in eine eher beschreibende Textform.“ Denn es handelt sich um eine Technologie, die weit über den eigentlichen Code selbst hinausgeht, worauf Damini hier auch hinausläuft. Es ist ein ganzes soziotechnisches System.

Man kann nicht davon ausgehen, dass KI eine Sache ist, ohne auch davon auszugehen, dass es eine Mensch-Computer-Interaktion gibt, die die Funktionsweise und die Funktionsweise dieses Systems animiert. Was also im Code steht – ich habe gewissermaßen den Standpunkt vertreten – ist einigermaßen irrelevant. Was es tut und was es letztendlich in der Welt tut, ist – ohne hier zu viel akademischen Fachjargon zu verwenden, aber phänomenologisch gesehen – das, was wirklich zählt und was uns darüber sagt, was das System tatsächlich ist.

Indem wir uns von der Vorstellung distanzieren, dass die Voreingenommenheit eine Tugend ist, wenn es um KI-Technologien geht, und indem wir uns von der Vorstellung distanzieren, dass es eine technische Lösung für das System gibt, und stattdessen davon ausgehen, dass diese Systeme tatsächlich alle getestet und verstanden werden sollten Von den möglichen Auswirkungen, die sie auf die Gesellschaft als Ganzes und auf die Menschenrechte der Menschen haben könnten, bevor ihre Einführung überhaupt in Betracht gezogen wird – könnte uns das zur Anwendung und zum Einsatz „besserer Technologien“ führen. Was die Frage angeht, wie wir Technologien nutzen können, um bestimmte schädliche Technologien zu identifizieren: Ein Beispiel, das ich zuvor erwähnt habe, war die Verwendung von Straßenkartierungstools, um ein Gefühl dafür zu bekommen, wo sich Kameras befanden. Um es klarzustellen: Wir haben dort keinen Bilderkennungsalgorithmus verwendet. Es waren alles Menschen.

Dadurch konnten wir unsere ehrenamtlichen Bemühungen auf rund 7.500 Menschen auf der ganzen Welt ausweiten, die uns dabei halfen, jede Kreuzung in New York City mit Kameras zu markieren. Das ist meiner Meinung nach ein hübsches, überzeugendes Modell dafür, wie man Aktivismus und Arbeit skalieren kann, die den Hebel in Richtung einer Art Gerechtigkeit und Gleichberechtigung bewegen, wenn es um Technologie geht, und sicherlich einer Intervention, die größeren Respekt dafür fördern könnte So könnte das Recht auf Protest aussehen.

Shervin Khodabandeh: Das ist, glaube ich, … Mein Punkt bezog sich auf die Technologie. Es ging nicht darum zu sagen: „Lassen Sie die Technologie das Problem lösen, das sie verursacht hat“, denn das Problem entsteht, wie Sie sagten, durch ihre Nutzung. Und natürlich, wenn es um eine mächtige Technologie geht, die von Institutionen genutzt wird, die die Macht haben, Politik zu machen, die Macht, Gesetze zu machen, die Macht haben, Verhaftungen vorzunehmen oder Krieg zu führen … natürlich der Akteur und die Motivation des Akteurs und der Die Nutzung hat weitaus mehr Vorrang als eine technische Lösung. Aber ich muss auch glauben, dass die KI nicht verschwinden wird und die Technologie nur verbessert werden wird.

Und deshalb frage ich mich … all die Mängel, die Ihre Teams feststellen, in Bezug auf … Ich meine, in Ihrem Beispiel haben Sie sich nicht auf die Bilderkennung verlassen, um Kameras zu identifizieren, weil Sie dachten, Menschen würden genauer sein. Nun, das ist eine Rückmeldung an die Algorithmen und an die Instrumente, die die Bilderkennung durchführen. Und in dem Beispiel, Damini, über das Sie mit dem Wohnen gesprochen haben, frage ich mich, ob es Schutzmaßnahmen oder zusätzliche Eingabeaufforderungen oder zusätzliche Datenfeeds geben könnte, die es der Technologie, die die Entscheidung darüber trifft, was für einen Menschen zu tun ist, tatsächlich fast unmöglich machen würden sich auf die technologische Wahl zu verlassen. Daher muss ich davon ausgehen, dass es als Benutzer und als Agenturen, die die Nutzung überwachen, ein gewisses Feedback an die Entwicklergemeinschaft gibt, die diese Tools erstellt. Das heißt nicht, dass Voreingenommenheit das zentrale Problem ist, aber … Ich meine, Sie haben so viele verschiedene Bereiche hervorgehoben, in denen technologische Artefakte dazu beitragen könnten, genau die Sache voranzutreiben, von der Sie sprechen.

Damini Satija: Ja. Ich meine, in Bezug auf Schutzmaßnahmen gibt es viele, auf die wir im Hinblick auf das eingehen könnten, was wir als Menschenrechtsgemeinschaft bei der Regulierung fordern. Ich denke, Matt hat bereits auf die Schutzmaßnahme Nr. 1 angespielt, die darin besteht, gleich zu Beginn bei der Konzeptualisierung dieser Technologien klar zu hinterfragen, ob sie erforderlich sind und ob Automatisierung in einem bestimmten Kontext tatsächlich notwendig ist, und dabei zu hinterfragen und zu hinterfragen Wir prüfen, welche rechtsverletzenden oder unverhältnismäßigen Auswirkungen diese Technologie haben könnte. Und ich denke dabei, und was uns bei unserer Arbeit immer wieder in den Sinn kommt, ist: Welche Stimmen werden gehört? Wessen Artikulation von Problemen, die mithilfe von Technologie gelöst werden müssen, ist in dieser Konzeptualisierungsphase zu hören?

Und womit wir es bei unserer Arbeit oft zu tun haben, ist, dass es bestimmte Gruppen ziemlich kraftvoller Stimmen gibt, die Sie gerade selbst auch erwähnt haben. Wissen Sie, politische Entscheidungsträger, große Technologieunternehmen, diejenigen, die Mittel für die Entwicklung neuer Technologien haben, diejenigen, die neue Technologien finanzieren. Diejenigen, die die Macht haben, die Entwicklung der KI wirklich zu bestimmen, sind diejenigen, deren Stimmen auch bei der Entwicklung und dem anschließenden Einsatz von KI gehört werden, während diejenigen, die dann von der Nutzung dieser Systeme betroffen sind, und insbesondere die Gemeinschaften, die wir betrachten at, oft sagen … Wir haben rassistische Auswirkungen erwähnt. Häufig werden schwarze und braune Gemeinschaften durch diese Systeme negativ beeinflusst und geschädigt. Das sind nicht die Stimmen, die dann zu den Problemen beitragen, die durch diese Technologie gelöst werden müssen, die, wie Sie sagen, vorhanden ist und die Entwicklung der KI sehr schnell voranschreitet. Aber es ist dieses Machtungleichgewicht, das uns wirklich beschäftigt, wenn es darum geht, wessen Stimme gehört wird [und] was konzeptualisiert werden sollte. Und das ist ein immaterieller Schutz, aber ein sehr, sehr wichtiger für uns bei unserer Arbeit.

Shervin Khodabandeh:Sehr gut gesagt.

Sam Ransbotham: Es ist interessant, dass Sie das Beispiel der Sozialarbeit erwähnt haben. Meine Mutter war Sozialarbeiterin und im Pflegebereich tätig. Und das ist eine stark unterbesetzte und überarbeitete Welt. Und als Sie dieses Beispiel angeführt haben, muss ich sagen, dass ein Teil von mir es immer noch reizvoll findet, dass wir diesen Menschen helfen können, sich zu verbessern. Es ist vielleicht nicht ganz richtig, es trifft vielleicht nicht die perfekte Vorhersage, aber angesichts all dessen, was sonst noch passiert, könnte es eine bessere Lösung sein. Wie können wir also eine bessere Lösung schaffen, ohne die Büchse der Pandora so weit zu öffnen, dass wir sie verbessern und im Laufe der Zeit Erfahrungen sammeln können? Wie passiert das?

Matt Mahmoudi:Wenn ich also hier einsteigen könnte, Sam, denke ich, dass es interessant ist, beim Beispiel der Sozialarbeiter zu bleiben und einfach bei einem bestimmten Programm zu bleiben, das Virginia Eubanks untersucht, weil der Staat am Ende mehr Geld ausgibt, um zu versuchen, ein gescheitertes Projekt aufzuhalten Technologie, als es allein für den Versuch aufgewendet hätte, die Sozialarbeiter mit mehr Ressourcen auszustatten, um mehr Sozialarbeiter einstellen zu können, um ihre Arbeit adäquater und bedarfsgerechter ausführen zu können.

Ich denke also, ich greife einfach auf die Seite einer Lektüre zurück, die ich immer einem Kurs zuweisen möchte, den ich über Wissenschafts- und Technologiestudien unterrichte, und das ist eine Art Zeichnung aus Chellis Glendinnings „Notizen zu einem Neo-Luddite-Manifest“. „Ich muss sagen, dass ich nicht anti-technologie bin, und Neo-Ludditen sind es auch nicht, und ich denke, das ist der entscheidende Punkt hier: dass, A, Neo-Ludditen nicht anti-technologie sind; Sie sind besorgt über die Art und Weise, wie Technologie aus Menschen Zahlen macht und zu einer Hyperrationalität führt, die diese wichtigen Schadensfragen beseitigt.

Und zweitens – und das ist wirklich wichtig – sind alle Technologien politisch. Wir müssen verstehen, welche Formen von Politik und Richtlinien den jeweiligen Einsatz einer Technologie unterstützen, anstatt beispielsweise in bestimmte soziale Programme zu investieren, die erforderlich sind. Die Art von Beispielen, die Damini die ganze Zeit anführt und die wir besprochen haben, zeigen also wirklich, dass es ein Beharren darauf gibt, in das Werkzeug der Technologie zu investieren, unter der Schirmherrschaft, dass es in Zukunft zu einigen Kosteneinsparungen führen wird , während die Realität so aussieht, dass Staaten am Ende oft viel mehr Geld ausgeben müssen, entweder um die Unternehmen für das zur Rechenschaft zu ziehen, was sie versprochen, aber nicht eingehalten haben, oder um mit Klagen von Einzelpersonen konfrontiert zu werden, sei es eine Sammelklage oder was auch immer die Schäden, die sie den Menschen zugefügt hätten, die diesen Massenformen idealisierter Technologien ausgesetzt waren. Was meiner Meinung nach so weit geht: Versuchen Sie herauszufinden, welche Politik dahinter steckt, und sehen Sie, ob es eine sozial-politisch-ökonomische Lösung gibt, die tatsächlich nachhaltiger sein könnte, als zu versuchen, uns aus dem Weg zu gehen und uns auf diese Fantasie einzulassen Land der „KI wird alles lösen“ – eine Art technochauvinistische Ideologie, über die Meredith Broussard spricht – und ein wenig davon wegkommen und darüber nachdenken, welche Arten von Investitionen unsere Gesellschaft außerhalb dieser Technologien braucht.

Ich denke, was noch wichtiger ist: Bei Tools wie Ihren GPT-basierten Chatbot-Modellen und was auch immer haben Sie es mit Systemen zu tun, die sich scheinbar in der ewigen Betaphase befinden, und daher können sie ständig behaupten, dass sie nicht richtig funktionieren Sie sollten es einfach [noch] tun, und sie können unbeabsichtigte Folgen haben, weil sie nicht genügend Daten verarbeitet oder das Modell nicht ganz richtig hinbekommen haben. Und man kann dieser Erzählung sehr, sehr, sehr lange treu bleiben.

Aber die Frage ist, wann wir als Zivilgesellschaft und wann wir als Menschen, die einen Wahlkreis aus Gesetzgebern bilden, die in unserem Namen sprechen und in unserem Namen regulieren können, auf die Bremse treten und sagen: „Nein, das sind sie.“ Produkte, die im Freien erhältlich sind. Sie haben Auswirkungen und sollten daher einer Regulierung unterliegen.“ Es spielt keine Rolle, wie groß das Sprachmodell ist. Es spielt keine Rolle, wie viel größer es sein muss, um einen Sättigungspunkt zu erreichen, an dem es gemäß einer vorgeschriebenen Effizienzphantasie arbeitet.

Wir müssen an einen Punkt gelangen – und dieser Punkt war, glaube ich, gestern –, an dem wir sagen: „Wir brauchen Regulierung.“ Ich denke, dass das KI-Gesetz der Europäischen Union, an dem Damini ebenfalls intensiv arbeitet, ein wirklich guter erster Versuch ist, eine Gesetzgebung auf regionaler Ebene zu schaffen, die ein Verständnis für die Art der Konsequenzen hat, mit denen wir es zu tun haben welche Auswirkungen diese Technologien auf unsere Rechte und unsere Fähigkeit haben können, die Freiheiten auszuüben, die wir heute haben.

Shervin Khodabandeh:Damini, Matt, vielen Dank für die sehr aufschlussreiche Diskussion.

Damini Satija:Danke schön.

Shervin Khodabandeh: Danke fürs Zuhören. Seien Sie bitte das nächste Mal dabei, wenn wir Matt und Damini zurückbringen, um die Diskussion über die KI-Regulierung fortzusetzen und auch darüber, was andere tun können, um Schäden zu begrenzen, die durch den Einsatz von Technologietools entstehen.

Allison Ryder: Vielen Dank, dass Sie mir, mir und der KI zugehört haben. Wir glauben wie Sie, dass die Diskussion über die KI-Implementierung nicht mit diesem Podcast beginnt und endet. Aus diesem Grund haben wir auf LinkedIn eine Gruppe speziell für Zuhörer wie Sie erstellt. Es heißt „AI for Leaders“ und wenn Sie sich uns anschließen, können Sie mit Show-Erstellern und Moderatoren chatten, Ihre eigenen Fragen stellen, Ihre Erkenntnisse teilen und Zugang zu wertvollen Ressourcen zur KI-Implementierung von MIT SMR und BCG erhalten. Sie können darauf zugreifen, indem Sie mitsmr.com/AIforLeaders besuchen. Wir werden diesen Link in die Shownotizen einfügen und hoffen, Sie dort zu sehen.

Sam Ransbotham (@ransbotham) ist Professor in der Abteilung für Informationssysteme an der Carroll School of Management am Boston College sowie Gastredakteur der Initiative Artificial Intelligence and Business Strategy Big Ideas des MIT Sloan Management Review. Shervin Khodabandeh ist Senior Partner und Managing Director bei BCG und Co-Leiter von BCG GAMMA (BCGs KI-Praxis) in Nordamerika. Er kann unter [email protected] kontaktiert werden.

Me, Myself, and AI ist ein gemeinsamer Podcast von MIT Sloan Management Review und der Boston Consulting Group und wird von Sam Ransbotham und Shervin Khodabandeh moderiert. Unser Ingenieur ist David Lishansky und die koordinierenden Produzenten sind Allison Ryder und Sophie Rüdinger.

Sie müssen sich anmelden, um einen Kommentar abzugeben. Zum ersten Mal hier? Eröffnen Sie ein kostenloses Konto: Kommentieren Sie Artikel und erhalten Sie Zugriff auf viele weitere Artikel.