Freiwillige Moderatoren von Stack Overflow sperren Tools wegen geheimer neuer Richtlinien, die die Entfernung von KI behindern

Eine Reihe von Stack Overflow-Moderatoren haben einen „allgemeinen Moderationsstreik“ ausgerufen, um gegen die Anweisung zu protestieren, KI-generierte Inhalte „außer in äußerst engen Fällen“ nicht zu entfernen.

Die beiden Hauptprobleme sind erstens, dass die Moderatoren aufgrund der neuen Richtlinie das Gefühl haben, ihrer Rolle als Qualitätsprüfer nicht effektiv nachkommen zu können; und zweitens, dass ihnen die Politik ohne angemessene Konsultation aufgezwungen wurde.

„Moderatoren ist es nicht mehr gestattet, KI-generierte Antworten mit der Begründung zu entfernen, sie seien KI-generiert, außer in äußerst engen Fällen. Dies führt dazu, dass praktisch alle KI-generierten Antworten frei gepostet werden können, unabhängig vom etablierten Community-Konsens darüber.“ Inhalt", sagten die auffälligen Mods in einem offenen Brief.

„Wir glauben fest an die Kernaufgabe des Stack Exchange-Netzwerks: die Bereitstellung einer Sammlung hochwertiger Informationen in Form von Fragen und Antworten, und die jüngsten Maßnahmen von Stack Overflow, Inc. stehen diesem Ziel direkt im Weg.“ sie fügten hinzu.

Die Website ist noch aktiv, aber die Menge an Spam und nicht gekennzeichneten Inhalten wird wahrscheinlich zunehmen, insbesondere da ein Tool namens SmokeDetector, das von einem freiwilligen Netzwerk namens Charcoal für StackOverflow zur Erkennung von Spam entwickelt wurde, ebenfalls nicht mehr ausgeführt wird. „Achtung: Charcoal beteiligt sich an dem netzwerkweiten Streik und bleibt daher geschlossen, bis diese KI-Richtlinie aufgehoben wird“, heißt es in einem Hinweis in einem Diskussionsthread auf der Website.

DevClass sprach mit der in Norwegen ansässigen Moderatorin Zoe, die zu den Unterzeichnern gehört. „Bisher gibt es 15/24 aktive Mods auf SO (wenn ich richtig gezählt habe), die offiziell streiken, und der Rest hat einfach keine Chance, mit den Flag-Volumina mitzuhalten“, erzählte sie uns.

Der Hintergrund ist, dass StackOverflow offenbar Schwierigkeiten hat, die Auswirkungen von KI-Tools wie GitHub Copilot und ChatGPT auf seine Frage- und Antwortseite zu verstehen. Der Verkehr ist zurückgegangen. Die erste Reaktion des Unternehmens bestand darin, mit Zustimmung der Community die Verwendung von ChatGPT zum Posten von Stack Overflow-Antworten im Rahmen einer „vorübergehenden Richtlinie“ zu verbieten Das Verbot von ChatGPT oder anderen KI-generierten Inhalten ist derzeit notwendig oder hilfreich.“ Es gibt einen Unterschied zwischen Stack Overflow, der Entwicklerseite, und Stack Exchange, einer Familie von Websites, die ein breites Spektrum unterschiedlicher Themen abdecken, wobei Stack Overflow bei weitem am aktivsten ist.

Letzte Woche äußerte sich CEO Prashanth Chandrasekar positiv über die Rolle der KI bei Stack Overflow und sagte: „Der Aufstieg von GenAI ist eine große Chance für Stack. Ungefähr 10 % unseres Unternehmens arbeiten an Funktionen und Anwendungen, die GenAI nutzen und das Potenzial haben, das Engagement zu steigern.“ ." Chandrasekar schrieb, dass „KI und Gemeinschaft im Mittelpunkt stehen“; Das Vorgehen der Moderatoren deutet jedoch darauf hin, dass der Community-Aspekt derzeit fraglich ist.

Auslöser für die aktuelle Krise war eine Anweisung vom Montag letzter Woche (einem Feiertag) an die Stack Overflow-Moderatoren in einem offiziellen, aber privaten Forum: „Moderatoren wurden über angeheftete Chat-Nachrichten in verschiedenen Moderatorenräumen (keine normale Methode) darüber informiert Sehen Sie sich einen Beitrag im Moderatorenteam an, in dem alle Moderatoren angewiesen wurden, bei der Durchführung von Moderationsmaßnahmen keine KI-Detektoren mehr zu verwenden (wie oben beschrieben), heißt es in einem Beitrag. Die Einzelheiten der Anweisung sind nicht öffentlich. Community-Vizepräsident Philippe Beaudette schrieb, dass „KI-generierte Inhalte im gesamten Netzwerk nicht ordnungsgemäß identifiziert werden“, dass „das Potenzial für Fehlalarme sehr hoch ist“ und „interne Beweise deuten stark darauf hin, dass es zu viele Sperren für KI-generierte Inhalte gibt.“ möglicherweise eine große Anzahl legitimer Mitwirkender der Website abweisen.“ Er sagte, die Moderatoren seien aufgefordert worden, „bei der Entscheidung, einen Benutzer zu sperren, einen sehr strengen Beweisstandard anzuwenden, um festzustellen, ob ein Beitrag von einer KI verfasst wurde.“ Die Moderatoren behaupten jedoch, dass eine von Beaudette veröffentlichte Beschreibung der Richtlinie „sehr von den Teams-Richtlinien abweicht … die wir nicht öffentlich teilen dürfen“.

Zoe sagte uns: „Die öffentliche Version beschönigt den Teil, in dem Mods angewiesen wurden, die Sperrung wegen verdächtiger GPT-Inhalte einzustellen, und verschiedene andere Details.“ Sie sagte auch, dass die Unzuverlässigkeit automatischer KI-Detektoren wohlbekannt und akzeptiert sei, aber dass „die meisten unserer Erkennungssysteme nicht auf KI-Detektoren angewiesen seien, gerade weil sie unzuverlässig seien.“ Sie sagte uns, dass „der Übergang von ‚GPT-Detektoren haben eine Voreingenommenheit‘ zu ‚Eine beträchtliche Anzahl von Sperren ist falsch, daher verbieten wir effektiv alle Arten der Erkennung von KI-Inhalten‘, während wir nur Beweise für die Voreingenommenheit der Detektoren vorlegen und nicht.“ Suspension Bias/Falsch-Positiv-Raten wurden stark in Frage gestellt.“

In der Praxis, erklärte sie, sei die Durchsetzung der ChatGPT-Richtlinien von einer Kombination aus Mustern des Benutzerverhaltens in Kombination mit anderen Techniken geleitet worden. „In zahlreichen ausführlichen Gesprächen mit dem Unternehmen konnten wir keine Daten erhalten, die belegen würden, dass die Falsch-Positiv-Rate der Detektoren irgendeinen Einfluss auf die Suspendierungen hatte“, sagte sie.

Die Moderatoren arbeiten ehrenamtlich und kümmern sich eher um die Qualität der Inhalte als um den Traffic auf der Website, da „der Traffic im Allgemeinen als Problem des Unternehmens angesehen wird“, sagte Zoe.

Das Unternehmen plante eine zweite Richtlinienänderung, die nicht öffentlich ist, die aber laut den Moderatoren „das Potenzial hat, Missbrauch in beispiellosem Ausmaß zu ermöglichen“. Diese zweite Änderung (Fußnote 3) wurde „auf unbestimmte Zeit verschoben“, möglicherweise aufgrund des Widerstands des Moderators.

Das Problem ist komplex, aber erwähnenswert ist, dass die Richtlinie zum Verbot von ChatGPT von der Community positiv bewertet wurde (+3677 zum Zeitpunkt des Schreibens), was darauf hindeutet, dass die aktivsten Stack Overflow-Mitglieder vor KI-generierten Antworten zurückschrecken.

In einer an Dev Class gesendeten Erklärung sagte uns Beaudette von Stack Overflow:

„Eine kleine Anzahl von Moderatoren (11 %) im gesamten Stack Overflow-Netzwerk hat die Teilnahme an mehreren Aktivitäten, einschließlich der Moderation von Inhalten, eingestellt. Der Hauptgrund für diese Maßnahme ist die Unzufriedenheit mit unserer Position zu Erkennungstools für KI-generierte Inhalte.

„Stack Overflow hat eine Analyse durchgeführt und die ChatGPT-Erkennungstools, die Moderatoren zuvor verwendet haben, weisen eine alarmierend hohe Rate falsch positiver Ergebnisse auf. Die Verwendung dieser Tools korrelierte mit einem dramatischen Anstieg der Suspendierungen von Benutzern mit wenigen oder keinen vorherigen Inhaltsbeiträgen; Personen mit originellen Fragen.“ und Antworten wurden kurzerhand von der Teilnahme an der Plattform ausgeschlossen. Diese unnötigen Sperren und ihre übergroßen Auswirkungen auf neue Benutzer stehen im Widerspruch zu unserer Mission und wirken sich negativ auf unsere Community aus.

„Wir stehen zu unserer Entscheidung, von den Moderatoren zu verlangen, dass sie die bisher verwendeten Tools nicht mehr verwenden. Wir werden weiterhin nach Alternativen suchen und setzen uns für eine schnelle Erprobung dieser Tools ein.“

„Unsere Moderatoren dienen dieser Community seit vielen Jahren und wir schätzen ihren gemeinsamen jahrzehntelangen Dienst. Wir sind zuversichtlich, dass wir einen Weg nach vorne finden werden. Wir bedauern, dass die Maßnahmen bis zu diesem Punkt fortgeschritten sind, und das Community-Management-Team bewertet den aktuellen Stand.“ Situation, da wir hart daran arbeiten, die Dinge kurzfristig zu stabilisieren“, fügte er hinzu.