Liebes Moderatorenteam,
…ich möchte zur Diskussion stellen, ob KI-Zusammendassungen wie diese im Forum genutzt werden können oder nicht.
Meiner Meinung nach ist diese Technologie unzuverlässig und fügt gelegentlich halluzinierte Details hinzu. Deshalb würde ich sie für inhaltliche Diskussionen / als Faktenbasis nicht zulassen wollen.
+1. Bitte keine von LLM generierten Texte hier. Die bringen 0 Mehrwert. Wenn ich mich dafür interessiere, was die ausgeben, kann ich es auch selber laufen lassen lassen.
Ich würde sagen, für einen groben Überblick, worum es in einem langen Text geht, ist KI geeignet. Für Differenzierteres – und bei der LdN geht es typischerweise um Differenziertes – würde ich immer in den Originaltext gehen; bei gesprochenen Texten am besten in die Tonversion, weil die Betonung auch Informationen transportiert. – Dies ganz allgemein, weil die Frage ja lautete, ob solche Zusammenfassungen prinzipiell genutzt werden können.
Hier im Forum haben wir zwei Haupt-Themengebiete: Feedback zu den vergangenen Folgen und Themenvorschläge für kommende Folgen. Die Posts sollten immer unter diesem Aspekt verfasst werden. Ich persönlich würde, glaube ich, solche Zusammenfassungen nur nach ausdrücklichem Wunsch der Hosts oder von User*innen posten.
Nun hat @TilRq dies im Bereich „Quellensammlung“ gepostet, als Service für uns alle. Ich denke, da ist es zwar nicht essenziell, alle Schattierungen wiederzugeben, andererseits ist die Notwendigkeit eines solchen Service auch nicht unbedingt gegeben. Daher würde ich jeweils überlegen, ob eine solche Zusammenfassung wirklich notwendig ist – sie erschlägt einen aufgrund ihres Umfangs ein bisschen und ist nichts, was das Know-how des Forums wiedergibt, sondern für alle reproduzierbar – und im Zweifelsfall eher weglassen.
Wenn eine prinzipielle Entscheidung her soll, müsste @vieuxrenard die Frage beantworten.
Ich habe diese KI-Zusammendassungen jetzt schon mehrmals im Forum gesehen und bin der Meinung, dass es nicht üblich werden sollte. Deshalb dieser Thread hier.
Ja, das Anliegen habe ich verstanden, deswegen habe ich darauf so geantwortet.
Ok, verstanden und akzeptiert.
Dann wäre ich aber dankbar: Wenn jemand auf eine ltdr-Quelle verweist, sollte er/sie grob umreißen, um was es geht und welche Position vertreten wird. Das kann nicht angehen, dass jeder einen kompletten Podcast hören oder ein komplettes Video anschauen muss.
Wobei man schon so fair sein muss, dass Menschen nicht zwingend zuverlässiger und unvoreingenommener bei der Bewertung/Auswertung von Texten sind. Wie immer, es kommt auf den Kontext an und das man weiß, wer oder was den Text ausgewertet hat.
Ja, deswegen ist es ja auch gut, dass @TilRq die Quelle konsequent angibt.
Wie schon gesagt, wenn es um grobe Zusammenfassungen geht, kann man das schon verwenden. Die Notwendigkeit einer so groben Zusammenfassung muss eben jeweils überlegt werden.
Ich würde vorschlagen, dass wer einen Text, ein Video oder einen Podcast verlinkt, das für die Diskussion relevante Kernargument selbst zusammenfassen oder zitieren sollte.
Nein.
Dein „Nein“ kann nur daraus resultieren, dass du „grob“ anders definierst als ich. Dass mir Differenzierung wichtig ist, dürfte aus meinem ersten Post in diesem Faden hervorgegangen sein. @TilRq hat den Vorschlag akzeptiert.
Können wir jetzt zu anderen Themen übergehen? Gerne können wir nochmal nachjustieren, sollte es sich zeigen, dass im Forum falsche KI-Zusammenfassungen gepostet werden.
Ich habe nochmal darüber nachgedacht (keine Sorge: Ich werde weiterhin nicht mehr 1:1 KI-Ergebnisse übernehmen).
Erstens bitte ich den Ersteller oder die Moderation darum, den Titel zu ergänzen:
„Im Forum zulässig? KI-Recherchen und -Zusammenfassungen sowie kaum erläuterte Verweise auf ausführliche Quellen“
Zum Verständnis: Ich arbeite, auch beruflich, zunehmend mit KI (mein Tool der Wahl ist Perplexity.ai Pro). Richtig angewandt (d.h., wenn man die Frage, den Prompt, gut formuliert) empfinde ich solche Tools als extrem hilfreich, hauptsächlich für die Recherche zu einem Themenkomplex, für das empirisch basierte „Für“ und „Wider“ von Argumenten (natürlich muss „empirisch basiert“ im Prompt beauftragt sein!) und eben für Zusammenfassung.
Und: Ich kann - trotz dem trotzigen „Nein“ von @Hzz - weit weniger Halluzination feststellen als noch Anfang 2023, als der Hype began. Und wenn, dann ist sie meist offensichtlich. Völlig ausschließen kann man sie nicht.
Ich behaupte aber mal: Ein mit einem guten Prompt erstellte Zusammenfassung oder Recherche hat eine deutlich höhere Wahrscheinlichkeit, korrekt zu sein, als wenn ein Mensch das recherchiert oder zusammengefasst hätte. Oder andere formuliert: Wenn ich mir ansehe, wie viel Falsches, unrecherchierte Schnellschüsse und Irrtümer hier im Forum stehen, ist das Risiko von KI-Halluzination hier zu vernachlässigen.
Ganz zu schweigen, dass es hier im Forum bemerkenswert viele Experten zu allen möglichen Themen gibt, so dass es sehr schnell offensichtlich würde, sollte einem mal eine Halluzination durchrutschen.
Zum Forum:
A. Viele Diskussionen hier im Forum sind ein Austausch von unbelegten Spekulationen über Fakten und Empirie. Fortgeschrittene hauten sich gegenseitig Quellen um die Ohren, die ihre Behauptungen belegen sollen - die andere Seite findet dann oft Quellen, die das Gegenteil belegen. Es entwickeln sich oft ewig lange und für die meisten Leser ermüdende Diskussionen über Nebenkriegsschauplätze.
Ein guter Moderator in einer persönlichen Diskussionsrunde würde erst einmal dafür sorgen, dass alle empirisch belegten Fakten und alle Argumente Für und Wider auf dem Tisch liegen. Mit meinem KI-Zusammenfassung „empirisch belegter Argumente für und wider XY“ (die ich nie blind copy-und-paste) wollte ich dazu beitragen, ermüdende und oft derail-te Detaildiskussionen vorzubeugen und die Diskussion auf empirisch belegte Fakten zu bringen.
B. Dann gibt es viele Beiträge im Sinne von „Also, ich bin für XY und hier ist ein Vortrag/Podcast/Artikel/Buch, der/das mein Argument hinreichend stützt und belegt.“ Man kann sehr schön beobachten, dass die Diskussion im Thread über solche Beiträge hinweggeht, weil kaum einer die Zeit und Lust hat, sich 1h30 vor einen Vortrag zu setzen oder 0h30 ein Podcast zu hören, ohne nicht wenigstens ein wenig angeteasert zu werden.
Offen gesagt: Es sollte eine Moderationsregel werden, dass to-long-didn‘t-read-Quellen ohne eine adäquate Zusammenfassung nicht zulässig sind.
[Empfehlungen, d.h. die Quelle nicht als Argument für irgendetwas verwendet wird, sind da etwas anders].
C. Viele andere Beiträge, ja sogar neue Threads sind (Rück)fragen an die Comunity oder die Hosts, die sich eigentlich jeder mit entsprechenden KI-Tools (sehr viel aufwändiger auch mit Google) beantworten könnte (Beispiel1). Als Moderator würde ich in solchen Fällen schreiben: „Wie wäre es, wenn Du das mal selbst recherchierst?“
In solchen Fällen wollten ich mithilfe von KI die Frage abschließend beantworten.
D. Ich verstehe, dass die KI-generierten Beiträge oft zu lang sind und einen „erschlagen“. Ich habe inzwischen herausgefunden, dass man die ewig langen Quellen mit [Detail=„Quellen“] [/Detail] ausklappbar ausblenden kann. Trotzen: Auch der reine Text scheitert an tldr; und wirkt abwürgend. Das hatte ich nicht bezweckt und ich werde zukünftig die Ergebnisse meiner Recherchen gekürzt und in eigenen Worten beitragen.
Ist es nicht besser, wenn sich alle auf die gleiche KI-Zusammenfassung berufen, als wenn jeder seine eigene nimmt? Insbesondere werden so Fehler in der Zusammenfassung transparent.
Ein Vorschlag wäre dedizierte KI-Zusammenfassungskommentare, deren einiziger Inhalt die KI-Zusammenfassung einer Quelle ist (klar gekennzeichnet und evtl. einklappbar). Ein Like auf einen solchen Kommentar bedeutet, dass die Zusammenfassung korrekt ist.
Unabhängig davon finde ich es etwas schade, dass sich sehr wenige Leute die Zeit nehmen, sich mit einer 1h-Quelle auseinanderzusetzen.
Ich habe zwei Gegenargumente gegen die ungefilterte Übernahme von KI-Antworten ins Forum:
Es ist einfach langweilig und zeitraubend, das alles zu lesen, insbesondere bei Angabe von zig Quellen statt ausgewählten. So geht es zumindest mir - rein subjektiv.
Die Antwort einer KI hängt vom Prompt ab und es gibt nicht nur wohlwollende, wissenschaftsfreundliche Foristen. Allein die Auswahl der Quellen kann unter Umständen fraglich sein. Bei einzelnen angegeben Quellen sehe ich mir auch fast immer die Autoren und die entsprechenden Infos über diese und ihren Background an. Bei zehn von Perplexity angegebenen Quellen kann ich das nicht leisten. Es fühlt sich an, als würde mich das „überrollen“. (Es geht mir nicht ums Halluzinieren)
Die Kombination aus beiden:
Durch die enorme Länge und die vielen Quellen kann man solche Beiträge nicht mehr überprüfen. Auch das Forum nicht, würde ich annehmen.
Wer KI nutzen möchte: Kein Problem. Nutzt es für euch, um ein Thema zu durchdringen, Quellen zu finden oder zusammenzufassen und sucht dann die passenden Quellen mit Zusammenfassung fürs Forum raus statt alle aufzuschreiben.
Und irgendwie würde das ständige Nutzen von KI doch dazu führen, dass hier nur noch KIs statt Menschen diskutieren oder?
Hinzu kommt bei Kommentaren zur Lage: Das Forum dient als menschlicher Feedbackraum mit seinem Schwarmwissen und seiner subjektiven Adressatenwahrnehmung. Wenn die Lage ein Feedback von einer KI haben wollen würde, könnte sie einfach das Transkript in den Prompt schreiben mit der Frage: Wie fandest du’s? Alles korrekt? Ich weiß nicht, hört sich für mich nicht nach einer guten Lösung an.
Die Mitglieder in diesem Forum haben auch noch ein Privatleben. Keiner macht das hier Hauptberuflich.
Irgendwie habe ich den Eindruck ein generelles ja oder nein sind hier der falsche Weg. Man sollte eher generell ein paar Regeln festlegen:
Lieber so rum, als dass jemand sich was mi KI generieren lässt und dann nicht kennzeichnet, weil es verpönt ist
Exakt. Ihr solltet die KI Antworten etwas kuratieren und kürzen, damit nicht wir anderen anschließend KI nutzen müssen, um das überhaupt noch verarbeiten zu können.
Yep. Aber niemand muss hier schreiben.
Etwas Realismus schadet aber auch nicht. Wenn jemand KI benutzt und das auch angibt, dann ist das Voraussetzung für einen guten Umgang mit der Information. Aber KI wird auch immer besser. Schwieriger fände ich den Einsatz ohne Angabe. Aber das wird sich mittelfristig nicht vermeiden lassen. Darum ist die Diskussion eigentlich auch überflüssig.
Meine Erfahrung mit LLM ist: Man kann sie sinnvoll einsetzen, wenn man in der Lage ist, den ausgegebenen Text kritisch einzuschätzen. Das bedeutet aber auch einschätzen zu können, dass selbst kleinste Veränderungen beim Prompt schon zu sehr unterschiedlichen Ausgaben führen können. Wofür diese Maschinen eindeutig nicht geeignet sind, ist, sich Texte über ein Thema ausgeben zu lassen, von dem man selber nicht wirklich Ahnung hat. Und dazu gehört nach meiner Meinung auch, sich einen Text oder ein Video zusammenfassen zu lassen, dass man selbst nicht rezipiert hat.
Der Teufel liegt bekanntlich im Detail. Ich greife dazu mal das jüngste Beispiel der Kritik am Meinungsforschungsinstitut INSA auf, die in diesem Thread auf der Basis eines LLM präsentiert und diskutiert wurde. Leider ist das Prompt hier nicht mit angegeben, vermutlich ware es so was wie „welche Kritik an INSA wurde geäußert“ - und so lautet dann auch die Antwort. Das Modell ist aber nicht wirklich gut in der Lage, diese Kritik einzuordnen und zu gewichten, also z. B. zu sagen, ob eine Quelle von 2016 über einen damaligen regionalen Mitarbeiter von INSA genau so relevant ist wie eine aktuelle Quelle. Und letztlich geht das Ganze sogar an der (aus meiner Sicht) entscheidenden Frage vorbei, nämlich: „Kann man INSA zurecht vorwerfen, dass es zu systematischen Verzerrungen der Umfrageergebnisse kommt, die sich durch die politischen Präferenzen des Instituts oder seiner Auftraggeber erklären lassen?“ So lautete nämlich der Vorwurf. - Das hier wie gesagt nur als Beispiel, nicht um die inhaltliche Diskussion hier nochmal aufzumachen.
Zu den vier „Szenarien“ hier im Forum:
A) Ja, Menschen vertreten hier vor allem ihre Wahrnehmungen, Sichtweisen und Meinungen - mal mehr und mal weniger fundiert, mal mit Quellen belegt und mal nicht (leider). Dementsprechend ist das Ganze mal mehr und mal weniger produktiv. Dass es bei solchen Diskussionen häufig um Subjektives geht, liegt aber in der Natur der Sache. Es stellt sich also grundsätzlich die Frage, ob eine „gemeinsame Faktengrundlage“ hier wirklich automatisch zu einer Verbesserung führt.
B) Ich bin schon mehrfach durch solche Beiträge im Forum auf Bücher, Podcasts, Vorträge etc. aufmerksam geworden, für die ich mir dann tatsächlich die Zeit genommen habe und bei denen ich hinterher sehr dankbar für den Hinweis war. Natürlich hat man nicht immer für alles Zeit, aber dann kann ich es ja auch einfach nicht lesen/gucken/hören.
Wenn es allerdings drum geht, eine These zu begründen, fände ich es auch sehr hilfreich, den Inhalt einfach in ein paar Sätzen zusammenzufassen und nicht einfach nur „nackte“ Links zu posten.
C) Dass Rückfragen an die Hosts oder an andere User häufig mit „intelligenten“ Suchfunkionen besser beantwortet werden können als duch die sogenannte Schwarmintelligenz, finde ich erst mal nur eine These. Es gibt sicher auch Gegenbeispiele zu dem von dir angebrachten, wo es eher um andere Einschätzungen, Begründungen etc. geht als um bloßes Wissen.
Das kann ein LLM auch schlicht nicht leisten, denn dafür ist es gar nicht da. Es würfelt lediglich Wörter auf der Basis von Wahrscheinlichkeiten aus, und wirft genau dann richtige Informationen aus wenn diese sich in den Trainingstexten häufig genug finden und so als wahrscheinlichste Wortverknüpfung errechnet werden. Es verfügt über keinerlei inhaltliches Verständnis oder Analysefähigkeit.
Danke für die Ergänzung. Man könnte es auch „good use“ und „bad use“ nennen und Letzteren beobachte ich leider immer wieder in meinem Umfeld. Da werden LLM mit Suchmaschinen, Bedienungsanleitungen, Enzyklopädien etc. verwechselt: Das fast schon sprichwörtliche „das hat die KI gesagt“ hat dann eine ähnliche Qualität wie „das stand im Internet“.