Wir haben eine KI zum Abi geschickt - mit Christian Schiffer | TINCON Berlin
Vložit
- čas přidán 23. 08. 2024
- Das Abitur in Bayern gilt als besonders schwer. Aber ist es auch zu schwer für eine künstliche Intelligenz? Der BR hat ChatGPT gegen den Endgegner der Schulprüfungen antreten lassen. Wie hat sich ChatGPT geschlagen? Und was kann man aus dem Experiment für den Einsatz von KI in der Schule lernen?
Sie schreibt Bewerbungsschreiben, tüftelt Kochrezepte aus, tritt in Talkshows auf, spricht mehrere Sprachen fließend und kreiert virtuose Cocktail-Rezepte. Doch bezwingt ChatGPT auch den Endgegner unter den Abschlussprüfungen? Oder genauer: Besteht die KI das bayerische Abitur? Genau das wollten die Computerlinguisten vom AI & Automation Lab des BRs herausfinden - zusammen mit Lehrern bayerischer Gymnasien, welche die Abi-Antworten korrigiert haben. In die Session zeigte Christian Schiffer, wie sie vorgegangen sind, wie ChatGPT sich geschlagen hat und was man daraus für den KI-Einsatz in der Schule lernen kann.
Moderation Bühne: Tessniem Kadiri
Fotocredit Thumbnail: TINCON/Gregor Fischer
Die TINCON Berlin 2024 fand in Kooperation mit der re:publica statt.
re:publica #rp24
CZcams: @republica
Instagram: @re_publica
Bluesky: @re-publica.com
#TINCON #künstlicheintelligenz #ai #abitur #bildung #schule
------------------------------------------------------------------------------------------
Die TINCON ist das Festival für digitale Jugendkultur, Spitzenunterhaltung und Gedankenkombination. Mehr Info: tincon.org
Unsere Social-Media-Kanäle:
Insta » / tincon
Facebook » / tincon.org
TikTok » / what.politik
------------------------------------------------------------------------------------------
Christian Schiffer
tincon.org/spe...
Es geht nicht darum, ob man ChatGPT die Frage hätte anders stellen müssen, damit die Prüfung bestanden werden kann, sondern ChatGPT die gleichen Kontextinformationen zur Rolle, Prüfungsformat, Benotungskriterien, Erwartungen, etc., bereitzustellen, die dem Schüler bekannt waren.
Absolute Zustimmung. Wer halbwegs professionell mit Chatbots agiert, versucht sie mit maximalem Kontext zu primen und entsprechend iterative Verbesserungen zu erzielen. Also so ähnlich wie die Schülerinnen und Schüler, die sich aufs Abitur vorbereiten … 😉
Es wäre schon interessant für ChatGPD optimierte Fragen danach von Oberstufenschülern oder sogar "in der Fußgängerzone" lösen zu lassen. Vielleicht wären die Ergebnisse ebenfalls überraschend...
@@patrickhanft Ich stecke da manchmal so viel Arbeit rein, dass ich es schneller selbst machen könnte. Und gerade ChatGpt ist vergesslicher als Olaf Scholz.
Ja aber dem Schüler ist die Mindestwortzahl bekannt. Auch dass man Nebensätze bilden soll und wie ein Kommentar aussehen soll. Sprich dass was der Schüler während des Unterrichts vorab lernt was wichtig ist, muss man GPT natürlich auch in den Promt geben. Ergo ist dass schon wichtig Infos zu geben die über die reine Aufgabe hinaus gehen. Man könnte zb ein Custom GPT dafür erstellen.
Ladet doch mal jemanden ein, der Ahnung von KI hat
Bei dem Fach Deutsch wäre es wichtig gewesen im Prompt zu erwähnen dass eloquente und dynamische Sprache verwendet werden soll. Die Standard-Sprache von ChatGPT ist tatsächlich sehr "platt".
Der Mangel an Fachbegriffen in Geschichte könnte vermutlich auch mit dem richtigen Prompt behoben werden, z.B. "verwende Fachbegriffe wie sie ein deutscher Hochschulabsolvent verwenden würde".
Grundsätzlich ist ChatGPT wie ein Taschenrechner. Der war früher an Schulen auch nicht erlaubt, weil, Zitat meiner Lehrer "Niemand immer ein Taschenrechner bei sich hätte". Die Geschichte belehrt.
Ich programmiere hobbymässig und ChatGPT macht mich ca. 3 Mal schneller. Vieles klappt auf anhieb nicht, aber meistens im zweiten oder dritten Anlauf mit menschlichen Einwirken.
ChatGPT ist aber eher so wie der erste Casio. Da kommt bald noch mehr, jeder kann bald ein (auch fähiges) LLM lokal laufen lassen und es deutet alles darauf hin, dass nahezu alle Modelle unter trainiert sind. Bei LLMs ist es aktuell so, dass sowohl software- und auch hardwareseitig noch einiges optimiert werden muss. Mal abgesehen von den anderen Faktoren die optimiert werden können. Wie du bereits geschrieben hast, kann durch Prompt Engineering, welches auf das Modell abgestimmt ist, auch noch einiges rausgeholt werden.
Wenn ich Abitur als Benchmark nehme schaffe ich ein neues Optimierungsproblem was nichts darüber aussagt wie gut ein allgemeines Modell ist
Das zeigt einfach, dass man sich als Mensch nicht künstlich aufblasen sollte, nur weil man an paar Wissensprüfungen bestanden hat.
Imagine du musst bei der Hamburger Abi-Prüfung noch ChatGPT benutzen. 🤣
Sry ich entwickle viel in GPT und verwende es um Knowledge Graphen anzureichern und die Menschen in dem Video reden einfach nur ... . Warum mussten die Menschen die zu Wort kamen keine Kompetenz Preuefung machen? GPT koente zuerst die Qualifizierung der Sprecher checken, und dann entscheiden ob die passend fuer so einen Vortrag sind. Einfach mal umkehren und sehen in wie fern etwas besseres raus kommt XDD
@DanielD168 Lieber Daniel, wie steht es denn mit Deiner SPRACH- und SCHREIB-Kompetenz ? ;)
@@el_carlitosway Naja es gibt durch LLMs eine ganz neue Berufsgruppe die nennt sich Prompt Engineer. Der macht nichts anderes als die Anweisungen an GPT so zu optimieren, dass das beste Ergebnis herauskommt. Das alles wird hier in dem Vortrag nicht beruecksichtigt
@@chrystal108reading4 sehr schlecht, ich eine lese rechtschreib schwaeche. Leider schaffe ich es nicht, das auf ein normales Level zu bringen.
Vielleicht war die Prüfung Abi 2023 einfacher als die von 2022. das erklärt das bessere Abschneiden.
Claude 3.5 hätte das wahrscheinlich hinbekommen. Habe ähnliche Aufgaben hier lösen lassen und das Ergebnis war bei längeren Texten deutlich besser.
Zu den echt schwierigen Fragen in der Fragerunde gab es verblüffend gute Antworten. Ich brauche nichts mehr hinzuzufügen, da alle wichtigen somit aufgegriffen wurde.
13:36 - Die Aussage ärgert mich sehr, dass es ungewöhnlich sei, wie sehr die Leistung je nach Fach variiert, wobei man es bei Schülern eher mit isgesamt leistungsschwächeren oder leistungsstärkeren Schülern zu tun hätte? Bitte, wo ist der Beleg für diese These? Ich kenne dazu keine Studie. Was ich aus eigener Erfahrung weiß, ist, dass es sehr häufig vorkommt, dass Schüler in manchen Fächern sehr gut sein können und andere ihnen nicht liegen. Das Problem ist immer die Lehrkraft, die meint, von ihrem Fach auf die Gesamtleistung zu schließen. Es ist doch nicht so, dass die Fachlehrkraft am Ende das Abiturzeugnis vorgelegt bekommt.
Ich glaube der Geschichtslehrer hat die Varianz der Antwortqualität innerhalb des Geschichtsabiturs gemeint. Alles andere würde mich wundern.
@@janbao7668- ein paar Sekunden früher, ab 13:16 wird es eindeutig
wie war das Prompt engineering? das beeinflusst die qualitaet der ergebnisse. Wurde mit GPTs gearbeitet oder custom models? Das setting des Experimentes wurde nicht geframt
Ebenfalls interessant wäre es gewesen die KI mit menschlicher Unterstützung das Abi schreiben zu lassen. Der Mensch selbst sollte dabei wenig Ahnung von den Prüfungsthemen haben, aber im Umgang mit ChatGPT geschult sein. Einfach um zu sehen wie weit jemand kommen kann, der keinen Peil hat aber schummelt.
Naja, ChatGPT hat nicht wirklich die ABI-Prüfung ausgefüllt, ansonsten bräuchte man noch eine Kamera, ein Texterkennungssystem (OCR) die Fragen erkennt und ein Roboterarm, der die Fragen mit Kuli beantwortet und die Blätter umdreht.
Wie waren den die Ergebnisse bei GPT 4 bei den übrigen Fächern?
Was für eine schräge Methodik
Auch total schlecht gepromted... Dass es keine 800 Wörter sind, hätte z.B. im Prompt explizit stehen müssen und wie überhaupt geschrieben werden soll.
Finde das mehr als fragwürdig. Jemand, der sich damit auseinandersetzt, muss das einfach wissen.
na, dann sind wir froh darüber, man muss Chat GPT so füttern, dass das richtige rauskommt. Würde Chat GPT kreativ werden und selbst denken, hätten wir sehr bald ein sehr großes Problem :D
Finde es krass, wie ChatGPT schon personifiziert wird. "Er hat ... gemacht". Zeigt schon, wie überzeugend menschlich das Modell wirkt.
... er ist dann einfach stehen geblieben, der blöde BMW ...
... sie geht nicht auf, die Tür ...
#generischesmaskulin
@@richardpolt3706 der BMW ist nicht generisches Maskulinum sondern der Artikel. Der Mond und die Sonne sind halt grammatikalisches Geschlecht. Generisches Maskulinum gibt es nur da wo es wirklich um menschliches Geschlecht geht und Dinge können in der Regel sowohl mit "der" als auch mit "die" bezeichnet werden. ChatGPT wird allgemein als Sache betrachtet und sprachlich so behandelt. Einen richtigen Artikel für ChatGPT gibt es auch nicht, der die das ChatGPT ist alles Blödsinn, es ist Englisch und damit "the", wir könne nicht anders als ein verglechbares deutsches Wort zu suchen und dessen Artikel zu nehmen. Lustig zu sehen bei der/die/das Quest.
In Bayern ist es eh wichtiger, dass du eine Alpenkuh mit einer Hand melken kannst und Dein Geld im Fußballstadion lässt.
Kommst du aus Bayern? :D
@@florianlion8215 Ich muss ja auch nicht aus China kommen, um zu wissen, dass dort überwiegend mit Stäbchen gegessen wird. Kommst du aus Sachsen?
...künstliche Intelligenz nur so schlau wie die Frage die man ihr stellt... nein, nur so gut wie die Quellen und wenn genug Leute mit Berliner Abitur im Internet behaupten KI Qualität hängt vor allem mit der Qualität der Fragen zusammen dann 'glaubt' das halt auch die KI. ChatGPT hat aus meiner Sicht auch noch ein massives Ideologie Problem, also dass Fragen zu aktuellen Themen, was ja bei einem Abitur durchaus passieren könnte, durch eine extrem linke Brille betrachtet werden. Da hätte der Copilot von Microsoft bessere Chancen, der scheint mir deutlich neutraler. Physik eine Aufgabe Lecksuche mit radioaktivem Thorium, da würde ChatGPT sicher mit unterbringen Atomkraft böse, Solarkraft toll, lass doch das Thorium weg.
Und das können Sie beurteilen? Wir wissen alle nicht, was in 6 Monaten ist, vor allem Sie nicht!
Ich glaube ja eher, dass du ein kleines Ideologieproblem hast.