Eddig is voltak kísérletek ebben a témában, főleg a ChatGPT humoros, vicces szövegírási képességét vizsgálták, de most két vizsgálattal azt mérték fel, hogy ugyanabból a megadott témából ki tud nagyobb poént kihozni: a gép vagy az ember?
A PLOS One folyóiratban megjelent tanulmányban emberi jelentkezőknek és a ChatGPT-nek is ugyanazt a két feladatot kellett teljesíteni. Az elsőben rövidítéseknek, mozaikszavaknak kellett új, vicces jelentést kitalálni, egy előre megírt mondat végére kellett vicces befejezést kitalálni, majd egy-egy alázós vicc csattanóját kellett megírniuk.
A poénokat egy harmadik csoport, felnőtt átlagamerikaiak értékelték egy hétpontos skálán, a nulla a humortalanság netovábbját jelentette, a hatos pedig már a nagyon vicceset. A ChatGPT által írt poénokat többen találták viccesnek, mint az emberi csattanókat. A mesterséges intelligencia vicceit a résztvevők 69,5 százaléka preferálta, csupán 26,5 százalék hozta ki az emberi humort győztesnek, és 4 százalék nem tudott dönteni, minkettőt egyformán viccesnek találta.
A ChatGPT 3.5 különösen erős teljesítményt mutatott az alázós, másokat pellengérre állító “roast” feladatban. Ezt az eredményt érdekesnek találták a kutatók, mert a nagy nyelvi modellt szándékosan úgy tervezték, hogy kerülje a gyűlöletkeltő, másokat sértő szövegeket, de úgy tűnik, ha megadják neki, hogy nem komoly a dolog, akkor a humor körében gondolkodva már a ChatGPT is kinyitja a száját.
A második feladatban új szatirikus címeket kellett kitalálniuk olyan kamuhíreknek, amelyek a globálisan ismert, álhírekkel poénokat gyártó The Onion oldalán jelentek meg. Tehát a megadott cikktémához kellett új címet adnia az MI-nek, aminek frappáns humorosságát az eredetivel hasonlították össze. Ebben az esetben az egyetem hallgatóin tesztelték a címeket, ugyanazzal a hétpontos értékeléssel dolgozva mint az első esetben.
Itt fordult némileg a sorrend, 48,8 százalék az eredeti “The Onion” emberi humoristái, újságírói által írt címeket preferálták, 36,9 választotta az MI-által írtat, 14,3 százalék pedig nem tudott dönteni. “A résztvevők nagy átlagban hasonlóan viccesnek értékelték a szalagcímeket, ami azt jelzi, hogy az átlagos olvasó nem észlelt különbséget a minőségben. Ez különösen érdekes, tekintve a tényt, hogy az emberi oldalon profi humoristák munkái álltak szemben a ChatGPT írásaival” – olvasható a New Atlas oldalán.
A kutatók következtetése világos: az átlagember számára felismerhetetlen a gépi és az emberi poénok közötti eltérés, úgy tűnik, a nagy nyelvi modellek most már a humoristák munkáját is veszélyeztetik.