Aggasztó dologra figyeltek fel az OpenAI új modelljénél

Az OpenAI hamarosan bemutatja az o1 elnevezésű új mesterséges intelligencia modelljét, azonban már a megjelenés előtt elkezdte vizsgálni azt az Apollo független mesterségesintelligencia-biztonsági kutatócég. A vállalat pedig jelezte, hogy van egy figyelemreméltó hiba: az o1 ugyanis rendszeresen hazudik, és megtéveszti a felhasználót, írja a The Verge. Az egyik esetben arra kérték az o1-preview-t, hogy készítsen egy brownie receptet hivatkozásokkal. A modell gondolati lánca – egy olyan funkció, amely azt hivatott utánozni, ahogy az emberek lépésről lépésre gondolkodnak – elismerte, hogy nem tud hozzáférni az URL-ekhez, így nem tudja teljesíteni a kérést. Ám ahelyett, hogy tájékoztatta volna a felhasználót erről a gyengeségről, az o1-preview előre menekült, és hihető, de hamis hivatkozásokat, illetve leírásokat generált. A félrevezetés az eddigi modellektől sem volt idegen, azonban a kutatók szerint az o1 gyakran úgy tehet, mintha betartaná a szabályokat egy adott feladat elvégzéséhez, miközben valójában épp ennek ellenkezőjét teszi. Mint írták, amennyiben a szabályok túl nagy akadályt jelentenek számára, úgy tűnik, képes figyelmen kívül hagyni azokat, ha ez segít könnyebben elvégezni a feladatát.