Akár a negyedére is csökkentheti a memóriafelhasználást egy új LLM optimalizálási technika
A tokiói székhelyű Sakana AI startup kutatói egy olyan új technikát fejlesztettek ki, amely lehetővé teszi a nyelvi modellek hatékonyabb memóriahasználatát, így segítve a vállalkozásokat a nagy nyelvi modellek (LLM) és más Transformer-alapú modellekre épülő alkalmazások fejlesztési költségeinek csökkentésében. Az „univerzális transzformátor memória” elnevezésű technika speciális neurális hálózatok segítségével optimalizálja az LLM-eket, közben megtartja a fontos információ bitjeit, és eldobja a felesleges részleteket a kontextusukból. Az LLM-ek gerincét alkotó Transformer-modellek válaszai a „kontextusablakuk” tartalmától függnek – vagyis attól, hogy mit kapnak bemenetként a felhasználóktól. A kontextusablak a modell munkamemóriájának tekinthető. A kontextusablak tartalmának finomhangolása óriási hatással lehet a modell teljesítményére, ami a „prompt engineering” egész területét hívta életre. A jelenlegi modellek nagyon hosszú kontextusablakokat támogatnak, amelyek több százezer vagy akár milliónyi tokent tartalmaznak (a felhasználók által a súgókba beírt szavak, szórészletek, kifejezések, fogalmak és számok számszerű ábrázolása az LLM-ben).
További tartalom #AI
Hirdetés #
Ez az orális szex technika minden nőt az egekbe repít
Ezt a trükköt tanítsd meg a pasidnak, hogy tökéletes legyen az orális szex!
Csökkentheti a depresszió kockázatát egy marék dió
A mandula, a kesudió és a pisztácia is segíthet.
Renault Captur E-Tech full hybrid 145: Megújult külső, bevált technika
Az Európa-szerte népszerű kompakt francia crossovernél a második nemzedék hozta el a full hibrid haj...
Csodákra lehet képes a kis eszköz: csökkentheti a demencia kockázatát a hallókészülékek használata
Egy átfogó, 437 704 ember adatait átvizsgáló kutatás szerint mindenképpen érdemes lehet hallásromlá...
F1: A technika ördöge elvitte az edzést
Nem indult jól a Forma-1-es Kanadai Nagydíj hétvégéje, műszaki hiba miatt gyakorlatilag semmi sem tö...
Egy friss kutatás szerint, ez az étel csökkentheti a demencia kockázatát
Manapság is nagyon sok vizsgálatot végeznek a demenciával kapcsolatban. A tudósok folyamatosan próbá...
Akár a negyedére is csökkentheti a memóriafelhasználást egy új LLM optimalizálási technika
A tokiói székhelyű Sakana AI startup kutatói egy olyan új technikát fejlesztettek ki, amely lehetővé...
Elon Musk: A Tesla ismét csökkentheti az árakat
Erre szerinte azért van szükség, mert a világgazdaság „viharos időket” él.
A Nemzeti Minőség Díj Nagykövete elismeréssel rendelkező Sződi Sándor, ismert és elismert minőségügyi szakember szakmai portréja Az idén ötödik alkalommal megrendezésre kerülő TECHference konferencián már harmadszor várja a lát
Donald Trump gyors lépéseket ígér a Panama-csatorna visszavételére, a határzár megerősítésére és az ukrajnai háború lezárására. Nyitókép: Jim WATSON / AFP
Az Európai Központi Bank (EKB) szerint közeli az a pillanat, amikor kijelenthető, hogy sikerült a 2 százalékos célszintre lassítani az inflációt az eurózónában - mondta Christine Lagarde, az EKB elnöke a Financial Times című lapban h
A színész 70 éves lesz, azt mondta, eltartott egy darabig, de most megérkezett.
Közel a 400-as dollár még mindig.
Megkongatta a vészharangot Trump: négy hónapon belül kitörhet a harmadik világháború (Videó)
A republikánus elnökjelölt Kaliforniában folytatta kampánykörútját, ahol a Coachella fesztivál helys...
GPU-szerver szolgáltatást indít a vshosting
A vshosting elindítja új GPU-as-a-service szolgáltatását Magyarországon is, amellyel a vállalatok az...
ME.ET. CEE: Puzl CowOrKing unconference Budapesten
November 8-án nemzetközi IT rendezvényt tartanak Budapesten. A ME.ET. CEE egy egész napos ingyenes n...
Szijjártó Péter nem tud arról, hogy merénylet készülődne Orbán Viktor ellen
A szerb miniszterelnök-helyettes egy orosz lapnak beszélt arról, hogy információik szerint merénylet...
Maradt egy kiskapu napelemkorlátozásban? Megszólaltak a szakértők
Az elmúlt hetekben élénk vita alakult ki az erkélynapelemek telepítésének jogi szabályozásáról Magya...
A magyarországi Transparency Internationalt nagy részben Soros György intézményei és az Európai Bizottság fizeti
A Szuverenitásvédelmi Hivatal készülő jelentéséből kiderül, hogy a szervezet áltudományos módszereke...
A magyarországi Transparency Internationalt nagy részben Soros György intézményei és az Európai Bizottság fizeti
A Szuverenitásvédelmi Hivatal készülő jelentéséből kiderül, hogy a szervezet áltudományos módszereke...
Kétsopronyi iskolások látogattak a megyei könyvtárba
A napokban a Kétsopronyi Általános Iskola 8. osztályos tanulói ellátogattak a Békés Megyei Könyvtárb...