Nagy nyelvi modellek kis számítógépeken: Lehetséges vagy csak kísérlet?
Amikor a technológiai fejlődésről beszélünk, általában azt várjuk, hogy a hardver teljesítménye egyre növekszik: gyorsabb processzorok, nagyobb memória és alacsonyabb költségek. Azonban a szoftverfejlesztés terén is elérhetünk jelentős előrelépéseket, amelyekkel olyan eszközökön is futtathatunk alkalmazásokat, amelyek alapvetően nem lennének erre alkalmasak. Ezt a megközelítést követi Dave Bben, aki ahelyett, hogy felfelé skálázná a nagy nyelvi modelleket (LLM), inkább azt vizsgálja, hogyan lehetne egy ilyen modellt egy kicsi, korlátozott teljesítményű számítógépen futtatni. Az ESP32 – az egyik legkisebb és legolcsóbb mikroprocesszor – elsőre nem tűnik alkalmasnak egy nagy nyelvi modell futtatására. Dave Bben azonban mégis ezt a hardvert választotta, és néhány kompromisszum mellett sikerült elérnie, hogy a modell működjön. Az általa futtatott nyelvi modell mindössze 260 000 paramétert tartalmaz, szemben a GPT-4 több trillió paraméterével. Ehhez a llama.2c implementációt használta, amely a tinyllamas checkpointot alkalmazza, és optimalizálható az ESP32-re.
További tartalom #AI
Hirdetés #
Bemutatta nyelvi modelljét az OpenAI európai versenytársa
A párizsi Mistral AI-t tavaly májusban alapították.
Érettségizz a Dívánnyal: angol nyelvi kvíz
A napokban az idegen nyelvi vizsgák vannak terítéken, ennek alkalmából mi is összeállítottunk egy an...
Az Arrow Lake sorozat érkezésével változik az asztali modellek nevezéktana: külön számozást kaphatnak a „K”-s modellek
A nevezéktan amúgy is változott volna az eddig megszokotthoz képest, ám úgy tűnik, csavarnak még egy...
Nagy nyelvi modellek kis számítógépeken: Lehetséges vagy csak kísérlet?
Amikor a technológiai fejlődésről beszélünk, általában azt várjuk, hogy a hardver teljesítménye egyr...
Érdekes pszichológiai kísérlet bizonyítja, miért nem lehet csak úgy átverni a babák agyát
A japán Hokkaidói Egyetem kutatói szerint a hat hónaposnál fiatalabb babák agya még nem úgy dolgozz...
HPE Discover 2023 - AI felhő nagy nyelvi modellekhez
Belép a mesterséges intelligencia nyilvánosfelhő-piacára, hogy iparág- és területspecifikus AI alkal...
Környezetbarát űrhajózás: utópia, vagy az egyetlen lehetséges út?
Az ESA dolgozik a zöld hidrogénnel történő fenntartható űrhajózáson.
Kis híján belehalt a szexbe a fiatal nő: mutatjuk, hogyan lehetséges ez
Sajnos nem lehetetlen az ilyesmi.
Heteken át egy luxusvonat szűk konyháján fine dining menüket főzni komoly erőpróba. Cserébe egyik nap olasz kagyló, másik nap svájci sajt lehet a menün, és megszűnik a valóság. A Golden Eagle luxusvonat konyhafőnöke árulta el a mu
Ha annak idején az összes kötelező olvasmányt figyelmesen elolvastad, talán nem lesz olyan nehéz ez a kvíz sem. Ha figyelmesen elolvastad diákkorodban az összes kötelező olvasmányt, a régi korok embereinek a szokásairól is érdekes k�
Az eddigi információk alapján nincs halálos áldozat. A helyieket arra kérték a hatóságok, hogy ne közelítsék meg a helyszínt.
A kognitív-viselkedéses pszichoterápia a depresszió tüneteinek enyhítésével összefüggő változásokat eredményezhet az agyi aktivitásban ez az új megfigyelés. A Science Translational Medicine című folyóiratban megjelent tanulmány k
Ritka az, hogy a világ egyik legjobb klubcsapatának aktív sztárja Magyarországon bukkan fel. Az meg pláne, hogy nem Budapesten. Sokakat, elsősorban a futballszeretőket lepte meg egy bejegyzés az egyik legnagyobb közösségi oldalon szombat
Szijjártó Péter: Trump elnök mellett állunk
Szijjártó Péter a Newsmax amerikai tévécsatornának adott interjút.
Vajda Zoltán: úgy tűnik, súlyos problémák vannak az államháztartás finanszírozásával
Az államháztartás hiánya a kormány szerint „csak néhány tízmilliárd”, amit öt hónap alatt értek el. ...
A NER-es építő cégek is megérzik az egyre mélyülő válságot
Még kevesebb az új megbízás, nagyot esett a szerződésállomány is.
Nemzetek Ligája: Ígéretes speckó tippünk van a holland-horvát NL-elődöntőre
Vajon mely válogatott jut be elsőként a Nemzetek Ligája fináléjába?
17 millió gyermek köszönheti az életét a védőoltásoknak
A védőoltások komoly betegségektől védhetik meg a gyerekeket.
Lehet, hogy sokkal korábban volt az első temetés, mint eddig gondoltuk?
Nem a Homo sapiens gondoskodott először a halottairól.
Két hálapénzt elfogadó főorvost kaptak el a szabolcsi rendőrök
Az orvosoknak állami ellátásért fizető betegeket is kihallgatták.
Tragédia Kókánál: frontálisan ütközött kék autó, egy 49 éves nő azonnal meghalt
Balesetben meghalt egy nő szerda reggel Kóka közelében, a 3105-ös út 30-as kilométerében - közölte a...