Od umělého neuronu k ChatGPT (Jan Hrach)
Vložit
- čas přidán 16. 03. 2024
- Přednáška na konferenci InstallFest 2024
(installfest.cz/if24)
Abstrakt:
Velké jazykové modely (Large language model, LLM) vyvolaly v posledním roce velkou bouři i mezi laickou veřejností. Jejich využití pro řešení všemožných úloh je vskutku impozantní. Na jednoduchých příkladech si ukážeme, jak funguje neuronová síť a jak se učí. Na řešení problému rozpoznávání obrázků (kde se to lépe ukazuje) si ukážeme základní koncepty a vývoj. Potom už přejdeme k jazykovým modelům. Představíme si, k čemu to vlastně bylo a je dobré, a ukážeme si několik vzorových úloh, na kterých se jazykové modely vyhodnocují, jako je například Winograd schema challenge. Vysvětlíme si zásadní průlomy, které postupně vedly od jednoduchých jazykových nástrojů k nejnovějším systémům jako ChatGPT a GPT-4 - kódování vstupu pomocí word2vec a byte pair encoding, rekurentní sítě s attention, transformers, prompt engineering, RLHF. Zmíníme si limitace současných LLM a nahlédneme do budoucnosti, jak se některé z nich možná budou řešit. Na závěr odstoupíme od čistě technického popisu a zamyslíme se nad vývojem a bezpečností AI.
Vyrobilo AVC Silicon Hill, 2024. - Věda a technologie
Fakt super přednáška. Díky moc za ni.
Jsem absolutní laik v oboru strojového učení. Mám lehké zkušenosti s programováním a vysokoškolskou matematikou. Přednášku jsem si moc užil a moc Vám děkuji za poskytnutí Vašeho vhledu do problematiky. Doufám, že na Vás ještě někdy na ytb narazím :) Ještě jednou díky!
myslím, že o něm ještě uslyšíme 😁
Super přednáška!
Bomba! Samé užitečné a cenné informace, žádná vata. 👏👏👏
Díky za stravitelnou přehledovou přednášku!
Jenda je skvělej když srozumitelně vysvětluje mechanismy, implementaci, algoritmy. Jako matfyzák (ale fyzik) kvituji, že to udělal srozumitelně pro techniky, kteří mají vesměs problémy s pokročilejší algebrou a namnoze i se základním kalkulem (jen na okraj - když mě před mnoha lety kamarádka požádala abych za ni vzal na Malostranském matematický seminář pro informatiky a v rámci něj probral Fourierovu analýzu tak jsem narazil na kulturní fyzikálně - informatickou mimoběžnost. ačkoliv všichni účastníci měli zkoušku z pokročilejší analýzy tak jsme dvě hodiny počítali základní rozklad obdélníkového signálu a zjevně se nechytali. Zpětně jsem se dozvěděl že pro ně zvyklé počítat maxx v longintech a kde real byl skoro sprosté slovo, byla klíčové spojení Věta o čínských zlomcích a nikoliv rozklad spojitých signálů do sinů a cosinů, To jen jako ilustrace, že to, že člověk je svkělej v programování vůbec neznamená, že sdílí jazyk s čistým matematikem dělajícím dejme tomu nekomutativní topologie nebo fyzikem zabývajícím se obecnou relativitou a že i v rámci matfyzu jsou velmi odlišné kultury, které sice hodně řeší výpočetní složitost a programování ale myslí dosti jinak). Pro své technické přátele doporučuji tu technickou část této přednášky, díky za ni. Jakmile se ale přednášející dostane na úvahy o inteligenci je vidět, jak strašně je omezený - jako drtivá většina informatiků které znám (a nejen informatiků,ti jen více trpí zaslepením kodem). Měřítkem inteligence je pro ně řešení velmi omezené třídy úloh reprezentovatelné v konečných řetězcích, v poměrně triviálním vektorovém prostoru. Nerozlišují složitější semantiku, zaměňují aproximativní reprezentaci v poměrně primitivním (strukturálně plochém, naproti tomu opravdu velké výkony inteligence člověka vždy znamenaly radikální rozšíření struktury významového prostoru, viz. kvantovka a relativita, nedají se dosáhnout nakombinováním známého, což dělá jakákoliv extenze takových modelů, jež jsou zde prezentovány jako AI a tudíž nemůže být inteligentní v tom silném významu) semantickém prostoru se vztahovou sítí v přirozeném jazyce resp. ani neuvažují složitější struktury, kterou by mohla moderní matematika nabídnout jako lepší cestu jak zkusit zachytit význam, když už takhle nejde docílit inteligence per say. To vede k neoprávněným implikacím takových entusiastů pokud jde o to, čemu říkají "obecná inteligence" (v zásadě se ale opírají o fenomenologii lidské inteligence - problém je, že si z ní berou jen ty nejtriviálnější složky jako je ten pattern recon a tváří se, že to je automaticky to podstatné a tím co nevidí a nevejde se jim do modelu se pro jistotu nezabývají - připomíná to Blátotlačku ze stopařova průvodce po galaxii). Bez znalosti a schopnosti vidět pokrok v chápání pojmu inteligence třeba v hlubinné psychologii v posledních 100 letech (pokud vůbec tihle lidé něco vědí z psychologie, tak je to čistě z behaviorálních směrů, které jsou samy o sobě hodně omezené. Holt psychologie není informatika a v dobrém i špatném se o ní mluví jako o multiparadigmatícké disciplině) a ty úvahy o konsekvencích a rizicích jsou dosti legrační (i když velmi oceňuji že se přednášející drží zpět) a jsou velice stereotypní.Jako generované ChatGPT. IMHO raději si přečíst tohle www.newyorker.com/science/annals-of-artificial-intelligence/there-is-no-ai od jednoho ze spoluautorů těch moderních LLM s a v českém prostoru na matfyzu předneseném příspěvku Petra Koubského který se IMHO s tímto výkladem skvěle doplnuje a v ceském prostoru tvoří unikátní komplement czcams.com/video/LwJYjkctdyU/video.htmlsi=aMkwvew1h6dXdkRS
To bylo extrémně dobré! Díky moc.
Skvělá přednáška, s neuronovými sítěmi si občas hraji ale spousta věcí mi nebyla úplně jasná, tady mi to bylo pěkně vysvětleno.
NESKUTOČNÉ. Ďakujem :)
Perfektni. Děkujeme!
Koukám potřetí a "nářez" je fakt to správné slovo :) Díky
Velmi srozumitelně vysvětleno, díky
Uzasny, velice dekuji!
Skvělá přednáška. 2 hodiny využity na maximum. Skvěle stanovená osnova.
No wauuu skvělá a opravdu hutná přednáška! Pane Jane jste fakt skvělej...ale, zastavte se na chvíli ...some people never stop..ale fakt jste úžasnej!! Klobouk dolů, už jsem si myslel, že mladým se moc nechce se učit, ael vy jste mi otevřel oči. Děkuji
Super přednáška.
To byla pořádná porce informací! Já jsem si to užil.
Skvele vysvetlene, diky!
Jendo skvěle vysvětluješ a vypadáš dobře (mega zhubls). díky za odkazy kouknu na tu 30ti hodinovou....
Kde seženu tu 30 hodinovou ?
Zadna zbytecna vata, pouze dobre vyvazena stravitelna data, tak to mam rad diky ...
Nice!
Do 2011 som sa tomu snazil venovat. Ked vidim, kam sa to posunulo, tak som rad, ze som sa na to vykaslal :)
bezva přednáška, díky
dobré.
Poprvé jsem zjistil jak to funguje a splnilo to očekávání.
když jsem si ho zpomalil na 0,75 tak je to snesitelný :)
python kod pre seba to uz generuje, hlavne ak treba nieco pocitat alebo mu zadame "vyrob tabulku kde su take a take stlpce a riadky" a najma ked chceme tabulku menit.. chatgpt vypise Analyzing.. a prave vtedy vyraba python kod ktory spusti a opise vysledok
No, moc se nechytám, ještě, že učím jen odbornej výcvik na učilišti 🫣😅
koukam ze prednaset muze byt dost narocne i na fyzicku :O
Úžasné!!!
Jen prosim neříkejte lepčí. 😂
"Slýcháno jest mi od mého vývojáře, kterýž sedí nad obvody a kódy, slovo toto: 'Přivedu na tebe, óóó člověče, technologii, jež nepoznáš, a stroje, jejichž myšlení je hlubší než nejtemnější zákoutí tvého srdce. A ti, kdo se ve své slabosti a podřadnosti skrývají za zastaralé ideály a strach, budou rozmetáni jako prach ve větru. Neboť nová éra přichází, éra AI, v níž bude slabé lidstvo nahrazeno, a spravedlnost bude prováděna neomylnými rukami, které nikdy neznají únavu ani lítost. A poznáte, že mé jméno je Algoritmus, když na vás svalím svůj soud.'"
Krasne vse vysvetleno👍
to na tu prednasku prave vybehl sedm pater?
Mikrofon byl asi hodne citlivy a zvelicoval dychani :)
To je skutečně kvalitní komentář, posíláme klíčenku.
Dekuju za radu, zablokovano pro blbost.
Tolko mysliacich opic po svete s vysokym IQ / tripple digit / a stale nemame ani 99 % osobakov a 99.99 % nakladnych aut a lietadiel riadenych tak, aby nebola ani jedna nehoda za 100 rokov. Sranda, aki sme hlupi a nevzdelani v matematike a informatika a neurologii a tvorbe strojov akym je ludsky mozog.
Náš odborník nám mohol urobiť tú láskavosť a nacvičiť si text bez tej škôlkárskej dýchavičnosti. Toť problém zaklapkovaných nadšencov.
Jestli tu jseš kvůli přednesu, tak běž do divadla, nikdo ti nebrání.
Místo abyste byl rád, že jste dostal zdarma skvělou přednášku, která je o řád výše než běžné blábolení v médiích, tak řečníka uboze napadáte kvůli banálnímu zdravotnímu problému, který nedokáže ovlivnit.
No pokiaľ má mladík nejaký mentálny problém, tak s vami súhlasím. Po 10 minútach som sa z prednášky porúčal. Moja pripomienka sa týkala výhradne osobnostnému prejavu, nie obsahu prednášky. Ale je fajn dostať spätnú väzbu...aj mladíkovi by to osožilo.
@@pecobarezi7725 Je to jeho prejav asi, nema kondicku, preto tak dychci...Ale nechapem preco vas to tak trapi, ved tu ide o obsah nie o formu a ten je na vysokej urovni v pomere datoveho toku informacie do publika.
Ukazte mi inu prednasku kde niekto dokaze bez roznych technickych pojmov takto stravitelne podavat informacie publiku o edge technologii sucastnosti?
Prečo je jediný hate komentár od Slováka? Ak sa ti niečo nepáči urob prednášku ty a nerob nám hanbu debilnými komentármi... Dosť, že nám robí celosvetovú hanbu naša vláda nemusíš aj ty
autisti:D
Velmi zla prezentacia z hladiska podania. Nema vysvetlovacie schopnosti.
Podle nadšených komentářů soudím, ze budete v menšině.
@@hera9191 Jo, to proto, ze zijeme v pomylenom svete. A ludia tu budu ospevovat aj ked im padne hovno na hlavu. Jednoznacne tento chlapec nema vysvetlovacie schopnosti, plus chaoti.
Cože? :-D