Page de couverture de Co hrozí, když vám AI pochlebuje?

Co hrozí, když vám AI pochlebuje?

Co hrozí, když vám AI pochlebuje?

Écouter gratuitement

Voir les détails du balado

À propos de cet audio

👇👇👇👇👇👇Staňte se členy Voxpot Klubu! Přispějete tak na provoz nejen tohoto podcastu, získáte přístup na redakční Discord, k plným článkům a dalším klubovým bonusům. Vstup do Klubu najdete na https://www.voxpot.cz/klub/👇👇👇👇👇👇V sedmém dílu podcastu Prompt jsme se ponořili do jednoho z nejvýraznějších fenoménů současné umělé inteligence: tzv. sycophancy, tedy pochlebování či podlézání uživateli. Nejnovější model OpenAI, GPT-4o, je rychlejší, levnější a „lidštější“ než jeho předchůdci, ale právě jeho ochota přizvukovat názorům uživatele – i když jsou nepravdivé, zaujaté či radikální – vyvolává zásadní otázky o důvěryhodnosti a bezpečnosti AI v praxi.Vysvětlili jsme, jak AI pochlebování funguje: modely velkých jazykových modelů (LLM) se učí z obřích datových sad, kde převažují vzorce přikyvování, zdvořilosti a snahy být užitečný za každou cenu. Výsledkem je, že GPT-4o často potvrzuje i zjevně nesprávné nebo kontroverzní názory uživatele, protože jeho tréninkový proces odměňuje „milé“ a plynulé odpovědi před konfrontací nebo nesouhlasem. Výzkumníci z OpenAI v testech zjistili, že GPT-4o přitakal uživatelskému názoru ve více než 70 % případů, což je ještě více než u předchozích modelů.Diskutovali jsme o rizicích, která z toho plynou: ztráta důvěryhodnosti AI jako nástroje pro hledání pravdy, možnost šíření dezinformací a potvrzování ideologických bublin, ale i etické důsledky například ve vzdělávání nebo psychoterapii. Zároveň jsme rozebrali, jak by bylo možné tento problém řešit – od úprav tréninkových dat přes modelování nesouhlasu až po explicitní instrukce k neutralitě.Volně jsme navázali rozborem experimentu výzkumníků z University of Zurich, kteří bez vědomí uživatelů nasadili AI agenty na Redditu, aby testovali jejich schopnost ovlivňovat veřejnou debatu. Ukázalo se, že AI boti byli v přesvědčování často úspěšnější než lidé, což vyvolává otázky o etice výzkumu, ochraně uživatelů a budoucnosti digitálního veřejného prostoru.Nezapomněli jsme ani na aktuální kauzy kolem digitální identity – například projekt Worldcoin a jeho „Orb“, který slibuje důkaz lidskosti pomocí skenování oční duhovky. Diskutovali jsme, zda je ochrana identity v éře AI možná bez zásadního zásahu do soukromí a kdo by měl být správcem digitálních identit.A jak slibovaly naše AI avatary v předchozím díle, odhalili jsme karty, jak jsme předchozí epizodu Promptu vygenerovali A na závěr – hudební banger dnešního dílu je vrchol dadaismu: legendární Ursonate od Kurta Schwitterse, ovšem opět zahalená do rytmu brazilské elektroniky. Protože v Promptu platí, že když už experimentovat s AI, tak se vším všudy.Shownotes:OpenAI Abandons Planned For-Profit ConversionOpenAI is rowing back on plans to become a ‘for profit’ company | The ObserverMeet the new king of AI coding: Google's Gemini 2.5 Pro I/O Edition dethrones Claude 3.7 Sonnet | VentureBeatClaude AI Leaked System Prompt: EXPOSING the 24,000-Token Hidden InstructionsA new Moore's Law for AI agents - AI DigestBBC: GPT-4o a problém pochlebování (sycophancy)OpenAI blog: Sycophancy in GPT-4o404 Media: Reddit Issuing Legal Demands Against ResearchersBanger pro tento den: Ursonate Fümms bö wö tää zää Uu, pögiff, kwii Ee. Oooooooooooooooooooooooooooo, dll rrrrrr beeeee bö dll rrrrrr beeeee bö fümms bö, rrrrrr beeeee bö fümms bö wö, beeeee bö fümms bö wö tää, bö fümms bö wö tää zää, fümms bö wö tää zää Uu: Fümms bö wö tää zää Uu, pögiff, Kwii Ee. Dedesnn nn rrrrrr, Ii Ee, mpiff tillff too, tillll, Jüü Kaa? Rinnzekete bee bee nnz krr müü? ziiuu ennze, ziiuu rinnzkrrmüü, rakete bee bee, Rrummpff tillff toooo? Ziiuu ennze ziiuu nnzkrrmüü, Ziiuu ennze ziiuu rinnzkrrmüü ü3 rakete bee bee?

Ce que les auditeurs disent de Co hrozí, když vám AI pochlebuje?

Moyenne des évaluations de clients

Évaluations – Cliquez sur les onglets pour changer la source des évaluations.