Gemini 2.5 Flash Native Audio: Takto sa mení hlas umelej inteligencie od spoločnosti Google

Spoločnosť Google urobila ďalší krok vo vývoji svojho ekosystému umelej inteligencie s rozsiahlou aktualizáciou. Natívny zvuk Gemini 2.5 FlashModel navrhnutý na pochopenie a generovanie zvuku v reálnom čase. Táto technológia je zameraná na zefektívnenie hlasových interakcií. bližšie k ľudskému rozhovoruv každodennom živote, ako aj v profesionálnom prostredí.

Ďaleko od jednoduchého „pridávania hlasu“ odpovediam asistenta a v porovnaní s inými možnosťami v porovnania hlasovej umelej inteligencieTento model je určený pre udržiavať prirodzené, funkčné a kontextové dialógy, rozhodovanie o tom, kedy vyhľadať ďalšie informácie a zvládanie zložitých pokynov bez prerušenia plynulosti konverzácieTýmto Google posilňuje svoj záväzok používať hlas ako primárny prostriedok interakcie so svojimi službami umelej inteligencie.

Čo je Gemini 2.5 Flash Native Audio a kde sa používa?

Gemini 2.5 Flash Native Audio je najnovšia verzia modelu natívneho zvuku od spoločnosti Google, ktorá dokáže... počúvať, rozumieť a odpovedať hlasom v reálnom čase. Na rozdiel od predchádzajúcich systémov zameraných výlučne na syntézu reči je tento engine navrhnutý tak, aby pracoval so zvukom ako vstupom aj výstupom súčasne, vďaka čomu je obzvlášť vhodný pre konverzačných asistentov.

Spoločnosť už túto verziu integrovala do niekoľkých svojich kľúčových platforiem: Google AI Studio, Vertex AI, Gemini Live a Search LiveTo znamená, že s výstavbou môžu začať developeri aj firmy pokročilí hlasoví agenti na rovnakej technológii, ktorá poháňa najnovšie konverzačné zážitky s umelou inteligenciou od spoločnosti Google.

V praxi si používatelia všimnú tieto zmeny v skúsenostiach, ako napríklad Gemini Live (režim hlasovej konverzácie s asistentom) alebo v Hľadať naživo v režime umelej inteligencie aplikácie Google, kde znejú hovorené odpovede expresívnejšie, jasnejšie a lepšie zasadené do kontextuOkrem toho môžete asistenta dokonca požiadať, aby hovoril pomalšie a prirodzene tak prispôsobil tempo konverzácie.

Okrem samotného Googlu boli tieto možnosti sprístupnené tretím stranám prostredníctvom Vertex AI a Gemini APIaby mohli vytvoriť aj iné spoločnosti autonómnych agentov hlas, virtuálni recepční alebo asistenčné nástroje s rovnakou úrovňou sofistikovanosti hlasu.

Presnejšie externé funkcie a lepšie hodnotené modely

Jednou z oblastí, v ktorej Gemini 2.5 Flash Native Audio dosiahol najväčší pokrok, je jeho schopnosť volanie externých funkciíJednoducho povedané, model je teraz spoľahlivejší, pokiaľ ide o rozhodovanie. keď potrebujete nahliadnuť do služieb alebo údajov v reálnom časeNapríklad na získanie aktualizovaných informácií, kontrolu stavu objednávky alebo spustenie automatizovaného procesu.

Google poukazuje na to, že táto zvýšená presnosť sa premieta do menšieho počtu chýb pri spúšťaní akcií, čím sa znižuje počet nepríjemných situácií, keď asistent zlyhá alebo koná predčasne. Systém je schopný vložte načítané údaje do zvukovej odpovede bez toho, aby si používateľ všimol akékoľvek náhle prerušenie konverzácie.

Na meranie týchto pokrokov spoločnosť podrobila model testom, ako napríklad ComplexFuncBench Audio, hodnotiaca lavica zameraná na viacstupňové úlohy s obmedzeniami. V tomto scenári Gemini 2.5 Flash Native Audio dosiahol približne 71,5 % úspešnosť pri vykonávaní zložitých funkcií, čím sa v tomto type použitia umiestňuje nad predchádzajúce iterácie a iné konkurenčné modely.

Tento výkon je obzvlášť dôležitý v kontextoch, kde sú potrebné sofistikované automatizované pracovné postupy, ako napríklad call centrá, technická podpora alebo spracovanie transakcií (napríklad finančné alebo administratívne úlohy), kde každý krok závisí od predchádzajúceho a je malý priestor na chyby.

Lepšie sledovanie pokynov a súvislejšie konverzačné vlákna

Ďalším zameraním aktualizácie je, ako model interpretovať a rešpektovať pokyny ktoré dostáva od koncových používateľov aj vývojárov. Podľa údajov zverejnených spoločnosťou Google klesla miera dodržiavania pokynov z 84 % na 90% priľnavosťTo znamená odpovede, ktoré viac zodpovedajú tomu, čo bolo skutočne položené.

Tento skok je kľúčový v úlohách, kde je to potrebné zložité inštrukcie, viacero krokov alebo viacero podmienokNapríklad pri žiadosti o vysvetlenie v konkrétnom štýle, žiadosti o zhrnutie s určitými časovými obmedzeniami alebo nastavení pracovného postupu, ktorý závisí od viacerých prepojených rozhodnutí.

V súvislosti s tým získal Gemini 2.5 Flash Native Audio možnosť Získať kontext predchádzajúcich správV rozhovoroch s viacerými ťahmi si model lepšie pamätá, čo bolo povedané, nuansy zavedené používateľom a opravy vykonané počas dialógu.

Toto zlepšenie konverzačnej pamäte znižuje potrebu opakovania tých istých informácií dookola a pomáha zefektívniť interakcie. plynulejšie a menej frustrujúceTáto skúsenosť sa viac podobá rozhovoru s človekom, ktorý pokračuje v téme tam, kde prestal, než aby s každou odpoveďou začínal odznova.

Prípady použitia z reálneho sveta: od elektronického obchodu až po finančné služby

Okrem interných metrík sa Google spolieha na príklady zákazníkov, aby ilustroval praktický dopad Gemini 2.5 Flash Native Audio. V sektore elektronického obchodu Shopify tieto funkcie začlenil do svojho asistenta. Pomocník„, čo pomáha maloobchodníkom spravovať ich predajne a riešiť pochybnosti o podnikaní.

Podľa spoločnosti veľa používateľov Dokonca zabúdajú, že hovoria s umelou inteligenciou. Po niekoľkých minútach konverzácie sa používateľ po dlhom dopyte dokonca poďakoval botovi. Tento typ reakcie naznačuje, že pokroky v prirodzenosti a tóne spôsobujú, že technológie nenápadne ustupujú do úzadia.

Vo finančnom sektore poskytovateľ United Wholesale Mortgage (UWM) Spoločnosť integrovala tento model do svojho asistenta „Mia“ na správu procesov súvisiacich s hypotékami. Spoločnosť tvrdí, že kombináciou systému Gemini 2.5 a ďalších interných systémov dosiahla... spracovali viac ako 14 000 pôžičiek pre svojich partnerov, pričom sa spolieha na automatizované interakcie, ktoré vyžadujú presnosť a súlad s predpismi.

Startup zo svojej strany Newo.ai Na napájanie využíva Gemini 2.5 Flash Native Audio prostredníctvom Vertex AI. virtuálne recepčnéTíto hlasoví asistenti dokážu identifikovať hlavného hovoriaceho aj v hlučnom prostredí, prepínať jazyky počas konverzácie a udržiavať prirodzený hlasový register s emocionálnymi nuansamičo je kľúčové v zákazníckom servise.

Hlasový preklad v reálnom čase: viac jazykov a viac nuáns

Jedným z najvýraznejších doplnkov v tejto verzii je živý hlasový prekladGemini 2.5 Flash Native Audio, pôvodne integrovaný do aplikácie Google Translate, ide nad rámec jednoduchej konverzie zvuku na text alebo ponúkania fragmentovaných prekladov a umožňuje pohlcujúcejší zážitok. simultánny preklad bližšie k ľudskej interpretácii.

Systém môže pracovať v režime nepretržité počúvanieTo umožňuje používateľovi nasadiť si slúchadlá a počuť, čo sa deje okolo neho, preložené do jeho jazyka, bez toho, aby musel pozastaviť alebo stláčať tlačidlá pre každú frázu. Táto možnosť môže byť užitočná pri cestovaní, účasti na medzinárodných stretnutiach alebo na podujatiach, kde sa používa viacero jazykov.

Zohľadnili sa aj situácie, obojsmerná konverzáciaNapríklad, ak jedna osoba hovorí po anglicky a druhá po hindsky, slúchadlá prehrajú anglický preklad v reálnom čase, zatiaľ čo telefón prehrá hindský preklad, keď prvá osoba dohovorí. Systém automaticky prepína výstupný jazyk v závislosti od toho, kto hovorí, bez toho, aby používateľ musel meniť nastavenia medzi jednotlivými striedaniami.

Jedným z najdôležitejších detailov tejto funkcie je jej schopnosť zachovať pôvodnú intonáciu, rytmus a tón od hovoriaceho. Výsledkom sú preklady, ktoré znejú menej roboticky a bližšie k hlasovému štýlu hovoriaceho, vďaka čomu sú ľahšie zrozumiteľné a zážitok prirodzenejší.

Podpora jazykov, automatická detekcia a filtrovanie šumu

Z hľadiska jazykového rozsahu ponúka hlasový preklad založený na Gemini 2.5 podporu pre viac ako 70 jazykov a približne 2 000 prekladových párovKombináciou znalostí sveta modelu s jeho viacjazyčnými a natívnymi zvukovými schopnosťami dokáže pokryť širokú škálu jazykových kombinácií vrátane mnohých, ktoré iné nástroje nie vždy uprednostňujú.

Systém dokáže spravovať viacjazyčný vstup V rámci jednej relácie rozumie viacerým jazykom súčasne bez toho, aby musel používateľ manuálne upravovať nastavenia pri každej zmene jazyka. Táto funkcia je obzvlášť užitočná v konverzáciách, kde sa prirodzene mieša niekoľko jazykov.

S automatická detekcia hovoreného jazykaPoužívateľ nemusí vopred vedieť, v akom jazyku jeho partner komunikuje: model identifikuje jazyk a začne prekladať za pochodu, čím sa znižuje trenie a medzikroky.

Gemini 2.5 Flash Native Audio tiež obsahuje mechanizmy pre odolnosť voči hlukuDokáže odfiltrovať časť okolitého zvuku a uprednostniť hlavný hlas, čo umožňuje pohodlnejšie konverzácie na rušných uliciach, otvorených priestranstvách alebo miestach s hudbou v pozadí.

Dostupnosť, nasadenie a perspektívy pre Európu

Živý hlasový preklad založený na tomto modeli je momentálne k dispozícii v beta fáza v aplikácii Prekladač Google pre zariadenia so systémom Android na trhoch ako Spojené štáty, Mexiko a India. Spoločnosť Google potvrdila, že služba bude postupne zavádzaná na viac regiónov a platforiem, vrátane iných mobilných systémov.

Súbežne s tým prebieha integrácia Gemini 2.5 Flash Native Audio v Gemini naživo a vyhľadávanie naživo Aplikácia sa sprístupňuje používateľom aplikácií Google v systémoch Android a iOS, počnúc USA. Keďže tieto funkcie dozrejú a prejdú počiatočnou fázou testovania a adaptácie, očakáva sa, že sa objavia aj v ďalších regiónoch. viac krajín, pravdepodobne vrátane európskych trhov, kde je dopyt po prekladateľských a hlasových asistentoch obzvlášť vysoký.

Spoločnosť Google tiež oznámila svoj zámer začleniť tento hlasový a prekladový zážitok do ďalších produktov vrátane Gemini APIV nasledujúcich mesiacoch a rokoch by to otvorilo dvere európskym spoločnostiam v odvetviach ako cestovný ruch, logistika, vzdelávanie a verejná správa k priamej integrácii týchto schopností do vlastných služieb.

Spoločnosť predstavuje tieto nové funkcie ako súčasť širšej stratégie, ktorá má vývojárom umožniť vytvárať konverzačné agenty s prirodzeným hlasom Odteraz využívame výhody Gemini 2.5 Flash Native Audio a ďalších modelov z rodiny 2.5 Flash a Pro zameraných na kontrolovanejšie generovanie hlasu (nastavenie tónu, zámeru, rýchlosti atď.) a rámcov, ako napríklad Nadácia Agent AI.

Touto sadou vylepšení spoločnosť Google posilňuje myšlienku, že hlas bude jedným z hlavných kanálov interakcie s umelou inteligenciou: od asistentov, ktorí spracovávajú hovory zákazníkov a spracovávajú zložité operácie, až po systémy simultánneho prekladu, ktoré uľahčujú komunikáciu medzi ľuďmi, ktorí nezdieľajú rovnaký jazyk. Jadrom tohto úsilia je Gemini 2.5 Flash Native Audio, ktorý dolaďuje porozumenie hlasu aj jeho výrazové schopnosti. urobiť technológiu užitočnejšou a menej rušivou v každodennom živote, kým sa čaká na jej plné zavedenie v Európe a na iných trhoch.

Súvisiaci článok:

Voice.ai vs ElevenLabs vs Udio: Kompletné porovnanie hlasov umelej inteligencie

Alberto navarro

Som technologický nadšenec, ktorý zo svojich „geekovských“ záujmov urobil povolanie. Strávil som viac ako 10 rokov svojho života používaním špičkových technológií a hraním so všetkými druhmi programov z čistej zvedavosti. Teraz som sa špecializoval na počítačovú techniku ​​a videohry. Je to preto, že už viac ako 5 rokov píšem pre rôzne webové stránky o technológiách a videohrách a vytváram články, ktoré sa snažia poskytnúť vám potrebné informácie v jazyku, ktorý je zrozumiteľný pre každého.

Ak máte nejaké otázky, moje znalosti siahajú od všetkého, čo súvisí s operačným systémom Windows, ako aj Androidom pre mobilné telefóny. A môj záväzok je voči vám, vždy som ochotný venovať pár minút a pomôcť vám vyriešiť akékoľvek otázky, ktoré môžete mať v tomto internetovom svete.