Mistral 3: novi val otvorenih modela za distribuiranu umjetnu inteligenciju

Posljednje ažuriranje: 01.02.2024.

  • Mistral 3 objedinjuje deset otvorenih modela, od multimodalnog graničnog vozila do kompaktne Ministral 3 serije.
  • Arhitektura Mixture of Experts omogućava visoku tačnost uz nižu potrošnju energije i efikasno raspoređivanje na rubu mreže.
  • Manji modeli mogu raditi van mreže na jednoj grafičkoj procesorskoj jedinici (GPU) ili uređajima s niskim resursima, čime se jača digitalni suverenitet.
  • Evropa dobija na značaju u oblasti vještačke inteligencije zahvaljujući otvorenom pristupu kompanije Mistral i njenim partnerstvima sa javnim tijelima i kompanijama.
Mistral 3

Francuski startup Mistral AI Postavila se u središte debate o vještačkoj inteligenciji u Evropi sa... Lansiranje Mistrala 3Nova porodica otvorenih modela dizajnirana je za rad i u velikim podatkovnim centrima i na uređajima s vrlo ograničenim resursima. Daleko od ulaska u slijepu utrku za veličinom modela, kompanija... Zalaže se za distribuiranu inteligenciju koja se može implementirati gdje god je potrebno.u oblaku, na rubu mreže ili čak bez internet veze.

Ova strategija postavlja Mistral kao jedna od rijetkih evropskih alternativa sposobnih da se suprotstave gigantima poput OpenAI-a, Googlea ili Anthropica, i ponudu alternative ChatGPT-uAli iz drugačije perspektive: modeli otvorene težine pod permisivnom licencomprilagodljiv potrebama kompanija i javnih uprava, sa snažnim fokusom na evropske jezike i suverenu primjenu unutar kontinenta.

Šta je Mistral 3 i zašto je relevantan?

Porodica modela Mistral 3

Porodica Mistral 3 Formira ga deset modela otvorene težine objavljeno pod Apache licencom 2.0Ovo omogućava njegovu komercijalnu upotrebu praktično bez ograničenja. Uključuje vodeći model tipa Frontier. Mistral Large 3i liniju kompaktnih modela pod brendom Ministarski 3koji dolaze u tri približne veličine (14.000, 8.000 i 3.000 miliona parametara) i nekoliko varijanti ovisno o vrsti zadatka.

Ključna inovacija je da veliki model nije ograničen samo na tekst: Mistral Large 3 je multimodalni i višejezični.Sposoban je za rad s tekstom i slikama unutar iste arhitekture i nudi robusnu podršku za evropske jezike. Za razliku od drugih pristupa koji zasebno kombiniraju jezičke i vizualne modele, ovaj se oslanja na jedan integrirani sistem koji može analizirati velike dokumente, razumjeti slike i djelovati kao napredni asistent za složene zadatke.

Istovremeno, serija Ministarski 3 Dizajniran je za rad u scenarijima gdje je pristup oblaku ograničen ili nepostojeći. Ovi modeli mogu raditi na uređajima sa samo 4 GB de memoria ili na jednoj grafičkoj procesorskoj jedinici, što otvara vrata njenoj upotrebi u laptopi, mobilni telefoni, roboti, dronovi ili ugrađeni sistemi bez oslanjanja na stalnu internet vezu ili vanjske provajdere.

Za evropski ekosistem, gdje se razgovor o digitalni suverenitet i kontrola podataka Ova kombinacija modela otvorenih granica i lokalno primjenjivih laganih modela je veoma prisutna i posebno relevantna, kako za privatne kompanije tako i za javne uprave koje traže alternative velikim američkim i kineskim platformama.

Arhitektura, mješavina stručnjaka i tehnički pristup

Mogućnosti Mistrala 3

Tehničko srce Mistral Large 3 je arhitektura Mješavina stručnjaka (MP), dizajn u kojem model Ima više internih "stručnjaka"., ali aktivira samo dio njih za obradu svakog tokenaU praksi, sistem se nosi sa 41.000 milijardi aktivnih parametara preko ukupno 675.000 milijardiOvo omogućava kombinovanje visokog kapaciteta rasuđivanja sa kontrolisanijom potrošnjom energije i računarstva nego ekvivalentan gusti model.

Ekskluzivni sadržaj - kliknite ovdje  Grok na Telegramu? Tako je, Elon Muskov chatbot dolazi u aplikaciju kako bi revolucionirao razmjenu poruka pomoću umjetne inteligencije.

Ova arhitektura, u kombinaciji sa kontekstni prozor do 256.000 tokenaOvo omogućava Mistral Large 3 da obrađuje vrlo velike količine informacija, kao što su dugi ugovori, tehnička dokumentacija ili velike korporativne baze znanja. Model je usmjeren na slučajeve upotrebe kao što su analiza dokumenata, pomoć pri programiranju, kreiranje sadržaja, AI agenti i automatizacija radnog procesa.

Paralelno s tim, modeli Ministarski 3 Nude se u tri glavne varijante: Base (generički prethodno obučeni model), Instruct (optimizirano za razgovor i zadatke asistenta) i Reasoning (Prilagođeno za logičko razmišljanje i dublju analizu). Sve verzije podržavaju vid i oni obrađuju široke kontekste - između 128 hiljada i 256 hiljada tokena - uz održavanje kompatibilnosti s više jezika.

Osnovna ideja, kako je objasnio suosnivač i glavni naučnik Guillaume Lample, je da u "više od 90%" slučajeva upotrebe u preduzećima, Dovoljan je mali, dobro podešen model. i, štaviše, efikasnije. Kroz tehnike kao što je upotreba sintetički podaci za specifične zadatkeKompanija tvrdi da ovi modeli mogu dostići ili čak nadmašiti veće, zatvorene opcije u vrlo specifičnim primjenama, a istovremeno smanjiti troškove, latenciju i rizike za privatnost.

Cijeli ovaj ekosistem je integriran sa širom paletom proizvoda kompanije: od API za agente Mistralsa konektorima za izvršavanje koda, web pretragu ili generisanje slika, do Mistral kod Za pomoć programera, model zaključivanja Magistral i platforma AI Studio za implementaciju aplikacija, upravljanje analitikom i održavanje zapisa o korištenju.

Saradnja sa NVIDIA-om i primjena u superračunarstvu i edge computingu

Mistral AI i NVIDIA

Vrhunac lansiranja je savez između Mistral AI i NVIDIA, što pozicionira Mistral 3 kao porodicu modela fino podešenih za superračunarske sisteme i edge platforme američkog proizvođača. Mistral Large 3u kombinaciji s infrastrukturom kao što je NVIDIA GB200 NVL72, prema NVIDIA-i poboljšanje performansi do deset puta u poređenju sa prethodnom generacijom zasnovanom na H200 GPU-ovima, iskorištavajući prednosti naprednog paralelizma, dijeljene memorije putem NVLink-a i optimizovanih numeričkih formata kao što su NVFP4.

Zajednički rad se ne zaustavlja na vrhunskom hardveru. Serija Ministarski 3 Optimizovan je za brzo pokretanje u okruženjima kao što su Računari i laptopi sa RTX grafičkim procesorima, Jetson uređaji i edge platformeolakšavanje lokalnih zaključaka u industrijskim, robotskim ili potrošačkim scenarijima. Popularni okviri kao što su Llama.cpp i Ollama Prilagođeni su kako bi iskoristili prednosti ovih modela, što pojednostavljuje njihovu implementaciju od strane programera i IT timova.

Nadalje, integracija s ekosistemom NVIDIA NeMo —uključujući alate poput Data Designera, Guardrailsa i Agent Toolkita — omogućava kompanijama da obavljaju fino podešavanje, kontrola sigurnosti, orkestracija agenata i dizajn podataka zasnovano na Mistralu 3. Istovremeno, inferencijalni mehanizmi kao što su TensorRT-LLM, SGLang i vLLM kako bi se smanjila cijena po tokenu i poboljšala energetska efikasnost.

Modeli Mistral 3 sada su dostupni kod većih prodavaca. pružatelji usluga u oblaku i otvoreni repozitoriji oni će također stići u obliku NIM mikroservisi unutar NVIDIA kataloga, nešto posebno zanimljivo za evropske kompanije koje već posluju na platformama ovog proizvođača i žele usvojiti generativnu umjetnu inteligenciju s većom kontrolom nad implementacijom.

Sav ovaj okvir omogućava Mistralu 3 da funkcioniše i u velikim podatkovnim centrima i na edge uređajima, pojačavajući njegovu naraciju... zaista sveprisutna i distribuirana umjetna inteligencija, manje ovisni o udaljenim uslugama i više prilagođeni specifičnim potrebama svakog klijenta.

Ekskluzivni sadržaj - kliknite ovdje  Kako otkriti da li je sliku kreirala umjetna inteligencija: alati, ekstenzije i trikovi kako biste izbjegli upadanje u zamku

Mali modeli, vanmrežno postavljanje i slučajevi upotrebe na rubu mreže

Modeli umjetne inteligencije Mistral 3

Jedan od stubova Mistralovog diskursa je da Većina stvarnih aplikacija ne zahtijeva najveći mogući model.ali onaj koji se dobro uklapa u slučaj upotrebe i može se fino podesiti specifičnim podacima. Tu nastupaju devet modela u seriji. Ministarski 3gusti, visokih performansi i dostupni u različitim veličinama i varijantama kako bi odgovarali zahtjevima za cijenom, brzinom ili kapacitetom.

Ovi modeli su dizajnirani za rad u jedna grafička kartica ili čak na skromnom hardveruOvo omogućava lokalnu implementaciju na internim serverima, laptopima, industrijskim robotima ili uređajima koji rade u udaljenim okruženjima. Za kompanije koje rukuju osjetljivim informacijama - od proizvođača do finansijskih institucija ili vladinih agencija - mogućnost pokretanja vještačke inteligencije unutar vlastite infrastrukture, bez slanja podataka u oblak, predstavlja značajnu prednost.

Kompanija navodi primjere kao što su Tvornički roboti koji analiziraju podatke senzora u stvarnom vremenu bez internetske veze, dronovi za hitne slučajeve i spašavanje, vozila s potpuno funkcionalnim AI asistentima u područjima bez pokrivenosti ili obrazovne alate koji nude pomoć studentima van mreže. Obradom podataka direktno na uređaju, privatnost i kontrola informacija korisnika.

Lample insistira na tome da je pristupačnost središnji dio Mistralove misije: postoje Milijarde ljudi s mobilnim telefonima ili laptopima, ali bez pouzdanog pristupa internetušto bi moglo imati koristi od modela sposobnih za lokalno pokretanje. Na ovaj način, kompanija pokušava da otkloni ideju da napredna vještačka inteligencija uvijek mora biti vezana za velike centre podataka koje kontroliše mala grupa kompanija.

Paralelno s tim, Mistral je započeo saradnju s međunarodnim partnerima u oblasti poznatoj kao Fizička umjetna inteligencijaMeđu spomenutim saradnjama su singapurska agencija za nauku i tehnologiju HTX za robote, sajber sigurnost i sisteme zaštite od požara; i njemačka Helsing, fokusiran na odbranu, s modelima vid-jezik-akcija za dronove; i proizvođači automobila koji traže AI asistenti u kabini efikasniji i kontrolisaniji.

Uticaj u Evropi: digitalni suverenitet i javno-privatni ekosistem

Pored tehničkih aspekata, Mistral je postao mjerilo u debati o Digitalni suverenitet u EvropiIako se kompanija definira kao "transatlantska saradnja" - s timovima i obukom modela raširenim između Evrope i Sjedinjenih Američkih Država -, njena posvećenost otvorenim modelima sa snažnom podrškom za evropske jezike dobro je prihvaćena od strane javnih institucija na kontinentu.

Kompanija je sklopila ugovore sa francuska vojska, francuska agencija za zapošljavanje, vlada Luksemburga i druge evropske organizacije zainteresirani za primjenu umjetne inteligencije pod strogim regulatornim okvirima i održavanje kontrole nad podacima unutar EU. Paralelno s tim, Evropska komisija je predstavila strategija za unapređenje evropskih alata umjetne inteligencije koji jačaju industrijsku konkurentnost bez žrtvovanja sigurnosti i otpornosti.

Geopolitički kontekst također potiče regiju na reakciju. Prepoznato je da Evropa je zaostala za Sjedinjenim Američkim Državama i Kinom U utrci za modelima sljedeće generacije, dok se u zemljama poput Kine pojavljuju otvorene alternative poput DeepSeeka, Alibabe i Kimija i počinju se takmičiti s rješenjima poput ChatGPT-a u određenim zadacima, Mistral pokušava popuniti dio te praznine otvorenim, svestranim modelima usklađenim s europskim regulatornim zahtjevima.

Ekskluzivni sadržaj - kliknite ovdje  Kako kreirati ChatGPT račun

Finansijski, startup je prikupio oko 2.700 milijardi dolara i kretala se unutar vrijednosti blizu 14.000 milijardiOve brojke su daleko niže od onih giganata poput OpenAI-a ili Anthropica, ali značajne za evropski ekosistem. Veliki dio poslovnog modela uključuje ponudu, pored otvorenih težina, usluge prilagođavanja, alati za implementaciju i poslovni proizvodi kao što su Mistral Agents API ili Le Chat paket s korporativnim integracijama.

Pozicioniranje je jasno: biti pružatelj otvorene i fleksibilne AI infrastrukture što omogućava evropskim (i drugim regionalnim) kompanijama da inoviraju bez potpune zavisnosti od američkih platformi, uz održavanje određene kontrole nad tim gdje i kako se modeli pokreću i olakšavanje integracija s alatima koji su već implementirani u njihovim sistemima.

Rasprava o stvarnoj otvorenosti i predstojećim izazovima

Uprkos entuzijazmu koji Mistral 3 izaziva u dijelu tehnološke zajednice, ne nedostaje kritičkih glasova koji dovode u pitanje u kojoj mjeri se ovi modeli zaista mogu smatrati "otvorenog koda"Kompanija se odlučila za pristup otvorena težinaOslobađa težine za upotrebu i prilagođavanje, ali ne nužno i sve detalje o podacima za obuku i internim procesima potrebnim za reprodukciju modela od nule.

Istraživači kao što su Andreas Liesenfeld, suosnivač Evropskog indeksa otvorenog koda za umjetnu inteligenciju, Ističu da glavno usko grlo za vještačku inteligenciju u Evropi nije samo pristup modelima, ali da podaci o obuci velikih razmjeraIz te perspektive, Mistral 3 doprinosi poboljšati raspon upotrebljivih modelaMeđutim, to ne rješava u potpunosti osnovni problem evropskog ekosistema koji se i dalje bori s generiranjem i dijeljenjem visokokvalitetnih masovnih skupova podataka.

Sam Mistral priznaje da njegovi modeli otvorenog plana "malo zaostaju" za naprednijim zatvorenim rješenjima, ali On insistira na tome da se jaz brzo smanjuje. i da je ključna tačka omjer troškova i koristiAko se nešto manje moćan model može primijeniti po niskoj cijeni, fino podesiti za određeni zadatak i pokrenuti blizu korisnika, Ovo bi moglo biti zanimljivije mnogim kompanijama od vrhunskog modela. kojem se može pristupiti samo putem udaljenog API-ja.

Uprkos tome, izazovi ostaju: od žestoka međunarodna konkurencija To se proteže i na potrebu garantiranja sigurnosti, sljedivosti i usklađenosti s propisima u kontekstima kao što su zdravstvo, finansije i vlada. Ravnoteža između otvorenosti, kontrole i odgovornosti nastavit će voditi Mistral i druge evropske aktere u narednim godinama.

Lansiranje Mistral 3 To pojačava ideju da vrhunska umjetna inteligencija ne mora biti ograničena na gigantske, zatvorene modele.i nudi Evropi - i svakoj organizaciji koja cijeni tehnološki suverenitet - paletu otvorenih alata koji kombinuju multimodalni granični model sa nizom laganih modela sposobnih za rad na rubu mreže, van mreže i sa nivoom prilagođavanja koji je teško dostići isključivo vlasničkim platformama.

Kako koristiti računar kao lokalni centar za vještačku inteligenciju
Povezani članak:
Kako koristiti računar kao lokalni AI centar: Praktični i komparativni vodič