Què és el fine tuning i per què els teus prompts funcionen millor amb ell

La frontera entre el que aconsegueixes amb bons prompts i el que aconsegueixes ajustant un model (fine tuning) és més fina del que sembla, però entendre-la marca la diferència entre respostes mediocres i sistemes realment útils. En aquesta guia t'explico, amb exemples i comparatives, com triar i combinar cada tècnica per obtenir resultats sòlids en projectes reals.

L'objectiu no és quedar-nos en la teoria, sinó aterrar-lo en el dia a dia: quan en té prou amb enginyeria de prompts o prompt tuning, quan val la pena invertir en fine tuning, com encaixa tot això en fluxos RAG i quines bones pràctiques redueixen costos, acceleren iteracions i eviten ficar-te en atzucacs.

Què són el prompt engineering, el prompt tuning i el fine tuning

Abans de continuar, aclarim alguns conceptes:

• Prompt engineering (enginyeria de prompts) és l'art de dissenyar instruccions clares, amb context i expectatives ben definides per orientar un model ja entrenat. En un xat de xat, per exemple, defineix el rol, el to, el format de sortida i exemples per reduir l'ambigüitat i millorar la precisió sense tocar els pesos del model.
• Fine‑tuning (ajustament fi) modifica els paràmetres interns d'un model preentrenat amb dades addicionals del domini per afinar-ne el rendiment en tasques concretes. És ideal quan necessites terminologia especialitzada, decisions complexes o màxima exactitud en àmbits sensibles (sanitari, legal, financer).
• Prompt tuning afegeix vectors entrenables (soft prompts) que el model interpreta juntament amb el text d'entrada. No reentrena tot el model: congela els seus pesos i només optimitza aquestes «pistes» embegudes. És una via intermèdia eficient quan vols adaptar el comportament sense el cost del fine-tuning complet.

En disseny UX/UI, l'enginyeria de prompts millora la claredat de la interacció humà-màquina (què espero i com ho demano), mentre que el fine-tuning eleva la rellevància i consistència de la sortida. Combinats, permeten interfícies més útils, ràpides i fiables.

Prompt engineering a fons: tècniques que sí que mouen l'agulla

L'enginyeria de prompts no consisteix a provar cegues. Hi ha mètodes sistemàtics que milloren la qualitat sense tocar el model ni les teves dades base:

• Few-shot vs zero-shot. En la few‑shot afegeixes pocs exemples ben elegits perquè el model capti el patró exacte; a zero-shot et recolzes en instruccions i taxonomies clares sense exemples.
• Demostracions en context. Ensenya el format esperat (entrada → sortida) amb miniparelles. Això redueix errors de format i alinea expectatives, especialment si exigeixes camps, etiquetes o estils concrets a la resposta.
• Plantilles i variables. Defineix prompts amb espais reservats (placeholders) per a dades canviants. El prompt dinàmic és clau quan l'estructura d'entrada varia, per exemple, en neteja de dades de formularis o scraping on cada registre arriba amb un format diferent.
• Verbalisers. Són “traductors” entre l'espai textual del model i les teves categories de negoci (p.ex., mapejar “content” → “positiu”). Triar bons verbalitzadors millora la precisió i la consistència d'etiquetes, especialment en anàlisi de sentiment i classificació temàtica.
• Cadenes de prompts (prompt chaining). Dividiu una tasca complexa en passos: resumir → extreure mètriques → analitzar sentiment. Encadenar etapes fa el sistema més depurable i robust, i sol elevar la qualitat davant de “demanar-ho tot d'una tacada”.
• Bones pràctiques de format: marca rols (“Ets un analista…”), defineix l'estil (“respon a taules/JSON”), estableix criteris d'avaluació (“penalitza al·lucinacions, cita fonts quan existeixin”) i explicita què fer davant d'incertesa (p.ex., “si falta dada, indica 'desconegut'”).

Components del prompt tuning

A més de les instruccions naturals, el prompt tuning incorpora soft prompts (embeddings entrenables) que s'anteposen a l'entrada. Durant l'entrenament, el gradient ajusta aquests vectors per apropar la sortida a l'objectiu sense tocar la resta de pesos del model. És útil quan vols portabilitat i costos continguts.

Càrregues el LLM (per exemple, un GPT‑2 o similar), prepares els teus exemples i preprens els soft prompts a cada entrada. Entrenes només aquests embeddings, de manera que el model “veu” un prefaci optimitzat que guia el seu comportament a la teva tasca.

Aplicació pràctica: en un chatbot datenció al client, pots incloure en els soft prompts patrons de preguntes típiques i el to ideal de resposta. Això agilitza l'adaptació sense mantenir branques diferents de models ni consumir GPU de més.

Fine tuning en profunditat: quan, com i amb quines cauteles

El fine tuning reentrena (parcialment o totalment) els pesos d'un LLM amb un dataset objectiu per especialitzar-lo. És la millor via quan la tasca s'allunya del que el model va veure en preentrenament o exigeix terminologia i decisions fines.

No partiu d'una pissarra en blanc: models chat‑tuned com gpt‑3.5‑turbo ja vénen afinats per seguir instruccions. El teu fine tuning “repondera” aquest comportament, el que pot ser subtil i incert; per això convé experimentar amb el disseny de system prompts i entrades.

Algunes plataformes permeten encadenar un fine tune sobre un altre ja existent. Això reforça senyals útils amb menys cost de reentrenar des de zero, i facilita iteracions guiades per validació.

Tècniques eficients com LoRA insereixen matrius de baix rang per adaptar el model amb pocs paràmetres nous. Avantatge: menys consum, desplegaments àgils i reversibilitat (pots treure l'adaptació sense tocar la base).

Comparativa: prompt tuning vs fine tuning

• Procés. Fine tuning actualitza pesos del model amb un dataset etiquetatge de destinació; prompt tuning congela el model i només ajusta embeddings entrenables que es concatenen a l'entrada; el prompt engineering optimitza el text d'instruccions i d'exemples sense entrenament.
• Ajust de paràmetres. En fine tuning modifiques la xarxa; a prompt tuning només toques els “soft prompts”; en enginyeria de prompts no hi ha ajustament paramètric, només disseny.
• Format d'entrada. Fine tuning sol respectar el format original; prompt tuning reformula l'entrada amb embeddings i plantilles; l'enginyeria de prompts aprofita llenguatge natural estructurat (rols, restriccions, exemples).
• Recursos. Fine tuning és més costós (còmput, dades i temps); prompt tuning és més eficient; l'enginyeria de prompts és la més barata i ràpida d'iterar si el cas ho permet.
• Objectiu i riscos. Fine-tuning optimitza directe a la tasca amb risc de sobreajustament; prompt tuning alinea amb el que ja ha après pel LLM; l'enginyeria de prompts mitiga al·lucinacions i errades de format amb bones pràctiques sense tocar el model.

Dades i eines: la benzina del rendiment

• Qualitat de dades per endavant: curació, deduplicació, balanç, cobertura de casos límit i metadades riques són el 80% del resultat, tant si fas fine-tuning com prompt tuning.
• Automatitza pipelins: plataformes d'enginyeria de dades per a IA generativa (per exemple, solucions que creen “data products” reutilitzables) ajuden a integrar, transformar, lliurar i monitoritzar datasets per a entrenament i avaluació. Conceptes com “Nexsets” il·lustren com empaquetar dades llestes per a consum del model.
• Bucle de feedback: recull senyals d'ús real (èxits, errors, dubtes freqüents) i retroalimenta'ls als teus prompts, soft prompts o datasets. És la via més ràpida per guanyar precisió.
• Reproduïbilitat: versions prompts, soft prompts, dades i pesos adaptats. Sense traçabilitat, és impossible saber què va canviar el rendiment ni tornar a un estat bo si una iteració surt granota.
• generalització: en ampliar tasques o idiomes, valida que els teus verbalizers, exemples i etiquetes no estiguin sobreadaptats a un domini. Si canvieu de vertical, potser toqueu un fine‑tuning lleuger o nous soft prompts.
• I si canvio el prompt després d'un fine-tuning? En general, sí: el model hauria d'inferir estils i comportaments a partir del que s'ha après, no només repetir tokens. És precisament la gràcia d'un motor d'inferència.
• Tanca el cercle amb mètriques: més enllà de l'exactitud, mesura format correcte, cobertura, citació de fonts a RAG i satisfacció d'usuari. El que no es mesura no millora.

Triar bé entre prompts, prompt tuning i fine‑tuning no va de dogmes sinó de context: costos, terminis, risc derror, disponibilitat de dades i necessitat despecialització. Si claves aquests factors, la tecnologia es posa a favor teu i no al revés.

Daniel Terrasa

Redactor especialitzat en temes de tecnologia i internet amb més de deu anys d'experiència a diferents mitjans digitals. He treballat com a editor i creador de continguts per a empreses de comerç electrònic, comunicació, màrqueting en línia i publicitat. També he escrit a webs d'economia, finances i altres sectors. La meva feina és també la meva passió. Ara, a través dels meus articles a Tecnobits, intento explorar totes les novetats i noves oportunitats que el món de la tecnologia ens ofereix dia a dia per millorar les nostres vides.