Нарийн тохируулга гэж юу вэ, яагаад таны сануулгууд үүнтэй илүү сайн ажилладаг вэ?

хоорондын хил Сайн зааварчилгаагаар юунд хүрдэг вэ, загварыг нарийн тааруулснаар юунд хүрдэг вэ Энэ нь санагдахаас илүү нарийн зүйл боловч үүнийг ойлгох нь дунд зэргийн хариу үйлдэл болон үнэхээр хэрэгтэй системүүдийн хоорондын ялгааг бий болгодог. Энэхүү гарын авлагад би бодит төслүүдэд хатуу үр дүнд хүрэхийн тулд техник бүрийг хэрхэн сонгож, хослуулахыг жишээ болон харьцуулалтаар харуулах болно.

Зорилго нь онолын хувьд үлдэх биш, харин үүнийг өдөр бүр практикт хэрэгжүүлэх явдал юм: танд хурдан инженерчлэл эсвэл шуурхай тохируулга хийхэд хангалттай. Хэзээ нарийн тааруулахад хөрөнгө оруулах нь зүйтэй вэ?, энэ бүхэн RAG урсгалд хэрхэн нийцэж байгаа, ямар шилдэг туршлагууд зардлыг бууруулж, давталтыг хурдасгаж, мухардалд орохоос сэргийлнэ.

Шуурхай инженерчлэл, шуурхай тааруулах, нарийн тааруулах гэж юу вэ?

Үргэлжлүүлэхээсээ өмнө зарим ойлголтыг тодруулъя:

• Шуурхай инженерчлэл гэдэг нь нөхцөл байдал, хүлээлтийг сайтар тодорхойлсон тодорхой зааварчилгааг зохион бүтээх урлаг юм. аль хэдийн бэлтгэгдсэн загварыг чиглүүлэх. онд а chatbotжишээлбэл, загвар жинд хүрэхгүйгээр тодорхой бус байдлыг багасгах, нарийвчлалыг сайжруулахын тулд үүрэг, өнгө аяс, гаралтын хэлбэр, жишээг тодорхойлдог.
• Нарийн тохируулга нь домэйны нэмэлт өгөгдөл бүхий урьдчилан бэлтгэгдсэн загварын дотоод параметрүүдийг өөрчилдөг. тодорхой даалгавар дээр гүйцэтгэлээ нарийн тааруулах. Энэ нь танд тусгай нэр томъёо, нарийн төвөгтэй шийдвэр гаргах эсвэл эмзэг салбарт (эрүүл мэнд, хууль эрх зүй, санхүүгийн) дээд зэргийн нарийвчлал хэрэгтэй үед тохиромжтой.
• Шуурхай тааруулах нь загвар нь оролтын тексттэй зэрэгцүүлэн тайлбарлах боломжтой векторуудыг (зөөлөн сануулга) нэмдэг.Энэ нь бүхэл бүтэн загварыг дахин сургадаггүй: жингээ хөлдөөж, зөвхөн суулгагдсан "замуудыг" оновчтой болгодог. Бүрэн нарийн тааруулах зардалгүйгээр зан төлөвт дасан зохицохыг хүсвэл энэ нь үр дүнтэй дунд газар юм.

UX/UI дизайнд шуурхай инженерчлэл нь хүн-компьютерийн харилцан үйлчлэлийн тодорхой байдлыг сайжруулдаг (би юу хүлээж байгаа, би үүнийг хэрхэн хүсч байна), харин нарийн тааруулах нь гаралтын хамаарал, тууштай байдлыг нэмэгдүүлдэг. хосолсон, илүү ашигтай, илүү хурдан, найдвартай интерфэйсүүдийг бий болгох.

Гүнзгийрүүлсэн шуурхай инженерчлэл: зүүг хөдөлгөх техник

Шуурхай инженерчлэл нь сохор туршилтын тухай биш юм. Байна системчилсэн аргууд загвар эсвэл таны үндсэн өгөгдөлд хүрэхгүйгээр чанарыг сайжруулдаг:

• Цөөн шидэлт, тэг шидэлт. En цөөн тооны цохилт Загвар нь яг загвартай байхын тулд та хэд хэдэн сайн сонгосон жишээг нэмнэ үү; in тэг цохилт Та жишээгүйгээр тодорхой заавар, ангилал зүйд тулгуурладаг.
• Жагсаал цуглаанууд. Хүлээгдэж буй форматыг (оролт → гаралт) мини-хосоор харуул. Энэ нь форматын алдааг багасгаж, хүлээлтийг уялдуулдаг, ялангуяа танд хариу бичихдээ тодорхой талбар, шошго, хэв маяг шаардлагатай бол.
• Загвар ба хувьсагчӨгөгдлийг өөрчлөх орлуулагчтай сануулгыг тодорхойлох. Оролтын бүтэц өөр өөр байх үед, тухайлбал, бичлэг бүр өөр форматаар ирсэн тохиолдолд маягтын өгөгдлийг цэвэрлэх эсвэл хусах зэрэгт динамик сануулгууд гол үүрэг гүйцэтгэдэг.
• Үг хэллэгчдийнЭдгээр нь загварын текстийн орон зай болон таны бизнесийн категори (жишээ нь, "аз жаргалтай" → "эерэг" зураглал) хооронд "орчуулагчид" юм. Сайн үг хэлэгчийг сонгох нь шошгоны нарийвчлал, тууштай байдлыг сайжруулдаг, ялангуяа сэтгэлийн дүн шинжилгээ, сэдэвчилсэн ангилалд.
• Мэдээллийн мөрүүд (шууд гинжлэх). Нарийн төвөгтэй ажлыг үе шат болгон хуваах: нэгтгэн дүгнэх → хэмжигдэхүүнийг задлах → сэтгэл хөдлөлд дүн шинжилгээ хийх. Хамтдаа алхмуудыг холбох нь системийг дибаг хийх боломжтой, бат бөх болгодог бөгөөд "бүх зүйлийг нэг дор асуух"-тай харьцуулахад чанарыг сайжруулдаг.
• Сайн форматлах туршлага: үүргийг тэмдэглэнэ (“Та бол шинжээч…”), хэв маягийг тодорхойлно (“хүснэгт/JSON”-д хариулах”), үнэлгээний шалгуурыг тогтооно (“хий үзэгдэлийг шийтгэдэг, эх сурвалжийг байгаа үед нь иш татдаг”) болон тодорхойгүй тохиолдолд яах ёстойг тайлбарлана (жишээ нь, “өгөгдөл дутуу бол “үл мэдэгдэх” гэж зааж өгнө).

Шуурхай тааруулах бүрэлдэхүүн хэсгүүд

Шуурхай тохируулга нь байгалийн сануулгуудаас гадна оролтын өмнөх зөөлөн дохионуудыг (сургаж болохуйц суулгац) агуулдаг. Сургалтын явцад градиент нь гаралтыг зорилтот түвшинд ойртуулахын тулд тэдгээр векторуудыг тохируулдаг. загварын бусад жинд нөлөөлөхгүйгээр. Энэ нь зөөврийн болон хямд өртөгтэй байхыг хүсч байвал хэрэг болно.

Та LLM-ийг (жишээ нь, GPT‑2 эсвэл үүнтэй төстэй) байршуулж, жишээнүүдээ бэлдэж, Та оруулга болгонд зөөлөн сануулга бэлддэгТа зөвхөн эдгээр суулгацуудыг сургадаг тул загвар нь таны даалгаварт түүний зан төлөвийг чиглүүлдэг оновчтой оршил үгийг "хардаг".

Практик хэрэглээ: Харилцагчийн үйлчилгээний чатбот дээр та ердийн асуултын хэв маяг, хамгийн тохиромжтой хариултын аяыг зөөлөн сануулгад оруулах боломжтой. Энэ нь загваруудын өөр өөр салбарыг хадгалахгүйгээр дасан зохицох үйл явцыг хурдасгадаг. бас илүү их GPU хэрэглэхгүй.

Гүнзгий нарийн тааруулах: хэзээ, хэрхэн, ямар болгоомжтойгоор

Нарийн тохируулга нь зорилтот өгөгдлийн багц бүхий LLM-ийн жинг (хэсэгчилсэн эсвэл бүрэн) дахин сургадаг. үүнийг мэргэшүүлэх. Даалгавар нь өмнөх бэлтгэлийн үеэр загвар өмсөгчийнхөө харсан зүйлээс хазайсан эсвэл нарийн нэр томъёо, шийдвэр гаргах шаардлагатай үед энэ нь хамгийн сайн арга юм.

Та хоосон хуудаснаас эхлэхгүй: гэх мэт чатаар тааруулсан загварууд gpt-3.5-турбо Тэд зааврыг дагахаар аль хэдийн тохируулагдсан байна. Таны нарийн тохируулга нь энэ зан үйлд "хариу" өгдөг, энэ нь нарийн бөгөөд тодорхой бус байж болох тул системийн сануулгууд болон оролтын дизайнтай туршилт хийх нь зүйтэй.

Зарим платформууд нь одоо байгаа платформ дээр нарийн тааруулах боломжийг олгодог. Энэ нь ашигтай дохиог бага зардлаар бэхжүүлдэг. эхнээс нь дахин сургах, баталгаажуулах удирдамжтай давталтуудыг хөнгөвчлөх.

LoRA гэх мэт үр дүнтэй техникүүд нь бага зэрэглэлийн матрицуудыг оруулж, загварыг цөөн хэдэн шинэ параметрээр тохируулдаг. Давуу тал: бага зарцуулалт, уян хатан байршуулалт, эргэх боломжтой (та суурьт хүрэлгүйгээр дасан зохицох ажлыг "арилгаж" болно).

Харьцуулалт: шуурхай тааруулах ба нарийн тааруулах

• БоловсруулалтНарийн тохируулга нь загварын жинг шошготой зорилтот өгөгдлийн багцаар шинэчилдэг; шуурхай тааруулах нь загварыг хөлдөөж, зөвхөн оролттой холбосон сургах боломжтой суулгацуудыг тохируулдаг; Шуурхай инженерчлэл нь зааврын текст болон сургагдаагүй жишээнүүдийг оновчтой болгодог.
• Параметрүүдийг тохируулахНарийн тааруулахдаа та сүлжээг өөрчилдөг; шуурхай тааруулахдаа та зөвхөн "зөөлөн сануулга" дээр хүрнэ. Шуурхай инженерчлэлийн хувьд параметрийн тохируулга байхгүй, зүгээр л дизайн хийдэг.
• Оролтын форматНарийн тохируулга нь ихэвчлэн анхны форматыг хүндэтгэдэг; Шуурхай тааруулах нь оруулгыг оруулга болон загвараар дахин томъёолдог; Шуурхай инженерчлэл нь бүтэцлэгдсэн байгалийн хэлийг (үүрэг, хязгаарлалт, жишээ) хөшүүрэг болгодог.
• НөөцНарийн тааруулах нь илүү үнэтэй (тооцоолол, өгөгдөл, цаг хугацаа); шуурхай тааруулах нь илүү үр дүнтэй; Шуурхай инженерчлэл нь хэрэв зөвшөөрвөл дахин давтагдах хамгийн хямд бөгөөд хамгийн хурдан арга юм.
• Зорилго ба эрсдэлНарийвчилсан тохируулга нь даалгаврыг шууд оновчтой болгож, хэт тохируулах эрсдэлийг арилгадаг; Шуурхай тааруулах нь LLM дээр аль хэдийн сурсан зүйлтэй нийцдэг; Шуурхай инженерчлэл нь загварт хүрэлгүйгээр шилдэг туршлагын тусламжтайгаар хий үзэгдэл, форматын алдааг багасгадаг.

Өгөгдөл ба хэрэгсэл: гүйцэтгэлийн түлш

• Эхлээд мэдээллийн чанар: эдгээх, давхардал арилгах, тэнцвэржүүлэх, захын тохиолдлын хамрах хүрээ болон баялаг мета өгөгдөл Нарийн тааруулах эсвэл шуурхай тааруулах эсэхээс үл хамааран тэдгээр нь үр дүнгийн 80% юм.
• Дамжуулах хоолойг автоматжуулах: үүсгэгч AI-д зориулсан өгөгдлийн инженерчлэлийн платформууд (жишээ нь, дахин ашиглах боломжтой дата бүтээгдэхүүнийг бий болгох шийдлүүд) мэдээллийн багцыг нэгтгэх, хувиргах, хүргэх, хянахад тусална сургалт, үнэлгээний зориулалттай. "Nexsets" гэх мэт ойлголтууд нь загвар ашиглахад бэлэн өгөгдлийг хэрхэн багцлахыг харуулдаг.
• Санал хүсэлтийн гогцоо: Бодит хэрэглээний дохиог (амжилт, алдаа, байнга асуудаг асуултууд) цуглуулж, өөрийн сануулга, зөөлөн сануулга эсвэл мэдээллийн багцад буцааж оруулаарай. Энэ бол нарийвчлалыг олж авах хамгийн хурдан арга юм.
• давтах чадвар: Хувилбарын сануулга, зөөлөн сануулга, өгөгдөл, тохируулсан жин. Мөшгих чадваргүй бол гүйцэтгэл юу өөрчлөгдсөнийг мэдэх эсвэл давталт амжилтгүй болсон тохиолдолд сайн төлөв рүү буцах боломжгүй юм.
• Ерөнхий ойлголтДаалгаврууд эсвэл хэлийг өргөжүүлэхдээ таны үг хэллэгүүд, жишээнүүд, шошго нь тодорхой домэйнд хэт тохируулагдаагүй эсэхийг шалгаарай. Хэрэв та босоо чиглэлийг сольж байгаа бол бага зэрэг нарийн тохируулга хийх эсвэл шинэ зөөлөн сануулгыг ашиглах шаардлагатай байж магадгүй.
• Хэрэв би нарийн тохируулсны дараа мэдэгдлийг өөрчилвөл яах вэ? Ерөнхийдөө тийм: загвар нь зүгээр л давтагдах тэмдэг биш харин сурсан зүйлээсээ хэв маяг, зан төлөвийг гаргах ёстой. Энэ бол дүгнэлтийн хөдөлгүүрийн гол цэг юм.
• Хэмжүүрээр гогцоог хааНарийвчлалаас гадна зөв формат, хамрах хүрээ, RAG дахь эх сурвалжийн ишлэл, хэрэглэгчийн сэтгэл ханамжийг хэмждэг. Хэмжигдээгүй зүйл сайжрахгүй.

Сануулгууд, шуурхай тааруулах, нарийн тааруулахын хооронд сонголт хийх нь догма биш харин контекстийн асуудал юм.: зардал, хугацаа, алдааны эрсдэл, мэдээллийн хүртээмж, мэргэжлийн ур чадвар. Хэрэв та эдгээр хүчин зүйлсийг хадаж чадвал технологи нь эсрэгээр биш харин таны талд ажиллах болно.

Даниел Терраса

Редактор нь технологи, интернетийн асуудлаар мэргэшсэн бөгөөд янз бүрийн дижитал медиа дээр арав гаруй жилийн туршлагатай. Би цахим худалдаа, харилцаа холбоо, онлайн маркетинг, сурталчилгааны компаниудад редактор, контент бүтээгчээр ажиллаж байсан. Би бас эдийн засаг, санхүү болон бусад салбарын вэб сайтууд дээр бичсэн. Миний ажил бас миний хүсэл тэмүүлэл. Одоо миний нийтлэлүүдээр дамжуулан Tecnobits, Би өдөр бүр бидний амьдралыг сайжруулахын тулд технологийн ертөнц бидэнд санал болгож буй бүх мэдээ, шинэ боломжуудыг судлахыг хичээдэг.