Какво може да прави Copilot със сканиран документ (и какво не може)

Работа с Копилот и сканирани документи в PDF формат Това се превърна в един от най-често задаваните въпроси за всеки, който е Настройване на агенти с Copilot Studio или използване на Copilot в Microsoft 365. Много потребители предполагат, че ако Copilot „чете PDF файлове“, той ще може да разпознае и сканиран файл като изображение... и оттам започват недоразуменията.

В тази статия ще разгледаме, спокойно и директно, Какво може и какво не може да прави Copilot със сканиран документ, как се държи в Word и други продукти на Microsoft, каква е ролята на OCR (оптично разпознаване на символи) и как да настроите реалистичен работен процес, за да използвате сканираните PDF файлове като източници на знания.

Може ли Copilot директно да чете сканиран PDF файл?

Първото нещо, което трябва да се изясни, е, че Сканираният PDF файл не е текстов PDF файл.В „нормален“ PDF файл съдържанието се състои от избираем текст; при сканиране има само изображения на страниците, без достъпен текстов слой. От гледна точка на всеки езиков модел, ако предварително не се извърши OCR, няма какво да се чете.

Агентите на Студио Копилот, според текущата документация на Microsoft и опита на общността, Те не обработват текст от PDF файлове, базирани изцяло на изображения.За да може Copilot да разсъждава относно съдържанието, трябва да има предварително извлечен текст. Това важи както за агенти, използващи източници на знания, така и за сценарии за качване на документи в други приложения на Microsoft.

Някои потребители твърдят, че техният агент е „чел“ сканирани PDF файлове, но в повечето случаи това всъщност е така. файлът вече имаше скрит текстов слой (например, защото многофункционалният принтер или скенер автоматично прилага OCR) или е бил смесен PDF файл с текст и някои сканирани изображения. Без този текстов слой Copilot няма структурирано съдържание, с което да работи.

На практика: ако качите PDF файл, който съдържа само сканирани изображения и не сте го проверили чрез OCR, Copilot Studio няма да извлича текста от нищото.Ще ви е необходима предварителна стъпка за разпознаване на символи с OCR инструмент, в идеалния случай интегриран във вашия работен процес в Azure или във вашата система за управление на документи.

Как да интегрирате документи в Copilot Studio

Copilot Studio ви позволява да създавате агенти, които използват подкани и източници на знания да отговаря на потребителите. Една от най-важните нови функции е възможността за дефиниране на инструкции, които установяват логика за извличане и обогатяване на данни от документи и изображения.

На практика можете да конфигурирате съобщение в Copilot Studio, Power Apps или Power Automate, в което да посочите какво искате агентът да прави с получените файлове: анализиране, обобщаване, извличане на специфични полета, трансформиране на формат или да извършите друг вид обработка, съответстваща на вашия случай на употреба.

В рамките на тези заявки можете да добавите една или повече типове входни файловеMicrosoft заявява, че поддържаните типове файлове включват PNG, JPG, JPEG и PDF. Това означава, че агентът може да работи с документи и изображения, но не означава, че автоматично ще преобразува изображение в структуриран текст без помощта на процес на разпознаване.

Истинската стойност се крие във факта, че след като тази логика на обработка бъде дефинирана за агентите на Copilot, ръчният труд е значително намален за крайните потребители. Вместо всеки човек да трябва да отваря, копира, поставя и форматира, агентът винаги изпълнява една и съща логика, осигурявайки последователност и спестявайки време.

Освен това, тези подкани могат повторна употреба в различни агенти, приложения и автоматизирани работни процесиТова означава, че една единствена инвестиция в логически дизайн има мултипликативен ефект в цялата ви организация. В момента Microsoft посочва, че тези заявки могат да бъдат включени в агенти чрез теми; действията все още не се поддържат в този контекст, въпреки че пътната карта разширява възможностите.

Използване на OCR и Azure за обработка на сканирани PDF файлове

Когато вашите източници на знания или работни документи са сканирани PDF файлове, разумното решение е да въведете OCR стъпка преди достигане до CopilotТук влизат в действие Azure AI Document Intelligence (преди известен като Form Recognizer) и подобни услуги.

С Document Intelligence можете да изпращате сканираните си PDF файлове и извличане на текста и структуратаАбзаци, таблици, заглавия, ключови полета и др. Услугата е в състояние да открие съдържанието, дори ако изходният файл съдържа само изображения, и да го върне във формат, използваем от вашите приложения.

След като извлечете текста, имате няколко опции: можете Генериране на нов PDF файл с текстов слойМожете да запазите съдържанието като Word, JSON или HTML, или дори да съхраните структурираните данни директно в хранилище като Dataverse или SharePoint. От този момент нататък Copilot ще може да използва тези документи като справка.

Много практична стратегия е да се автоматизира този поток: когато някой качи сканиран PDF файл в конкретна библиотека на SharePoint, се задейства поток на Power Automate, който извиква Document Intelligence, запазете обработения резултат и го включва в базата знания, достъпна за вашия агент на Copilot Studio.

С този подход вашите потребители виждат само, че „качват файл и Copilot го разбира“, но отдолу има цял OCR процес. нормализиране и обогатяванеТози междинен слой е това, което прави разликата между агент, който не успява със сканирани PDF файлове, и такъв, който действително може да отговори на подробни въпроси за тях.

Приложения с документи и изображения в Copilot Studio

Друг важен аспект е как приложения, които приемат файлове В Copilot Studio, Microsoft описва функция, при която създателят на агента дефинира съобщение и добавя един или повече типове входни данни: изображение или документ, включително PNG, JPG, JPEG и PDF.

Когато проектирате тези заявки, можете да укажете логиката, която Copilot ще прилага: например, че извлича определени данни от фактура, че Обобщете съдържанието на дълъг доклад, който преобразува текста в таблица или прилага стандартизиран формат, който след това ще бъде използван повторно в други процеси.

Голямото предимство е, че след като заявката е конфигурирана, Всички потребители на агента ще се радват на една и съща автоматизацияТова елиминира променливостта, при която всеки човек копира и поставя данни по свой собствен начин, и избягва досадата от повтарящи се операции, които Copilot може да извърши в едно или две чат взаимодействия.

От административна гледна точка, тази функция се активира в по подразбиране, без да е необходимо да конфигурирате нищо допълнителноПросто създайте съобщението, изберете поддържаните типове файлове и след това го включете в една от темите на агента на Copilot.

Когато обсъждате файлове, които могат да включват изображения (като например сканирани PDF файлове), е важно да имате предвид, че логиката, която проектирате, трябва да вземе това предвид. Каква част от работата върши Copilot и каква част OCR?Ако текстът все още не съществува, Copilot се нуждае от друг технологичен слой, за да го предостави в структурирана форма.

Copilot в Word: писане, трансформиране и чат за документа

Отвъд Copilot Studio, друга съществена част от пъзела е как се държи Копилот в Word С дълги документи, отчети, предложения или всеки друг файл, който искате да прегледате или трансформирате, Copilot в Word използва съдържанието на документа, за да генерира чернови, резюмета и отговори на директни въпроси.

Когато отворите нов документ или вмъкнете празен ред в съществуващ, Word показва как работи... „Генериране на чернова с Copilot“Там можете да напишете просто искане („напишете бизнес писмо, представящо този продукт“) или нещо по-подробно с очертания, бележки или дори препратки към други файлове във вашата среда на Microsoft 365.

Ако имате лиценз за Microsoft 365 Copilot, можете да използвате бутона „За да се направи препратка към файл“ За да прикачите до три файла като основа за черновата, която Copilot ще генерира, можете също да въведете „/“, последвано от името на файла, за да го изберете бързо. Copilot ще използва само избраните от вас документи, без да осъществява достъп до други организационни данни, които не сте изрично посочили.

След като текстовото предложение е генерирано, можете да го запазите, да го изхвърлите или да поискате да бъде регенерираноВъзможно е да се навигира между различни версии, да се коригира тонът или дължината с нови инструкции („направете го по-сбито“, „използвайте по-формален тон“) и дори да се върнете назад и да промените оригиналното съобщение, за да насочите по-добре резултата.

В документи, които вече съдържат съдържание, Word включва бутона „Вдъхнови ме“което позволява на Copilot да продължи да пише от вече написаното от вас, като поддържа последователност със стила и темата на съществуващия текст.

Трансформирайте и структурирайте съдържание в Word с Copilot

Copilot в Word не е само за писане от нулата, но и улеснява работата на... пренаписване и полиране на документи които вече съществуват. Често редактирането и преструктурирането отнемат повече време от писането на нов текст и точно тук Copilot може да ви спести много време.

Ако изберете текстов фрагмент в документа, ще видите икона на Copilot в полето. От това меню можете да изберете опцията за „Автоматично пренаписване“ така че Copilot може да предложи алтернативни версии. Оттам можете да коригирате отговора, да добавите нови подробности или да поискате друга партида предложения.

Същият избор на текст ви позволява да активирате опцията за „Преглед като таблица“Copilot взема съдържанието и го превръща в таблица, което е много полезно, когато имате списъци или блокове с информация, които биха били по-ясни, ако бъдат представени в таблица. След това можете допълнително да прецизирате таблицата с инструкции като „добавяне на трета празна колона“.

И в двата случая идеята е Copilot да свърши тежката работа: преформулиране, структуриране и оформя информацията без да се налага да започвате всяка промяна от нулата. Вие все още имате окончателен контрол да решите какво да остане и какво да се изхвърли.

Важно е да запомните, че тези трансформации работят върху текста, който Word може да прочете. Ако сте вмъкнали сканиран PDF файл в документ на Word като обект или като сурово изображение, Копилотът няма да разбере съдържанието на това изображение освен ако предварително не е генериран достъпен текст (например чрез OCR на PDF файла и поставяне на резултата като текст в документа).

Разговор с Copilot относно документа

Друга мощна функция на Copilot в Word е панел за чатДостъпен е от раздела „Начало“ на лентата. Когато го отворите, можете да задавате въпроси относно документа, да поискате резюмета, пояснения, допълнителни идеи или дори таблици и списъци, които след това да вмъкнете в текста.

Когато помолите Copilot да обобщи документа или да отговори на конкретни въпроси, системата включва препратки с цитати до частите от текста, от които е взета информацията. Това е особено полезно в дълги или технически документи, защото знаете точно на кои параграфи е базирана.

Чатът не е ограничен до еднократно взаимодействие; можете да попитате разговори напред-назадТова ви позволява да прецизирате отговора си, да поискате повече подробности или различна гледна точка. Освен това, чатовете се съхраняват в историята на вашия Copilot, което ви позволява да се върнете към предишни разговори и да продължите оттам, откъдето сте спрели.

Отново, основното изискване е, че има достатъчно текстово съдържание за да може Copilot да работи. Microsoft посочва, че за да генерира резюмета, документът трябва да има поне 20 думи за справка и че има ограничения за дължина, например около 1,5 милиона думи или около 300 страници за подробни резюмета.

Ако документът съдържа графики, изображения или вградени файлове, Copilot ще се опита да използва наличната текстова информация, но Няма да реконструира сложна информация, която се намира само в сканирано изображение. без допълнителна поддръжка.

Автоматични обобщения и контрол на нивото на детайлност

В много случаи, особено при дълги отчети, Word може да покаже автоматично обобщение в горната част на документа, когато го отворите. Тази функция, достъпна за тези с лиценз за Microsoft 365 Copilot, които запазват документа в OneDrive или SharePoint, предоставя бърз преглед на ключови теми.

Ако преглеждате дълъг файл, който току-що ви е изпратен, това обобщение ви позволява добий обща представа без да се налага да го четете от началото до края. Като автор, това също ви помага да проверите дали съдържанието ви е организирано по начина, по който сте го замислили, и дали основните послания се предават ефективно.

Резюмето включва опция за Отвори го в чата и да задавате персонализирани въпроси. Оттам можете да поискате повече подробности по конкретен въпрос, да ги накарате да преструктурират информацията или да подготвите текст, който да споделите с други екипи.

Разделът „Дискусия“ Това ви позволява да видите обобщение на разговорите и коментарите в документа, така че не е нужно да преглеждате всяка анотация поотделно. Copilot показва ключовите обсъждани теми и свързаните с тях нишки, което значително ускорява съвместния преглед.

Можете също да се консултирате с раздела за „Заключения“ или ключови показателиТози раздел подчертава важни числа от документа или примери за въпроси, които можете да зададете на Copilot. Това е много полезно, когато търсите конкретни данни („печалба на акция“, „данни за растеж по региони“), без да знаете точно къде се намират те в текста.

Когато резюмето не се показва и други ограничения

Не винаги ще виждате автоматично обобщение, когато отворите документ. Ако файлът не е запазен в OneDrive или SharePoint или нямате подходящия лиценз, Word ще покаже опция за... ръчно генериране на резюме вместо да го показвате директно най-отгоре.

Ако нищо не се появи, винаги можете да отворите панела Copilot от лентата и да въведете заявка. „обобщете този документ“Копилот ще анализира текста и ще предостави резюме със секция с препратки, за да прегледа цитатите от източниците.

Microsoft посочва някои текущи ограничения: например необходимостта от минимално съдържание За да си струва генерирането на резюме, има приблизително ограничение на дължината за подробни резюмета и въпреки че Copilot взема предвид целия документ, не винаги предоставя цитати към много напреднало съдържание в текста.

Във всеки случай, тези обобщения все още зависят от документа, съдържащ текст, който може да се чете от систематаПрикаченото изображение или сканираният PDF файл, вмъкнати без OCR, няма да могат да бъдат анализирани задълбочено. В тези случаи най-добрата практика е първо да ги пуснете през инструмент за оптично разпознаване на символи (OCR).

Анализ на документи в Microsoft Sustainability Manager

Друг сценарий, в който Copilot очевидно работи с документи, е анализ на документи в Мениджър по устойчивост на MicrosoftТази функционалност ви позволява да качите между един и пет документа, свързани с ESG (екологични, социални и управленски) въпроси, и след това да задавате въпроси на Copilot относно тяхното съдържание.

Процесът е прост: от секцията „Анализ“ избирате „Анализ на документи (предварителна версия)“Качвате желаните файлове и те се съхраняват сигурно в Dataverse. След това системата навлиза във фаза на обработка, която може да отнеме до 30 минути; след като е готова, получавате известие, което показва, че можете да започнете да заявявате модела.

След това избирате кои документи искате да използвате като справка (до пет едновременно), отваряте панела Copilot и формулирайте въпросите сиCopilot анализира само маркираните документи и търси най-подходящия отговор въз основа на тези източници.

Типичен пример е качването на техническо ръководство в PDF формат, например за изчисляване на емисиите от обхват 3, и задаването на въпроси като „Какво представляват емисиите от Обхват 3 и защо са важни?“Copilot задава въпроси като „Какви методи предлага ръководството за тяхното изчисляване?“ или „Каква роля играе конкретен субект в разработването на документа?“ Copilot отговаря, като посочва съответните раздели от качените файлове.

Отново, ключовият момент е, че тези документи, дори и да са в PDF формат, трябва да бъдат четлив текстАко PDF файловете се сканират без текстов слой, процесът на приемане ще трябва да приложи OCR вътрешно или ще трябва да се качат предварително обработени версии. Без този слой семантичният анализ на Copilot не може да функционира правилно.

Идеи за използване на Copilot, поверителност и надеждност

Microsoft предлага множество идеи за експериментиране с Copilot в Word: генериране на вътрешни статии за благополучие, създаване на бизнес планове За нови услуги можете да пишете маркетингови планове или мотивационни писма. Можете също така да поискате списъци с рецепти, примерни формати на таблици или дори кратки креативни произведения като хайку.

Компанията обаче настоява, че разчитайки на GPT моделите на OpenAI, Копилотът може да доведе до неочаквани резултати или неточни. Важно е да прегледате съдържанието, да валидирате чувствителните данни и да имате предвид, че подобни заявки могат да генерират много сходни текстови съобщения между различни потребители.

Относно поверителността и социално разрешениеКопилотът разчита на рамка за сигурност, съответствие и защита на данните от Microsoft 365. Документите се обработват в съответствие с разрешенията на организацията, а чатовете се запазват като част от процеса, така че можете да ги вземете отново по-късно, винаги в рамките на ограниченията и правилата на вашия клиент.

Microsoft активно насърчава потребителите да Изпращане на обратна връзка Използване на бутоните „палец нагоре“ или „надолу“ в отговорите на Copilot. Тази обратна връзка помага за подобряване на качеството на отговорите и подобряване на практическата работа с продукти като Word, Sustainability Manager и самото Copilot Studio.

Що се отнася до общите ограничения, Microsoft посочва, че някои функции са достъпни само с определени лицензи, че дължината на документа влияе върху качеството на резюметата и че въпреки че моделите са мощни, Те не заместват напълно човешката проверкаособено в контекста на правно, финансово или регулаторно съответствие.

Предвид всичко гореизложено, ключът към работата с Втори пилот и сканирани документи Става въпрос за приемането, че моделът не „вижда“ магически текста в изображението: трябва да интегрирате OCR (например с Azure AI Document Intelligence), да генерирате надежден текстов слой и след това да използвате всички възможности на Copilot в Studio, Word и Sustainability Manager, за да обобщавате, пренаписвате, извличате данни и да отговаряте на сложни въпроси бързо и последователно.