디파이가 답변을 지어내는 것을 방지하고 환각을 줄이는 방법

분명 여러분도 이런 경험 해보셨을 겁니다. 인공지능에게 특정 정보를 물어보면 놀라울 정도로 정확하게 대답하는데, 막상 확인해 보려고 하면 뭔가 다르다는 걸 알게 되는 거죠. 그는 그걸 완전히 지어냈어요.이 현상은 인공지능 환각으로 알려져 있으며, 심각한 문제로 이어질 수 있습니다. 기술적, 법적, 재정적 또는 건강 정보.

이는 기계가 망상에 빠져 있거나 의도적으로 거짓말을 한다는 의미가 아닙니다. 언어 모델은 계산을 통해 응답을 생성합니다. 다음에 나올 가능성이 가장 높은 단어는 무엇일까요?그 결과, 그들은 완벽하게 다듬어진 설명이면서도 동시에 완전히 거짓인 설명을 만들어낼 수 있습니다.

Dify와 같은 플랫폼은 모델을 자체 문서에 연결하고, 더욱 엄격한 지침을 설정하며, 사용자에게 표시하기 전에 정보를 검증하는 워크플로를 설계함으로써 이러한 위험을 줄이는 데 도움을 줍니다. 그러나 어떤 단일 구성도 답변 검증의 필요성을 완전히 없애지는 못합니다..

인공지능은 왜 정보를 만들어내는가?

LLM(Large Language Model)은 검증된 답변을 저장하는 데이터베이스처럼 작동하지 않습니다. LLM의 역할은 다음과 같습니다. 학습 과정에서 얻은 패턴을 기반으로 텍스트를 생성합니다. 그리고 각 대화에 포함된 맥락.

질문이 모호하거나, 관련 자료가 부족한 주제를 다루거나, 맥락에서 찾을 수 없는 정보가 필요한 경우, 이 모델은 다음과 같은 역할을 수행할 수 있습니다. 빈칸을 타당한 데이터로 채우세요그 결과는 문법적으로 맞고 타당해 보이지만, 반드시 현실과 일치하는 것은 아닙니다.

학습에 사용된 정보가 오래되었거나, 모순을 포함하고 있거나, 연구 주제를 충분히 다루지 못하는 경우에도 오류가 발생할 수 있습니다. 인터넷에 연결된 모델조차도 이러한 오류를 범할 수 있습니다. 출처를 잘못 해석하거나, 여러 페이지의 데이터를 혼합하는 행위 또는 어떤 진술을 잘못된 문서에 인용하는 경우.

요청의 표현 방식 또한 중요합니다. 사용자가 어떤 사건이 발생했다고 가정하거나 명확한 답변을 요구하는 경우, 모델은 그러한 잘못된 전제를 따를 수 있습니다. 따라서 사용자에게 다음과 같이 질문하는 것이 유용합니다. 정보가 부족할 때를 인지하세요 그리고 그것은 입증된 사실과 추론을 명확하게 구분합니다.

Dify는 무엇이며 어떻게 도움이 될 수 있을까요?

Dify는 시각적 인터페이스를 통해 인공지능 애플리케이션을 제작할 수 있는 오픈 소스 플랫폼입니다. 이를 통해 서로 다른 공급업체의 모델을 연결하고, 챗봇을 만들고, 워크플로우를 설계하고, 외부 도구를 통합하세요. 전체 인프라를 처음부터 구축할 필요 없이.

Dify를 사용한다고 해서 선택된 모델의 한계가 완전히 사라지는 것은 아닙니다. 애플리케이션이 추가적인 컨텍스트나 유효성 검사 규칙 없이 LLM을 사용하는 경우, 여전히 정보를 조작할 수 있습니다. Dify의 장점은 바로 이러한 한계를 극복할 수 있다는 점입니다. 모델을 중심으로 아키텍처를 구축합니다. 수신하는 데이터와 응답 생성 방식을 더 효과적으로 제어하기 위해서입니다.

워크플로우 및 챗플로우 애플리케이션을 통해 문서 검색, API 쿼리, 모델을 이용한 정보 처리, 결과 전달 전 조건 적용 등 다양한 단계를 체계적으로 구성할 수 있습니다. 또한 다음과 같은 기능도 가능합니다. Dify를 Ollama와 연결하세요 로컬 모델과 함께 작업합니다.

문서 기반 애플리케이션 개발을 위한 다른 플랫폼을 고려 중이시라면, 저희 플랫폼을 확인해 보세요. Dify와 RAGFlow 비교.

RAG를 사용하여 직접 작성한 문서로 답변하세요.

환각을 줄이는 데 가장 유용한 기능 중 하나는 다음과 같습니다. RAG(Recovery Augmented Generation)는 더 잘 알려진 기술입니다.이 시스템을 통해 애플리케이션은 모델에게 응답을 작성하도록 요청하기 전에 지식 기반에서 정보를 검색할 수 있습니다.

이 과정은 세 단계로 나뉩니다. 첫째, Dify는 질문과 가장 관련성이 높은 것으로 보이는 문서 조각들을 추출합니다. 둘째, 추출된 조각들을 모델에 전달되는 컨텍스트에 통합합니다. 마지막으로, LLM(로지스틱 회귀 모델)이 이 과정을 수행합니다. 검색된 정보를 사용하여 응답을 생성합니다..

따라서, 해당 애플리케이션은 모델이 학습 과정에서 습득한 지식에만 의존하는 것은 아닙니다. 참고하실 수 있습니다. 매뉴얼, 내부 규정, 제품 데이터 시트, 자주 묻는 질문 또는 지식 기반에 포함된 기타 문서.

이 접근 방식은 특히 다음과 같은 경우에 유용합니다. 문서용 비공개 검색 엔진을 만드세요특정 회사 정보를 바탕으로 응답해야 하는 기술 지원 도우미 또는 챗봇입니다.

하지만 RAG는 모든 응답이 정확하다는 것을 보장하지 않습니다. 검색 시스템이 관련 없는 부분을 선택하거나, 원본 문서가 오래되었거나, 모델이 내용을 잘못 해석할 수도 있습니다. 따라서 논의를 통해 문제를 해결하는 것이 유용합니다. 환각 증상이 완전히 사라지는 것이 아니라 감소하는 것입니다..

Dify에서 지식 기반을 만드는 방법

첫 번째 단계는 Dify의 지식 섹션으로 이동하여 새 데이터베이스를 만드는 것입니다. 그런 다음 애플리케이션에서 사용할 문서를 가져오고 선택할 수 있습니다. 임베딩 모델 검색을 용이하게 하기 위해 콘텐츠를 표시하는 책임을 맡고 있습니다.

색인 생성 과정에서 Dify는 문서를 여러 조각으로 나눕니다. 이 과정은 다음과 같은 이유로 중요합니다. 복구 품질은 정보가 어떻게 분리되었는지에 따라 크게 좌우됩니다.:

• 조각이 너무 작으면 필요한 맥락을 잃을 수 있습니다.
• 지나치게 큰 조각은 관련 없는 정보를 포함할 수 있습니다.
• 중복 기능은 두 부서 사이에 있는 아이디어를 보존하는 데 도움이 됩니다.
• 메타데이터를 사용하면 문서, 카테고리 또는 날짜별로 검색 범위를 좁힐 수 있습니다.

파일 처리가 완료되면 복구 테스트 기능을 사용하십시오. 실제 질문을 입력하고 시스템이 어떤 조각을 반환하는지 확인하십시오. 결과에 정답이 포함되어 있지 않으면, 문제는 회복 과정에 있다. 단순히 프롬프트를 바꾸는 것만으로는 해결되지 않을 것입니다.

Dify를 사용하면 여러 가지를 결합할 수 있습니다. 의미 검색 및 키워드 매칭검색된 스니펫을 관련성에 따라 재정렬하는 재순위 모델을 사용할 수도 있습니다. 적절한 구성은 언어, 문서 유형 및 사용자가 질문할 내용에 따라 달라집니다.

증거 없이 응답하지 않도록 워크플로를 구성하십시오.

지식 기반을 준비한 후에는 애플리케이션에 연결해야 합니다. 시각적 워크플로에서는 지식 검색 노드를 추가하고, 검색 결과를 모델 노드로 보내고, 다음과 유사한 명령어를 사용할 수 있습니다.

Responde utilizando únicamente la información incluida en el contexto.

Si el contexto no contiene datos suficientes para responder, indica claramente que no has encontrado la información.

No inventes nombres, fechas, cifras, enlaces ni referencias.

Diferencia los hechos presentes en las fuentes de cualquier inferencia necesaria.

이 지침은 모델이 항상 이런 식으로 동작하도록 수학적으로 강제하는 것은 아니지만, 이는 데이터가 부족할 때 답변을 제공해야 한다는 압박감을 줄여줍니다.또한 질문과 관련성이 거의 없는 결과를 제외하기 위해 관련성 임계값을 설정하는 것이 좋습니다.

검색 결과가 유효한 조각을 반환하지 않으면, 해당 흐름은 조건을 사용할 수 있습니다. 정보가 없음을 나타내는 메시지를 직접 표시합니다.이러한 방식으로 결정은 모델이 프롬프트에 따르는지 여부에만 의존하지 않습니다.

인용 및 출처 표기 기능을 활성화하는 것도 권장합니다. Dify는 검색된 스니펫과 답변을 연결하여 사용자가 원본 문서를 참조할 수 있도록 합니다. 출처를 명시한다고 해서 답변이 자동으로 참이 되는 것은 아닙니다. 이는 검증 과정을 상당히 용이하게 해줍니다..

모델, 흐름, 에이전트의 차이점

언어 모델은 입력을 받아 출력을 생성합니다. 워크플로는 출력을 추가합니다. 정의된 단계, 조건 및 도구의 순서반면 에이전트는 어떤 도구를 사용할지 결정하고 목표를 달성하기 위해 여러 가지 행동을 반복할 수 있습니다.

예를 들어, 워크플로는 문서를 검색하고, 특정 필드를 추출하고, 항상 동일한 순서로 요약을 생성하도록 구성할 수 있습니다. 상담원은 필요한 경우 다음 작업을 수행할지 여부를 결정할 수 있습니다. 정보를 검색하거나, API를 참조하거나, 계산을 수행하세요. 접수된 요청에 따라 다릅니다.

Dify는 플러그인, OpenAPI 사양, 기타 워크플로 및 MCP 서버를 통해 도구를 사용할 수 있도록 지원합니다. 이러한 통합을 통해 다음과 같은 기능을 제공할 수 있습니다. 정보를 업데이트하거나 외부 서비스에서 작업을 수행합니다..

에이전트가 미리 정의된 워크플로보다 반드시 더 신뢰할 수 있는 것은 아닙니다. 에이전트는 더 큰 자율성을 가지고 있지만, 잘못된 도구를 선택하거나, 결과를 잘못 해석하거나, 필요 이상으로 많은 단계를 실행할 수도 있습니다. 민감한 프로세스의 경우 미리 정의된 워크플로를 사용하는 것이 더 바람직합니다. 권한을 제한하고, 최대 반복 횟수를 설정하고, 사람의 확인을 요청하세요. 돌이킬 수 없는 조치를 취하기 전에.

두 번째 단계를 통해 답을 확인하세요

정확도가 특히 중요한 애플리케이션에서는 결과를 표시하기 전에 검토 단계를 추가할 수 있습니다. 모델의 두 번째 노드를 사용하면 됩니다. 초안과 복구된 조각들을 비교하십시오. 출처로 뒷받침되지 않는 주장을 지적하십시오.

또 다른 방법은 첫 번째 모델이 응답, 사용된 조각, 신뢰도 지표를 포함하는 구조화된 출력을 반환하도록 강제하는 것입니다. 그러면 흐름이 다음과 같이 진행될 수 있습니다. 소스가 누락된 경우 결과를 거부합니다. 또는 증거 수준이 정해진 기준에 미치지 못하는 경우.

다른 모델을 검증 도구로 사용하면 일부 오류를 감지하는 데 도움이 되지만, 실제 검증을 대체할 수는 없습니다. 특히 두 모델 모두 불완전한 정보를 받는 경우, 두 모델이 동일한 잘못된 주장에 동의할 수 있습니다. 가능한 경우, 검증은 원본 문서, 신뢰할 수 있는 API 또는 프로그래밍된 규칙을 기반으로 해야 합니다..

Dify에서 환각 증상을 줄이는 팁

올바른 구성은 애플리케이션 유형에 따라 다르지만, 이러한 방법들은 도움이 됩니다. 응답의 신뢰도를 향상시키다:

• 신뢰할 수 있는 출처에서 제공하는 최신의 잘 구성된 문서를 사용하십시오.
• 실제 사용자 질문으로 복구 기능을 테스트하세요.
• 모델에게 정보가 없을 때 명시적으로 알려주도록 요청하세요.
• 사용자가 원문을 참조할 수 있도록 인용 기능을 활성화하세요.
• 데이터가 불완전할 때는 명확한 답을 요구하는 것을 피하십시오.
• 이는 각 에이전트가 사용할 수 있는 도구와 권한을 제한합니다.
• 반복되는 오류를 감지하기 위해 대화를 녹음하세요.
• 의료, 법률 또는 금융 관련 결정에 인간의 검토를 도입하십시오.

단순히 링크를 요구하는 것만으로는 충분하지 않습니다.AI는 웹 주소를 조작하거나 주장을 뒷받침하지 않는 페이지를 인용할 수 있습니다. 특히 답변이 중요한 결정에 영향을 미치는 경우, 출처를 공개하고 검증해야 합니다. 저희가 설명한 것과 같은 문서 중심 도구는 이러한 문제를 해결하는 데 유용합니다. NotebookLM 가이드 및 글꼴 관리또한 그들은 이러한 과정을 촉진합니다.

Dify는 보다 세밀하게 제어되는 애플리케이션을 구축하는 데 필요한 구성 요소를 제공하지만, 궁극적인 안정성은 다음 사항에 달려 있습니다. 문서의 품질, 검색, 지침 및 워크플로에 포함된 검사RAG, 인용 및 검증 노드는 조작된 응답을 크게 줄여주지만, 중요한 용도에서는 여전히 인간의 감독이 필수적입니다.