حل لمشاكل الاتصال بين LiteLLM و OpenAI

يتيح لك برنامج AnythingLLM إنشاء مساعد ذكاء اصطناعي قادر على الاستعلام عن مستنداتك، واستخدام نماذج محلية، وتنظيم المعلومات في مساحات عمل منفصلة. يمكن تثبيته على جهاز كمبيوتر شخصي أو نشره على خادم باستخدام Docker، وذلك حسب حاجتك لاستخدامه بشكل فردي أو مشاركته مع الآخرين.

على الرغم من أنه يمكن أن يعمل بشكل كامل محلياً، تعتمد الخصوصية على مزودي الخدمة الذين تقوم بتكوينهم.إذا قمت بتوصيل خدمات خارجية لنموذج اللغة أو التضمينات أو أي أدوات إضافية، فقد تغادر بعض المعلومات بنيتك التحتية.

أي إصدار تختار: سطح المكتب أم Docker؟

يُعدّ برنامج AnythingLLM Desktop الخيار الأمثل للمستخدم الفردي. وهو متوفر لأنظمة Windows و macOS و Linux، ويستخدم مُثبِّتًا قياسيًا، ويتضمن مُزوِّدًا مُدمجًا للنماذج المحلية. كما يُتيح لك العمل مع RAGs والمستندات والوكلاء دون الحاجة إلى إعداد خادم.

تم تصميم إصدار Docker للوصول إليه من خلال متصفح، وإنشاء مثيل متعدد المستخدمين، وإدارة الأذونات، أو نشر أداة دردشة على صفحة ويب. على عكس إصدار سطح المكتب، لا يتضمن Docker موفر LLM مدمجًالذلك، ستحتاج إلى ربطه بـ Ollama أو LM Studio أو واجهة برمجة تطبيقات متوافقة.

يمكن تشغيل Docker مبدئيًا في وضع المستخدم الواحد. يتيح لك تفعيل وضع المستخدمين المتعددين إنشاء حسابات بأدوار مختلفة وتقييد الوصول إلى مساحات العمل. ضع في اعتبارك أن لا يمكن التراجع عن التغيير إلى وضع المستخدمين المتعددين من التطبيق.

كيفية تثبيت AnythingLLM باستخدام Docker

أولاً، يجب تثبيت Docker. على نظامي Linux أو macOS، يمكنك إنشاء مجلد دائم وتشغيل الصورة الرسمية باستخدام هذه الأوامر:

export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p "$STORAGE_LOCATION"
touch "$STORAGE_LOCATION/.env"

docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v "$STORAGE_LOCATION:/app/server/storage" \
  -v "$STORAGE_LOCATION/.env:/app/server/.env" \
  -e STORAGE_DIR="/app/server/storage" \
  --restart unless-stopped \
  mintplexlabs/anythingllm:latest

ثم يمكنك فتح http://localhost:3001وحدة التخزين المثبتة على /app/server/storage إنه مهم لأن يتيح لك ذلك حفظ المستندات والإعدادات وقاعدة البيانات. عند إعادة تشغيل الحاوية أو استبدالها.

إذا كنت بحاجة إلى استخدام استخراج البيانات من مواقع الويب، فإن الوثائق الرسمية تشير إلى أنه يجب عليك إضافة --cap-add SYS_ADMINتمنح هذه الإمكانية امتيازات واسعة للحاوية، لذا لا يُنصح بتضمينها إذا لم تكن ستستخدم تلك الوظيفة.

على خادم يمكن الوصول إليه من الإنترنت، ضع برنامج AnythingLLM خلف خادم وكيل عكسي مع بروتوكول HTTPS. قم بتقييد المنافذ باستخدام جدار الحماية وقم بتمكين المصادقةلا تعرض نسخة غير محمية مباشرة عبر المنفذ 3001.

كيفية ربط أولاما أو أي مزود آخر للذكاء الاصطناعي

أثناء الإعداد الأولي، يجب عليك تحديد نموذج اللغة، ومزود التضمينات، وقاعدة بيانات المتجهات. يتضمن AnythingLLM نموذج تضمين يعمل على وحدة المعالجة المركزية ويستخدم LanceDB كأساس متجه افتراضي، ولكن في Docker، سيتعين عليك تكوين LLM بشكل منفصل.

إذا كان برنامجا Ollama أو LM Studio يعملان على نفس جهاز الكمبيوتر، لا تستخدم localhost كعنوان من AnythingLLMلأن هذا العنوان داخل الحاوية يشير إلى الحاوية نفسها. يمكنك استخدام ذلك على نظامي التشغيل ويندوز وماك أو إس host.docker.internalبالنسبة لتثبيت نظام لينكس مع الشبكة الافتراضية، تقترح وثائق AnythingLLM العنوان التالي 172.17.0.1ومع ذلك، قد يختلف هذا إذا قمت بتخصيص شبكة Docker.

يمكنك أيضًا ربط خدمات مثل OpenAI أو Anthropic أو Gemini. في هذه الحالة، ستخضع الرسائل والسياق المُسترد المُرسل إلى النموذج لسياسة خصوصية مزود الخدمة الخارجي.

كيف تعمل مساحات العمل ونظام RAG

تتيح لك مساحات العمل فصل المستندات والمحادثات والتعليمات. على سبيل المثال، يمكنك تخصيص مساحة للأدلة الفنية وأخرى لوثائق العمل دون خلط المصادر المستخدمة في الردود.

يقتصر المستند المرفق بالمحادثة على تلك السلسلة ويمكن أن يتضمن نصها الكامل ضمن السياق. ومع ذلك، عند تضمينه باستخدام RAG، يقوم برنامج AnythingLLM بتقسيمها إلى أجزاء، وإنشاء متجهاتها، وجعلها متاحة. لجميع المحادثات داخل مساحة العمل. في وضع المستخدمين المتعددين، ستكون متاحة أيضًا لأي شخص لديه حق الوصول إلى مساحة العمل تلك.

إذا لم يسترجع النظام الجزء الصحيح، يمكنك التحقق من الحد الأقصى لعدد النتائج وعتبة التشابه. الوثائق نفسها... يوصي بتجربة الخيار غير المقيد عند التخلص من الأجزاء ذات الصلة.

يمكنك أيضًا تثبيت مستند لإدراج نصه الكامل في السياق. هذا الخيار مناسب فقط عندما يتناسب حجم الملف مع نافذة السياق، حيث قد يؤدي إلى زيادة استهلاك الموارد ووقت الاستجابة والتكلفة في حال استخدام واجهة برمجة تطبيقات خارجية.

كيفية استخدام الوكلاء والتدفقات وواجهة برمجة التطبيقات

يمكن للوكلاء استخدام الأدوات للبحث عن المعلومات باستخدام RAGs، والاستعلام عن صفحات الويب، وحفظ الملفات، أو تنفيذ التدفقات المُعدة مسبقًا. وتعتمد وظائفهم على النموذج المُختار، حيث تواجه بعض النماذج الصغيرة أو ذات التكميم العالي صعوبة في توليد استدعاءات الأدوات بشكل صحيح.

إذا ظهر الرمز المقابل في مربع الكتابة، فيجب عليك ابدأ العريضة بـ @agentعندما لا يظهر هذا المؤشر، يمكن لبرنامج AnythingLLM تفعيل الأدوات المتوافقة تلقائيًا. لإنهاء جلسة بدأت يدويًا، استخدم الأمر /exit.

يحتوي AnythingLLM أيضًا على واجهة برمجة تطبيقات لإدارة المستندات ومساحات العمل والمحادثات. يمكن العثور على الوثائق التفاعلية في /api/docs داخل مثيلك. احمِ مفاتيح واجهة برمجة التطبيقات (API)، لأن أي شخص يحصل على أحدها سيتمكن من تنفيذ العمليات المرتبطة بصلاحياتها.

تتيح لك مسارات الوكلاء ربط الإجراءات، مثل الاستعلام عن صفحة، ومعالجة محتواها، وإرجاع مجموعة مختارة من النتائج. قبل أتمتة المهام المهمة، تحقق من سير العمل باستخدام بيانات الاختبار وحدد الأدوات المتاحة.

الخصوصية والمشاكل الشائعة

للحفاظ على معالجة البيانات داخل بنيتك التحتية، ينبغي استخدام نموذج محلي، ومزود تضمين محلي، وقاعدة بيانات متجهة مستضافة على نفس النظام. كما ينبغي تجنب الأدوات التي تستعلم عن خدمات خارجية. لا يضمن استخدام أولاما لإدارة التعلم مدى الحياة في حد ذاته أن يكون كل التدفق محليًا..

يجمع تطبيق AnythingLLM بيانات القياس عن بُعد بشكل مجهول، ويمكن تعطيل هذه الميزة في إعدادات الخصوصية الخاصة بالتطبيق. وحتى بعد تعطيلها، قد تستمر الاتصالات الخارجية في حال استخدام واجهات برمجة التطبيقات (APIs) أو النماذج عن بُعد أو عمليات البحث على الويب أو الموارد التي تم تنزيلها من الإنترنت.

إذا أظهر Docker أخطاء في الأذونات، تحقق من أن معرف المستخدم (UID) ومعرف المجموعة (GID) المُكوّنين يتطابقان مع معرف المستخدم ومعرف المجموعة الخاصين بمالك المجلد الدائم.تستخدم الصورة عادةً القيمة 1000، ولكن هذا المعرف ليس هو نفسه في جميع الأنظمة.

قبل تحديث الحاوية، قم بعمل نسخة احتياطية من مجلد التخزين. بالنسبة للتثبيتات الكبيرة، يُنصح أيضًا بتثبيت إصدار صورة محدد واختبار التحديثات قبل تطبيقها.

يُعدّ AnythingLLM خيارًا مثيرًا للاهتمام للاستعلام عن المستندات باستخدام الذكاء الاصطناعي، وإنشاء قواعد المعرفة، ومشاركة المساعدين الداخليين. مع ذلك، قبل نشره، يجب تحديد المكونات التي ستكون محلية، ومن سيتمتع بإمكانية الوصول إليها، وما هي المعلومات التي يمكن إرسالها إلى مزودي خدمات خارجيين.