Повний посібник з підключення AnythingLLM до Ollama

AnythingLLM та Ollama дозволяють створити помічника, який переглядатиме ваші власні документи. використання моделей, що працюють на комп'ютері або сервері. Ollama обробляє завантаження мовної моделі, тоді як AnythingLLM надає інтерфейс, упорядковує файли та отримує відповідну інформацію за допомогою RAG.

Коли всі компоненти налаштовано локально, документи та запити не потрібно надсилати постачальнику хмарної моделі. Однак ця конфіденційність Це також залежить від того, чи не активуєте ви веб-пошук, зовнішні API чи інші інструменти що передають інформацію за межі команди.

Що вам потрібно перед підключенням AnythingLLM до Ollama

Вам потрібно встановити та запустити Ollama, а також AnythingLLM Desktop або екземпляр, розгорнутий на Docker. Desktop простіший для одного користувача, тоді як Docker дозволяє доступ з браузера та поділіться інсталяцією.

Необхідні ресурси залежать від обраної моделі, її квантування та довжини контексту. Невелика модель може працювати виключно на процесорі, хоча вона буде повільнішою. ​​Моделі з 7.000 або 8.000 мільярдами параметрів зазвичай потребують більше пам'яті та пропонують кращий досвід, коли Ollama може використовувати сумісний графічний процесор.

Не рекомендується встановлювати мінімальні вимоги до оперативної пам'яті, які застосовуються до всіх випадків. Перш ніж завантажувати велику модель, перевірте її розмір і переконайтеся, що у вас достатньо пам'яті для операційної системи, AnythingLLM та векторної бази даних.

Завантажте шаблон чату та шаблон вбудовування

Олламі потрібна модель для генерування відповідей А якщо ви також хочете використовувати його як постачальника вбудовування, інша модель спеціалізується на перетворенні документів у вектори.

Ви можете завантажити два зразки шаблонів, скориставшись:

ollama pull llama3.1:8b
ollama pull nomic-embed-text

Перша модель використовується для ведення розмови та написання відповідей. nomic-embed-text Він лише генерує вбудовані елементи та не може використовуватися як шаблон чату. Ви можете перевірити доступні шаблони за допомогою:

ollama list

Ці назви є прикладами, а не вимогами. Ви можете виберіть менший шаблон чату, якщо команда має обмежені ресурсиДля документів, які переважно написані іспанською мовою, вас також може зацікавити багатомовний шаблон вбудовування, доступний у бібліотеці Ollama, наприклад bge-m3.

Модель вбудовування необхідно вибрати перед індексацією великої бібліотеки. Якщо ви зміните її пізніше, вам доведеться повторно обробити документи для створення сумісних векторів.

Як підключити AnythingLLM Desktop до Ollama

Відкрийте налаштування AnythingLLM та виберіть Ollama як постачальника мовної моделі.Якщо обидві програми працюють на одному комп’ютері, зазвичай використовується ця адреса:

http://127.0.0.1:11434

AnythingLLM має відобразити завантажені шаблони. Виберіть той, який ви використовуватимете для чату, і протестуйте його, перш ніж додавати документи.

Далі відкрийте налаштування постачальника вбудовування. Ви можете Виберіть вбудовану модель AnythingLLM або виберіть Ollama та скористайтеся моделлю вбудовування раніше завантажено. LanceDB можна зберігати як локальну векторну базу даних, якщо вам не потрібна інша система.

Не встановлюйте вікно підвищеного контексту лише тому, що модель його підтримує. Збільшення контексту збільшує споживання пам'яті та може уповільнити реакцію. Почніть з конфігурації, виявленої Ollama, та змінюйте її лише за потреби вашої ситуації.

Як підключити AnythingLLM в Docker за допомогою Ollama

Коли AnythingLLM запускається всередині контейнера, localhost Він вказує на сам контейнер, а не на головний комп'ютер. У Docker Desktop для Windows або macOS ви можете використовувати:

http://host.docker.internal:11434

У Linux ця назва може бути недоступна автоматично. Ви можете додати зіставлення під час запуску контейнера або включити його в Docker Compose:

extra_hosts:
  - "host.docker.internal:host-gateway"

Це також може знадобитися Налаштуйте Ollama для прослуховування адреси, доступної з мережі DockerНе відкривайте порт 11434 безпосередньо в Інтернеті, оскільки локальний API Ollama не призначений для публікації без додаткового рівня захисту.

Якщо Ollama та AnythingLLM працюють як сервіси з одного й того ж Docker Compose-файлу, зручніше об'єднати їх у спільну приватну мережу та використовувати назву сервісу, наприклад:

http://ollama:11434

Після збереження адреси перевірте, чи AnythingLLM може відображати встановлені моделі, перш ніж продовжити.

Додавання документів та налаштування RAG

Створіть робочий простір і завантажте документи, з якими ви хочете ознайомитися. Щоб зробити їх доступними через RAG, потрібно додати їх до робочого простору та розпочати їх обробку. AnythingLLM розділить текст на фрагменти, згенерує вбудовані елементи та збереже їх у векторній базі даних.

Коли ви ставите запитання, система отримує деякі пов’язані фрагменти та включає їх у контекст, що надсилається моделі. Це зменшує обсяг оброблюваного тексту, але означає, що модель Він не зчитує всі документи автоматично у кожній консультації.

Якщо у відповіді пропущена відповідна інформація, перевірте максимальну кількість отриманих фрагментів та поріг подібності. Дуже обмежувальний поріг може відхилити фрагмент, що містить відповідь. У документації рекомендується тимчасово спробувати необмежений варіант, коли RAG не може знайти інформацію, яка присутня у файлах.

Посилання, що відображаються AnythingLLM, допомагають ідентифікувати використаний документ, але вони не гарантують, що відповідь правильна або що завжди вказано точний номер сторінки. Рекомендується перевірити джерело, перш ніж використовувати результат у важливих рішеннях.

Він вирішує найпоширеніші проблеми

Якщо AnythingLLM не виявляє Ollama, спочатку перевірте, чи працює служба, і чи доступна налаштована адреса з того ж середовища, де працює AnythingLLM. Ви також можете перевірити локальний API за допомогою:

curl http://localhost:11434/api/tags

Якщо модель відображається в Ollama, але не в AnythingLLM, оновіть список моделей і ще раз перевірте, чи ви вибрали правильного постачальника. У Docker проблема зазвичай пов'язана з зловживання localhost або з конфігурацією мережі, яка запобігає зв'язку з хостом.

Коли відповіді неточні, перевірте модель вбудовування, мову документа, розмір фрагмента та поріг подібності. Більша модель чату не виправить погане вилучення, якщо відповідні фрагменти не досягають контексту.

Використання Ollama дозволяє уникнути витрат на запити до зовнішнього API, але все одно передбачає споживання електроенергії, місця для зберігання та обслуговування обладнання. Головною перевагою такої комбінації є можливість контролювати, де обробляються документи, та адаптувати модель до доступних ресурсів.