Как исправить проблему с подключением Dify к Ollama

Создание системы искусственного интеллекта в домашних условиях может показаться детской забавой, пока вы не поймете, что... Dify не может связаться с OllamaТакая ситуация очень распространена, особенно когда мы хотим сохранить конфиденциальность наших данных и предотвратить отправку информации в облако, выбирая локальное развертывание, которое дает нам полный контроль над моделью.

Проблема обычно заключается в том, что Dify, часто работающий внутри контейнера Docker, существует в своем собственном маленьком, изолированном мире и не знает, как найти Ollama, работающую в хостовой операционной системе. Для разрешения этой сетевой борьбы нам необходимо Отрегулируйте пару параметров в конфигурации URL-адресов и системных переменных..

Понимание сценария подключения

Прежде чем начинать экспериментировать с IP-адресами, крайне важно знать, где установлена ​​каждая программа. Если обе программы запущены на вашем компьютере напрямую, то адрес будет следующим: http://localhost:11434 Всё должно работать без проблем. Однако подавляющее большинство пользователей используют Docker для Dify, что полностью меняет правила игры.

Когда Dify находится в контейнере, localhost обозначает сам контейнер. а не к вашему ПК. Именно поэтому попытка подключения к localhost приведет к ошибке "соединение отклонено". В Windows и macOS волшебное решение — использовать URL-адрес. http://host.docker.internal:11434который выступает в качестве прямого моста к хост-системе.

Если вы работаете в среде Linux, то, скорее всего, host.docker.internal не разрешается автоматически. В этом случае вам потребуется отредактировать файл docker-compose.yaml в Dify и добавить следующую инструкцию в раздел services. extra_hosts Установление связи между host.docker.internal и host-gateway, чтобы контейнер знал, где искать.

Главный трюк: переменная OLLAMA_HOST

Даже при наличии правильного URL-адреса Ollama может вас отклонить. По умолчанию Ollama очень осторожна и слушает только запросы которые поступают с того же компьютера (127.0.0.1). Чтобы Dify мог войти из своего контейнера, нам нужно указать Ollama быть более открытым.

Ключевым моментом является настройка переменной среды. OLLAMA_HOST со значением 0.0.0.0:11434Это позволяет Ollama прослушивать все доступные интерфейсы, а не только один. 127.0.0.1.

Важно отметить, что предоставление доступа к Ollama через все интерфейсы может быть рискованным, если ваш компьютер подключен к общедоступной сети. Если вы очень заботитесь о безопасности, обязательно... настройте брандмауэр Таким образом, доступ к порту 11434 будет иметь только IP-адреса в вашей локальной сети.

Подробная настройка в Dify

Как только сеть будет очищена, можно будет войти в интерфейс Dify. Перейдите в раздел настроек, затем введите... Поставщик моделей и найдите Ollama. При добавлении модели не используйте любое имя; необходимо использовать точное имя Это сообщение появляется при выполнении команды ollama list в консоли.

Если вы введете имя, отличное от указанного, ollama listDify может вернуть ошибку. Модель не найдена. Например, llama3.2 y llama3.2:3b Они могут распознавать различные варианты. Скопируйте всё значение из столбца. NAMEвключая метку, расположенную после двоеточия.

Что касается технических параметров, то Контекстное окно Это критически важный момент. Если вы установите значение, слишком высокое для обработки моделью, вы можете столкнуться с усеченными ответами или нестабильным поведением. Если вы не уверены, начните с 150 000 токенов Как правило, это надежный способ поддержания стабильности системы.

Быстрая проверка на распространенные ошибки

Если после всего этого связь по-прежнему отсутствует, не отчаивайтесь. Иногда виновником является... Windows Defender или брандмауэр Правила вашей компании блокируют входящий трафик на порту 11434. Создайте специальное правило для входящего трафика, разрешающее TCP-трафик на этом порту, и проверьте еще раз.

Ещё одна деталь, которую часто упускают из виду, это Потребление оперативной памятиЕсли вы попытаетесь загрузить огромную модель на компьютер с ограниченным объемом памяти, Ollama может зависнуть или начать работать крайне медленно, что Dify интерпретирует как таймаут соединения. Попробуйте использовать более лёгкая модель чтобы исключить возможность аппаратной неисправности.

Для завершения установки помните, что если вы используете облачную версию Dify, для подключения к локальной Ollama на вашем компьютере должна быть установлена ​​соответствующая конфигурация. Доступный публичный IP-адрес Или вы можете использовать инструменты туннелирования, такие как Ngrok, поскольку облако Dify не может волшебным образом проникнуть в вашу домашнюю сеть без открытого пути.

Для того чтобы Dify и Ollama могли взаимодействовать друг с другом, по сути, необходимо освоить обмен данными между контейнерами Docker, открыть доступ к серверу через переменную OLLAMA_HOST и убедиться, что имена моделей точно совпадают, при этом всё это должно поддерживаться брандмауэром, который не блокирует порт 11434, и распределением памяти, соответствующим выбранной модели.