Como instalar e configurar o AnythingLLM com o Docker

O AnythingLLM permite criar um assistente de IA capaz de consultar seus documentos, usar modelos locais e organizar informações em espaços de trabalho separados. Ele pode ser instalado em um computador pessoal ou implantado em um servidor usando o Docker, dependendo se você precisa usá-lo sozinho ou compartilhá-lo com outras pessoas.

Embora possa funcionar completamente em nível local, A privacidade depende dos provedores que você configurar.Ao conectar serviços externos para o modelo de linguagem, embeddings ou quaisquer ferramentas adicionais, algumas informações podem sair da sua infraestrutura.

Qual versão escolher: Desktop ou Docker?

O AnythingLLM Desktop é a opção mais simples para um único usuário. Está disponível para Windows, macOS e Linux, utiliza um instalador padrão e inclui um provedor de modelos local integrado. Ele também permite trabalhar com RAGs, documentos e agentes sem a necessidade de configurar um servidor.

A versão Docker foi projetada para acesso a partir de um navegador, criação de uma instância multiusuário, gerenciamento de permissões ou publicação de um widget de bate-papo em uma página da web. Ao contrário da versão Desktop, O Docker não inclui um provedor LLM integrado.Portanto, você precisará conectá-lo ao Ollama, LM Studio ou a uma API compatível.

Inicialmente, o Docker pode operar em modo de usuário único. Habilitar o modo multiusuário permite criar contas com diferentes funções e restringir o acesso a espaços de trabalho. Lembre-se de que A alteração para o modo multiusuário não pode ser revertida. do aplicativo.

Como instalar o AnythingLLM com o Docker

Primeiro, você precisa ter o Docker instalado. No Linux ou macOS, você pode criar uma pasta persistente e executar a imagem oficial com estes comandos:

export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p "$STORAGE_LOCATION"
touch "$STORAGE_LOCATION/.env"

docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v "$STORAGE_LOCATION:/app/server/storage" \
  -v "$STORAGE_LOCATION/.env:/app/server/.env" \
  -e STORAGE_DIR="/app/server/storage" \
  --restart unless-stopped \
  mintplexlabs/anythingllm:latest

Então você pode abrir http://localhost:3001O volume montado em /app/server/storage Isso é importante porque permite preservar documentos, configurações e o banco de dados ao reiniciar ou substituir o contêiner.

Se você precisar usar web scraping, a documentação oficial indica que você deve adicionar --cap-add SYS_ADMINEssa funcionalidade concede amplos privilégios ao contêiner, portanto, não é recomendável incorporá-la se você não for usar essa função.

Em um servidor acessível pela internet, coloque o AnythingLLM atrás de um proxy reverso com HTTPS, restrinja as portas usando um firewall e habilite a autenticação. Não exponha uma instância não segura diretamente pela porta 3001.

Como conectar o Ollama ou outro provedor de IA

Durante a configuração inicial, você deve selecionar um modelo de linguagem, um provedor de embeddings e um banco de dados vetorial. O AnythingLLM inclui um modelo de embeddings que roda na CPU e usa o LanceDB como banco de dados vetorial padrão, mas no Docker, você precisará configurar o LLM separadamente.

Se o Ollama ou o LM Studio estiverem sendo executados no mesmo computador, não use localhost como um endereço do AnythingLLM, já que dentro do contêiner esse endereço aponta para o próprio contêiner. No Windows e macOS, você pode usar host.docker.internalPara uma instalação Linux com a rede padrão, a documentação do AnythingLLM sugere o seguinte endereço: 172.17.0.1No entanto, isso pode variar se você tiver personalizado a rede Docker.

Você também pode conectar serviços como OpenAI, Anthropic ou Gemini. Nesse caso, as mensagens e o contexto recuperado enviados ao modelo estarão sujeitos à política de privacidade do provedor terceirizado.

Como funcionam os espaços de trabalho e o modelo RAG

Os espaços de trabalho permitem separar documentos, conversas e instruções. Por exemplo, você pode dedicar um espaço a manuais técnicos e outro à documentação comercial, sem misturar as fontes utilizadas nas respostas.

Um documento anexado a uma conversa fica restrito àquela conversa e só pode conter o texto completo dentro do contexto. No entanto, quando integrado usando RAG, o AnythingLLM o divide em fragmentos, gera seus vetores e o disponibiliza para todas as conversas no espaço de trabalho. No modo multiusuário, ele também estará disponível para qualquer pessoa com acesso a esse espaço de trabalho.

Se o sistema não recuperar o fragmento correto, você pode verificar o número máximo de resultados e o limite de similaridade. A própria documentação recomenda tentar a opção irrestrita ao descartar fragmentos relevantes.

Você também pode fixar um documento para inserir seu texto completo no contexto. Essa opção só é adequada quando o arquivo cabe na janela de contexto, pois pode aumentar o consumo de recursos, o tempo de resposta e o custo se você estiver usando uma API externa.

Como usar agentes, fluxos e a API

Os agentes podem usar ferramentas para buscar informações usando RAGs (Random Access Groups), consultar páginas da web, salvar arquivos ou executar fluxos pré-configurados. Sua funcionalidade depende do modelo escolhido, já que alguns modelos pequenos ou altamente quantizados têm dificuldade em gerar chamadas de ferramentas corretamente.

Se o símbolo correspondente aparecer na caixa de texto, você deve iniciar a solicitação com @agentQuando esse indicador não aparecer, o AnythingLLM poderá ativar automaticamente ferramentas compatíveis. Para encerrar uma sessão iniciada manualmente, use o comando. /exit.

O AnythingLLM também possui uma API para gerenciar documentos, espaços de trabalho e conversas. A documentação interativa pode ser encontrada em [link para a documentação interativa]. /api/docs dentro da sua instância. Proteja as chaves de API, pois qualquer pessoa que obtiver uma poderá executar as operações associadas às suas permissões.

Os fluxos de agentes permitem encadear ações, como consultar uma página, processar seu conteúdo e retornar uma seleção de resultados. Antes de automatizar tarefas importantes, teste o fluxo com dados de amostra e limite as ferramentas disponíveis.

Privacidade e problemas comuns

Para manter o processamento dentro da sua infraestrutura, você deve usar um modelo local, um provedor de incorporação local e um banco de dados vetorial hospedado no mesmo sistema. Você também deve evitar ferramentas que consultam serviços externos. Utilizar o Ollama para LLM não garante, por si só, que todo o fluxo seja local..

O AnythingLLM coleta telemetria anônima, que pode ser desativada nas configurações de privacidade do aplicativo. Mesmo após desativá-la, conexões externas ainda podem ocorrer se você usar APIs, modelos remotos, pesquisas na web ou recursos baixados da internet.

Se o Docker exibir erros de permissão, verifique se o UID e o GID configurados correspondem aos do proprietário da pasta persistente. A imagem normalmente usa o valor 1000, mas esse identificador não é o mesmo em todos os sistemas.

Antes de atualizar o contêiner, faça backup da pasta de armazenamento. Para instalações grandes, também é recomendável usar uma versão específica da imagem e testar as atualizações antes de aplicá-las.

AnythingLLM é uma opção interessante para consulta de documentos com inteligência artificial, criação de bases de conhecimento e compartilhamento de assistentes internos. No entanto, antes de implementá-lo, você precisa decidir quais componentes serão locais, quem terá acesso e quais informações poderão ser enviadas a provedores externos.