Skip to content

F0-3b visão: trocar default do VisionProvider de Groq para VLM local (Ollama) #28

Description

@netty-linux

Contexto

O nullain-agent já consome visão exclusivamente via VisionProvider do SDK (ModelRouterVisionProvider em vision_attach.py, hint sanitized de 2000 chars). O Groq sobrevive como:

  • GROQ_API_KEY + groq_vision_model em agent/config.py
  • agent/vision_groq.py — HTTP próprio legacy (fallback/histórico)
  • Config do ModelRouter do SDK apontando para Groq como default

Trocar o provider é configuração, não refactor — decisão registrada no plano consolidado do F0 (antecipação do item 7 do briefing).

Objetivo

  1. Configurar o ModelRouterVisionProvider para preferir VLM local via Ollama (o SDK já tem ollama.py)
  2. Manter a chave Groq no config como opção configurável até benchmark local fechar (CPU puro da Contabo é lento em inferência de imagem — LLaVA/Qwen-VL local só vira default após medir)
  3. Remover vision_groq.py (HTTP próprio) após a migração — duplica o que o provider do SDK já faz

Critérios de aceite

  • vision_attach.py continua verde — nenhuma mudança na UI nem no fluxo de anexos
  • Benchmark local (latência + qualidade) registrado na issue comparando Ollama local vs Groq
  • vision_groq.py removido com migração doc
  • Config Groq documentado como opcional (fallback), não default

Notas

  • VMS locais: llava / qwen2.5vl via Ollama — testar ambos
  • Se o benchmark local for insuficiente para o default, inverter a decisão: Ollama como opção, Groq continua default (a troca é reversível por config)
  • Fase: F0 consolidação (item 3b)

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions