Placa de vídeo, memória e armazenamento disponíveis determinam quais modelos podem ser usados.
Um computador antigo pode ser reaproveitado para executar um assistente de inteligência artificial na rede local. Segundo o site de tecnologia Tugatech, a alternativa permite gerar textos e analisar arquivos sem enviar o conteúdo a um serviço de IA na nuvem.
A proposta é usar componentes que já estão parados, em vez de montar uma máquina nova. De acordo com a publicação, isso reduz o gasto de implantação para quem possui o equipamento, embora o funcionamento ainda tenha custo de energia elétrica.
O que o computador precisa ter
A placa de vídeo é a peça que mais pesa na geração de texto. O Tugatech aponta as seguintes configurações como referência para rodar e alternar entre modelos:
Componentes indicados para executar modelos de IA localmente.
- mais de 8 GBMemória de vídeoPonto de partida ideal
- 16 GBMemória RAMMínimo para um modelo
- cerca de 200 GBArmazenamento SSDEspaço para diferentes modelos
- Placa de vídeo com mais de 8 GB de VRAM, como ponto de partida ideal.
- 16 GB de RAM, no mínimo, para manter um modelo em funcionamento estável.
- SSD NVMe com cerca de 200 GB para armazenar diferentes modelos.
O processador tem menos influência na velocidade de geração das respostas, mas ajuda a lidar com pedidos grandes e vários usuários ao mesmo tempo. A publicação cita a Nvidia GTX 1070 e o Intel Core i7-6700K como exemplos de componentes de gerações anteriores que podem servir para essa montagem.
Como o assistente pode ser montado
Uma das configurações descritas pelo Tugatech usa o Ubuntu Server em uma máquina virtual no Proxmox. Para que o sistema utilize a placa de vídeo, é necessário habilitar sua passagem direta nas configurações do computador e instalar os controladores adequados.
A ferramenta Ollama gerencia modelos de linguagem, como o Mistral. Já o Open WebUI oferece uma interface acessível pelo navegador para dispositivos conectados à mesma rede. A publicação cita a análise de registros de erros e de arquivos de configuração entre os possíveis usos, mantendo esses dados na rede local.
Com informações de tugatech.com.pt.
Foto de capa: Kskhh/Wikimedia Commons (CC BY-SA 4.0)