Gado-Scraper
Pipeline ETL com Git como banco de dados
O Problema
Para que o Sistema de Gestão de Gado calculasse o valuation do rebanho com precisão, ele precisava de cotações atualizadas da arroba do boi e da novilha todos os dias. Inserir esses valores manualmente tornaria o ERP dependente de uma rotina humana, quebrando a proposta de automação do sistema.
A fonte de referência do mercado é a Scot Consultoria, que publica cotações diárias das 33 principais praças pecuárias do Brasil. O objetivo foi automatizar completamente essa coleta.
A Decisão de Arquitetura: Git como Banco de Dados
Rodar um servidor VPS só para executar um script diário seria desperdício de infraestrutura e custo. A solução foi usar o GitHub Actions como runner gratuito e agendado, mas o detalhe mais interessante está na persistência dos dados.
Em vez de um banco de dados convencional, o próprio repositório Git serve como armazenamento histórico. A cada execução, o robô commita o JSON atualizado de volta no repositório. O resultado é um histórico versionado de cotações, consultável via Raw URL pelo SGG, onde cada commit representa um dia de mercado.
Como Funciona
O arquivo atualizacao_diaria.yml dispara o pipeline todos os dias em horário comercial. O script Python acessa o site da Scot Consultoria, trata eventuais erros de conexão e extrai os valores das 33 praças. O JSON resultante é commitado automaticamente no repositório, ficando disponível imediatamente para consumo pelo ERP.
Ver Repositório