← Todos os projetosAll projects

Individual · Rodando diariamenteSolo · Runs daily

Gado-Scraper

Todo dia, sozinho, um programa busca o preço do boi em 33 regiões do país e arquiva o resultado.Every day, on its own, a program fetches cattle prices from 33 regions of Brazil and files the result.

Coletas diáriasDaily snapshots
171em 181 dias de operaçãoover 181 days running
Regiões monitoradasRegions tracked
33cotações de boi gordofat-cattle prices
Linhas de históricoRows of history
5.115uma por região, por diaone per region, per day
Custo de infraInfra cost
R$ 0GitHub Actions + GitGitHub Actions + Git

ProblemaProblem

No Brasil não existe um jeito oficial de um programa consultar o preço do boi, o que a área chama de API pública. Os preços das 33 praças (as regiões onde o boi é negociado) só existem em páginas do site da Scot Consultoria, feitas para gente ler, e o desenho dessas páginas muda com frequência. O Sistema-Gado precisava desses preços todo dia para calcular o valor do rebanho.

In Brazil there is no official way for a program to look up cattle prices, what the field calls a public API. The prices for the 33 trading regions exist only as pages on Scot Consultoria’s website, built for people to read, and those pages get redesigned often. Sistema-Gado needed those prices every day to value the herd.

Git como banco de dadosGit as a database

Em vez de contratar um banco de dados para guardar os preços, usei a mesma ferramenta em que programadores guardam o histórico do código. Ela já registra quem mudou o quê e quando, e não deixa reescrever o passado. Um histórico de preços precisa das duas coisas.

Instead of paying for a database to store the prices, I used the same tool programmers use to keep the history of their code. It already records who changed what and when, and it does not let anyone rewrite the past. A price history needs both.

Um cron do GitHub Actions roda todo dia às 09:00 UTC. Cada execução gera um commit com os JSONs do dia, o que resolve três coisas que um banco exigiria configurar à parte: o histórico não pode ser alterado, a infraestrutura não custa nada e qualquer fork já vem com o histórico completo. Para ver as cotações de um dia, basta git show <hash>:cotacoes_boi_hoje.json.

A GitHub Actions cron job runs every day at 09:00 UTC. Each run produces a commit with that day’s JSON files, which covers three things a database would need to be set up for separately: the history can’t be altered, the infrastructure is free, and any fork comes with the full history. To see a given day’s prices, just run git show <hash>:cotacoes_boi_hoje.json.

Workflow do GitHub Actions
Execução diária no GitHub Actions.Daily run on GitHub Actions.

Dificuldade: HTML que mudaChallenge: HTML that keeps changing

O ponto frágil de qualquer scraper é onde ele se ancora no HTML. Aqui a âncora é a string "Funrural", uma coluna da tabela que se mantém estável há mais de um ano. As colunas são lidas pela posição, não pelo nome, porque o cabeçalho muda com o layout. Se a coleta falhar, o script tenta de novo até 3 vezes, com 5 segundos entre as tentativas. Se o erro persistir, chega uma notificação no Telegram com o link do log.

The weak point of any scraper is where it anchors to the HTML. Here the anchor is the string "Funrural", a table column that has stayed stable for over a year. Columns are read by position, not by name, because the header changes with the layout. If a run fails, the script retries up to 3 times, 5 seconds apart. If the error persists, a Telegram notification arrives with a link to the log.

ResultadoOutcome

Em 26/06/2026, eram 171 coletas diárias em 181 dias de operação e 5.115 linhas no histórico de boi gordo, uma por praça por dia. Os dados alimentam o Sistema-Gado.

As of 2026-06-26: 171 daily snapshots over 181 days of operation and 5,115 rows of fat-cattle price history, one per market per day. The data feeds Sistema-Gado.

Próximos passosNext steps

  • Conferir se o preço coletado faz sentido: faixa plausível e variação aceitável de um dia para o outro. Hoje o alerta avisa quando a coleta falha, mas não quando ela traz número errado
  • Versionar também o HTML bruto do dia, para permitir reprocessar o histórico depois de corrigir o parser
  • Guardar um HTML de exemplo no repositório para testar o parser no CI, sem depender da rede
  • Segunda âncora de fallback, além da string "Funrural"
  • Check whether the price makes sense: plausible range, acceptable day-over-day variation. Today the alert fires when a run fails, but not when it returns a wrong number
  • Version the day’s raw HTML too, so the history can be reprocessed after a parser fix
  • Keep an example HTML file in the repository to test the parser in CI, without the network
  • A second fallback anchor beyond the "Funrural" string

Próximo projetoNext project

RastrIA →

Plataforma de prontuários em Django e React, feita em equipe.A medical-record platform in Django and React, built as a team.

Vamos conversarLet’s talk

Estou procurando estágio em desenvolvimento, remoto ou presencial em Maceió. Se quiser falar sobre este projeto ou sobre uma vaga, é só escrever.I’m looking for a development internship, remote or on-site in Maceió. If you want to talk about this project or about a role, just write.