Individual · Rodando diariamenteSolo · Runs daily
Gado-Scraper
Todo dia, sozinho, um programa busca o preço do boi em 33 regiões do país e arquiva o resultado.Every day, on its own, a program fetches cattle prices from 33 regions of Brazil and files the result.
- Coletas diáriasDaily snapshots
- 171em 181 dias de operaçãoover 181 days running
- Regiões monitoradasRegions tracked
- 33cotações de boi gordofat-cattle prices
- Linhas de históricoRows of history
- 5.115uma por região, por diaone per region, per day
- Custo de infraInfra cost
- R$ 0GitHub Actions + GitGitHub Actions + Git
ProblemaProblem
No Brasil não existe um jeito oficial de um programa consultar o preço do boi, o que a área chama de API pública. Os preços das 33 praças (as regiões onde o boi é negociado) só existem em páginas do site da Scot Consultoria, feitas para gente ler, e o desenho dessas páginas muda com frequência. O Sistema-Gado precisava desses preços todo dia para calcular o valor do rebanho.
In Brazil there is no official way for a program to look up cattle prices, what the field calls a public API. The prices for the 33 trading regions exist only as pages on Scot Consultoria’s website, built for people to read, and those pages get redesigned often. Sistema-Gado needed those prices every day to value the herd.
Git como banco de dadosGit as a database
Em vez de contratar um banco de dados para guardar os preços, usei a mesma ferramenta em que programadores guardam o histórico do código. Ela já registra quem mudou o quê e quando, e não deixa reescrever o passado. Um histórico de preços precisa das duas coisas.
Instead of paying for a database to store the prices, I used the same tool programmers use to keep the history of their code. It already records who changed what and when, and it does not let anyone rewrite the past. A price history needs both.
Um cron do GitHub Actions roda todo dia às 09:00 UTC. Cada execução gera um commit com os JSONs do dia, o que resolve três coisas que um banco exigiria configurar à parte: o histórico não pode ser alterado, a infraestrutura não custa nada e qualquer fork já vem com o histórico completo. Para ver as cotações de um dia, basta git show <hash>:cotacoes_boi_hoje.json.
A GitHub Actions cron job runs every day at 09:00 UTC. Each run produces a commit with that day’s JSON files, which covers three things a database would need to be set up for separately: the history can’t be altered, the infrastructure is free, and any fork comes with the full history. To see a given day’s prices, just run git show <hash>:cotacoes_boi_hoje.json.

Dificuldade: HTML que mudaChallenge: HTML that keeps changing
O ponto frágil de qualquer scraper é onde ele se ancora no HTML. Aqui a âncora é a string "Funrural", uma coluna da tabela que se mantém estável há mais de um ano. As colunas são lidas pela posição, não pelo nome, porque o cabeçalho muda com o layout. Se a coleta falhar, o script tenta de novo até 3 vezes, com 5 segundos entre as tentativas. Se o erro persistir, chega uma notificação no Telegram com o link do log.
The weak point of any scraper is where it anchors to the HTML. Here the anchor is the string "Funrural", a table column that has stayed stable for over a year. Columns are read by position, not by name, because the header changes with the layout. If a run fails, the script retries up to 3 times, 5 seconds apart. If the error persists, a Telegram notification arrives with a link to the log.
ResultadoOutcome
Em 26/06/2026, eram 171 coletas diárias em 181 dias de operação e 5.115 linhas no histórico de boi gordo, uma por praça por dia. Os dados alimentam o Sistema-Gado.
As of 2026-06-26: 171 daily snapshots over 181 days of operation and 5,115 rows of fat-cattle price history, one per market per day. The data feeds Sistema-Gado.
Próximos passosNext steps
- Conferir se o preço coletado faz sentido: faixa plausível e variação aceitável de um dia para o outro. Hoje o alerta avisa quando a coleta falha, mas não quando ela traz número errado
- Versionar também o HTML bruto do dia, para permitir reprocessar o histórico depois de corrigir o parser
- Guardar um HTML de exemplo no repositório para testar o parser no CI, sem depender da rede
- Segunda âncora de fallback, além da string "Funrural"
- Check whether the price makes sense: plausible range, acceptable day-over-day variation. Today the alert fires when a run fails, but not when it returns a wrong number
- Version the day’s raw HTML too, so the history can be reprocessed after a parser fix
- Keep an example HTML file in the repository to test the parser in CI, without the network
- A second fallback anchor beyond the "Funrural" string
RastrIA →
Plataforma de prontuários em Django e React, feita em equipe.A medical-record platform in Django and React, built as a team.
Vamos conversarLet’s talk
Estou procurando estágio em desenvolvimento, remoto ou presencial em Maceió. Se quiser falar sobre este projeto ou sobre uma vaga, é só escrever.I’m looking for a development internship, remote or on-site in Maceió. If you want to talk about this project or about a role, just write.