Português (BR) | English (US)
O Querido Diário possui um Guia para Contribuição principal que é relevante para todos os seus repositórios. Este guia traz informações gerais sobre como interagir com o projeto, o código de conduta que você adere ao contribuir, a lista de repositórios do ecossistema e as primeiras ações que você pode tomar. Recomendamos sua leitura antes de continuar.
Já leu? Então vamos às informações específicas deste repositório:
O principal desafio deste repositório é ter cada vez mais raspadores de sites publicadores de diários oficiais, visando atingir os 5570 municípios brasileiros. Utilizamos o Quadro de Expansão de Cidades para organizar o progresso do desafio. Consulte-o para localizar tarefas relevantes com as quais você pode contribuir.
Para te ajudar a desenvolver, utilize as orientações da página sobre como escrever um novo raspador disponível na documentação técnica do Querido Diário.
Os raspadores são desenvolvidos usando Python e o framework Scrapy. Você pode conferir como instalar Python em seu sistema operacional e conhecer mais sobre o Scrapy neste tutorial. Com Python em seu computador, siga o passo-a-passo da configuração do ambiente de desenvolvimento:
- Faça um fork deste repositório e, com o terminal aberto em um diretório de preferência no seu computador, clone-o e acesse o novo diretório criado com o nome do repositório.
git clone <repositorio_fork>
cd querido-diario- Crie um novo ambiente virtual - que manterá as execuções do projeto isoladas de seu sistema.
python3 -m venv .venv- Ative o recém criado ambiente virtual
source .venv/bin/activate- Instale as bibliotecas requeridas.
pip install -r data_collection/requirements-dev.txt- Instale o pré-commit, uma ferramenta que, ao fazer o commit do código, verifica se ele se adequa aos padrões do projeto.
pre-commit install- Seu ambiente de desenvolvimento está pronto! 🎉
Atenção: Estas etapas precisam ser executadas apenas na primeira vez que interagir com o projeto durante a preparação do ambiente. Depois disso, basta ativar o ambiente virtual (passo 3) cada vez que for utilizar ou contribuir com o repositório.
As instruções a seguir foram experimentadas em Windows 10.
- Instale o Microsoft Visual Build Tools. Ao iniciar a instalação, você precisa selecionar
C++ build toolsna aba de carregamento e tambémWindows 10 SDKeMSVC v142 - VS 2019 C++ x64/x86 build toolsna aba de componentes individuais. - Siga todos os passos usados no Linux, com exceção do item 3. Nele, o comando deve ser:
.venv/Scripts/activate.batObservação: Nos comandos em Windows, o sentido da barra (/ ou \) pode variar a depender da utilização de WSL.
O projeto usa Black como ferramenta de automação para formatar e verificar o estilo do código e usa isort para organizar as importações. A integração contínua (CI) falhará se seu código não estiver adequadamente formatado.
Mas, se você seguiu as orientações para configurar o ambiente de desenvolvimento corretamente, especialmente instalando o pre-commit, é possível que você nunca precise corrigir a formatação manualmente. O pre-commit fará isso por você, já que executa antes de cada commit. Ainda, caso queira verificar todos os arquivos no projeto, use make format para evocar as ferramentas.
Observação: make não é disponibilizado nativamente em Windows, sendo necessário instalá-lo para a utilização sugerida.
As pessoas mantenedoras devem seguir as diretrizes do Guia para Mantenedoras do Querido Diário.