Como a plataforma funciona
Orquestração em Airflow, transformação em dbt sobre Postgres e visualização em Superset. O inventário desta página é lido do código a cada publicação, então não desatualiza em silêncio.
Recorte deste site
O repositório hospeda mais de uma aplicação. Este site cobre apenas o
Ministério das Cidades: o projeto dbt
mcid, as
13 DAGs dos grupos listados em dominios.yml e as
ingestões por script sobre o SFTP. Os projetos ipea e
mir, de outras aplicações, ficam fora das contagens.
Ingestão
13 DAGs no escopo. O agendamento da maioria é resolvido em
execução pela Variable dynamic_schedules, e por isso aparece
como dinâmico — o cron real está no ambiente, não no código.
| DAG | Grupo | Schedule | O que faz |
|---|---|---|---|
abecip_poupanca_trimestral_ingest_dag |
data_ingest/abecip | dinamico | DAG de ingestão incremental trimestral da Caderneta de Poupança ABECIP. |
bacen_sgs_ingest_dag |
data_ingest/bacen | dinamico | DAG para ingestão de séries temporais do SGS/BACEN no PostgreSQL. |
dotacao_execucao_outras_fontes_mcid_ingest_dag |
data_ingest/tesouro_gerencial/mcid | dinamico | Processa e ingere dados de execução de outras fontes de MCID |
empenho_emendas_parlamentares_ingest_dag |
data_ingest/tesouro_gerencial/mcid | dinamico | Processa e ingere dados de empenho de emendas parlamentares do MCID |
fipezap_trimestral_ingest_dag |
data_ingest/fipe | dinamico | DAG de ingestão incremental trimestral do Índice FipeZAP. |
ibge_ingest_dag |
data_ingest/ibge | dinamico | DAG para ingestão de dados do IBGE no PostgreSQL. |
icst_ingest_dag |
data_ingest/fgv | dinamico | DAG para ingestão de dados históricos do ICST da FGV no PostgreSQL. |
incc_m_ingest_dag |
data_ingest/fgv | dinamico | DAG para ingestão de dados do INCC-M da FGV no PostgreSQL. |
infomoney_imob |
data_ingest/infomoney | @daily | DAG para extração de séries temporais do índice IMOB.SA |
lancamentos_ingest_dag |
data_ingest/mrv | dinamico | DAG para ingestão de dados dos Lançamentos da Empresa MRV no PostgreSQL. |
mcid_cosmos_dag |
dbt/mcid | 0 1 * * * | |
orcamento_mcid_por_acao_ingest_dag |
data_ingest/tesouro_gerencial/mcid | dinamico | Processa e ingere dados de orcamento por acao do MCID do Tesouro |
vendas_ingest_dag |
data_ingest/mrv | dinamico | DAG para ingestão de dados das Vendas Líquidas da Empresa MRV |
Ingestão por script
Nem toda carga é DAG. As bases da Caixa que alimentam FAR e Entidades chegam por SFTP e são carregadas por script.
SFTP da Caixa Econômica Federal
Espinha dorsal do fluxo de dados do MCMV subsidiado. O acesso direto ao SFTP foi conquistado em 2026 — antes disso a equipe trabalhava sobre um dump estático do banco do Ministério. Os scripts fazem a carga, o snapshot que detecta o que mudou entre períodos e a conferência contra o MinIO.
scripts/sftp_ingest.py
scripts/sftp_snapshot.py
scripts/sftp_minio_diff.py
scripts/sftp_rename_tables.py
Modelos dbt por domínio
74 modelos e 24 testes declarados. A tabela completa de cada domínio, com descrição e dependências, está na sua página.
| Domínio | Bronze | Silver | Gold | Testes | |
|---|---|---|---|---|---|
| Conjuntura | 11 | 19 | 20 | 3 | detalhar → |
| Empreendimento FAR | 5 | 2 | 6 | 6 | detalhar → |
| Entidades | 6 | 2 | 3 | 15 | detalhar → |
Rodando localmente
| Comando | O que faz |
|---|---|
make setup |
Instala dependências e hooks de git |
docker-compose up -d |
Sobe Airflow, Superset, Postgres e Jupyter |
make docs-collect |
Atualiza o acervo deste site a partir do repositório |
make docs-serve |
Gera o site e serve em localhost:8000 |