Entidades

Produção habitacional conduzida por quem mora

Modelos dbt

Tabelas de uso

Testes

Entregas

Contexto

Na modalidade Entidades, financiada pelo Fundo de Desenvolvimento Social, a produção é conduzida por cooperativas habitacionais, associações de moradores, sindicatos e movimentos de moradia. Atende exclusivamente a Faixa 1, e a seleção das famílias obedece a critérios de vulnerabilidade verificados por cruzamento com o Cadastro Único.

É a modalidade de menor escala e maior complexidade social — e tem um vetor de risco que não existe nas outras. O Trabalho Social é obrigatório: começa antes da obra, percorre a execução e se estende à pós-ocupação. O relatório de acompanhamento é condição para a liberação de parcelas, e sua ausência paralisa o repasse financeiro. Acompanhar o trabalho social, portanto, é acompanhar risco de paralisação.

O que a plataforma faz

O pipeline replica a estrutura do FAR sobre as tabelas do FDS — cadastro, obra mensal, financeiro mensal, trabalho social e entregas prioritárias — e entrega na gold o panorama por entidade, a ficha do empreendimento e a evolução financeira. A tabela de trabalho social é única neste ecossistema: nenhuma outra linha do programa tem equivalente.

O que sai para uso

As tabelas gold são o ponto de contato entre o pipeline e quem consome: painel, relatório ou análise. Cada uma traz o diagrama do fluxo que a constrói, gerado a partir das dependências declaradas no próprio SQL.

Fonte de origem
Bronze
Silver
Gold
A tabela em questão

gold

fds_evolucao_financeira_chart

Tabela Gold de evolução financeira do MCMV Entidades (FDS). Estrutura de série temporal (1 linha por APF/Mês) pronta para plotar no Superset gráficos de linha (Acumulado) e barra (Desembolso mensal). Herda o cnpj_eo para permitir filtro direto por entidade.

Como esta tabela é construída

Ver a definição em Mermaid

graph LR
  n_raw_int_empreendimentos_int_059_fds_caixa_pj["raw.<br/>int_empreendimentos_int_059_fds_caixa_pj"]
  n_raw_novo_mcmv_fds_cad_pj_mensal["raw.<br/>novo_mcmv_fds_cad_pj_mensal"]
  n_raw_novo_mcmv_fds_financeiro_mensal["raw.<br/>novo_mcmv_fds_financeiro_mensal"]
  n_raw_novo_mcmv_fds_obra_mensal["raw.<br/>novo_mcmv_fds_obra_mensal"]
  n_raw_novo_mcmv_fds_trabalho_social_mensal["raw.<br/>novo_mcmv_fds_trabalho_social_mensal"]
  n_fds_cadastro_pj["fds_cadastro_pj"]
  n_fds_financeiro_mensal["fds_financeiro_mensal"]
  n_fds_int_059_caixa_pj["fds_int_059_caixa_pj"]
  n_fds_obra_mensal["fds_obra_mensal"]
  n_fds_trabalho_social["fds_trabalho_social"]
  n_fds_empreendimento["fds_empreendimento"]
  n_fds_evolucao_financeira["fds_evolucao_financeira"]
  n_fds_evolucao_financeira_chart["fds_evolucao_<br/>financeira_chart"]
  n_fds_ficha_empreendimento["fds_ficha_empreendimento"]
  n_fds_cadastro_pj --> n_fds_empreendimento
  n_fds_empreendimento --> n_fds_evolucao_financeira
  n_fds_empreendimento --> n_fds_ficha_empreendimento
  n_fds_evolucao_financeira --> n_fds_evolucao_financeira_chart
  n_fds_ficha_empreendimento --> n_fds_evolucao_financeira_chart
  n_fds_financeiro_mensal --> n_fds_empreendimento
  n_fds_financeiro_mensal --> n_fds_evolucao_financeira
  n_fds_int_059_caixa_pj --> n_fds_empreendimento
  n_fds_obra_mensal --> n_fds_empreendimento
  n_fds_trabalho_social --> n_fds_empreendimento
  n_raw_int_empreendimentos_int_059_fds_caixa_pj --> n_fds_int_059_caixa_pj
  n_raw_novo_mcmv_fds_cad_pj_mensal --> n_fds_cadastro_pj
  n_raw_novo_mcmv_fds_financeiro_mensal --> n_fds_financeiro_mensal
  n_raw_novo_mcmv_fds_obra_mensal --> n_fds_obra_mensal
  n_raw_novo_mcmv_fds_trabalho_social_mensal --> n_fds_trabalho_social
  classDef mm-fonte fill:#fff7ed,stroke:#fed7aa,color:#7c2d12
  classDef mm-bronze fill:#fef3e2,stroke:#b45309,color:#7c2d12
  classDef mm-silver fill:#f1f5f9,stroke:#64748b,color:#1e293b
  classDef mm-gold fill:#f3ebff,stroke:#7a34f3,color:#4c1d95
  classDef mm-alvo fill:#7a34f3,stroke:#5b21b6,color:#ffffff,font-weight:bold
  class n_raw_int_empreendimentos_int_059_fds_caixa_pj,n_raw_novo_mcmv_fds_cad_pj_mensal,n_raw_novo_mcmv_fds_financeiro_mensal,n_raw_novo_mcmv_fds_obra_mensal,n_raw_novo_mcmv_fds_trabalho_social_mensal mm-fonte
  class n_fds_cadastro_pj,n_fds_financeiro_mensal,n_fds_int_059_caixa_pj,n_fds_obra_mensal,n_fds_trabalho_social mm-bronze
  class n_fds_empreendimento,n_fds_evolucao_financeira mm-silver
  class n_fds_ficha_empreendimento mm-gold
  class n_fds_evolucao_financeira_chart mm-alvo

gold

fds_ficha_empreendimento

Tabela Gold do MCMV Entidades (FDS) contendo 1 linha por empreendimento (APF). É a tabela central para alimentar o Superset com os dados detalhados. Utilizada nos KPIs: Mapa de Atuação, Semáforo de Alertas, Divergência Físico-Financeira e Distribuição por Tipo.

Como esta tabela é construída

Ver a definição em Mermaid

graph LR
  n_raw_int_empreendimentos_int_059_fds_caixa_pj["raw.<br/>int_empreendimentos_int_059_fds_caixa_pj"]
  n_raw_novo_mcmv_fds_cad_pj_mensal["raw.<br/>novo_mcmv_fds_cad_pj_mensal"]
  n_raw_novo_mcmv_fds_financeiro_mensal["raw.<br/>novo_mcmv_fds_financeiro_mensal"]
  n_raw_novo_mcmv_fds_obra_mensal["raw.<br/>novo_mcmv_fds_obra_mensal"]
  n_raw_novo_mcmv_fds_trabalho_social_mensal["raw.<br/>novo_mcmv_fds_trabalho_social_mensal"]
  n_fds_cadastro_pj["fds_cadastro_pj"]
  n_fds_financeiro_mensal["fds_financeiro_mensal"]
  n_fds_int_059_caixa_pj["fds_int_059_caixa_pj"]
  n_fds_obra_mensal["fds_obra_mensal"]
  n_fds_trabalho_social["fds_trabalho_social"]
  n_fds_empreendimento["fds_empreendimento"]
  n_fds_ficha_empreendimento["fds_ficha_empreendimento"]
  n_fds_cadastro_pj --> n_fds_empreendimento
  n_fds_empreendimento --> n_fds_ficha_empreendimento
  n_fds_financeiro_mensal --> n_fds_empreendimento
  n_fds_int_059_caixa_pj --> n_fds_empreendimento
  n_fds_obra_mensal --> n_fds_empreendimento
  n_fds_trabalho_social --> n_fds_empreendimento
  n_raw_int_empreendimentos_int_059_fds_caixa_pj --> n_fds_int_059_caixa_pj
  n_raw_novo_mcmv_fds_cad_pj_mensal --> n_fds_cadastro_pj
  n_raw_novo_mcmv_fds_financeiro_mensal --> n_fds_financeiro_mensal
  n_raw_novo_mcmv_fds_obra_mensal --> n_fds_obra_mensal
  n_raw_novo_mcmv_fds_trabalho_social_mensal --> n_fds_trabalho_social
  classDef mm-fonte fill:#fff7ed,stroke:#fed7aa,color:#7c2d12
  classDef mm-bronze fill:#fef3e2,stroke:#b45309,color:#7c2d12
  classDef mm-silver fill:#f1f5f9,stroke:#64748b,color:#1e293b
  classDef mm-gold fill:#f3ebff,stroke:#7a34f3,color:#4c1d95
  classDef mm-alvo fill:#7a34f3,stroke:#5b21b6,color:#ffffff,font-weight:bold
  class n_raw_int_empreendimentos_int_059_fds_caixa_pj,n_raw_novo_mcmv_fds_cad_pj_mensal,n_raw_novo_mcmv_fds_financeiro_mensal,n_raw_novo_mcmv_fds_obra_mensal,n_raw_novo_mcmv_fds_trabalho_social_mensal mm-fonte
  class n_fds_cadastro_pj,n_fds_financeiro_mensal,n_fds_int_059_caixa_pj,n_fds_obra_mensal,n_fds_trabalho_social mm-bronze
  class n_fds_empreendimento mm-silver
  class n_fds_ficha_empreendimento mm-alvo

gold

fds_panorama_entidade

Tabela Gold do MCMV Entidades (FDS) agregada por Entidade Organizadora (CNPJ). É a tabela principal para os KPIs: Card Resumo, Ranking Interativo e Ranking de Risco. Contém agregações ponderadas e scores.

Como esta tabela é construída

Ver a definição em Mermaid

graph LR
  n_raw_int_empreendimentos_int_059_fds_caixa_pj["raw.<br/>int_empreendimentos_int_059_fds_caixa_pj"]
  n_raw_novo_mcmv_fds_cad_pj_mensal["raw.<br/>novo_mcmv_fds_cad_pj_mensal"]
  n_raw_novo_mcmv_fds_financeiro_mensal["raw.<br/>novo_mcmv_fds_financeiro_mensal"]
  n_raw_novo_mcmv_fds_obra_mensal["raw.<br/>novo_mcmv_fds_obra_mensal"]
  n_raw_novo_mcmv_fds_trabalho_social_mensal["raw.<br/>novo_mcmv_fds_trabalho_social_mensal"]
  n_fds_cadastro_pj["fds_cadastro_pj"]
  n_fds_financeiro_mensal["fds_financeiro_mensal"]
  n_fds_int_059_caixa_pj["fds_int_059_caixa_pj"]
  n_fds_obra_mensal["fds_obra_mensal"]
  n_fds_trabalho_social["fds_trabalho_social"]
  n_fds_empreendimento["fds_empreendimento"]
  n_fds_panorama_entidade["fds_panorama_entidade"]
  n_fds_cadastro_pj --> n_fds_empreendimento
  n_fds_empreendimento --> n_fds_panorama_entidade
  n_fds_financeiro_mensal --> n_fds_empreendimento
  n_fds_int_059_caixa_pj --> n_fds_empreendimento
  n_fds_obra_mensal --> n_fds_empreendimento
  n_fds_trabalho_social --> n_fds_empreendimento
  n_raw_int_empreendimentos_int_059_fds_caixa_pj --> n_fds_int_059_caixa_pj
  n_raw_novo_mcmv_fds_cad_pj_mensal --> n_fds_cadastro_pj
  n_raw_novo_mcmv_fds_financeiro_mensal --> n_fds_financeiro_mensal
  n_raw_novo_mcmv_fds_obra_mensal --> n_fds_obra_mensal
  n_raw_novo_mcmv_fds_trabalho_social_mensal --> n_fds_trabalho_social
  classDef mm-fonte fill:#fff7ed,stroke:#fed7aa,color:#7c2d12
  classDef mm-bronze fill:#fef3e2,stroke:#b45309,color:#7c2d12
  classDef mm-silver fill:#f1f5f9,stroke:#64748b,color:#1e293b
  classDef mm-gold fill:#f3ebff,stroke:#7a34f3,color:#4c1d95
  classDef mm-alvo fill:#7a34f3,stroke:#5b21b6,color:#ffffff,font-weight:bold
  class n_raw_int_empreendimentos_int_059_fds_caixa_pj,n_raw_novo_mcmv_fds_cad_pj_mensal,n_raw_novo_mcmv_fds_financeiro_mensal,n_raw_novo_mcmv_fds_obra_mensal,n_raw_novo_mcmv_fds_trabalho_social_mensal mm-fonte
  class n_fds_cadastro_pj,n_fds_financeiro_mensal,n_fds_int_059_caixa_pj,n_fds_obra_mensal,n_fds_trabalho_social mm-bronze
  class n_fds_empreendimento mm-silver
  class n_fds_panorama_entidade mm-alvo

O que foi feito

4 entregas tocaram este domínio, das quais 3 vêm com descrição própria do autor. O texto abaixo é o do pull request, não uma reescrita.

10/jul/2026 #101 pull request

Adiciona script de dif entre Minio e sftp

Juan-Ricarte · outro
10/jul/2026 #102 pull request

melhoras no script de snapshot

gusrberto · refatoração

Adiciona ao script sftp_snapshot.py a capacidade de detectar cópia de arquivos entre diretórios do SFTP. - Um arquivo novo cujo nome+tamanho coincide com um arquivo ainda presente em outro path é classificado como copiado (origem -> destino), não como novo.

sftp_snapshot.py
01/jul/2026 #99 pull request

ingestão dos dados do sftp

gusrberto · funcionalidade

Foram feitos dois scripts: - [x] Script de inserção de dados do SFTP no banco do projeto; - [x] Script de snapshots para descobrir alterações que ocorreram no SFTP entre períodos diferentes.

Resolve as issues #91 e #92
15/jun/2026 #86 pull request

pipeline dbt da linha entidades (FDS) do MCMV

gusrberto · funcionalidade

Resolve as issues #78, #79 e #80

Criação das 3 camadas do pipeline de transformação dos dados do MCMV Entidades. - [x] Camada bronze com tratamanto e normalização das tabelas; - [x] Camada silver com cruzamentos e integração das tabelas; - [x] Camada gold com tabelas criadas a partir da silvers para consumo no Superset;

Modelos

O caminho completo do dado neste domínio, camada a camada.

Camada	Modelo	Descrição	Depende de	Testes
bronze	`fds_cadastro_pj`	Cadastro detalhado de pessoa jurídica do MCMV Entidades (FDS). 343 empreendimentos contratados a partir de ago/2024 com dados de Entidade Organizadora, construtora, composição financeira completa, coordenadas GPS, tipologia, regime de obra e indicadores.	raw.novo_mcmv_fds_cad_pj_mensal	2
bronze	`fds_dados_prioritarios_entregas`	Snapshot de entregas reportadas pela CAIXA. Contém 11.540 registros de múltiplos programas. O filtro para FDS ocorrerá na silver.	raw.dados_prioritarios_recebidos_caixa_entregas	0
bronze	`fds_financeiro_mensal`	Série temporal de liberações financeiras FDS. 16.124 registros para 750 APFs. ATENÇÃO: ic_credito='0' são liberações reais (vr_liberado negativo, usar ABS). ic_credito='1' são devoluções (20 registros). APF fonte em 6 dígitos, normalizado para 8 via normalize_apf.	raw.novo_mcmv_fds_financeiro_mensal	1
bronze	`fds_int_059_caixa_pj`	Dados complementares da CAIXA (INT 059). Contém 856 registros, misturando legado e Novo MCMV. Importante para filtros de Novo PMCMV-E e status específicos como NAO_INICIADA_CLAUSULA_SUSPENSIVA.	raw.int_empreendimentos_int_059_fds_caixa_pj	0
bronze	`fds_obra_mensal`	Evolução física da obra FDS. Snapshot mensal com percentual previsto/realizado, situação da operação, UHs concluídas/alienadas, paralisação, invasão e datas de entrega. 343 registros (1 por empreendimento no snapshot atual).	raw.novo_mcmv_fds_obra_mensal	2
bronze	`fds_trabalho_social`	Acompanhamento do Trabalho Técnico Social FDS. 89 registros com situação do TS, datas de aprovação PTS, convênio, relatórios, percentual de execução e portaria.	raw.novo_mcmv_fds_trabalho_social_mensal	1
silver	`fds_empreendimento`	Tabela Silver (Visão Unificada) de Empreendimentos FDS do Novo MCMV Entidades. Consolida as 6 bronzes: fds_cadastro_pj, fds_obra_mensal, fds_int_059_caixa_pj, fds_trabalho_social, fds_financeiro_mensal e fds_dados_prioritarios_entregas. Gera uma visão por APF pronta para alimentar os dashboards de Ficha, Panorama Estadual, Panorama por Entidade e Alertas.	`fds_cadastro_pjfds_financeiro_mensalfds_int_059_caixa_pjfds_obra_mensalfds_trabalho_social`	2
silver	`fds_evolucao_financeira`	Tabela Silver de Evolução Financeira FDS. Série temporal mensal de liberações por empreendimento (APF × mês). Usa ABS(vr_liberado) para liberações reais (ic_credito='0'). JOIN com fds_empreendimento pela raiz de 6 dígitos. Inclui eo_cnpj/eo_nome para agregação por EO.	`fds_empreendimentofds_financeiro_mensal`	3
gold	`fds_evolucao_financeira_chart`	Tabela Gold de evolução financeira do MCMV Entidades (FDS). Estrutura de série temporal (1 linha por APF/Mês) pronta para plotar no Superset gráficos de linha (Acumulado) e barra (Desembolso mensal). Herda o cnpj_eo para permitir filtro direto por entidade.	`fds_evolucao_financeirafds_ficha_empreendimento`	0
gold	`fds_ficha_empreendimento`	Tabela Gold do MCMV Entidades (FDS) contendo 1 linha por empreendimento (APF). É a tabela central para alimentar o Superset com os dados detalhados. Utilizada nos KPIs: Mapa de Atuação, Semáforo de Alertas, Divergência Físico-Financeira e Distribuição por Tipo.	`fds_empreendimento`	2
gold	`fds_panorama_entidade`	Tabela Gold do MCMV Entidades (FDS) agregada por Entidade Organizadora (CNPJ). É a tabela principal para os KPIs: Card Resumo, Ranking Interativo e Ranking de Risco. Contém agregações ponderadas e scores.	`fds_empreendimento`	2

Entidades

Contexto

O que a plataforma faz

O que sai para uso

fds_evolucao_financeira_chart

fds_ficha_empreendimento

fds_panorama_entidade

O que foi feito

Adiciona script de dif entre Minio e sftp

melhoras no script de snapshot

ingestão dos dados do sftp

pipeline dbt da linha entidades (FDS) do MCMV

Modelos