Construindo uma plataforma de dados GCP-native do zero
Arquitetei e opero uma plataforma de dados na GCP que processa milhões de eventos por mês, com ingestão CDC entre clouds e governança alinhada a SOC2.
- GCP
- BigQuery
- Dataflow
- Dataform
- Cloud Composer
- Datastream CDC
- Terraform
- Terraform Cloud
Contexto
No meu papel atual, sou responsável pela plataforma de dados: uma stack de analytics GCP-native que ingere dados operacionais de vários sistemas de origem num data warehouse único no BigQuery.
Problema
Construir uma plataforma de dados de produção a partir de um projeto GCP vazio exigia resolver, ao mesmo tempo: ingestão confiável de sistemas hospedados em outra cloud, um modelo de governança que atenda SOC2 sem travar o trabalho dos analistas, e infraestrutura que um time pequeno consiga operar de verdade.
Solução
- Desenhei uma arquitetura Medallion (Bronze/Silver/Gold) usando BigQuery, Dataflow e Dataform.
- Implantei Datastream CDC para replicação em tempo real de PostgreSQL/MariaDB hospedados na AWS para o BigQuery, por um caminho de rede privado.
- Orquestrei ingestão e transformação com Cloud Composer (Airflow).
- Tornei o Terraform (via Terraform Cloud, autenticado por OIDC do GitHub — sem credenciais de cloud de longa duração) o único caminho pra mudanças de infraestrutura, com gates de CI pra lint, segurança e cobertura.
- Construí a camada de governança alinhada a SOC2/PCI-DSS: IAM de menor privilégio, revisão Zero Trust, logging pronto pra auditoria.
Resultado
Uma plataforma que sustenta o analytics operacional da empresa com alta confiabilidade, passou pela revisão de controles SOC2, e reduziu o ciclo de deploy de infraestrutura de dias para horas.
Aprendizados
Tornar o Terraform Cloud o único caminho pra mudanças de infraestrutura em produção — com auth via OIDC do GitHub e sem credenciais de longa duração — se paga em prontidão de auditoria e na confiança com que um time pequeno consegue operar uma plataforma desse porte.