The Data Platform Challenge · AWS Community
El dilema autonomía vs. control — y cómo resolverlo con governance-as-code
Segmento de Carlos Cortez dentro de la charla de Carlos Zambrano
Dónde entra este bloque
Zambrano mostró CÓMO se construye el self-service data platform en AWS.
Este bloque responde la otra mitad del challenge: hacerlo sostenible — en costo, en gobernanza y en calidad.
El lado oscuro del self-service
El self-service funciona... hasta que llega la factura y el auditor.
La tensión central
Demasiado control → nadie usa la plataforma (vuelven al shadow IT).
Demasiada libertad → costo y riesgo sin límite.
La respuesta: guardrails automáticos, no gatekeepers manuales.
La solución
Cada dataset/pipeline tiene dueño, dominio y costo. Tags obligatorios + CUR por producto de datos.
Reglas ejecutables en CI/CD: "no table sin partición", "no full-refresh en prod", "freshness test obligatorio".
Lake Formation: permisos row/column-level. Self-service ≠ acceso total.
Costo por query / por modelo dbt como métrica de plataforma, visible para el equipo dueño.
Guardrail 1
En un self-service platform, cada dataset debe responder: ¿quién lo produce? ¿quién lo consume? ¿cuánto cuesta?
Guardrail 2
Las reglas viven en el repo y corren en CI/CD. El self-service sigue siendo self-service — pero con barandas.
Guardrails 3 & 4
Lake Formation da permisos row/column-level. Y el costo por modelo se vuelve una métrica que el equipo dueño ve — no una sorpresa a fin de mes.
"No puedes optimizar lo que no ves — y en self-service, nadie mira la factura."
Todo AWS-nativo
Permisos fine-grained (row/column), LF-Tags para governance escalable.
Query stats por modelo, workgroups con límites de bytes escaneados.
Costo real por cuenta/tag → Athena → dashboards por dominio.
Enforcement de owner/domain/env en el catálogo.
Workgroup limits + partición obligatoria = queries acotados.
Gate en el PR antes de crear/materializar recursos.
Para llevar
Guardrails automáticos, no gatekeepers manuales.
Cada dataset es un producto con dueño y costo.
Las reglas viven en el repo y corren en CI/CD.
Gracias 🙌 — Carlos Cortez (AWS Hero Perú) & Carlos Zambrano (AWS Data Hero Colombia)
