Todas las organizaciones que gestionan datos a gran escala acaban enfrentándose a los mismos problemas: permisos dispersos, propiedad poco clara y falta de una forma sencilla de rastrear cómo fluyen los datos a través de las canalizaciones. Unity Catalog es la capa de gobernanza unificada de Databricks para los datos y los activos de IA. Ofrece a las organizaciones un único lugar para definir las políticas de acceso, capturar los registros de auditoría, hacer un seguimiento integral del patrimonio y descubrir los activos de todos sus espacios de trabajo.

‍

Características principales de Unity Catalog

Defina una vez, proteja en todas partes

• Unity Catalog ofrece un único lugar para administrar las políticas de acceso a los datos que se aplican en todos los espacios de trabajo.

Control de acceso centralizado

• Unity Catalog ofrece un único lugar para administrar el control de acceso a los datos que se aplica en todos los espacios de trabajo. Esto garantiza que la gobernanza de los datos sea coherente y segura en toda la organización.

Modelo de seguridad compatible con los estándares

• Unity Catalog usa un modelo de seguridad basado en ANSI SQL estándar, por lo que los administradores pueden conceder permisos con una sintaxis conocida. Los permisos se pueden establecer en diferentes niveles, como catálogos, esquemas (bases de datos), tablas y vistas.

Auditoría y linaje

• Unity Catalog captura automáticamente los registros de auditoría a nivel de usuario para rastrear el acceso a los datos. También captura el linaje de datos en tiempo real, hasta el nivel de tablas y columnas, así como para otros activos, como cuadernos, flujos de trabajo y paneles.

Descubrimiento de datos

• Unity Catalog te permite etiquetar y documentar los activos de datos, proporcionando una interfaz de búsqueda que ayuda a los consumidores de datos a encontrar los datos con facilidad.

‍

Estructura jerárquica en Unity Catalog

La administración de datos a escala a menudo genera confusión sobre dónde se encuentran los datos, quién es el propietario y cómo se debe estructurar el acceso. Sin un marco claro, resulta difícil aplicar una gobernanza coherente en todos los espacios de trabajo y equipos. Unity Catalog resuelve este problema con una jerarquía lógica en capas que organiza todos los activos de datos, permisos y funciones, desde el nivel de la cuenta hasta las tablas y vistas individuales, lo que hace que la gobernanza sea escalable y transparente.

1. Nivel de cuenta
Este es el nivel más alto de la jerarquía y representa toda su cuenta de Databricks.

• Incluye todos los espacios de trabajo y metastores de su organización.
• Los recursos se administran aquí de forma centralizada para garantizar la gobernanza y la eficiencia operativa.
  

2. Nivel de espacio de trabajo
Los espacios de trabajo son entornos en los que los usuarios colaboran, ejecutan libretas y acceden a los datos.

• Varios espacios de trabajo pueden compartir un único metastore si están en la misma región.
• Esta configuración permite una gobernanza centralizada con un aislamiento flexible a nivel de espacio de trabajo.
  

3. Nivel de Metastore
El metastore es el contenedor de nivel superior para la gobernanza de datos en Unity Catalog. Almacena los metadatos y administra los controles de acceso para todos los objetos que contiene. Debajo del metaalmacén, Unity Catalog usa una jerarquía de tres niveles para organizar y controlar los objetos de datos que se pueden proteger:

• Catálogos: agrupe dominios de datos de alto nivel que suelen estar alineados con departamentos, equipos, proyectos o entornos.
• Esquemas: también conocidos como bases de datos, los esquemas organizan objetos relacionados dentro de un catálogo, como tablas, vistas, volúmenes, funciones y modelos.
• Objetos: los activos de datos individuales, como sus tablas, vistas, funciones, volúmenes y modelos.
  
  Se hace referencia a los objetos de esquema con el formato:
  'catalog.schema.object'
  Ejemplo: SELECCIONE * DE analytics.sales.transactions;
  ‍
  • Control de acceso detallado
    Uno de los mayores desafíos en la gobernanza de datos es garantizar que las personas adecuadas tengan acceso a los datos correctos, ni más ni menos. Unity Catalog aborda este problema con un control de acceso detallado, que permite a las organizaciones definir los permisos de forma precisa y segura.
    
    Control de acceso en todo el modelo de objetos del catálogo de Unity:
    
    • A nivel de catálogo: administre el acceso a todo el catálogo.
    • Nivel de esquema: restringe el acceso a un esquema específico.
    • Nivel de tabla/vista: controle quién puede acceder a tablas o vistas específicas.
    • Nivel de fila/columna: limita el acceso a los datos confidenciales de una tabla, como ocultar las columnas de PII a usuarios no autorizados.

‍

Privilegios de administrador en Unity Catalog

Los diferentes administradores administran diferentes partes de esta jerarquía, con responsabilidades claramente definidas:

• Administradores de cuentas
  • Administre toda la cuenta de Databricks.
  • Crea y asigna metastores y espacios de trabajo.
  • Gestione el aprovisionamiento de usuarios y grupos, la configuración a nivel de cuenta y la supervisión del uso.
• Administradores del espacio de trabajo
  • Puede administrar usuarios, grupos y funciones de administración dentro del espacio de trabajo, así como controlar la propiedad de los trabajos y la configuración de ejecución.
  • Tenga acceso completo para ver y administrar todo el contenido del espacio de trabajo, incluidos los blocs de notas, los paneles y los recursos informáticos.

• Administradores de Metastore
  • Tenga un control total sobre todos los objetos del metastore, incluidos los catálogos, las credenciales de almacenamiento, las ubicaciones externas, las conexiones y los recursos de Delta Sharing, como los recursos compartidos, los destinatarios y los proveedores.
  • Puede administrar los permisos, transferir la propiedad, leer y actualizar los metadatos y configurar el almacenamiento administrado. También son los únicos usuarios que pueden conceder privilegios a nivel de metastore.

‍

Auditoría del acceso a los datos

Unity Catalog mantiene un registro detallado de cada acción en tu metastore. Esto significa que puedes ver exactamente quién vio o cambió cualquier conjunto de datos y qué hizo. La información de auditoría está disponible en las tablas del sistema de Unity Catalog, por lo que puedes ejecutar consultas de SQL para revisar los registros de acceso, detectar comportamientos inusuales y cumplir con los requisitos de cumplimiento.

‍

Linaje de datos de seguimiento

Comprender cómo se mueven y transforman los datos dentro de una organización es crucial para solucionar problemas, auditar y garantizar la confianza en los datos. Unity Catalog captura automáticamente el linaje de datos de un extremo a otro, lo que proporciona visibilidad de las fuentes de datos, las transformaciones y el uso posterior.

Esto facilita el seguimiento de los cambios, el diagnóstico de errores y la verificación de la integridad de los datos. En el caso de las industrias que exigen un alto grado de cumplimiento normativo, el seguimiento automatizado del linaje simplifica las auditorías normativas al ofrecer un registro claro de cómo se utilizan los datos en los distintos flujos de trabajo.

‍

Uso compartido seguro con Delta Sharing & Clean Rooms

Delta Sharing le permite compartir tablas, vistas o archivos de su almacenamiento en la nube con socios, proveedores u otros equipos sin copiar datos. Los permisos que haya establecido en Unity Catalog se transfieren a estos recursos compartidos. Para los escenarios que requieren controles más estrictos, las salas limpias proporcionan un entorno informático aislado en el que varias partes pueden colaborar en los datos sin exponer las tablas sin procesar entre sí. Usted define las transformaciones exactas permitidas y todas las salidas siguen gobernadas por el control de acceso predefinido del proveedor.

‍

Métricas gobernadas con Unity Catalog Metrics

(Anunciado en la cumbre Data + AI de 2025: ahora disponible en versión preliminar pública en AWS, Azure y GCP)

A medida que la casa del lago evoluciona, también lo hace la necesidad de tratar las métricas como ciudadanos de primera clase. Tradicionalmente, los KPI y las métricas empresariales se encuentran dispersas en paneles, SQL integrado u hojas de cálculo, lo que genera incoherencias, errores y duplicaciones. Unity Catalog Metrics resuelve este problema al permitirte definir vistas de métricas gobernadas y reutilizables directamente en Unity Catalog.

Estas métricas son:

• Definido de forma centralizada mediante archivos YAML
• Se puede consultar en cuadernos SQL, paneles de control, flujos de trabajo, modelos Genie Space e IA
• Se gobierna con el mismo modelo de control de acceso que otros objetos de Metastore.
• Seguimiento del linaje para que sepas exactamente dónde se utilizan las métricas

Esto significa que todos los equipos de finanzas, BI y ciencia de datos pueden confiar en la misma versión de «ingresos mensuales», «usuarios activos» o «tasa de conversión» en toda la organización sin tener que volver a implementar la lógica en cada herramienta.

‍

Mejores prácticas

• Usa grupos, no individuos
  Asigne permisos a grupos (ingenieros de datos, analistas de datos, equipos de auditoría, DS, BI) en lugar de a usuarios individuales, para obtener registros de auditoría más limpios y una administración más sencilla.
  ‍
  
• Imponga el mínimo privilegio
  Comience con un acceso mínimo y eleve solo cuando los proyectos lo exijan.
  ‍
  
• Organice sus datos
  Utilice los catálogos para separar los datos por entorno (por ejemplo, desarrollo, prueba, producción), equipo o unidad de negocio. Esto permite que sus datos estén bien estructurados y sean más fáciles de administrar. También puede vincular catálogos a espacios de trabajo específicos cuando sea necesario un aislamiento más estricto. Utilice esquemas dentro de los catálogos para agrupar tablas, vistas y volúmenes relacionados y para administrar los permisos con mayor precisión.
  ‍
  
• Modelo de gobierno centralizado o distribuido
  Unity Catalog admite modelos de gobierno centralizados y distribuidos. En un modelo centralizado, los administradores de Metastore administran todos los datos y permisos del dominio de datos. En un modelo distribuido, la propiedad está delegada y cada catálogo puede representar un dominio de datos, y su propio propietario es responsable de administrar los objetos y el acceso dentro de ese dominio.
  

• Aísle el almacenamiento por dominio
  Asigne ubicaciones de almacenamiento dedicadas a nivel de metaalmacén, catálogo o esquema (por ejemplo, un depósito de S3 destinado a la financiación) para cumplir con la normativa.
  ‍
  
• Acceso seguro al almacenamiento en la nube
  Usa ubicaciones externas y credenciales de almacenamiento para dar a Unity Catalog un acceso controlado al almacenamiento en la nube. Para lograr un mejor aislamiento, vincula las ubicaciones y credenciales a espacios de trabajo específicos y evita usar soportes para el almacenamiento regidos por Unity Catalog.
  

• Limitar las funciones de administrador
  Mantenga al mínimo los derechos de administrador de metastore-admin y workspace-admin. Utilice los enlaces entre el catálogo del espacio de trabajo para evitar anulaciones accidentales.
  ‍
  
• Supervise continuamente
  Crea paneles en las tablas del sistema de Unity Catalog para detectar patrones de acceso inusuales o cambios en las políticas en tiempo real.

‍

Reflexiones finales: Cómo generar confianza y escalabilidad con Unity Catalog

En el panorama en evolución de las plataformas modernas de datos e IA, la gobernanza es una necesidad básica. Unity Catalog no es solo una herramienta para el control de acceso; es una base estratégica para la colaboración segura, la detección de datos y el cumplimiento normativo en toda la organización.

Hemos brindado soluciones con Unity Catalog como la capa de gobierno central para clientes de varios sectores y hemos visto de primera mano cómo permite una entrega de proyectos más rápida, reduce el riesgo y genera confianza en los datos y los resultados de la IA. Desde la optimización del acceso en entornos de tenencia múltiple altamente regulados hasta la simplificación del uso de tuberías complejas, Unity Catalog ha demostrado ser un factor fundamental para la agilidad y el control.

A medida que crece su patrimonio de datos, también lo hace la importancia de contar con un marco de gobierno claro y escalable. Con el catálogo Unity de Databricks, no solo estás protegiendo tus activos, sino que también estás creando la base para proyectos de datos e IA confiables, colaborativos y preparados para el futuro.