¿Qué son y cómo tratar con ellos?
¿Siguen siendo los silos de datos un problema en 2023? tu apuestas
Pero el entorno de TI está en constante evolución; la forma en que el mundo de la tecnología ve y trata con los silos cambia constantemente. (Lea también: Romper los silos: cómo consolidar, limpiar y usar permanentemente sus datos.)
Esto plantea la pregunta: ¿Desaparecerán por completo los silos de datos?
Este artículo proporciona antecedentes sobre los silos de datos y explora las soluciones emergentes que pueden ayudarlo a eliminarlos dentro de su organización.
¿Qué son los silos de datos?
Un silo de datos es cuando los datos comerciales valiosos se atascan en algún lugar de una red o sistema donde no son tan útiles como lo serían de otra manera.
Bueno, lo opuesto a un silo de datos es un sistema en el que los datos siempre fluyen libremente hacia donde se pueden utilizar mejor.
No es difícil imaginar los tipos de escenarios que crean islas de datos en redes grandes y complejas. El bloqueo de proveedores es un ejemplo común, pero cualquier situación en la que los datos no lleguen a donde deben ir crea silos de datos.
¿Por qué los silos de datos son un problema?
El libre flujo de información es fundamental para los sistemas empresariales; si la información no se puede compartir, es posible que no sea tan útil.
Por ejemplo, si las bases de datos en silos contienen información sobre los historiales de compras de los clientes e información sobre productos, la red más amplia de la empresa no podrá aprovechar esos datos para informar su dirección estratégica. (Lea también: Destruya los silos con una plataforma integrada de análisis de datos.)
Además de aumentar la capacidad de almacenamiento, los silos de datos también son un problema porque reducen la eficiencia con la que se puede recopilar la información. El valor de los datos radica en su caso de uso: los silos de datos evitan que los datos se trasladen a donde pueden beneficiar más a la empresa.
¿Por qué es tan difícil deshacerse de los silos de datos?
Según un artículo de Krishna Subramanian, hay dos razones principales por las que las empresas a menudo no eliminan los silos de datos:
- Costos de cómputo.
- costos de almacenamiento.
Estas dos razones provienen del mismo lugar: a medida que las empresas crecen y adquieren nuevos tipos de datos, sus conjuntos de datos se vuelven más grandes y complejos, pero sus sistemas de entrega de datos no siempre crecen al mismo ritmo. Eso significa que cada vez más datos se almacenan en frío para un uso «eventual», solo que «eventualmente» no siempre llega.
Esto requiere poder de cómputo y dinero para mantener la capacidad de almacenamiento.
Además, los silos de datos son difíciles de eliminar porque crecen cuanto más tiempo se dejan sin administrar. Y cuanto más grandes se vuelven, más complejos y costosos se vuelven para los equipos asignados para manejarlos.
En resumen, los silos de datos son difíciles de eliminar, pero es importante evitar que obstaculicen el éxito general de la red de su empresa.
Solución de isla de datos
1. Lago de datos
Un lago de datos se forma cuando una empresa deposita todos los datos estructurados y no estructurados en un depósito centralizado, donde permanece para su fácil recuperación.
Sin embargo, como un lago real, los datos en un lago de datos son muy amorfos. Si necesita sacar un pez específico de un lago físico, tendrá que trabajar un poco para averiguar dónde está ese pez. En muchos casos, lo mismo ocurre con los lagos de datos.
En otras palabras, Subramanian escribió un artículo sobre cómo los lagos de datos, sin una buena gobernanza, terminan como «vertederos» de datos. (Lea también: El gobierno de datos es asunto de todos.)
2.ETL y ELT
Cuando se trata de silos de datos, hay dos procesos de datos relativamente nuevos que compiten por el uso empresarial:
- ETL, Significa «extraer, transformar, cargar».
- Inglés, Significa «extraer, cargar, transformar».
En cada uno de estos procesos, las empresas extraen datos de sistemas heredados, los cargan en nuevos sistemas y los transforman. La única diferencia entre los dos procesos es si el negocio transforma los datos antes o después del proceso de carga; en ETL sucede antes, mientras que en ELT sucede después.
¿Por qué la distinción? Algunos analistas señalan el valor de transformar después de cargar: los datos transformados pueden requerir más recursos para cargar, por lo que guarda ese trabajo al cargar primero y transformar al final. Sin embargo, esto hace que el trabajo de conversión deba completarse después de la carga, lo que es un inconveniente para algunas empresas con personal y configuraciones diferentes.
En ETL reciente basado en la nube, este proceso se puede usar para recopilar datos de diferentes sistemas o migrar datos locales a un entorno de nube designado. Los almacenes de almacenamiento de datos basados en la nube pueden mejorar la seguridad, la eficiencia y la capacidad generales, y muchas empresas utilizan servicios de grandes proveedores como AWS y Azure para crear este tipo de plataformas.
3. API
Las API, o interfaces de programación de aplicaciones, han recibido mucha atención como el tejido conectivo de los sistemas digitales.
En teoría, las API pueden resolver muchos problemas de silos de datos, pero solo en la medida en que los ingenieros y otras partes interesadas puedan conectar fácilmente las API como tuberías. Una vez más, sin embargo, es más fácil decirlo que hacerlo. (Lea también: API abierta: el futuro de las interfaces de programación de aplicaciones.)
4. AI y ML e integración de datos
También están surgiendo nuevos motores de inteligencia artificial (IA) y aprendizaje automático (ML) para manejar silos de datos.
AI y ML han logrado avances significativos en los últimos años, y ahora es posible clasificar y mover datos a niveles sin precedentes. Por lo tanto, la inteligencia artificial y el aprendizaje automático pueden representar el futuro de romper los silos de datos.
Al utilizar los conocimientos y la inteligencia generados por AI y ML, las empresas pueden desarrollar mejores planes para integrar datos en redes distribuidas. Una forma de verlo es como un «sistema agregado más inteligente» donde las aplicaciones de IA y ML son el catalizador y la tecnología (como ETL/ELT) es el mecanismo para lograr estos objetivos.
en conclusión
Algunos expertos hablan de crear una «cultura de compartir» para los datos. Otros hablan específicamente sobre diferentes enfoques para el gobierno de datos; otros aún mencionan cómo usar servicios de proveedores como AWS S3, donde los datos se almacenan en cubos de almacenamiento de objetos para recuperarlos usando metadatos para identificar qué hay en ellos.
Pero más allá de estos consejos generales, una cosa queda clara: los silos de datos pueden existir de una forma u otra en nuestras redes corporativas. Por lo tanto, es crucial desarrollar nuevas herramientas y estrategias para hacerles frente.
