Explosión de los datos

Si tomamos todos los datos humanos que se generaron desde el principio de los tiempos hasta 2003, tendríamos alrededor de cinco millones de gigabytes de datos. ¿Cuántos gigabytes de datos generamos ayer?

¡Uy! ¿Como 100.000?

¿Como cinco millones de gigabytes?

¿Cuántos gigabytes de datos generamos ayer, en un día? ¿10 millones de gigabytes?

Yo diría, no sé, ¿tal vez dos millones?

¿Quizás un millón de gigabytes en un día?

¿La respuesta? Más de 2.500 millones.

¡Guau!

¿Dos mil quinientos millones?

Ya superamos el récord mundial.

Son muchos gigabytes.

Son muchísimos datos. No puedo creerlo.

En 2016, el tráfico de datos anual que generamos en línea por primera vez rebasó un zetabyte. Para darse una idea, son mil trillones de bytes. ¿Alcanzas a imaginarte ese número? Ahora triplícalo, porque esa es la cantidad de datos que tenemos en 2021.

Ya sé, el cerebro no está hecho para pensar en zetabytes, pero acuérdate de este dato un segundo. Nuestro tráfico de IP se triplicará en cinco años. Es una inundación de datos, y nosotros estamos en medio.

En este último minuto que pasó, la gente envió 16 millones de mensajes de texto, y en el tiempo que me llevó decir esta frase, Google procesó 200 000 búsquedas.

Dentro de esa inundación de datos hay patrones, respuestas y secretos que pueden mejorar enormemente nuestras vidas, siempre y cuando podamos mantenernos de pie cuando llegue.

Esto es Command Line Heroes en español, un podcast original de Red Hat. Ya se alcanzan a ver olas gigantescas en el horizonte. Este es el episodio 6 de la temporada 2: la inundación de datos.

¿Cómo manejamos cantidades tan enormes de datos? ¿Cómo haremos uso de ellos una vez capturados? El big data resolverá algunos de nuestros problemas más complicados.

Cómo gestionamos el tráfico. Cómo cultivamos los alimentos. Cómo entregamos suministros a quienes los necesitan. Pero eso solo sucederá cuando entendamos cómo trabajar con todos esos datos, cómo procesarlos y a una velocidad vertiginosa.

Al tener más datos, podemos profundizar en los subgrupos, las particularidades y los detalles como nunca antes.

Kenneth Cukier es editor principal en The Economist y también es anfitrión de un podcast de tecnología que se llama Babbage.

No es que antes no pudiéramos recopilar los datos. Podíamos hacerlo, pero era muy, muy costoso. La verdadera revolución es que podemos recopilar estos datos muy fácilmente.

Es muy económico y el procesamiento es muy sencillo porque todo lo hace una computadora. Esto se ha convertido en la gran revolución de nuestra era, y probablemente sea el aspecto más determinante de la vida moderna, y lo será durante las próximas décadas, y tal vez durante el próximo siglo. Por eso el big data es tan importante.

Para recordar lo radical que ha sido ese cambio, necesitamos hablar un poco de historia. Piénsalo, hace 4000 años, tallábamos todos nuestros datos en bloques de lodo seco.

Los discos de arcilla eran pesados. Los datos que se imprimen en ellos ya no se pueden cambiar después de hornearlos. Todas las características de cómo se procesaba, almacenaba, transfería y generaba la información han cambiado, ¿no es así?

Han cambiado, y mucho. Alrededor del año 1450, vemos la primera revolución de la información con la invención de la imprenta. Y en la actualidad tenemos nuestra propia revolución.

Es liviana. Puede cambiarse con mucha facilidad porque podemos simplemente usar la tecla eliminar y cambiar la instancia de la información que tenemos. ya sea en la cinta magnética o en la transición de los transistores electrónicos y los procesadores que tenemos. Podemos transportarla a la velocidad de la luz, a diferencia de un disco de arcilla, que hay que cargar.

La Imprenta aumentó nuestro nivel de comprensión de las cosas con la inundación de datos del siglo XV, que posteriormente abrió paso a la Ilustración.

Hoy en día, el Big Data puede volver a llevarnos a otro nivel. Pero solo si descubrimos cómo aprovechar todos esos datos. Solo si construimos las represas y las turbinas que nos permitirán sacar provecho de esa inundación.

Existe una enorme brecha entre lo que es posible hoy en día y lo que hacen las empresas, las personas y las organizaciones. Es muy importante porque ya podíamos ver que hay un valor latente en los datos y que el costo de recopilarlos, almacenarlos y procesarlos se ha reducido mucho si lo comparamos con el pasado, lo cual es evidente si la comparación es con el costo de hace cien años, pero lo mismo sucede al compararlo con el costo de hace tan solo diez años.

Es muy emocionante. Pero el problema es que, aún no llegamos a eso, ni culturalmente ni en nuestros procesos organizativos, ni tampoco en los presupuestos que los directores financieros y los directores informáticos asignan a los datos.

Si lo piensas, es muy frustrante. La Ilustración nos toca a la puerta, ¡y nadie abre! Y parte de las razones por las que nadie abre es que, bueno, ¿quién está detrás de la puerta? ¿Y qué nos van a dar todos esos datos?

Kenneth cree que la novedad del big data impide que algunas empresas den ese salto.

¿Cuál es el valor de los datos una vez que se recopilan en grandes volúmenes? La respuesta más sincera es que si crees que sabes, no sabes nada. Porque hoy en día es imposible conocer todas las formas en que emplearemos los datos el día de mañana.

Lo más importante es recopilarlos y tener la mente abierta respecto a todas las formas de emplearlos.

Según Kenneth, lo que sucederá si entendemos bien el big data es una completa transformación de nuestras actitudes hacia lo que es posible. Un mundo en el que todos, no solo los analistas de datos, puedan ver el potencial y obtener información.

Si entendemos que el mundo nos permite recopilar evidencia empírica para comprenderlo, cambiarlo y mejorarlo, y que las mejoras pueden ocurrir de manera automatizada, lo veremos de una manera diferente, y creo que ese es el cambio realmente interesante que está sucediendo cultural o psicológicamente en todo el mundo, donde los legisladores, los empresarios y los baristas de Starbucks...

...todo el mundo, en todos los ámbitos de la vida, tienen el gen de los datos. Ya lo tienen. Ya están vacunados, y ahora, dondequiera que miren, piensan con una mentalidad de datos.

Kenneth Cukier nos contaba esa breve historia para ilustrar el poder de esa nueva mentalidad de datos. Unos investigadores de Microsoft comenzaron a pensar en el cáncer pancreático.

Las personas a menudo se enteran demasiado tarde de que lo padecen, y su detección temprana podría salvar vidas. Entonces, los investigadores comenzaron a preguntarse... antes de que los pacientes comenzaran a buscar información sobre el cáncer pancreático, ¿qué habían buscado los últimos meses? Y los años anteriores.

Comenzaron a buscar pistas enterradas dentro de todos esos datos de búsqueda. Comenzaron a buscar patrones.

Y se sacaron la lotería. Vieron que se pueden identificar patrones en los términos que la gente busca antes de que empiece a investigar sobre el cáncer pancreático, y resultó que esas búsquedas anteriores predecían con mucha precisión que las personas tenían cáncer pancreático.

Lo importante aquí es que los investigadores, al usar su imaginación en relación al conocimiento latente dentro de los datos, pueden salvar vidas. Lo único que necesitan ahora es encontrar la forma de que se generen legislaciones al respecto, para que cuando la gente busque esos términos, puedan intervenir de una manera sutil para advertirle: "quizás sería bueno que vaya a una clínica de atención médica y se revise esto".

Con eso se salvará la vida de mucha gente.

Lo que los investigadores encontraron es una nueva forma de detectar el cáncer, un proceso que podría alertar a los pacientes meses antes. Hacer uso de los datos no es solo cuestión de maximizar las ganancias o la eficiencia.

Los datos abarcan mucho más que eso. En ellos se esconden cosas muy positivas para la humanidad. Si no los usamos, podríamos estar engañándonos nosotros mismos. A continuación nos concentraremos en el tremendo esfuerzo que implica poner los datos en funcionamiento.

El Hospital Infantil de Boston de la Facultad de Medicina de Harvard realizó más de 26 000 cirugías el año pasado. Ahí se realiza casi un cuarto de millón de exámenes radiológicos en niños.

El personal hace un trabajo increíble, pero hay un enorme obstáculo que se interpone en su camino.

Muchos de los problemas que tenemos en el entorno hospitalario, especialmente como médicos, tienen que ver con la forma de obtener acceso a los datos.

Esa era la Dra. Ellen Grant. Es neurorradióloga pediátrica en el Hospital Infantil de Boston, y depende del acceso a los datos y el análisis de las imágenes médicas.

No es sencillo acceder al archivo de pacientes donde se almacenan las imágenes para realizar análisis de datos adicionales, a menos que se cree el entorno necesario. Y eso no es fácil si te encuentras en una sala de lectura donde solo se ofrecen las computadoras estándar del hospital.

Hay una barrera que impide llegar a los datos.

De hecho, los hospitales eliminan muchos de ellos porque no pueden permitirse almacenarlos. Entonces simplemente... se pierden. Tal vez los radiólogos como la Dra. Grant hayan sido el primer grupo de médicos en sentirse frustrados por la sobrecarga de datos.

Cuando dieron el salto digital, comenzaron a generar enormes cantidades de datos, lo cual rápidamente se volvió imposible de manejar.

Como médica clínica, yo quería que en la sala de lectura se pudiera hacer todo el análisis sofisticado que permite un entorno de investigación. Pero no hay manera de sacar las imágenes de los paquetes fácilmente, para luego llevarlas a algún lugar donde se pueda hacer el análisis y después volver a recogerlas.

Por cierto, en los hospitales se les dice "paquetes" a los bancos de datos que almacenan sus imágenes. La Dra. Grant sabía que había herramientas que podían volver más funcionales esos paquetes de imágenes, pero los costos eran exorbitantes.

A medida que entramos en esta era de aprendizaje automático e inteligencia artificial, habrá mayor necesidad de contar con recursos informáticos más grandes, para realmente comenzar a hacer el análisis que queremos hacer con las grandes bases de datos que tenemos.

Los datos se han acumulado, pero el procesamiento no. El procesamiento on premise es imposible. Y las supercomputadoras complejas y costosas están fuera del alcance de los hospitales

La Dra. Grant se sintió profundamente frustrada.

¿Será posible encontrar una mejor manera de traer los datos aquí, analizarlos y recuperarlos para poder hacerlo en la consola donde interpreto imágenes clínicas? Porque quiero tener ahí los datos para analizarlos rápidamente.

No quiero tener que pasar de una computadora a otra, ni acordarme de todo el código de línea, porque ese no es mi trabajo. Mi trabajo es tratar de comprender enfermedades médicas muy complejas, y almacenar todos esos datos en mi mente.

Quería mantenerme enfocada en mis habilidades, pero también aprovechar lo que está surgiendo en el lado computacional, sin tener que profundizar mucho en él.

Lo que la Dra. Grant y los radiólogos de todo el mundo necesitaban era una forma de hacer clic en las imágenes, realizar análisis en profundidad, y que todo sucediera en la nube para que el hospital no tuviera que construir su propia torre de servidores ni tampoco convertir al personal médico en programadores.

Necesitaban una manera de lograr que sus datos salvaran la mayor cantidad de vidas posible, y eso es exactamente lo que decidieron desarrollar la Dra. Grant y algunos héroes de la línea de comando.

El equipo de la Dra. Grant en el Hospital Infantil de Boston trabajó con Red Hat y la nube abierta de Massachusetts (MOC, por sus siglas en inglés). Más adelante hablaremos más sobre la MOC. Pero primero escuchemos a Rudolph Pienaar, ingeniero biomédico del hospital, describir su solución. Es una plataforma de imágenes de código abierto basada en contenedores.

Además, todo se ejecuta en la nube. Así que la potencia informática del hospital no limita la capacidad de la plataforma, a la cual le pusieron ChRIS.

Hay una base de datos de backend que en realidad es una máquina Django Python, y que da seguimiento a los usuarios. Da seguimiento a los datos que han procesado. Da seguimiento a los resultados.

Luego, hay una serie completa de servicios que giran en torno a esta base de datos y que existen como instancias propias en los contenedores. Los contenedores se encargan de la comunicación con los recursos del hospital, como las bases de datos. Se encargan de las complejidades de extraer los datos de esos recursos y luego enviarlos a otros servicios que existen en una nube, en otro laboratorio u otro lado. En el lugar donde se analizan los datos, están todos los servicios como Kubernetes, el cronograma y el análisis real de los datos que deseamos hacer. Y luego se los reenvía a donde estaban.

Para la Dra. Grant, la plataforma de imágenes ChRIS es una forma de hacer que los datos cobren vida. Más que eso, es una forma en que los datos le permiten ser una mejor doctora.

Lo que nos convierte en buenos médicos es la experiencia que hemos adquirido al ejercer la medicina. Si podemos incorporar esa experiencia al análisis de datos y acceder a más de esa información, todos vamos a saber más y podremos combinar mejor la información.

Por ejemplo, yo tengo cierta percepción de cómo se ve algún patrón de lesión en una determinada población de pacientes, y esa percepción está impresa en mi entendimiento Gestalt, a partir de los recuerdos que tengo.

Ahora puedo usar esos recuerdos para crear mapas de probabilidades de las distribuciones de esas lesiones, e informar a todos en función de los datos reales, o puedo buscar pacientes similares con patrones similares, y decir qué tratamientos les funcionaron mejor, para intentar acercarme más a la medicina de precisión.

Integrar la gran cantidad de datos e intentar aprovechar nuestros conocimientos anteriores, para informar mejor cómo se debe tratar a cualquier persona de la mejor manera posible.

¿Y eso qué implica para los niños que van al hospital? La Dra. Grant dice que la plataforma ChRIS ofrece diagnósticos más específicos y atención más personalizada.

Si tenemos bases de datos más complejas, podemos comprender mejor las interacciones complejas y, con suerte, orientar mejor a cada paciente. Para mí, ChRIS es básicamente la entrada hacia varios lóbulos que complementan mi cerebro y que me permiten ser mucho más inteligente de lo que soy yo sola, porque yo no puedo mantener todos estos datos en mi cabeza a la vez.

Cuando hay tantas cosas en juego, necesitamos superar los límites del cerebro humano. Ella es Máirín Duffy. Una de las diseñadoras del equipo de Red Hat que hace que ChRIS sea posible, y sabe por experiencia personal lo que está en juego.

Mi padre tuvo un accidente cerebrovascular, así que yo he estado del lado de la familia del paciente, esperando los resultados de la tecnología médica, porque cuando alguien tiene ese tipo de accidente, lo ingresan al hospital para averiguar qué tipo de accidente cerebrovascular es. Según el tipo, hay diferentes tratamientos.

Si te equivocas de tratamiento, puede haber consecuencias muy graves. Por lo tanto, mientras más rápido se ingrese a un paciente para una resonancia magnética, más rápido se puedan interpretar los resultados en esa situación… Más rápida es la posibilidad de salvarle la vida.

Imagínate que puedes sacar ese procesamiento de imágenes de la nube, ya paralelizado, y hacerlo mucho más rápido. En lugar de horas o días, son minutos.

La medicina podría llegar a otro nivel. Un nivel que no esté impulsado por la farmacología, sino por la informática. Además, pensemos en la escalabilidad de algo como ChRIS.

Podríamos lograr que los doctores de los países en vías de desarrollo se beneficien de la experiencia y los conjuntos de datos del Hospital Infantil de Boston. Cualquier persona con servicio de celular podría acceder a información y los datos almacenados en la web que podrían salvar vidas.

Además de la medicina, muchos otros campos podrían llegar a otro nivel. Pero solo si descubren cómo lograr que hablen sus recopilaciones de datos. Para ello, necesitan descubrir un territorio informático completamente nuevo.

Estamos aprendiendo a hacer uso de nuestros datos en todo el mundo. Y a dar cauce a esas inundaciones de datos hacia nuestros propios objetivos, como en el Hospital Infantil de Boston.

En otras palabras, estamos procesando esos datos. Pero solo podemos hacerlo gracias a que una nueva generación de informática basada en la nube hace que el procesamiento sea posible.

Para plataformas como ChRIS, un elemento fundamental es que la informática basada en la nube ofrece un nuevo tipo de almacenamiento. Recordemos que muchos hospitales eliminan los datos que recopilan porque no pueden guardarlos todos.

Esa es nuestra última pieza del rompecabezas de la inundación de datos. La solución de almacenamiento. Para ChRIS, la solución de almacenamiento se presentó como un proyecto de código abierto llamado Ceph. La nube abierta de Massachusetts, que utiliza ChRIS, depende de Ceph.

Tuvimos la oportunidad de conversar con su creador, Sage Weil, para saber cómo lugares como el Hospital Infantil de Boston pueden procesar enormes cantidades de datos a una velocidad relámpago. Esta es nuestra conversación con Sage. Creo que una buena pregunta para empezar es, ¿qué es Ceph y qué hace?

Claro. Ceph es un sistema de almacenamiento definido por software que permite proporcionar un servicio de almacenamiento confiable, y que ofrece varios protocolos en hardware no confiable.

Está diseñado desde cero para que sea escalable, para que podamos tener sistemas de almacenamiento muy, muy grandes, conjuntos de datos muy grandes y que podamos ponerlos a disposición y tolerar fallas de hardware y red, etc., sin comprometer la disponibilidad.

Hay muchísimos datos en la actualidad.

Sí.

Muchísimo consumo. Hay mucho que controlar. ¿Sientes que el momento en que se realizó tiene que ver con la necesidad de la solución?

Sí, definitivamente. En ese momento era muy evidente que existía una enorme brecha en la industria. No había ninguna solución de código abierto que abordara el problema de almacenamiento escalable. Era evidente que teníamos que desarrollar algo.

Si pensamos en la cantidad de datos que tratamos a diario, en que esa cantidad sigue aumentando, y que es cada vez más grande y difícil de gestionar, ¿en qué crees que se esté trabajando hoy para abordar esa creciente necesidad?

Creo que hay varios elementos. Lo primero es que la cantidad de datos que se genera es increíble, claro, así que necesitamos sistemas escalables que puedan ampliarse no solo para admitir más hardware y datos, sino que también necesitan un tipo de capacidad de sobrecarga operativa fija o casi fija.

Ajá (afirmativo).

Es decir, no queremos tener que pagarle a otra persona por cada 10 petabytes o algo así. Supongo que una manera de explicarlo es que tienen que ser escalables operacionalmente.

Sí.

Eso por un lado. Por otro, creo que también está cambiando la forma en que las personas interactúan con el almacenamiento. Al principio, solo era el almacenamiento de archivos, pero ahora tenemos el almacenamiento en bloques de las máquinas virtuales, y creo que el almacenamiento de objetos es una tendencia fundamental en la industria.

En realidad, creo que la siguiente fase no es solo proporcionar un extremo de almacenamiento de objetos y poder almacenar datos en un clúster, sino realmente aumentar el nivel y generar clústeres de clústeres, o sea, una red geográficamente distribuida de instancias de la nube o instancias de centros de datos privados donde se almacenen los datos, para poder administrar los datos que se distribuyen entre ellas.

Tal vez hoy escribamos los datos en cierta ubicación pero con el pasar del tiempo los clasifiquemos en otro lado porque es más barato, o está más cerca o porque los datos son más antiguos, y necesitamos moverlos a un nivel de menor rendimiento y mayor capacidad por motivo de precios.

Manejar cuestiones como el cumplimiento para que cuando se almacenen datos en una... en Europa, se mantengan dentro de ciertos límites políticos para cumplir con la ley.

En ciertas industrias, hay cosas como la Ley de Portabilidad y Responsabilidad de Seguros Médicos en los Estados Unidos, que restringe la forma en que se transfieren los datos. Creo que a medida que las organizaciones de TI modernas se expanden cada vez más en muchos centros de datos diferentes, en muchas nubes públicas y en su propia infraestructura de nube privada, el poder administrar todos estos datos y automatizar su administración se vuelve cada vez más importante.

Si piensas en cómo vamos a gestionar, almacenar y procesar datos en el futuro, ¿qué papel tiene el código abierto? Mencionaste que querías crear una solución de código abierto por tu filosofía personal y tus convicciones sobre el software libre y abierto.

¿Cómo crees que el código abierto afecte otras soluciones en el futuro?

Creo que sobre todo en el espacio de la infraestructura, las soluciones se dirigen hacia el código abierto. Creo que el motivo es que hay presiones por los altos costos en el espacio de la infraestructura, sobre todo para las personas que crean software como servicio o servicios en la nube, es importante que mantengan su infraestructura a costos muy bajos, y el código abierto es claramente una muy buena manera de hacerlo desde su perspectiva.

Creo que la segunda razón es más una razón social, porque es un campo tan veloz en que tenemos nuevas herramientas, nuevos marcos, nuevos protocolos, nuevas formas de pensar en los datos... y hay tanta innovación y tanto cambio en ese espacio y... tantos productos y proyectos diferentes que interactúan, que es muy difícil hacerlo con el modelo tradicional, donde hay diferentes empresas que tienen acuerdos de asociación y desarrollo conjunto o cosas así.

El código abierto elimina todos esos problemas.

Sage Weil es ingeniero consultor principal en Red Hat, y es director del proyecto Ceph. Vamos de vuelta con Kenneth Cukier de The Economist, para abrir la perspectiva. ¿Recuerdan esa visión que tenía sobre nuestra relación con los datos y cómo hemos progresado de las tabletas de arcilla a la imprenta, y a las maravillas de la nube como la que construyó Sage?

Se trata del progreso humano y de cómo podemos comprender el mundo y la evidencia empírica para mejorarlo. Es la misma misión de progreso que siempre hemos tenido.

Esa misión nunca termina. Pero, mientras tanto, aprender a procesar los datos que hemos recopilado y aprovechar esa inundación es una misión de código abierto para toda una generación. Vamos a terminar nuestro viaje de datos con una parada rápida en el Laboratorio Nacional Oak Ridge en Tennessee, Estados Unidos. Es el hogar de Summit, la supercomputadora más rápida del mundo o, al menos, la más rápida a partir de 2018.

Esta máquina procesa 200 000 billones de cálculos por segundo. Si quieres llevar la cuenta, son 200 petaflops. Una velocidad de procesamiento como esta no es práctica para hospitales ni bancos, ni para las miles de organizaciones que se benefician de la computación de alto rendimiento en la actualidad.

Las supercomputadoras como Summit se reservan más para el campo del Colisionador de Hadrones. Pero, una vez más, en algún momento registrábamos solo cien bytes de información en tabletas de arcilla.

La historia del almacenamiento y procesamiento de datos es una historia donde las hazañas extraordinarias siguen convirtiéndose en la nueva normalidad. Algún día, todos podríamos tener supercomputadoras del tamaño de Summit en nuestros bolsillos. Imagínate las respuestas que podremos buscar entonces.

En el próximo episodio, vamos hacia la informática sin servidores. ¿O no? El Episodio 7 se trata de nuestra cambiante relación con el desarrollo basado en la nube. Averiguaremos cuánto de nuestro trabajo podemos resumir y a qué probablemente necesitemos renunciar en el proceso.

Mientras tanto, si deseas profundizar en la historia de ChRIS, visita RedHat.com/ChRIS para obtener más información sobre cómo se construyó y cómo puedes contribuir al proyecto.

Command Line Heroes en español es un podcast original de Red Hat. Escúchalo gratis en Spotify, Apple Podcasts, Google Podcasts o donde quieras. Hasta la próxima. Sigan programando.