Big Data, mucho cuidado, hay que reflexionar y ver a donde nos puede llevar

Big Data es uno de los conceptos de moda en el mundo informático. En la actualidad contamos con una gran cantidad de artículos, e información, y en todas las encuestas a los CIOS aparece entre los primeros lugares la necesidad de implantar un sistema de Big Data.

Sin embargo, observamos una gran confusión sobre "en qué consiste realmente". En las mismas encuestas, cuando se pregunta sobre, qué es Big Data, comprobamos una gran dispersión en las respuestas ofrecidas. Empecemos entonces por tratar de aclarar "qué es Big Data".

Denominamos Big Data a la gestión y análisis de enormes volúmenes de datos que no pueden ser tratados de manera convencional, ya que superan los límites y capacidades de las herramientas de software habitualmente utilizadas para la captura, gestión y procesamiento de datos.

Dicho concepto engloba infraestructuras, tecnologías y servicios que han sido creados para dar solución al procesamiento de enormes conjuntos de datos estructurados, no estructurados o semi-estructurados (mensajes en redes sociales, señales de móvil, archivos de audio, sensores, imágenes digitales, datos de formularios, emails, datos de encuestas, logs etc,) que pueden provenir de sensores, micrófonos, cámaras, escáneres médicos, imágenes?

El objetivo de Big Data, al igual que los sistemas analíticos convencionales, es convertir el Dato en información que facilita la toma de decisiones, incluso en tiempo real. Sin embargo, más que una cuestión de tamaño, es una oportunidad de negocio. Las empresas ya están utilizando Big Data para entender el perfil, las necesidades y el sentir de sus clientes respecto a los productos y/o servicios vendidos. Esto adquiere especial relevancia ya que permite adecuar la forma en la que interactúa la empresa con sus clientes y en cómo les prestan servicio.

En sus procesos de contratación, algunas empresas determinan que aquellos aspirantes que pagan sus facturas prontamente tienen más probabilidades de ser empleados responsables.

En algunos barrios de Washington DC, por ejemplo, se trató de atajar el alto índice de fracaso escolar con un algoritmo que determinaba la valía de los profesores en base a las notas de sus alumnos. Aquellos que no superaban cierta calificación eran inmediatamente despedidos. Este modelo auspició un sistema injusto, por el cual muchos profesores inflaban las notas de sus alumnos para salvar su empleo. El modelo no tenía en cuenta la difícil situación personal de muchos de esos alumnos, ni la metodología empleada por los profesores del curso anterior.

Otro ejemplo de WMD en el sector educativo lo compone el ránking de mejores escuelas del US News, basado en una visión incompleta de lo que representa la calidad en la enseñanza. La injusticia se retroalimenta, beneficiando a las escuelas que aparecen en lo más alto del ránking, mientras que aquellas que aparecen en peores posiciones tendrán cada vez más difícil atraer a los mejores profesores y estudiantes del país.

10 ejemplos de aplicación de Big Data

Sin embargo, hay unas áreas donde el big data está marcando la diferencia. Hemos resumido a continuación las aplicaciones de big data en 10 áreas donde actualmente se están concentrando las instalaciones y obteniendo los mejores resultados. Siempre teniendo en cuenta los errores que este tipo de algoritmos pueden ocasionar además de las posibles manipulaciones.

1. Entendiendo y segmentando a los clientes

Marketing y ventas son quizá las áreas de mayor aplicación de big data en la actualidad. Los datos se utilizan para comprender mejor a los clientes, sus comportamientos y preferencias. Las empresas están dispuestas a ampliar los centros de datos tradicionales con los de redes sociales, logs de navegación, análisis de textos y datos de sensores para obtener una imagen completa de su cliente. El objetivo principal es en la mayoría de casos crear modelos predictivos.  Los hipermercados pueden predecir qué productos se venderán mejor, y las aseguradoras de coches pueden comprender mejor cómo conducen sus clientes. Incluso las campañas electorales pueden optimizarse gracias a big data analytics. Hay quienes sostienen que las recientes elecciones presidenciales en varios países han sido ganadas por los equipos con mayor capacidad de entender y aplicar el análisis de datos para buscar las preferencias de votantes y llegar a ellos por sus canales preferidos.

2. Entendiendo y optimizando los procesos de negocio

El big data se está utilizando cada vez más para optimizar los procesos de negocio en las empresas. En el sector de retail los negocios están optimizando su stock basándose en predicciones generadas gracias a datos de redes sociales, tendencias de búsquedas en la web y predicciones meteorológicas. Un proceso que se está transformando particularmente gracias al big data es el de la cadena de suministro y la optimización de rutas de reparto. Gracias al posicionamiento geográfico y sensores de identificación por radiofrecuencia se puede realizar un seguimiento de las mercancías y vehículos de reparto, optimizando las rutas, integrando datos de tráfico en tiempo real. Los procesos de recursos humanos también están siendo mejorados gracias al análisis del big data. Desde la detección y adquisición de talento,  hasta la medición de la cultura empresarial y la involucración de la plantilla gracias a herramientas de big data.

3. Cuantificación y optimización de rendimiento personal

El big data no sólo es para empresas y para instituciones públicas o grandes organizaciones. Todos podemos beneficiarnos de los datos generados de dispositivos wearables como smart watches o pulseras. Estos dispositivos registran automáticamente datos de consumos de calorías (Fitbit), niveles de actividad y condición física (Google Fit, Apple Watch), o patrones de sueño. Aunque a nivel particular ya nos desvelan información interesante, el verdadero valor reside en analizar el conjunto de datos de todo el colectivo.

Otro ejemplo donde la gente se beneficia del análisis del big data es para buscar a cupido. A la hora de encontrar a la mejor pareja compatible hacerlo sin la ayuda de algoritmos y técnicas de big data sería prácticamente imposible.

4. Mejorando la Salud Pública

Otra área de uso de datos masivos colectivos es el de la codificación de material genético. Cuantos más usuarios participan más beneficios se obtienen, bien para saber más sobre nuestros ancestros, qué dieta o alimentos son más adecuados para nuestro genotipo, o para descubrir cómo o porqué se activan determinados genes que pueden derivar en enfermedades crónicas. La capacidad de procesamiento de plataformas de análisis de big data nos permite ya descodificar cadenas enteras de ADN en cuestión de minutos y permitirá encontrar nuevos tratamientos y comprender mejor las enfermedades, sus desencadenantes y los patrones de propagación. Piense qué sucederá cuando todos los dispositivos y sensores que llevamos encima (y cada vez llevaremos más) con marcadores de nuestro cuerpo se apliquen a millones de otras personas. Los ensayos clínicos del futuro no tendrán que estar limitados a muestras pequeñas sino que todo el mundo podrá formar parte.

Las técnicas de big data ya están empleando por ejemplo para monitorizar bebés en la unidad de neonatos de un hospital en Toronto. Grabando y analizando latidos y el patrón de respiración de cada bebé, la unidad ha desarrollado unos algoritmos que pueden predecir infecciones 24 horas antes de que los primeros síntomas aparezcan. De esta manera, el equipo médico puede intervenir y salvar vidas en un entorno en el que cada hora cuenta.

El análisis de datos masivos también se utiliza a la hora de controlar y predecir la evolución de las epidemias y brotes de enfermedades. Integrando datos de historiales clínicos con análisis de datos de redes sociales pueden detectar brotes de gripe en tiempo real simplemente escuchando lo que la gente publica en sus perfiles públicos.

Otras aplicaciones científicas prácticas llevan más tiempo: reconocimiento del habla, procesamiento imágenes en el cerebro para ciegos,…  pero es con el big data cuando los resultados están consiguiendo avances significativos.

5. Mejorando el rendimiento deportivo

La mayor parte de deportistas de élite están ya adoptando técnicas de análisis de grandes volúmenes de datos. En tenis se lleva mucho tiempo utilizando la herramienta SlamTracker (basada en la tecnología de IBM SPSS de análisis predictivo) en los torneos más prestigiosos del mundo (Wimbledon, Roland Garros, Open de Australia). La plataforma lleva registrados más de 8 años de datos de Grand Slams  (unos 41 millones de data points) para determinar patrones y estilos de jugadores ganadores.

Aplicando análisis a las grabaciones de vídeo de cada jugador de fútbol y tecnología de sensores en equipamiento deportivo como balones o palos de golf, podemos obtener retroalimentación de los datos generados y mostrar los resultados para mejorar el rendimiento o para mostrar una visión enriquecida de la retransmisión a los espectadores. Muchos equipos de élite realizan ya seguimiento de sus atletas fuera del entorno de competición, usando dispositivos inteligentes para monitorizar desde la nutrición, la preparación física y el sueño, hasta las conversaciones en redes sociales en las que participan para controlar el bienestar emocional.

6. Mejorando la Ciencia y la Investigación

La investigación científica se está viendo transformada por las nuevas posibilidades que ofrece el big data.

El CERN (laboratorio suizo de física nuclear con su gran colisionador de hadrones), uno de los mayores generadores de datos, intenta descubrir los secretos del universo gracias a los datos del acelerador de partículas. Aunque el centro de datos del CERN cuenta con 65.000 procesadores para analizar los 30 petabytes de datos, no es suficiente. Por ello distribuyen la capacidad de computación entre miles de ordenadores repartidos entre otros 150 centros de datos por todo el mundo para analizar los datos. Esta capacidad de computación distribuida que de otra manera sería imposible de procesar también se emplea en muchas otras áreas de la ciencia.

7. Optimizando el rendimiento de máquinas y dispositivos

El análisis de big data está ayudando a máquinas y dispositivos a ser más inteligentes y autónomos. Un ejemplo que ya es una realidad, el coche autopilotado de Google.

Los coches que usan para el proyecto están equipados con cámaras, GPS, conexión a internet, y un abanico de computadoras y sensores que permiten al vehículo circular de forma segura por la vía pública sin necesidad de intervención humana.

También se usan herramientas de análisis de big data para optimizar las redes de energía a partir de datos de los medidores inteligentes. podemos también aprovechar estas tecnologías para optimizar el rendimiento de servidores y datawarehouses.

8. Mejorando la seguridad y el cumplimiento de la ley

El análisis de big data se está empleando de forma intensiva en la mejora de la seguridad y en los cuerpos de aplicación de la ley. La noticia que se filtró via Wikileaks de que la NSA ha estado espiando en todas las comunicaciones de todos los ciudadanos. El objetivo es la protección de ataques terroristas.

Otros usos de tecnología big data lo encontramos a la hora de detectar y prevenir ciberataques. El sistema de IA creado en el MIT predice el 85% de los ciberataques.  Otros ejemplos: Las fuerzas policiales están empezando a utilizar herramientas de big data para dar con criminales e incluso prevenir actividades criminales.Otro ejemplo que lleva años empleándose es en la detección de transacciones fraudulentas con tarjetas de crédito.

9. Mejorando y optimizando las ciudades

El big data se está usando también para mejorar aspectos de nuestras ciudades y países. La tecnología permite optimizar los flujos de tráfico basándose en datos que llegan en tiempo real del tráfico, de las redes sociales y del tiempo metereológico. Un número creciente de ciudades están embarcadas en proyectos de Smart Cities, donde la infraestructura de transportes y los procesos de suministros trabajan colaborativamente.  Algunos ejemplos: un autobús espera a salir automáticamente por el retraso de un avión, las señales de tráfico y semáforos actúan automáticamente para minimizar embotellamientos.

10. Trading financiero

El último área de ejemplos de uso de Big Data que vamos a revisar, aunque no de menor volumen ni importancia es el de la aplicación del big data en los mercados de capitales. Las actividades relacionadas con High-Frequency Trading (HFT) es donde se da el mayor uso del big data. Una serie de algoritmos para realizar decisiones de compra venta de valores por millones en fracciones de segundo, teniendo en cuenta además de las señales tradicionales que tienen en cuenta los traders humanos como análisis técnicos, comportamientos de materias primas, resultados de empresas, sectores, índices, … se le añaden noticias en tiempo real, mensajes de redes sociales, foros, declaraciones públicas de personalidades, etc. Es decir un nuevo tipo de datos (estructurados y no estructurados) que anteriormente al big data eran imposible de manejar.