Big data y las decisiones instintivas



RSS

Los trabajos relacionados con Big Data van a ser durante 2012, sin duda, algunos de los proyectos estrella en muchísimas compañías. Veremos casos de éxito de big data en proyectos para ubicar la posición exacta de generadores eólicos, el análisis y secuenciación de patrones genéticos para enfermedades concretas, la mejora de motores de todo tipo, predicciones meteorológicas mejoradas, optimización del tráfico en las ciudades, mejora de las ventas de productos en base al análisis del comportamiento de los clientes, optimización de redes de todo tipo,...

Para ello, los sistemas procesarán inmensas (realmente inmensas) bases con un número casi interminable de datos provenientes de diferentes sistemas y sensores. Por primera vez, la potencia de cálculo dejará de ser un freno en la tarea de obtener información partiendo de datos aparentemente disjuntos.

Big data permitirá obtener soluciones óptimas para problemas realmente complejos, algo que el cerebro humano lleva haciendo desde siempre pero de una forma muchísimo más eficiente.


Las decisiones instintivas 

El cerebro humano no dispone de la potencia de cálculo en bruto que tienen muchos de los sistemas informáticos actuales y, probablemente por eso o porque prefiere no malgastar esa potencia, ha aprendido a tomar atajos mediante decisiones instintivas.

Lo único que diferencia una decisión instintiva de una más razonada es la inmediatez pero su nivel de acierto rara vez tiene que ver con la suerte o la intuición (entendida ésta como capacidad paranormal). Tiene mucho más que ver con el profundo conocimiento del entorno por parte de quien toma la decisión aún cuando puede que parte de ese conocimiento esté por debajo del nivel de conciencia en el momento clave. Pongamos algunos ejemplos.

Imaginemos que nos plantean la siguiente pregunta: ¿qué ciudad tiene más habitantes Múnich o Düsseldorf? Probablemente, la mayor parte de las respuestas irán del lado de Múnich y acertarán. Pero la inmensa mayoría de las personas no saben que Múnich tiene 1,2 millones de habitantes frente a los 0,5 millones de Düsseldorf (yo lo acabo de comprobar en la Wikipedia).

Entonces, ¿ha sido suerte que la mayoría de las personas instintivamente respondan de forma correcta? En absoluto. El cerebro, a gran velocidad y por debajo del nivel de consciencia ha decidido que ciudad aparece más a menudo en los telediarios, revistas, periódicos, conversaciones de amigos,... y en base a ello ha determinado que la más relevante, la que tiene más notoriedad, debe ser, necesariamente, la más grande. Es decir, el cerebro ataja.

Otro sencillo ejemplo. Los matemáticos (mis colegas de BCAM, por ejemplo) podrían resolver de forma muy rápida y sencilla el cálculo necesario para indicar el lugar exacto donde situarse para coger el frisbee al vuelo. Solo hay que calcular la fuerza de salida, el viento, la gravedad, el momento del giro, la trayectoria, peso e inclinación del disco, la pendiente del suelo si la hay, la altura del receptor,...

Vamos que cualquier persona, incluso con un coeficiente de inteligencia por debajo del umbral de la normalidad, puede combinar todos esos datos en ecuaciones diferenciales, integrales,... y todo ello en una milésima de segundo. Es más, puede hacerlo incluso algún perro si se le entrena adecuadamente.

Pero, un perro no sabe hacer integrales, ¿no? Entonces, ¿como lo hace?

Nuevamente, el cerebro ataja. La decisión inconsciente en este caso es tan simple como mantener constante el ángulo que forma la línea recta entre nuestro ojo y el disco con respecto a la horizontal. Habrá que desplazarse hacia delante o hacia atrás de forma que ese ángulo se mantenga constante a medida que el disco se aproxima. Algo tan simple sustituye a un inmenso conjunto de ecuaciones basado en una legión de datos tomados en tiempo real.

Si la evolución no hubiera inventado estos atajos, probablemente nuestro cerebro se volvería absolutamente loco teniendo que gestionar millones y millones de datos constantemente para tomar decisiones relevantes e incluso a veces irrelevantes.


Entonces, ¿qué hay del big data?

Es verdad que no se pueden sacar conclusiones de lo que no se mide pero también es cierto que medir más de lo estrictamente necesario no implica más información en la toma de decisiones. Es solo un gasto inútil de recursos. La cuestión es cómo encontrar el punto a partir del cual ya no hay que seguir midiendo (la medición masiva es la base del big data).

Puede que ese punto esté muy lejos en decisiones que tienen mucho que ver con la ciencia y la ingeniería y menos con las ramas sociales y las humanidades. Cuesta decirle a un investigador en biotecnología que debe  parar de tomar datos. Pero puede que ese punto no esté tan lejos si se trata de decisiones en las que intervienen factores asociados, por ejemplo, con el comportamiento de las personas.

Puede que tomar un mayor número de datos en forma micro-movimientos terrestres y otras múltiples variables sea la diferencia entre prevenir o no prevenir un terremoto. Puede también que analizar con mayor precisión todas las variables que intervienen en el movimiento de un generador eólico sea la diferencia entre una mayor o menor eficiencia energética. Pero es discutible que poner más sensores de humedad en un jardín mejore la eficiencia en el uso del agua de riego. Esto se hace especialmente evidente cuando se analizan algunos proyectos de Smart Cities en los que, probablemente, se superan con creces los niveles de sensorización necesarios para la correcta toma de decisiones. En esos casos, por tanto, se malgastan recursos.

En el fondo, se trata de ver hasta que punto es real la percepción Googleana de la realidad por la que todo lo que ocurre puede ser modelado con un algoritmo matemático (eso es en el fondo su buscador).


Aún con todo, uno no deja de sorprenderse con los increíbles proyectos que están llevando a cabo IBM con su plataforma Netezza o HP con Autonomy. Para cualquiera a quien le guste la tecnología, simplemente alucinantes, con atajos o sin ellos. Supongo que primero haremos las cosas en base a fuerza bruta de cálculo y después iremos aprendiendo a atajar.


Enlaces relacionados:


     › Decisiones Instintivas. Gerd Gigerenzer. Editorial Ariel, 2008
     › Tons of IT: Hacia una ciudad amable


www.tonsofit.com


RSS

8 comentarios

  1. Manu, post genial. Solo algo en lo que tengo dudas, ¿crees que no es más optimo un sistema de riego en los jardines de las ciudades cuando hay más sensores de humedad que cuando hay menos?

    ResponderEliminar
    Respuestas
    1. Gracias.
      No lo sé, supongo que es cuestión de poner los sensores justos. Soy un convencido de que la tecnología ayuda a ser más eficiente pero también de que hay veces en que nos pasamos de frenada usando la tecnología.
      Supongo que depende de si el número de sensores -y su coste- justifican el ahorro en agua. ¿Donde está el límite? Supongo que cada cual lo encontrará a su forma, mediante business case, intuición,...

      Eliminar
    2. Olvidas la visió ecologista no?
      Joan

      Eliminar
    3. Creo que no. Si hablamos de sostenibilidad ecológica se llega a un punto en el que por más sensores que pongas no ahorras. Por el contrario, cada sensor tiene una huella ecológica (su fabricación no es en absoluto 'CO2 neutral') con lo que no solo no eres ecológico sino que te conviertes en todo lo contrario.
      Y si hablamos de sostenibilidad económica (que también es importante, claro) está claro que un no ahorro en agua es un no ahorro en dinero. Y por la otra parte tienes un coste de adquisición de sensores, mantenimiento de licencias, más consumo eléctrico para que el sensor funcione y el backend procese las señales que le llegan... Nuevamente, más monitorización puede no ser más eficiencia a partir de un punto determinado.
      Eso no quita para no monitorizar, pero con mesura. Es mi opinión. ;-)

      Saludos, Manu

      Eliminar
  2. Muy muy interesante Manu, y más en estos tiempos en los que los tecnólogos nos intentáis "vender" que para tomar decisiones acertadas necesitamos cruzar millones de datos y no siempre tiene por qué ser así. Como dice Gigerenzer en su entrevista con Punset "la intuición se basa en principios sencillos que ignoran la información, y que seleccionan una o dos buenas razones.(...) Pero tiene que ser una buena razón, no cualquiera".

    Ya lo decía Skinner a principios del siglo XX: "El auténtico problema no es
    si las máquinas piensan, sino si lo hacen los hombres". ;)

    ResponderEliminar
    Respuestas
    1. No se quien fue primero pero la cita de Skinner la he leído parecida de Einsten (que nació y murió antes):

      "Hay dos cosas infinitas: el Universo y la estupidez humana. Y del Universo no estoy seguro."

      JJJJ

      Eliminar
  3. Esta muy bien esto de procesar cantidades inmensas de datos. Yo soy un firme defensor de la frase: "la información es poder" y de otra a mi juicio distinta pero muy parecida: "saber es poder".
    Si no recuerdo mal hace algún tiempo publicaste un post en el que hablabas de economía e inversiones en bolsa, decías que ninguna ordenador había sido capaz de predecir en que invertir tan bien como lo hubiera podido hacer un mono, y curiosamente no citas los datos bursátiles entre tus ejemplos.
    ¿Crees que este nuevo sistema lo llegaría a hacer mejor que una persona o que el propio mono?

    ResponderEliminar
    Respuestas
    1. Yo también Borja pero lo que se procesa no es información sino datos, que no es lo mismo. La monitorización o la obtención de datos de múltiples fuentes de forma masiva se convierte en información pero lo que digo es que hay un punto a partir del cual más datos no es necesariamente más información. Una máquina más eficiente como el cerebro puede hacer lo mismo con mucho menos.

      JJJ lo de la bolsa creo que es diferente porque mi opinión es que los mercados no son perfectos. Las grandes ganancias y pérdidas se producen por información que no es igual de accesible para todos (lo que sería un mercado perfecto). Por eso los monos casi empatan a la mejor cartera de los mejores analistas. ;-)))
      La demostración más evidente de esto es que hay 'familias' de economistas que son 'chartistas', simplemente invierten viendo la curva de la evolución del valor de la acción, y no les hace falta saber ni de qué mercado es la empresa. Les da igual, solo miran el dibujo y con eso no suelen perder [mucho]. ;-)))

      Eliminar


Los contenidos de Tons of IT están sujetos a licencia Creative Commons Reconocimiento 3.0 salvo donde se indique lo contrario.