Description
El volumen de datos de las observaciones astronómicas se hay ido duplicando año tras año. Con la inminente llegada de nuevas infraestructuras astronómicas se espera que el crecimiento sea aún más acelerado. Por ejemplo, el Large Synoptic Survey Telescope (LSST) obtendrá 30 TB de datos y disparará 2 millones de eventos cada noche durante 10 años a partir de 2022. El radio-telescopio Square Kilometre Array (SKA) producirá 160 TB de datos en bruto o 100 GB de datos procesados por segundo y deberá almacenar un total de ~4.6 EB de datos cada año. La primera fase de SKA entrará en servicio en 2020. La llegada de este torrente de datos es inminente y su procesado y almacenamiento está lejos de ser trivial. Entre los muchos frentes necesarios para tratar estos datos se encuentran la Inteligencia Artificial, las tecnologías de "big data" o la ciencia ciudadana.
LOFAR es uno de los radio-telescopios precursores de SKA y se encuentra actualmente operativo. Se trata de un radio-telescopio definido por software que observa el cielo en frecuencias entre los 10 y los 250 MHz. Los datos de una observación de 8 horas alcanzan los 20 TB y su calibración, además de ser completamente experimental, requiere unos 3 años de procesador. En la charla mostraré cómo se pueden manejar datos radio-astronómicos de LOFAR con la ayuda de infraestructuras en la nube y Python. Se presentará el resultado de una propuesta conjunta entre SKA y Amazon Web Services (AWS) para la implementación de nuevos métodos de calibración de grandes volúmenes de datos radio-astronómicos en la nube de Amazon. El papel de Python para el desarrollo rápido de este tipo de métodos es fundamental, permitiendo la creación y modificación rápida de flujos de procesado de datos. El objetivo final es mostrar como la astronomía, una de las ciencias más antiguas, empuja la frontera de la tecnología más moderna con la ayuda de Python.
Presentación disponible en http://2016.es.pycon.org/media/keynotes/jsabater-PyConES2016.pdf