ETL Pipeline: Dow Jones Sentiment
Pipeline ETL completo con PySpark para análisis de sentimiento de noticias del Dow Jones, con visualizaciones y almacenamiento multi-formato.
Qué hace: Extracción con validación de esquema, feature engineering en PySpark y carga en Parquet, CSV, SQLite y JSON, con pruebas en pytest.
Resumen
Pipeline ETL que procesa 4.101 registros de noticias del Dow Jones (2008–2016) con PySpark y Adaptive Query Execution. La extracción valida el schema del CSV y aplica chequeos de calidad automáticos. La transformación hace feature engineering: limpieza de nulos, conversión de fechas, indicadores de sentimiento, estadísticas de texto, agregación de titulares y features temporales.
La carga multi-formato escribe en Parquet (compresión Snappy), CSV, SQLite con índices y JSON. Las visualizaciones incluyen distribución de clases, sentimiento en el tiempo, nubes de palabras, top de unigramas y bigramas y un dashboard interactivo en Plotly. El pipeline completo corre en menos de 60 segundos con menos de 4 GB de RAM, incluye una suite de tests unitarios y de integración con pytest, y está dockerizado para reproducibilidad.
Stack
¿Te interesa este tipo de trabajo?
Busco trabajo remoto como Full Stack Engineer. Si quieres hablar de este proyecto o de tu equipo, escríbeme.