Clasificación automática de textos: text mining en las glosas de la Encuesta Nacional de Empleo

Instituto Nacional de Estadísticas (INE).

Instituto Nacional de Estadísticas (INE).

Todo Chile.

Aumentar la eficiencia, eficacia y oportunidad en los procesos de codificación de glosas abiertas en la producción de estadísticas oficiales, para codificar automáticamente la mayoría de los registros.

El Instituto Nacional de Estadísticas (INE), tiene la necesidad de desarrollar e implementar herramientas tecnológicas que aborden las tareas de codificación de grandes volúmenes de textos provenientes de las preguntas abiertas en las encuestas que desarrolla, en el marco del proceso de producción requerido para la elaboración de estadísticas laborales y sociodemográficas, con plazos perentorios de publicación. Generalmente, el proceso de codificación es realizado de manera manual, con una precisión de aproximadamente 84%, e implica más de 3.600 horas efectivas de trabajo al mes.

El objetivo es aumentar la eficiencia, eficacia y oportunidad en los procesos de codificación de glosas abiertas en la producción de estadísticas oficiales, utilizando algoritmos de machine learning para codificar automáticamente la mayoría de los registros, y aislando los registros más complejos para ser codificados de forma manual por analistas entrenados.

Este trabajo demuestra que es posible, en el contexto de la labor pública, generar mejoras sobre la base de la utilización de software libre y de código abierto (…), lo que podría liberar recursos que hoy en día se utilizan en productos de pago, además de aprovechar las posibilidades de colaboración entre instituciones que este tipo de software facilitan.

2019 Fuente 4

No se especifica (04 junio 2019) Fuente 5

1. INE. (31 de mayo de 2019). Separata Codificación Automática ENE. https://www.ine.cl/docs/default-source/ocupacion-y-desocupacion/publicaciones-y-anuarios/separatas/tem%C3%A1ticas/separata-tecnica-codificacion-automatica-ene.pdf?sfvrsn=273dd63c_3
2. INE. (mayo de 2019), Sistema de clasificación y codificación automática en la encuesta nacional de empleo. https://www.ine.cl/docs/default-source/ocupacion-y-desocupacion/metodologia/espanol/documento-sistema-de-clasificaci%C3%B3n-y-codificaci%C3%B3n-autom%C3%A1tica-(mayo-2019).pdf?sfvrsn=ceea6423_3
3. Cabezas, J; Guerrero, J. (marzo de 2019). Documento de Trabajo. Clasificación automática de textos utilizando técnicas de text mining: Aplicación a las glosas de la Encuesta Nacional de Empleo (ENE). https://www.ine.cl/docs/default-source/documentos-de-trabajo/clasificacion-automatica-de-textos-utilizando-tecnicas-de-text-mining-aplicacion-a-las-glosas-de-la-encuesta-nacional-de-empleo.pdf?sfvrsn=1ddfe7d2_2
4. Servicio Civil. Repositorio de iniciativas finalistas del concurso Funciona!. (15 de octubre de 2021). Implementación de un sistema de Codificación Automática de Textos. https://funciona.serviciocivil.cl/iniciativa/implementacion-de-un-sistema-de-codificacion-automatica-de-textos/
5. La Tercera. (4 de junio de 2019). Ciencia de Datos: INE desarrolla innovador sistema que acorta tiempo de procesamiento de encuestas. https://www.latercera.com/que-pasa/noticia/procesamiento-de-encuestas/684295/