Métodos para el análisis de la información en corpus de artículos científicos con algoritmos de clasificación y librerías NLTK en la Plataforma Científica ECUCIENCIA

Abstract

La plataforma web denominada ECUCIENCIA perteneciente a la Universidad Técnica de Cotopaxi almacena la producción científica de los docentes investigadores, este sistema muestra algunas métricas para los artículos considerando para ello solo el título, resumen y palabras claves, siendo insuficiente si analizamos la riqueza de todo el contenido del documento en formato PDF; se podría extraer información relevante relacionada con las líneas de investigación y otros documentos científicos a partir de la frecuencia de las palabras en cada documento, para solventar esta problemática se estableció un método de análisis de información en corpus de artículos científicos, mediante algoritmos de procesamiento de datos que se encuentran en las librerías NLTK, NUMPY, MATPLOTLIB, PYPDF2, SKLEARN y SCIPY de Python. Se usó la metodología Scrum para el desarrollo del módulo y se validaron los resultados a través de métodos estadísticos. Se obtuvieron datos a partir de un muestreo aleatorio simple y el análisis de la información contenidas en el corpus de los artículos científicos de la muestra seleccionada, pudiéndose obtener información relevante y visualización de datos significativos de las distancias Euclidiana, Correlación, Chebychev, Coseno, Coeficiente de Jaccard y el Índice Dice. La validación de los resultados a través del análisis de la varianza de un factor arrojó el valor de F = 17,621 siendo mayor que el valor crítico para F que fue de 2,412 y la probabilidad menor a 0,05 demostrando que las variables de frecuencias de los artículos se comportan de manera significativa en el proceso de representar métricas de acuerdo al corpus de los artículos.