Etiquetado de noticias

Para poder medir y comparar el rendimiento de sistemas de clasificación basados en redes neuronales, o machine learning, se suelen utilizar tres métricas estadísticas básicas: precision, exhaustividad (recall) y f-score (valor f). Para calcularlas es necesario hacer una batería de pruebas con un tesauro definido y con un conjunto limitado de noticias, previamente etiquetadas de forma manual por documentalistas expertos.

Estos indicadores se sustentan en cuatro valores clave:

(En verde aciertos, en rojo fallos)

Precisión

Probabilidad de que un tag
obtenido sea deseado

Exhaustividad

Probabilidad de que un tag
deseado sea obtenido

F-score

Nivel de ajuste de las dos anteriores,
calculado con la media armónica

Estas métricas (precisión, exhaustividad y f-score) se calculan a nivel de clase (tag) o bien a nivel de instancia (noticia), no a nivel global. Es decir, es necesario calcular su valor promedio. Para ello tenemos dos estrategias:

• El macro-promedio se calcula como el cociente de las sumas.
• El micro-promedio es la media de todos los valores.

El micro le da el mismo valor a cada instancia, y es útil cuándo todas tienen el mismo peso aproximadamente (apropiado para ver la precisión a nivel de noticia), mientras que el macro vale para que cada clase tenga el valor acorde a su peso (apropiado para ver la precisión a nivel de tag, ya que unos tags pueden tener muchas noticias y otros no, por tanto no se les puede otorgar el mismo peso a todos). En las cifras que se presentan a continuación hemos utilizado el micro-promedio.

Es importante recalcar que, lamentablemente, suele resultar imposible maximizar a la vez la precisión y la exhaustividad. Esto quiere decir que, al mejorar la precisión, generalmente se reduce la exhaustividad, y viceversa. Por tanto, al llegar al límite de entrenamiento de un modelo, se hace patente la necesidad de llegar a un compromiso entre ambas.

La magia de los resultados de Classora se basa en la conjunción de cuatro aproximaciones técnicas diferentes:

• Machine Learning: es la vía principal para detección de tags. Se trata de un sistema basado en aprendizaje automático, que se entrena con noticias ya etiquetadas, de forma que el sistema aprende a asociar contenidos de texto (noticias) con categorías predefinas (tags del tesauro). Entre otros, se emplean algoritmos NER (Named-Entity Recognition), POST (Part-Of-Speech Tagging) y LDA (Latent Dirichlet Allocation).
• Sistemas expertos: es una vía alternativa para detectar tags, en la cual podemos influir de manera manual. Se basa fundamentalmente en que cada tag puede tener asociados un conjunto de "disparadores" (triggers) que no son más que palabras en la noticia que lo activan. De esta forma, si por ejemplo en una noticia se menciona a la "ciudad olívica" se le asocia la correspondencia con el tag "Vigo".
• Base de conocimiento: Classora tiene su propia ontología, poblada de fuentes de datos abiertos como DBPedia y Geonames, que permite filtrar entidades y conocer de antemano la relación entre ellas. Esta base de conocimiento es uno de los pilares de nuestra lingüística computacional.
• Inferencias: es una vía complementaria que se apoya en la base de conocimiento, buscando relaciones "a priori" entre tags. Por ejemplo, si en una noticia se detecta el tag "Messi", se pueden inferir con gran facilidad los tags "fútbol" o "FC Barcelona".

Classora ha logrado combinar estos cuatro métodos para crear una tecnología patentada única, que se puede optimizar para cada sector hasta sintetizar un servicio capaz de competir con el resultado propuesto por un ser humano.