La comprobación de la Ley Zipf, que se ha llevado a cabo sobre las obras del proyecto Gutenberg, constituye un hecho sin precedentes en el ámbito de la lingüística ya que nunca antes se había verificado una ley en conjuntos de más de una docena de textos.
La ley de Zipf en su versión más sencilla, formulada en los años 30 por el lingüista estadounidense George Kingsley Zipf determina que, de manera sorprendente, la palabra más frecuente de un texto aparece el doble de veces que la siguiente más frecuente, tres veces más que la tercera más frecuente, cuatro veces más que la cuarta más frecuente, y así sucesivamente.
Un análisis exhaustivo en más de 30.000 obras
Investigadores del Centre de Recerca Matemàtica (CRM) –centro de la red CERCA de la Generalitat de Catalunya– adscritos al Departamento de Matemáticas de la Universidad Autónoma de Barcelona, han analizado por primera vez, con todo el rigor matemático y estadístico necesario, la validez de la ley de Zipf. Este estudio se enmarca dentro del proyecto Investigación en Matemática Colaborativa, impulsado por la Obra Social «la Caixa».
Para ello, han analizado toda la colección de textos en lengua inglesa del proyecto Gutenberg, una base de datos pública y gratuita con más de 30.000 obras en esta lengua. Se trata de una tarea sin precedentes: en el ámbito de la lingüística la ley nunca había sido comprobada en conjuntos de más de una docena de textos.
Resultados de la investigación: ¿Es válida la Ley Zipf?
Según el análisis, si se ignoran las palabras más raras, aquellas que solo salen una o dos veces en todo un libro, el 55% de los textos se ajustan perfectamente a la ley de Zipf (en su formulación más general). Si se tienen en cuenta todas las palabras, también las más raras, este porcentaje es del 40%.
«Si descartásemos palabras que aparecen 3, 4 o 5 veces en toda una obra, la proporción de libros que siguen la ley de Zipf podría llegar a porcentajes aún más altos» – afirma Álvaro Corral, investigador del CRM adscrito al Departamento de Matemáticas de la UAB y coordinador de la investigación.
«La ley de Zipf ha generado mucho debate, pero siempre basándose en su validez en algunos ejemplos particulares» afirma Álvaro Corral. «Parece evidente que, en la actual era del Big Data y de las computadoras de altas prestaciones, se deberá enfocar los esfuerzos en el análisis de la ley a gran escala, y estos resultados son un primer paso en esta dirección».
«Aunque la literatura se considera una de las expresiones por antonomasia de la libertad creadora, ni los más grandes autores como Shakespeare o Dickens escapan a la tiranía de la ley de Zipf», concluye Corral.
