Cómo detectar citas sin referencia y bibliografía no citada automáticamente
La bibliografía de un trabajo académico puede tener decenas, cientos o incluso miles de referencias.
Y cuanto más crece el documento, más difícil resulta comprobar una cosa aparentemente…
Por Manuel Enrique Morales[ LATIN FLASH LDA ]
La bibliografía de un trabajo académico puede tener decenas, cientos o incluso miles de referencias.
Y cuanto más crece el documento, más difícil resulta comprobar una cosa aparentemente sencilla:
¿Existe una correspondencia correcta entre lo que cito dentro del texto y lo que aparece al final en la bibliografía?
A primera vista parece un problema trivial.
Tenemos citas.
Tenemos referencias.
Solo hay que comprobar que coincidan.
Pero en un manuscrito largo, esa tarea puede convertirse rápidamente en una pequeña auditoría.
Una cita puede aparecer en una nota al pie.
Otra puede utilizar una abreviatura.
Una referencia puede estar duplicada.
Un autor puede aparecer escrito de dos formas distintas.
Un DOI puede contener un error.
Una obra puede permanecer en la bibliografía después de haber eliminado el párrafo donde se citaba.
Una cita puede mantenerse en el texto mientras su referencia desaparece durante una revisión.
Cuando estas situaciones se multiplican, la integridad bibliográfica deja de ser un problema de memoria.
Se convierte en un problema de correspondencia entre estructuras.
Dos listas que deberían hablar entre sí
Podemos simplificar el problema en dos conjuntos.
Tags:#Philologica#bibliografía no citada#revisar bibliografía tesis#errores bibliográficos#referencias académicas#comprobar DOI#auditoría bibliográfica
¿Buscas transformar tu arquitectura o posicionamiento?
Hablemos de cómo nuestros sistemas y socios pueden articular tu proyecto.
las referencias que aparecen en la bibliografía final
En un documento ideal, ambas estructuras deberían mantener una relación coherente.
Podemos representarlo así:
cita en el texto → referencia bibliográfica
y también:
referencia bibliográfica → utilización en el texto
Cuando una de esas relaciones se rompe aparecen dos problemas muy habituales:
Cita sin referencia
El manuscrito cita una fuente, pero la referencia correspondiente no aparece en la bibliografía.
Referencia no citada
La bibliografía contiene una obra que no se localiza en el cuerpo del documento.
Son problemas opuestos.
Y ambos merecen revisión.
El primer caso: una cita sin referencia
Imaginemos que encontramos este fragmento:
Según Martínez y López (2022), los sistemas automatizados de decisión requieren mecanismos adicionales de supervisión.
La cita existe.
Pero al revisar la bibliografía final no aparece ninguna entrada correspondiente a Martínez y López de 2022.
¿Qué ha ocurrido?
Hay muchas posibilidades.
Quizá la referencia se eliminó accidentalmente.
Quizá el año está mal.
Quizá los autores aparecen en la bibliografía con otra variante.
Quizá la cita procede de una versión anterior del manuscrito.
Quizá simplemente falta añadirla.
La cuestión importante es que el lector encuentra una afirmación atribuida a una fuente que no puede reconstruir desde el propio documento.
Eso afecta directamente a la trazabilidad académica.
Por qué este error es fácil de introducir
Los manuscritos académicos evolucionan continuamente.
Durante meses o años se producen operaciones como:
copiar y mover párrafos;
eliminar secciones;
importar referencias;
cambiar gestores bibliográficos;
combinar capítulos;
sustituir una fuente por otra;
actualizar años;
corregir autores;
reutilizar partes de trabajos anteriores.
Cada modificación puede alterar la relación entre texto y bibliografía.
Por ejemplo:
Versión 1:
García (2019)
Bibliografía:
García, J. (2019). ...
Después encontramos una fuente más reciente y cambiamos el párrafo:
García (2023)
Pero olvidamos actualizar la bibliografía.
El texto sigue pareciendo completamente normal.
El error solo aparece cuando comparamos ambas zonas.
El segundo caso: bibliografía no citada
Ahora imaginemos el caso contrario.
En la bibliografía aparece:
Smith, R. (2018). Algorithmic Governance and Institutional Control...
Pero buscamos el apellido Smith y no encontramos ninguna cita correspondiente dentro del documento.
¿Es necesariamente un error?
No.
Y esto es importante.
Algunos trabajos incluyen bibliografía complementaria.
Otros utilizan secciones de lecturas recomendadas.
Determinadas convenciones pueden permitir referencias no citadas directamente.
Pero si el apartado se presenta como una lista de obras citadas, la ausencia merece revisión.
Podría significar:
que la fuente ya no se utiliza;
que se eliminó un fragmento;
que falta una cita;
que existe un error en el nombre;
que hay una referencia duplicada o equivalente.
Por eso el resultado no debería decir:
«Elimina esta referencia.»
Debería decir:
«No se ha localizado una cita correspondiente. Comprueba si debe mantenerse.»
Detectar no es decidir
Esta distinción es central en toda auditoría bibliográfica automatizada.
El sistema puede detectar una relación aparentemente rota.
Pero el autor conoce el contexto.
Una referencia aparentemente no citada podría formar parte de una bibliografía general.
Una cita aparentemente huérfana podría utilizar una convención que el extractor no ha interpretado.
Una abreviatura puede impedir la coincidencia automática.
Una obra clásica puede citarse mediante un sistema especial.
Por eso conviene separar:
detección
de
decisión editorial.
La automatización sirve para encontrar candidatos.
La revisión humana decide qué significan.
El problema real no son solo los nombres
A veces pensamos que comprobar bibliografía consiste simplemente en comparar apellidos y años.
En la práctica puede ser bastante más complicado.
Consideremos:
García et al. (2021)
frente a:
García Martínez, P., López, A., Sánchez, R. & Torres, M. (2021)
La relación es evidente para una persona.
Para un sistema necesita cierta normalización.
Ahora pensemos en:
García-Martínez (2021)
frente a:
Garcia Martinez (2021)
Hay tildes.
Guiones.
Variaciones.
Iniciales.
O:
European Commission (2024)
frente a:
Comisión Europea (2024)
Aquí incluso puede haber traducción institucional.
La auditoría necesita ser suficientemente flexible para reconocer equivalencias, pero no tanto como para inventarlas.
Normalizar antes de comparar
Una estrategia útil consiste en normalizar algunos elementos.
Por ejemplo:
mayúsculas/minúsculas;
signos de puntuación;
espacios;
ciertas variantes ortográficas;
DOI;
identificadores.
Pero la normalización tiene límites.
No deberíamos asumir automáticamente que dos nombres parecidos representan la misma fuente.
Por eso una buena herramienta puede trabajar con grados de confianza.
Coincidencia fuerte
Los elementos principales coinciden claramente.
Coincidencia posible
Existen suficientes similitudes para sugerir revisión.
Sin coincidencia
No se ha localizado una referencia compatible.
Esta graduación es más útil que una clasificación binaria demasiado rígida.
DOI: una pequeña cadena con mucho valor
Cuando existe DOI, la comprobación puede ser mucho más fiable.
Un DOI es un identificador persistente de objetos digitales.
Por ejemplo:
10.xxxx/xxxxxxxx
Cuando una referencia contiene uno, podemos intentar contrastarlo con servicios externos.
Esto permite responder preguntas como:
¿existe el DOI?;
¿qué título devuelve?;
¿qué autores aparecen?;
¿qué año?;
¿qué publicación?;
¿coinciden estos datos con la referencia del manuscrito?
Aquí la auditoría bibliográfica deja de limitarse al propio documento.
Empieza a conectarse con infraestructura académica externa.
Por qué no basta con preguntarle al modelo
Imaginemos que tenemos una referencia dudosa.
Podríamos preguntar a un modelo:
«¿Existe este artículo?»
Es posible que lo conozca.
Pero también existe el riesgo de obtener una respuesta basada en asociaciones internas del modelo.
Para una comprobación bibliográfica, resulta mucho más interesante consultar una fuente diseñada específicamente para almacenar metadatos académicos.
Por eso, en el modelo de Philologica, la investigación de fuentes se conecta con servicios como:
Crossref;
OpenAlex;
DataCite;
DOAJ;
Open Library.
Cada uno aporta información distinta.
Y ninguno debe entenderse como una autoridad absoluta para todas las disciplinas.
Pero juntos permiten reducir la dependencia de respuestas puramente generativas.
Crossref
Crossref es especialmente relevante cuando trabajamos con DOI y metadatos de publicaciones académicas.
Puede ayudarnos a contrastar:
título;
autores;
fecha;
publicación;
DOI;
determinados metadatos editoriales.
Si el manuscrito afirma:
Autor X, 2020
pero el DOI devuelve:
Autor X, 2018
tenemos una señal clara para revisar.
No significa necesariamente que el documento esté mal.
Podría existir una edición diferente.
Pero merece atención.
OpenAlex
OpenAlex permite trabajar con un grafo amplio de producción científica.
Puede resultar útil para localizar:
trabajos;
autores;
instituciones;
publicaciones;
relaciones entre obras.
El valor de este tipo de servicios es que amplían el análisis más allá del texto literal.
Una referencia incompleta puede quizá identificarse a partir de varios de sus elementos.
DataCite
DataCite resulta especialmente interesante para objetos de investigación y DOI que no necesariamente pertenecen al circuito tradicional de artículos de revista.
Por ejemplo:
datasets;
repositorios;
informes;
otros objetos digitales de investigación.
Esto importa porque una bibliografía académica moderna ya no contiene únicamente libros y artículos.
DOAJ
El Directory of Open Access Journals aporta información sobre revistas de acceso abierto.
Puede ayudar a enriquecer determinadas comprobaciones relacionadas con publicaciones y contexto editorial.
Open Library
Open Library puede ser especialmente útil cuando trabajamos con libros.
Una tesis de humanidades, por ejemplo, puede contener una gran cantidad de monografías que no tienen DOI.
La verificación bibliográfica necesita entonces ampliar sus fuentes.
No existe una única base que contenga todo
Este punto es importante.
La inexistencia de una referencia en un catálogo determinado no demuestra que la referencia sea falsa.
Puede tratarse de:
una edición local;
un libro antiguo;
una tesis;
un documento institucional;
un archivo histórico;
una publicación no indexada;
una fuente primaria;
un documento sin DOI.
Por eso la salida responsable sería:
«No se ha localizado en las fuentes consultadas.»
No:
«Esta referencia no existe.»
El lenguaje importa.
Otro problema: referencias duplicadas
Una auditoría bibliográfica también puede descubrir duplicados.