Document Analysis: cómo auditar la estructura completa de una tesis o paper
Una de las mayores dificultades al revisar una tesis, un paper o un manuscrito extenso es que los problemas importantes rara vez se encuentran todos en el mismo lugar.
Una frase puede es…
Por Manuel Enrique Morales[ LATIN FLASH LDA ]
Una de las mayores dificultades al revisar una tesis, un paper o un manuscrito extenso es que los problemas importantes rara vez se encuentran todos en el mismo lugar.
Una frase puede estar perfectamente escrita.
Un párrafo puede ser coherente.
Un capítulo puede parecer sólido cuando se lee de forma aislada.
Y, aun así, el documento completo puede contener problemas de estructura, coherencia, bibliografía, terminología o argumentación que solo aparecen cuando se observa el manuscrito como una unidad.
Ese es el tipo de problema que intenta abordar Document Analysis dentro de Philologica.
No como un corrector de frases.
No como una función para “resumir el PDF”.
Sino como una primera capa de auditoría del documento completo.
El problema de revisar por fragmentos
Cuando trabajamos sobre textos académicos largos, es habitual dividirlos.
Capítulo 1.
Después capítulo 2.
Después metodología.
Después conclusiones.
Este método es práctico porque reduce la complejidad.
Pero introduce un riesgo.
Al analizar cada fragmento por separado podemos perder relaciones entre partes distantes.
Por ejemplo:
una hipótesis formulada al principio y una conclusión al final;
Tags:#revisión de manuscritos#auditoría académica#Philologica#revisión de tesis con IA#análisis de paper#document analysis
¿Buscas transformar tu arquitectura o posicionamiento?
Hablemos de cómo nuestros sistemas y socios pueden articular tu proyecto.
¿Aparecen patrones que justifican una revisión de referencias?
Riesgos editoriales
¿Hay aspectos que podrían dificultar una revisión externa o una entrega final?
No todas estas dimensiones tienen que resolverse dentro del mismo análisis.
El objetivo puede ser simplemente señalar dónde conviene profundizar.
Un ejemplo: una tesis de 300 páginas
Imaginemos una tesis doctoral terminada.
Tiene:
307 páginas;
9 capítulos;
214 referencias;
37 tablas;
18 figuras.
El autor lleva tres años trabajando sobre ella.
La ha leído decenas de veces.
En ese momento existe un problema humano bastante conocido:
familiaridad excesiva con el texto.
El autor no lee exactamente lo que está escrito.
Lee también lo que recuerda, lo que quería decir y lo que sabe que debería estar allí.
Por eso ciertos problemas pueden volverse prácticamente invisibles.
Un análisis externo puede ayudar a cambiar la perspectiva.
Primer hallazgo: una conclusión demasiado fuerte
Imaginemos que el capítulo 8 presenta evidencia sobre tres casos concretos.
Pero en la conclusión general encontramos:
“Estos resultados demuestran que el modelo es aplicable universalmente.”
No necesariamente es incorrecto.
Quizá existe una justificación metodológica.
Pero sí parece una afirmación que merece atención.
El análisis puede marcarla como:
Categoría: argumentaciónUbicación: conclusionesRiesgo: generalización potencialEvidencia: relación entre muestra y afirmación finalAcción sugerida: comprobar si el alcance de la conclusión está suficientemente justificado
El sistema no decide que la frase sea falsa.
Ayuda a localizar una posible tensión.
Segundo hallazgo: definición inconsistente
En el capítulo 2 se define un término central de una manera.
En el capítulo 6 aparece otra formulación que parece ampliar su significado.
De nuevo, puede ser totalmente intencional.
Pero si el cambio no está explicado, merece revisión.
El sistema podría indicar:
Categoría: terminologíaUbicación: capítulos 2 y 6Hallazgo: variación en definición de término centralAcción: comprobar si existe evolución conceptual deliberada o inconsistencia
Este tipo de problema es difícil de encontrar leyendo capítulos por separado.
Tercer hallazgo: sección aislada
Ahora imaginemos una sección que introduce una discusión importante, pero que posteriormente no vuelve a relacionarse con los objetivos o las conclusiones.
La sección puede estar bien escrita.
Puede contener información relevante.
Pero estructuralmente parece aislada.
Esto plantea una pregunta editorial:
¿Qué función cumple dentro del argumento general?
Quizá debería conectarse mejor.
Quizá debería moverse.
Quizá incluso debería eliminarse.
La decisión pertenece al autor.
El análisis simplemente ayuda a formular la pregunta.
El valor de la localización
Todo esto depende de una condición:
el sistema debe intentar decir dónde ha encontrado el problema.
Un comentario sin ubicación pierde gran parte de su valor.
Especialmente en un documento largo.
Por eso una estructura útil puede ser:
Capítulo 6Sección 6.3Fragmento identificadoTipo de hallazgoExplicaciónRecomendación
Esta combinación de localización y evidencia es una de las bases de la trazabilidad que intento mantener en Philologica.
No todos los hallazgos son errores
Este punto merece repetirse porque cambia por completo la forma de utilizar una herramienta de análisis.
Supongamos que el sistema señala:
“Existe un cambio notable en la densidad de citas entre los capítulos 4 y 5.”
Eso no significa:
“El capítulo 5 está mal.”
Puede haber una explicación perfectamente válida.
Quizá el capítulo 4 es marco teórico y el 5 presenta resultados propios.
La señal es real.
La interpretación depende del contexto.
Por eso una auditoría debería separar tres niveles:
observación
lo que se ha detectado;
interpretación
por qué podría importar;
decisión
qué hace el autor con esa información.
La IA puede participar en los dos primeros.
La tercera debe permanecer en manos humanas.
Diferencia entre Document Analysis y Fragment Review
Dentro del dossier, Document Analysis y Fragment Review aparecen juntos dentro de la categoría Document Review.
Pero conceptualmente tienen funciones diferentes.
Document Analysis
Pregunta:
¿Qué ocurre en el manuscrito como conjunto?
Busca visión global.
Fragment Review
Pregunta:
¿Qué ocurre exactamente en esta parte del manuscrito?
Busca profundidad local.
Las dos herramientas son complementarias.
Podemos detectar un riesgo global y después profundizar en el fragmento donde aparece.
Vista global primero, detalle después
Este patrón me parece especialmente útil.
Imaginemos que Document Analysis señala:
“El capítulo 7 contiene varias observaciones relacionadas con la coherencia argumentativa.”
En lugar de revisar todo el documento otra vez, podemos concentrarnos en ese capítulo.
Después incluso en una sección.
El proceso sería:
documento completo
↓
zona de riesgo
↓
fragmento
↓
decisión editorial
La IA ayuda a reducir progresivamente el espacio de búsqueda.
Live Extraction y el problema de la evidencia
El dossier también sitúa Live Extraction dentro del bloque Document Review.
La idea de extracción resulta importante porque una revisión académica necesita trabajar sobre evidencia concreta.
No basta con que el sistema diga:
“He encontrado una inconsistencia.”
El usuario debe poder ver qué texto ha generado esa observación.
Cuanto más fácil resulte regresar al contenido original, menor es la necesidad de confiar ciegamente en la salida del modelo.
Un análisis útil debería permitir desacuerdo
Este principio me parece fundamental.
Si el sistema produce una observación con la que el usuario no puede estar en desacuerdo, tenemos un problema de diseño.
Una buena herramienta debería permitir pensar:
“Veo por qué ha marcado esto, pero en mi investigación esta decisión es intencional.”
Perfecto.
Ese desacuerdo también es útil.
Porque obliga a justificar la decisión.
En cierto sentido, la herramienta funciona como una segunda lectura.
No tiene que tener razón siempre.
Tiene que hacer preguntas suficientemente buenas.
¿Puede una IA evaluar la calidad de una tesis?
Aquí conviene ser muy cuidadosos.
Un modelo puede identificar patrones y producir indicadores.
Pero “calidad académica” es una categoría demasiado amplia para reducirla a una puntuación universal.
La calidad de una investigación depende de aspectos como:
originalidad;
metodología;
conocimiento disciplinar;
calidad de las fuentes;
diseño experimental;
interpretación;
relevancia;
contribución.
Muchos de estos aspectos requieren especialistas.
Por eso yo no presentaría Document Analysis como:
“La IA te dice si tu tesis es buena.”
Sería una promesa excesiva.
Prefiero:
“La herramienta ayuda a localizar aspectos de tu tesis que merece la pena revisar.”
Eso es mucho más defendible.
El problema de las puntuaciones
Las puntuaciones pueden ser útiles.
Pero también pueden producir una falsa sensación de objetividad.
Imaginemos:
Coherencia: 82/100
¿Qué significa exactamente?
¿Es 82 bueno?
¿Es comparable entre disciplinas?
¿Una tesis de filosofía y una de ingeniería deberían utilizar la misma escala?
Si mostramos puntuaciones, deberían interpretarse como indicadores internos, no como calificaciones académicas.
Su utilidad está en:
priorizar;
comparar versiones;
detectar cambios;
orientar atención.
No en emitir un veredicto.
Comparar versiones puede ser más útil que obtener una nota
De hecho, existe una aplicación de estos indicadores que me parece especialmente interesante.
Supongamos:
Versión 1
17 hallazgos importantes.
Después el autor trabaja sobre el manuscrito.
Versión 2
8 hallazgos importantes.
Eso es mucho más útil que saber si la primera versión tenía un “74/100”.
La comparación muestra progreso.
La revisión se convierte en un proceso iterativo.
El manuscrito como sistema vivo
Esto nos lleva otra vez a una idea recurrente de Philologica.
Un documento académico no debería tratarse como algo completamente estático.
Durante su desarrollo cambia.
Se añaden fuentes.
Se eliminan argumentos.
Se reorganizan capítulos.
Se reformulan conclusiones.
Por eso el análisis también puede evolucionar.
Una primera auditoría puede mostrar una serie de riesgos.
Después de corregirlos, otra revisión puede revelar problemas más pequeños que antes estaban ocultos por cuestiones mayores.
Es parecido a depurar software.
Primero aparecen los errores estructurales.
Después los detalles.
El paralelismo con una auditoría de software
Esta comparación resulta especialmente natural desde mi perspectiva como desarrollador.
Cuando auditamos un sistema de software no preguntamos simplemente:
“¿Funciona?”
Revisamos capas.
Arquitectura.
Seguridad.
Dependencias.
Datos.
Errores.
Rendimiento.
Tests.
Configuración.
Un sistema puede funcionar aparentemente y contener problemas importantes.
Con un manuscrito sucede algo parecido.
Puede leerse correctamente y, sin embargo, contener inconsistencias internas.
La revisión estructurada intenta encontrar esas capas.
Un posible flujo de trabajo
Para alguien que esté terminando una tesis, yo plantearía algo parecido a esto.
1. Terminar una versión estable
No tiene demasiado sentido auditar exhaustivamente un documento que cambia cada hora.
Conviene disponer de una versión suficientemente madura.
2. Ejecutar Document Analysis
Buscar zonas de riesgo global.
3. Priorizar
Empezar por los hallazgos que puedan afectar más al manuscrito.
4. Profundizar
Utilizar Fragment Review u otras herramientas sobre las zonas concretas.
5. Corregir manualmente
Modificar el documento original.
6. Volver a analizar
Comprobar cómo ha cambiado la situación.
Ese ciclo puede repetirse.
Qué debería revisar primero un estudiante
Si el análisis devuelve muchas observaciones, empezaría por este orden:
Primero: problemas estructurales
Porque pueden afectar a muchas otras partes.
Segundo: argumentación y evidencia
Especialmente conclusiones y afirmaciones centrales.
Tercero: referencias
Porque afectan a trazabilidad y verificabilidad.
Cuarto: terminología
Sobre todo términos esenciales.
Quinto: estilo
Una vez que la arquitectura académica está estable.
Esto no es una regla universal.
Pero evita dedicar horas a perfeccionar frases que después habrá que eliminar porque la sección completa cambia.
Document Analysis no es un corrector ortográfico
Esta distinción merece quedar muy clara.
Ya existen excelentes herramientas para:
ortografía;
gramática;
puntuación;
estilo de frase.
Document Analysis persigue otra escala.
La pregunta no es:
“¿Esta coma está bien?”
Es:
“¿Esta parte del documento cumple una función coherente dentro del conjunto?”
Eso cambia completamente el tipo de análisis.
Tampoco debería reescribir automáticamente el manuscrito
Existe otra tentación fácil.
Si detectamos un problema, ¿por qué no dejar que la IA lo corrija directamente?
En determinadas tareas menores puede tener sentido generar alternativas.
Pero en cuestiones académicas importantes prefiero mantener separación entre:
diagnóstico
y
reescritura.
Primero:
“Aquí existe un posible problema.”
Después, si el usuario lo desea:
“Ayúdame a explorar formas de resolverlo.”
Esto evita convertir una recomendación del sistema en texto insertado automáticamente dentro de una investigación.
Qué debería conservar el usuario
Idealmente, al terminar el análisis el usuario debería disponer de tres cosas.
Una visión global
¿Cuál parece ser el estado general del documento?
Una lista priorizada
¿Dónde debería mirar primero?
Evidencia localizable
¿Dónde se encuentra exactamente cada observación?
Si falta cualquiera de estas tres capas, el análisis pierde utilidad.
Del informe al trabajo real
La finalidad de Document Analysis no es producir un informe bonito.
El informe es solo un medio.
Lo importante ocurre después.
El autor abre su manuscrito.
Va al capítulo indicado.
Lee nuevamente el fragmento.
Compara.
Investiga.
Decide.
Corrige.
Ese es el momento en el que el análisis genera valor real.
Qué quiero evitar con Philologica
Hay varias experiencias que intento evitar deliberadamente.
La primera:
“Tu tesis tiene un 87 % de calidad.”
No creo que una cifra así sea académicamente significativa sin mucha más explicación.
La segunda:
“He encontrado 147 errores.”
La cantidad por sí sola no significa nada.
La tercera:
“He corregido automáticamente tu tesis.”
Demasiada autoridad para el sistema.
Prefiero:
“He encontrado estas cuestiones, aquí están, esta es la evidencia disponible y este es el orden en el que podrías revisarlas.”
Eso se parece mucho más a un instrumento editorial.
La ventaja de una primera lectura externa
Después de meses o años escribiendo un documento, resulta muy difícil leerlo como si fuera la primera vez.
Ya sabemos lo que queremos decir.
Completamos mentalmente conexiones.
Recordamos información que quizá ya no está escrita.
Interpretamos frases dentro de un contexto que el lector externo no posee.
Una herramienta de análisis introduce otra perspectiva.
No necesariamente mejor.
Pero distinta.
Y esa distancia puede ser útil.
La IA como lector adicional
Probablemente esta sea la forma en la que más me gusta pensar en Document Analysis.
No como juez.
No como corrector definitivo.
No como director de tesis artificial.
Sino como un lector adicional extremadamente sistemático.
Un lector que puede buscar patrones.
Comparar secciones.
Localizar señales.
Repetir procedimientos.
Y presentar puntos de atención.
Después el investigador decide qué significan.
El objetivo final: saber dónde mirar
Una tesis de 300 páginas puede resultar abrumadora.
Incluso para su propio autor.
Si una herramienta consigue reducir esa complejidad a:
“Empieza revisando estas cinco partes”
ya ha generado valor.
No necesita resolver automáticamente el documento entero.
A veces el problema más importante de una revisión no es saber cómo corregir algo.
Es saber dónde mirar.
Y esa es precisamente la función que intento desarrollar con Document Analysis dentro de Philologica.
Philologica Document Analysis
Document Analysis forma parte del área Document Review de Philologica, junto con herramientas orientadas a la revisión de fragmentos y extracción del documento.
Su objetivo es ayudar a convertir un manuscrito extenso en una serie de hallazgos localizables y priorizados que el autor pueda comprobar.
Los resultados de una revisión asistida por IA deben interpretarse como apoyo al proceso editorial. La evaluación final del manuscrito continúa correspondiendo al autor, investigador, editor o revisor.