5. El vacío por diseño

¿Por qué un perfil puede decir que falta la mayor parte de una columna completa donde corresponde? Porque nadie le dijo al paquete dónde corresponde.

Qué pasa si no se declara nada

Empezamos por el caso mínimo: una encuesta construida acá, con una columna que sólo corresponde a parte de las filas (datos_operativos no tiene ninguna). Pregunta si la persona tiene auto y, sólo si tiene, de qué marca:

tiene_auto <- rep(c("Si", "No"), c(600, 1400))
encuesta <- data.frame(
  tiene_auto = tiene_auto,
  marca_auto = ifelse(tiene_auto == "Si", "Ford", NA),
  stringsAsFactors = FALSE
)

perfil <- perfilar(encuesta, analizar_dependencias = FALSE)
h <- hallazgos(perfil)
h[h$tipo_hallazgo == "faltantes", c("columna", "severidad", "n_afectados", "n_evaluados")]
#>      columna severidad n_afectados n_evaluados
#> 3 marca_auto     error        1400        2000

Falta el 70 % de marca_auto, con severidad error. Pero la columna está completa en todas las filas donde corresponde que tenga valor.

6 formas de tabla donde el vacío es la estructura

La encuesta no es un caso raro. En estas formas de tabla, los vacíos son parte del diseño:

forma	por qué hay vacíos
historial con vigencia abierta	`valido_hasta` vacío significa “sigue vigente”
encuesta con salto de patrón	quien no tiene auto no responde nada del auto
columnas excluyentes por subtipo	una persona jurídica no tiene fecha de nacimiento
documento por tipo	quien tiene cédula no tiene pasaporte
entidad-atributo-valor	cada fila llena una sola de las columnas de valor
formato largo	la misma tabla de arriba, apilada

El supuesto que `lupa` hace

Todo perfilador de datos asume una forma de tabla. lupa asume 3 cosas a la vez:

una fila es un hecho sobre una entidad;
una columna es un dominio semántico;
una celda vacía debería tener un valor y no lo tiene.

Las 3 son razonables y ninguna es universal. La tercera es la que hace daño: una base administrativa está llena de vacíos legítimos, celdas donde no corresponde que haya valor. Sin declarar nada, lupa cuenta esos vacíos como ausencia y los informa como defecto. El conteo es correcto y la lectura es falsa.

🔎 La señal que dice que hay algo para declarar

El arreglo, que se ve más abajo, exige conocer aplicabilidad: el argumento que declara en qué filas corresponde una columna. Quien no lo conoce recibiría sólo el informe engañoso. Por eso el mismo perfil trae otra fila:

estructural <- h[h$tipo_hallazgo == "posible_ausencia_estructural", ]
estructural[, c("columna", "severidad", "n_afectados")]
#>      columna severidad n_afectados
#> 5 marca_auto        ok        1400
writeLines(strwrap(estructural$evidencia, 88))
#> `tiene_auto` predice la presencia de `marca_auto` en 100.0 % de 2000 filas, con 2
#> valores distintos. La regla explica 1400 de las 1400 ausencias de la columna. La
#> columna corresponde cuando tiene_auto es "Si".
writeLines(strwrap(estructural$sugerencia, 88))
#> Si es así, declararlo y volver a perfilar: `perfilar(datos, aplicabilidad =
#> list(marca_auto = ~ tiene_auto == "Si"))`. Con la regla declarada, la ausencia fuera de
#> ese universo deja de contarse como defecto y el alcance queda escrito en
#> `cobertura_diagnosticos`.

Severidad ok: no es un defecto, es una lectura de la estructura.

La evidencia es un hecho medido sobre los datos. Dice qué proporción de las filas queda explicada por el valor de la otra columna. Dice también cuántas ausencias caen donde la regla dice que la columna no corresponde: eso cuenta n_afectados.
La sugerencia trae la línea exacta que habría que escribir.

La decisión sigue siendo nuestra. El universo de una columna son las filas donde corresponde que tenga valor (ver el glosario de Leer un perfil). El paquete no lo cambia por su cuenta, y las columnas ya declaradas quedan fuera del examen.

La señal sale por 2 caminos:

Una columna determina la presencia de otra, con un cumplimiento de al menos 0,99. Es el caso de la encuesta, y se puede escribir la fórmula.
Las filas se reparten entre 2 o más columnas sin pisarse, y entre todas cubren la tabla. Es la forma de los atributos excluyentes por subtipo. No hay fórmula que ofrecer, porque falta la columna que diga cuál corresponde. La sugerencia es la honesta: si existe esa columna, aplicabilidad; si no existe y la ausencia es por diseño, columnas_opcionales.

Y no dispara por cualquier cosa. Si una parte de las filas rompe el patrón, se calla. La relación existe pero no es una regla, y ofrecer una fórmula sería afirmar de más. El sorteo de abajo pone marca de auto a algunas personas que dicen no tener:

set.seed(4)
ruidosa <- encuesta
fuera <- sample(which(ruidosa$tiene_auto == "No"), 200)
ruidosa$marca_auto[fuera] <- "Ford"
sum(hallazgos(perfilar(ruidosa, analizar_dependencias = FALSE))$tipo_hallazgo ==
      "posible_ausencia_estructural")
#> [1] 0

Con el 10 % de las filas fuera del patrón, la señal no aparece.

Declarar el universo

aplicabilidad toma una fórmula por columna. Las filas donde el predicado no se cumple salen del universo de esa columna:

declarado <- perfilar(
  encuesta,
  analizar_dependencias = FALSE,
  aplicabilidad = list(marca_auto = ~ tiene_auto == "Si")
)

sum(hallazgos(declarado)$tipo_hallazgo == "faltantes")
#> [1] 0
columnas(declarado)[
  columnas(declarado)$columna == "marca_auto",
  c("n", "n_aplicables", "n_no_aplica", "n_faltantes", "prop_faltantes")
]
#>      n n_aplicables n_no_aplica n_faltantes prop_faltantes
#> 2 2000          600        1400           0              0

El recorte no es silencioso. La regla queda escrita donde se busca lo que no se midió:

cobertura_declarada <- cobertura(declarado)
writeLines(strwrap(
  cobertura_declarada$motivo[cobertura_declarada$columna == "marca_auto"], 88
))
#> La completitud se midió sobre 600 filas aplicables de 2000 filas; la regla declarada es
#> `~tiene_auto == "Si"`.

Cuando la ausencia nunca es defecto y no hay regla que escribir, alcanza con columnas_opcionales. El caso típico es el historial con vigencia abierta:

historial <- data.frame(
  id = 1:100,
  valido_hasta = c(rep(NA, 40), 41:100)
)
opcional <- perfilar(
  historial, analizar_dependencias = FALSE,
  columnas_opcionales = "valido_hasta"
)
sum(hallazgos(opcional)$tipo_hallazgo == "faltantes")
#> [1] 0

Con el 40 % de la columna vacío, el perfil suma además un aviso de severidad ok: regla_silencia_ausencia. Lo explicamos al final de la guía.

El error simétrico

Declarar el universo hace visible un diagnóstico imposible sin la declaración: el valor que aparece donde la regla dice que no corresponde.

inconsistente <- data.frame(
  tiene_auto = c("Si", "No", "No", "Si"),
  marca_auto = c("Ford", NA, "Fiat", "VW"),
  stringsAsFactors = FALSE
)
p <- perfilar(
  inconsistente, analizar_dependencias = FALSE,
  aplicabilidad = list(marca_auto = ~ tiene_auto == "Si")
)
fuera_de_universo <- hallazgos(p)[
  hallazgos(p)$tipo_hallazgo == "valor_fuera_de_aplicabilidad",
]
fuera_de_universo[, c("columna", "severidad", "n_afectados")]
#>      columna  severidad n_afectados
#> 2 marca_auto sospechoso           1
writeLines(strwrap(fuera_de_universo$evidencia, 88))
#> 1 valor presente fuera del universo aplicable de 2 filas.
fuera_de_universo$trazabilidad[[1]]$indices_fila
#> [1] 3

La tercera fila declara no tener auto y tiene marca. Es un error en los datos, o en la regla, y sin el universo declarado lupa no puede verlo.

Cuando la regla no se puede determinar

Si la columna que discrimina también está ausente, no se sabe si la columna aplica. Esas filas no se cuentan como aplicables ni como no aplicables: se declaran aparte, porque no saber no es lo mismo que no corresponder.

dudoso <- data.frame(
  tiene_auto = c("Si", "No", NA, "Si"),
  marca_auto = c("Ford", NA, NA, "VW"),
  stringsAsFactors = FALSE
)
pd <- perfilar(
  dudoso, analizar_dependencias = FALSE,
  aplicabilidad = list(marca_auto = ~ tiene_auto == "Si")
)
columnas(pd)[
  columnas(pd)$columna == "marca_auto",
  c("n_aplicables", "n_no_aplica", "n_aplicabilidad_indeterminada")
]
#>   n_aplicables n_no_aplica n_aplicabilidad_indeterminada
#> 2            2           1                             1

El formato largo: `perfilar_por()`

Una tabla en formato largo no es una tabla: son muchas apiladas. Perfilarla entera mezcla dominios que no tienen nada que ver, y el resultado no describe a ninguno. La tabla de abajo apila 3 atributos de cada entidad; sus valores se sortean:

set.seed(9)
n <- 900
atributo <- rep(c("pais", "edad", "correo"), each = n / 3)
largo <- data.frame(
  entidad = rep(seq_len(n / 3), 3),
  atributo = atributo,
  valor_texto = ifelse(
    atributo == "edad", NA,
    ifelse(atributo == "pais", sample(c("UY", "uy", "AR"), n, TRUE),
           paste0("a", seq_len(n), "@x.uy"))
  ),
  valor_num = ifelse(atributo == "edad", sample(18:80, n, TRUE), NA),
  stringsAsFactors = FALSE
)

plano <- perfilar(largo, analizar_dependencias = FALSE)
table(as.character(hallazgos(plano)$tipo_hallazgo))
#> 
#>            alta_cardinalidad  casi_duplicados_vocabulario        dato_personal_posible 
#>                            1                            1                            1 
#>                    faltantes    mayusculas_inconsistentes posible_ausencia_estructural 
#>                            2                            1                            2

Por grupo, cada atributo se perfila contra su propio dominio. Las columnas enteramente ausentes dentro del grupo se descartan antes de perfilar, y ése es el paso que desactiva el faltante falso.

por_grupo <- perfilar_por(
  largo, "atributo", clave = "entidad", min_filas = 30,
  analizar_dependencias = FALSE
)
sum(por_grupo$tipo_hallazgo == "faltantes")
#> [1] 0
table(as.character(por_grupo$tipo_hallazgo))
#> 
#> casi_duplicados_vocabulario       dato_personal_posible   mayusculas_inconsistentes 
#>                           2                           1                           1 
#>       posible_identificador 
#>                           3

El argumento clave no es cosmético. Sin la columna de identidad, cada repetición del valor de un atributo se lee como fila duplicada. Así, el diagnóstico de unicidad informa la tabla entera. Si se declara, perfilar() separa la unicidad de la ausencia de nulos. meta$clave conserva ambos estados cuando alguno no queda verificado, y la trazabilidad deja explícita su semántica de R cuando agrupa ausentes.

Lo que se descartó queda declarado:

head(attr(por_grupo, "cobertura_grupos"), 3)
#>    grupo grupo_perfilado n_filas_grupo
#> 1   pais            TRUE           300
#> 2   edad            TRUE           300
#> 3 correo            TRUE           300
#>                                                                          motivo
#> 1 Se descartaron 1 columna enteramente ausente en este grupo antes de perfilar.
#> 2 Se descartaron 1 columna enteramente ausente en este grupo antes de perfilar.
#> 3 Se descartaron 1 columna enteramente ausente en este grupo antes de perfilar.
#>   columnas_descartadas
#> 1            valor_num
#> 2          valor_texto
#> 3            valor_num

Lo que `lupa` no hace

No infiere el modelo. No decide por su cuenta que una tabla es entidad-atributo-valor, ni que 2 columnas son mutuamente excluyentes. Una heurística así fallaría sobre tablas anchas legítimas. Por la misma razón, el paquete tampoco adivina claves ni jerarquías.

El universo lo declara quien conoce el dato. Sin declaración, toda la columna aplica y el resultado es el del principio de esta guía: es la única omisión que no supone nada.

Lo que sí hace es medir la evidencia y ofrecerla. La diferencia importa: sugerir con la evidencia a la vista deja la decisión donde estaba, y adivinar la mueve.

⚠️ Y el reverso: cuando la declaración tapa un problema

Una regla declarada puede silenciar algo real. Declarar opcional una columna casi vacía deja el perfil limpio. Quien no lea la cobertura de diagnósticos no se entera de nada:

casi_vacia <- data.frame(
  x = c(rep(NA_character_, 160), rep(letters[1:20], 2)),
  stringsAsFactors = FALSE
)
p <- perfilar(casi_vacia, columnas_opcionales = "x",
              analizar_dependencias = FALSE)
silencio <- hallazgos(p)[hallazgos(p)$tipo_hallazgo == "regla_silencia_ausencia", ]
silencio[, c("columna", "severidad", "n_afectados", "n_evaluados")]
#>   columna severidad n_afectados n_evaluados
#> 2       x        ok         160         200
writeLines(strwrap(silencio$evidencia, 88))
#> Faltan 160 de 200 celdas de la columna (80.0 %), y la columna se declaró con
#> `columnas_opcionales`: la ausencia no es defecto en esta columna.

Con el 80 % de la columna vacío, el aviso es regla_silencia_ausencia, el mismo que apareció en el historial. También es ok, y por la misma razón: la declaración hizo su trabajo. El aviso existe para que eso sea una decisión y no un efecto lateral. Vale igual cuando el universo se declaró con aplicabilidad y la columna sigue casi vacía dentro de ese universo. Es el caso donde la regla resultó más ancha que el universo real.

Todo lo que se le declara al paquete

El universo de una columna es una de varias cosas que lupa no puede saber mirando los datos. Todas siguen la misma idea: quien conoce el dato lo declara, y el paquete lo respeta y deja constancia. Son argumentos de perfilar(), salvo la unidad, que viaja con la columna. analizar() y las demás vías de perfilado los reciben por argumentos_perfil o ...:

qué declaramos	argumento	qué cambia en el perfil
en qué filas corresponde una columna	`aplicabilidad`	las filas fuera del universo no cuentan como faltantes; aparece `valor_fuera_de_aplicabilidad`; la regla queda en `cobertura()`
que la ausencia nunca es defecto	`columnas_opcionales`	los faltantes no se informan; si la columna sigue muy vacía, `regla_silencia_ausencia`
que un número es un código, no una magnitud	`columnas_codigo`	sin media, mediana, desvío, límites de Tukey ni Benford; se conservan mínimo, máximo, moda y conteos; en `analizar()`, escala nominal
qué números significan “sin dato”	`sentinelas_numericos`	se cuentan como faltantes disfrazados y salen de media, mediana, mínimo, máximo, desvío y de los cuantiles de `analizar()`; las dependencias y las asociaciones no evalúan la fila que los tiene
qué textos significan “sin dato”	`cadenas_ausencia`	se suman a los que el paquete reconoce y se cuentan como faltantes disfrazados
dónde un cero o un negativo no es admisible	`columnas_sin_ceros`, `columnas_no_negativas`	aparecen `ceros_no_permitidos` y `negativos_no_permitidos`
qué columnas identifican una fila	`clave`	la trazabilidad trae el valor de la clave de cada fila señalada; una clave repetida o con ausentes es un `error` (`clave_no_unica`, `clave_con_ausentes`)
qué columnas traen datos personales	`columnas_personales`	se clasifican como datos personales aunque ni el nombre ni la forma los delaten, y con `proteger_datos_personales = TRUE` sus valores salen enmascarados
en qué unidad está una magnitud	atributo `units` de la columna	`columnas()` publica la unidad junto a las cifras, y `clasificar_variables()` la usa para proponer la escala

Conviene ver 2 de ellas, porque cambian lo que el perfil calcula. Primero, un código de rubro con un valor fuera de catálogo, sin declarar y declarado:

rubros <- data.frame(rubro = rep(1:19, length.out = 60))
rubros$rubro[c(5, 9)] <- 99

campos <- c("columna", "minimo", "maximo", "media", "n_outliers",
            "estado_resumen_cuantitativo")
rbind(
  columnas(perfilar(rubros, analizar_dependencias = FALSE))[, campos],
  columnas(perfilar(rubros, analizar_dependencias = FALSE,
                    columnas_codigo = "rubro"))[, campos]
)
#>   columna minimo maximo    media n_outliers estado_resumen_cuantitativo
#> 1   rubro      1     99 12.66667          2                  calculados
#> 2   rubro      1     99       NA         NA             omitidos_codigo

Sin declarar, el código se mide como magnitud: tiene media y el 99 sale como valor atípico. Declarado, la media no se calcula (omitidos_codigo). El 99 sigue a la vista en el máximo, que es donde aparece un código fuera de catálogo.

Después, una edad donde 999 significa “no informada”. 999 está en la lista que el paquete sospecha por omisión, pero una sospecha sólo se informa: no mueve los números. Declarado, sale del resumen:

edades <- data.frame(edad = c(34, 51, 999, 27, 999, 45, 62, 999, 38, 29))

campos <- c("columna", "n_faltantes_disfrazados", "media", "maximo",
            "n_valores_excluidos_resumen")
rbind(
  columnas(perfilar(edades, analizar_dependencias = FALSE))[, campos],
  columnas(perfilar(edades, analizar_dependencias = FALSE,
                    sentinelas_numericos = 999))[, campos]
)
#>   columna n_faltantes_disfrazados     media maximo n_valores_excluidos_resumen
#> 1    edad                       3 328.30000    999                           0
#> 2    edad                       3  40.85714     62                           3

sentinelas_numericos reemplaza la lista entera: declaramos exactamente los valores que valen como “sin dato” en nuestros datos. El paquete trae además sentinelas_naniar, una lista más amplia. Se pide de manera explícita, porque valores como 66, 77 y 88 pueden ser datos legítimos:

codigos <- data.frame(codigo = c(1, 66, 9999))
c(
  por_omision = columnas(perfilar(codigos, analizar_dependencias = FALSE))$
    n_faltantes_disfrazados,
  naniar = columnas(perfilar(codigos, analizar_dependencias = FALSE,
                             sentinelas_numericos = sentinelas_naniar))$
    n_faltantes_disfrazados
)
#> por_omision      naniar 
#>           0           2

El artículo Alcance y cobertura trae los detalles de cada declaración:

qué se excluye de cada diagnóstico;
cómo se reconoce una numeración sin declararla;
qué se enmascara.

5. El vacío por diseño

Qué pasa si no se declara nada

6 formas de tabla donde el vacío es la estructura

El supuesto que `lupa` hace

🔎 La señal que dice que hay algo para declarar

Declarar el universo

El error simétrico

Cuando la regla no se puede determinar

El formato largo: `perfilar_por()`

Lo que `lupa` no hace

⚠️ Y el reverso: cuando la declaración tapa un problema

Todo lo que se le declara al paquete

Resumen

🧭 Paso siguiente

5. El vacío por diseño

Qué pasa si no se declara nada

6 formas de tabla donde el vacío es la estructura

El supuesto que lupa hace

🔎 La señal que dice que hay algo para declarar

Declarar el universo

El error simétrico

Cuando la regla no se puede determinar

El formato largo: perfilar_por()

Lo que lupa no hace

⚠️ Y el reverso: cuando la declaración tapa un problema

Todo lo que se le declara al paquete

Resumen

🧭 Paso siguiente

El supuesto que `lupa` hace

El formato largo: `perfilar_por()`

Lo que `lupa` no hace