PELIGROS DE LA LEY DE BENFORD

Aplicación del Análisis Digital utilizando la Ley de Benford para detectar fraudes: Una nota práctica sobre los peligros de Error Tipo I y Tipo II

Traducción por "frauditor"
del Paper de la AAA (American Accounting Association)denominado “Applying Digital Analysis using Benford’s Law to Detect Fraud: A Practice Note about the Dangers of Type I and Type II Errors”


RESUMEN

La declaración sobre Normas de Auditoría No. 99, Consideraciones de Fraude en la Auditoria de Estados Financieros(SAS N º # 99) ha aumentado la responsabilidad del auditor para detectar el fraude durante una auditoría de estados financieros. Esa responsabilidad adicional ha colocado una gran demanda sobre los auditores para diseñar mejores procesos para la detección de casos de fraude de los estados financieros. En los últimos años, los auditores han empleado técnicas estadísticas más sofisticadas, como el análisis digital usando la Ley de Benford, como parte de sus procedimientos de detección del fraude.

A primera vista la aplicación de la Ley de Benford representa una gran promesa como un procedimiento de detección de fraudes. Sin embargo, una mirada más atenta a los fundamentos estadísticos básicos revelará que los auditores que buscan usar la Ley de Benford podrían no estar conscientes de los costos relativos de los potenciales Errores Tipo I y Tipo II durante la fase de análisis. Por ejemplo, las consideraciones estadísticas indican que hay una gran posibilidad de cometer un error de tipo I si el análisis de la Ley de Benford se ha completado sobre la base de "dígito por dígito", en comparación de la base "caso por caso" que es normalmente empleado por los estadísticos. Explicaremos las ventajas relativas de cada opción en términos de conceptos y consideraciones prácticas del proceso de auditoría.

Palabras clave: Análisis digital; Ley de Benford, Detección de Fraude; SAS Nº 99; Errores tipo I y tipo II; y Lenguaje de Comandos de Auditoría(ACL).


INTRODUCCIÓN

La percepción de credibilidad de los estados financieros en la información de inversión de los mercados se encuentra en su punto más bajo en años. De hecho, los estados financieros de de empresas como Enron, WorldCom, Tyco, Global Crossing y otros registrados en el SEC han favorecido a la crisis de confianza que existe actualmente entre el público inversionista. Esta crisis de confianza ha atraído la atención de los auditores practicantes que en general reconocen que la profesión debe tener un papel en el restablecimiento de la confianza de los inversores. Por ejemplo, PricewaterhouseCoopers, la empresa de auditoría más grande del mundo, ha lanzado recientemente una campaña publicitaria que se centra en la importancia de la empresa, su papel en la reconstrucción de la confianza en los mercados de capitales (PwC 2003).

Un resultado directo de esta crisis de confianza ha sido un mayor hincapié en la responsabilidad del auditor para detectar el fraude (por ejemplo, el SAS No. # 99). La responsabilidad añadida ha colocado una gran demanda de auditores para elaborar de forma más eficaz y eficiente los procedimientos de auditoría para la detección de incidentes de fraude. El mejoramiento de los procedimientos es probable que sea visto como un paso importante por parte de los inversores en el restablecimiento de la confianza en la información en la cual se basan para tomar decisiones en los mercados de capitales (PwC 2003).

Recientemente, los auditores han empleado técnicas estadísticas más sofisticadas, tales como análisis digital usando la Ley de Benford, como parte de sus procedimientos para detección de fraudes. La Ley de Benford propone una distribución de probabilidad para el primer y segundo dígitos de los números en un conjunto de datos que describen los tamaños de fenómenos similares y que comprenden una cantidad importante de datos. Hay bastante evidencia empírica que sugiere que las frecuencias del primero y segundo dígitos de un conjunto de datos que contiene números creíbles, corresponden una distribución de probabilidad de la Ley de Benford (por ejemplo, Nigrini 1996). Habida cuenta de su potencial para identificar los puntos de datos (por ejemplo, importes de transacciones) que contienen las características asociadas con actividad fraudulenta, el análisis digital utilizando la Ley de Benford representa una gran promesa como un procedimiento de detección de fraudes (Coderre 1999).

El incremento en el uso de sofisticadas herramientas estadísticas, como el análisis digital usando la Ley de Benford, se ha visto facilitado por el aumento del uso de Técnicas de auditoría asistida por ordenador (CAATs) como parte del proceso de auditoría. Por ejemplo, un auditor que quiere aplicar el comando Benford utilizando Audit Command Language (el programa de auditoria líder en el mercado) sólo necesita identificar el campo de datos (por ejemplo, el importe de la factura) en el archivo de datos adecuados (por ejemplo, cuentas por cobrar cliente archivo) con el fin de ejecutar correctamente el comando. El auditor tendrá entonces que considerar si pruebas adicionales de auditoría deben ser ejecutadas en cualquier campo que no se ajuste a la distribución de probabilidad de la Ley de Benford. Es precisamente en esta fase del proceso en el que el auditor debe ser consciente de los costes y peligros relativos de los posibles errores, sobre todo teniendo en cuenta la naturaleza de los paquetes de software estándar de auditoría. Para un auditor utilizar la metodología típica de estadística será la "hipótesis nula de investigación" es que no hay actividad fraudulenta. En este caso, el Error de Tipo I sería el concluir que existía evidencia de actividad fraudulenta, cuando de hecho los datos eran legítimos. El Error Tipo II ocurriría cuando existe actividad fraudulenta, pero pasó desapercibida.

Los paquetes estándar de software de auditoría que incluyen en sus opciones el análisis digital utilizando la Ley de Benford pueden basarse en supuestos estadísticos que afectan a la probabilidad de cada tipo de error. Habida cuenta de su potencial impacto en el proceso de decisión de auditoría, estos supuestos deben ser más transparentes. Por ejemplo, en Audit Command Language(ACL), el comando Benford produce automáticamente un análisis completo sobre la base "cifra por cifra" en lugar de en la base "caso por caso". La necesidad de una mayor transparencia es particularmente prominente cuando se considera la literatura estadística, la cual sugiere que la posibilidad de cometer un Error Tipo I es significativamente grande cuando el análisis digital utilizando la Ley de Benford es aplicado sobre la base de “cifra por cifra”. Esto es muy similar al “problema de comparaciones múltiples” encontrado en muchas técnicas estadísticas tradicionales como el Análisis de Varianza(Ott 1993). El propósito de este trabajo dar luces a las suposiciones estadísticas que son pertinentes al proceso de decisión de un auditor al ejecutar análisis digital utilizando la Ley de Benford. Al hacerlo, explicaremos cuidadosamente los costos y beneficios relativos de cada opción estadística que se pueda hacerse por el software para permitir a los auditores a incluir apropiadamente todos los factores relevantes en el proceso de toma de decisiones de auditoría.

El resto de este artículo está organizado de la siguiente manera. La siguiente sección proporciona una breve descripción de la Ley de Benford y una revisión de la literatura que trata de aplicar la Ley de Benford diversos contextos en auditoría. La tercera sección proporciona una descripción de la Ley de Benford de la fase de análisis, incluida una discusión de las posibilidades para los Errores Tipo I y Tipo II. Esta sección también incluye una descripción de los diversos supuestos estadísticos y su importancia para el proceso de auditoría. La última sección ofrece conclusiones y las implicaciones para los profesionales de auditoría.


ANTECEDENTES DE LITERATURA

Benford (1938) se convenció de que la mayoría de los números tienen principalmente dígitos pequeños como el uno o el dos más que dígitos grades como el 8 o 9. Él investigó esta afirmación mediante el estudio de muchas listas de datos, tales como las poblaciones de las ciudades y el tamaño de los lagos de agua dulce. Estos estudios empíricos llevaron a Benford a proponer que, en muchas aplicaciones del mundo real, los primeros dígitos d siguen una distribución de probabilidad:

P (d = m) = log10 ((m + 1) / m), para d = 1, 2, 3, ..., 9.

Esta distribución de probabilidad da P (d = 1) = log 2 = .301, P (d = 2) = log (3 / 2) = .176, en un máximo de P (d = 9) = log (10 / 9) = .046. Además de los trabajos empíricos de Benford, hay una base teórica sólida para esta distribución (Hill 1995).

La Ley de Benford no se aplica universalmente. Por ejemplo, cuando los datos son todos de la misma magnitud, no se espera la distribución de Benford. La altura (en pulgadas) de los adultos, casi todos comienzan con los dígitos cinco, seis o siete, porque son muy pocos los adultos que son dos veces tan alto como cualquier otro, y ninguno de ellos son diez veces más alto que otro. Los ingresos de las personas, sin embargo, y muchos otros datos financieros tienden un arco de tamaños relativamente diferentes de modo tal que el más grande es quizás miles de veces más grande que el más pequeño. Por ejemplo, la aplicabilidad de la Ley de Benford se estableció para los índices bursátiles por Ley (1996). Es importante destacar que la Ley de Benford no se aplica a las mediciones en las que ha intervenido la humanidad(por ejemplo, gastos de alquiler sobre la base de un contrato de arrendamiento) o números aleatorios que se han generado(por ejemplo, números de teléfono). En general para grupos de datos que cubren cantidades inmensas de datos, es razonable esperar que la Ley de Benford se cumple.

En auditoría, la Ley de Benford se ha demostrado que es ampliamente aplicable en varios contextos de auditoría, incluyendo externo, interno y auditoría gubernamental. Por ejemplo, Nigrini y Mittermaier (1997) muestran cómo los auditores pueden utilizar la Ley de Benford como un procedimiento analítico para ayudar a descubrir patrones sorprendentes en actividades transaccionales. Es probable que una persona que realiza fraude contable al ingresar datos, ingresará la misma cantidad (o cantidades similares) muchas veces. En ese tipo de situación, las divergencias de primero y segundo dígitos de la distribución de probabilidad de la Ley de Benford pueden conducir al auditor a descubrir las transacciones fraudulentas.

Nigrini (1999a) fue el primero en destacar el potencial de la Ley de Benford como un procedimiento eficaz de detección de fraudes. Esbozó una serie de aplicaciones en las que un auditor de fraudes podría emplear en forma eficaz el análisis digital utilizando la Ley de Benford, incluyendo datos de cuentas por pagar, libro mayor general, pagos duplicados, y devoluciones de clientes. Nigrini (1999a) también destacó el papel de la computadora en la realización de un análisis de la Ley de Benford. Tapp y Burg (2001) también describen el rol de los avances tecnológicos en los procesos de detección de fraudes. Es de este modo, que describen el uso de la Ley de Benford en tres contextos de fraude diferentes ; detectar sobornos de proveedores, la detección de falsos vendedores, y la detección de rendimientos exagerados de diferentes departamentos.

Es importante destacar que la Ley de Benford también ha demostrado ser un instrumento eficaz para los auditores internos y gubernamentales también. Nigrini (1999b) describe una serie de diferentes contextos en los que un análisis digital puede aportar un valor añadido para los auditores internos, incluyendo los ingresos, cheques cancelados, los inventarios y el desembolso por zonas. Nigrini (1996) también puso de manifiesto la aplicabilidad de la Ley de Benford en el contexto del cumplimiento de un contribuyente, la posibilidad de aumentar su eficacia como instrumento para los auditores del IRS. Por último, Wallace (2002) describe la utilidad de la Ley de Benford en un contexto gubernamental. Dada su aparente amplia aplicabilidad, no es de extrañar que el IRS y el Instituto de Auditores Internos están trabajando en mejorar de diferentes formas la aplicación de Ley de Benford (Maney, 2000).

Hasta la fecha, la literatura de auditoría existente se ha centrado principalmente en identificar y definir correctamente los conjuntos de datos que serían candidatos idóneos para un análisis digital usando la Ley de Benford. Ha habido muy poca discusión sobre la importancia de analizar la producción estadística de una correcta utilización de análisis digital de la Ley de Benford. Este aparente vacío en la literatura es sorprendente porque los supuestos estadísticos al realizar la aplicación de la Ley de Benford son importantes para determinar la correcta inferencia. Una mirada más cercana a la fase de análisis es, por tanto, justificada.


ETAPA DEL ANÁLISIS DE LA LEY DE BENFORD

En la fase de análisis de un Análisis digital usando la Ley de Benford, un auditor debería esencialmente ejecutar las siguientes pruebas estadísticas de hipótesis nula:

Ho: Los primeros dígitos en un conjunto de datos están distribuidos de acuerdo a la Ley de Benford.

Rechazar esta hipótesis nula significaría que los dígitos no se comportan como uno podría esperar. Existen al menos cuatro posibles explicaciones:

1. Los datos en general, realmente siguen la Ley de Benford, pero debido a la selección al azar este conjunto de datos observados en particular no siguen la Ley de Benford. Este es el clásico Error de Tipo I.

2. La suposición de una cantidad importante de datos no se cumplió.

3. Hay una explicación razonable para un exceso de algunos primeros dígitos. Por ejemplo, si una empresa tiene un acuerdo para hacer una transferencia diaria de un vendedor por US$ 450, el primer dígito 4 pueden ser sobre-representado.

4. Algunas de las entradas son fraudulentas.

Como tal, cuando rechazamos la estadística nula (la alternativa de investigación de interés), la presencia de las entradas fraudulentas es sólo una de las posibles explicaciones. Así, para un auditor de cuentas, el rechazo de Ho significa trabajo adicional que debe completarse con el fin de determinar qué explicación es adecuada, dado el contexto del cliente. Cada Error de Tipo I tiene un costo real del servicio profesional de tiempo y sólo de vez en cuando se ponen de manifiesto que un verdadero fraude ha ocurrido.

Sin embargo, el auditor también tiene interés en minimizar la posibilidad de un Error de Tipo II. En términos estadísticos, un Error de Tipo II se produce cuando no somos capaces de rechazar una hipótesis nula que es falsa, que en la práctica significa que no encontremos un plan fraudulento cuando uno realmente ocurrió.

Es de particular interés en el presente caso la prueba estadística, o el conjunto de pruebas estadísticas, que deben ser utilizados para llevar a cabo la prueba de la hipótesis nula de un modo que equilibre los riesgos de Error de Tipo I y Tipo II. Los estadísticos presentados con este caso posiblemente seleccionarían la clásica Prueba de ajuste de bondad de Chi-cuadrado (X2)(Keller y Warrack 2003). En este caso, podemos calcular el número de observaciones que esperamos para cada primer dígito dentro de un conjunto de datos de este tamaño, si la hipótesis nula es verdadera, y compararlos con el número realmente observado, totalizando los resultados en la estadística calculada X2:
2 calc =  ((observed – expected)2 / expected),

donde la suma es superior a cada uno de los posibles resultados. Los valores grandes de esta estadística nos llevan a rechazar la hipótesis nula ya que los valores observados son entonces mucho más de lo que se esperaba. Comparamos este valor calculado de los valores tabulados para encontrar el valor de p para la prueba (por ejemplo la probabilidad de un valor 2 calc por lo menos de este tamaño si la hipótesis nula es de hecho cierta). Rechazamos la hipótesis nula si este valor de p es más pequeño que algunos probabilidades designadas de Error de Tipo I, por lo general, si p <.05.

Observe que este caso ilustra una prueba de la adecuación de los datos a la distribución propuesta por la Ley de Benford. Corresponde a la comprobación de la desviación de la Ley de Benford, caso por caso, una prueba por cada campo de datos. Rechazar la hipótesis nula no dice que los dígitos están excesivamente representados o insuficientemente representados. Una alternativa sería pruebas para examinar los dígitos de uno en uno. Para la prueba del primer dígito, esta se obtiene de un conjunto de nueve ensayos. Para d = 1,2,3, ..., 9 probamos

Ho, d: El primer dígito d aparece tan frecuentemente como se esperaría de acuerdo a la Ley de Benford.

Estas pruebas, obviamente, producirían mucho más información detallada que la prueba general. Sin embargo, existe la posibilidad de que en consecuencia la repetición de un procedimiento de ensayo de nueve veces aumenta la probabilidad de al menos un Error de Tipo I, cuando en realidad los datos siguen efectivamente la distribución de la Ley de Benford. De hecho, si la prueba para cada uno de los dígitos se llevará a cabo a nivel de significación del 0,05 (por lo que se rechaza la nula cuando el p-valor es inferior a 0,05) entonces la probabilidad de al menos un Error de Tipo I en una batería de nueve pruebas es de 1 - (.95)9 = .37. Un auditor utilizando este enfoque "cifra por cifra" por lo tanto, verá entonces una "falsa alarma" cuando se busca el fraude, aproximadamente siete veces más a menudo que un auditor utilizando la prueba general. Un frecuente producto importante (y potencialmente intimidatoria) de una falsa alarma es que la salida de una análisis digital podría comenzar a perder impacto para la práctica de los auditores si este casi nunca descubre una verdadera entrada fraudulenta.


CONCLUSIONES Y CONSECUENCIAS

La situación que enfrentan los auditores en la práctica de este caso es muy similar a lo que se enfrentan los estadísticos mediante un análisis de la varianza (ANOVA) para decidir si el valor medio de algunas variables es la misma a través de diferentes poblaciones. La hipótesis nula ANOVA global, llevado a cabo usando un estadístico-F, es que todas las medias son iguales (Ott 1993). Rechazando esta hipótesis nula no da ninguna indicación de que las poblaciones tienen el mayor o menor valor medio, o que los pares de poblaciones son muy diferentes a las medias. En los ajustes de la ANOVA, los estadísticos tienen una opción de varios métodos para hacer estas importantes distinciones. Algunos son conservadores, y cuidadosamente controlan el riesgo de Error de Tipo I, mientras se incrementa la probabilidad de un error de tipo II. Otros más agresivamente buscan las diferencias y, por tanto, aumentan las posibilidades de Error de Tipo I. Los auditores que prueban una distribución deben ser conscientes de las ventajas relativas al método de ensayo empleado.

La importancia de esta cuestión es mayor al considerar que el software de lider del mercado, ACL, tiene un comando Benford que automáticamente suministra el análisis "cifra por cifra" sin ofrecer una opción para una prueba de chi-cuadrado. Las hipótesis individuales H0,d son probadas utilizando una aproximación a la distribución normal z-test). Es más, el Manual de ayuda del ACL no da ninguna indicación de si estas puntuaciones-z y sus correspondientes valores de p son probadas como si fueran todos independientes (aunque los experimentos con conjuntos de datos han demostrado que este es probablemente el caso).

Los auditores utilizando la Ley de Benfor u otras pruebas estadísticas para encontrar evidencia de fraudes en las entradas deben ser conscientes de los beneficios relativos a los enfoques de "caso por caso" y "cifra por cifra". Utilizando un enfoque de "caso por caso" se hace relativamente fácil para las pruebas el controlar la probabilidad de Error Tipo I, pero los resultados no serían tan informativos en los casos donde el fraude verdaderamente ocurrió. Usando un enfoque "cifra por cifra" aumentan las posibilidades de un Error de Tipo I, pero también aumenta las posibilidades reales de encontrar entradas fraudulentas. Tal vez el enfoque más prudente sería comenzar la fase de análisis con un análisis general utilizando una prueba de chi-cuadrado y, a continuación, seguir con un enfoque de análisis "cifra por cifra" sólo si hay una indicación de posibles fraudes en el análisis general. Esto sería muy similar al procedimiento ANOVA conocido como protección mínima de diferencias significativas, en el cual pares de medias de poblaciones son comparadas solo si la hipótesis nula de la prueba general ANOVA es rechazada. s rechazada.


REFERENCIAS

Benford, F. 1938. The Law of Anomalous Numbers. In Proceedings of the American Philosophical Society 78, 551-572.

Coderre, D. 1999. Computer-Assisted Techniques for Fraud Detection. The CPA Journal (August): 57-59.

Hill, T. 1995. The Significant-Digit Phenomenon. American Mathematical Monthly 102 (4): 322-327.

Keller, G., and B. Warrack. 2003. Statistics for Management and Economics. Pacific Grove, CA: Brooks/Cole-Thomson.

Ley, E. 1996. On the Peculiar Distribution of the U.S. Stock Indexes’ Digits. The American Statistician 50 (4): 311-313.

Maney, K. 2000. Baffled by math? Wait ‘til I tell you about Benford’s Law. The USA Today (October 18): B3.

Nigrini, M. 1996. A Taxpayer Compliance Application of Benford’s Law. Journal of the American Tax Association 18, 1 (Spring): 72-91.

Nigrini, M. 1999a. I’ve Got Your Number. Journal of Accountancy (May): 79-83.

Nigrini, M. 1999b. Adding Value with Digital Analysis. Internal Auditor (February): 21-23.

Nigrini, M., and L. Mittermaier. 1997. The Use of Benford’s Law as an Aid in Analytical Procedures. Auditing: A Journal of Practice & Theory 16 (2): 52-67.

Ott, R. 1993. An Introduction to Statistical Methods and Data Analysis. Belmont, CA: Duxbury Press.

PwC. 2003. Stand and Be Counted. PricewaterhouseCoopers Advertorial Campaign. New York, NY.

Tapp, D., and D. Burg. 2001. Using Technology to Detect Fraud. Pennsylvania CPA Journal (Winter): 20-23.

Wallace, W. 2002. Assessing the Quality of Data. Journal of Government Financial Management (Fall): 16-22.