La metodología para la evaluación de sistemas de contratación (MAPS por sus siglas en inglés: Methodology for Assessing Procurement Systems) es un estándar internacional y una herramienta universal para evaluar cualquier sistema de contratación pública de cualquier parte del mundo  ¹ .

MAPS COMO HERRAMIENTA DE EVALUACIÓN

Es de sobra conocido el valor estratégico de la contratación pública. Sin embargo, para conseguir cualquier objetivo vinculado a la correcta ejecución de los contratos y de las cláusulas contenidas en ellos es imprescindible contar con un sistema público dotado de garantías suficientes, el cual suscite confianza y ayude a mejorar el bienestar social, ya que de otra manera se frustrarán desde el inicio los propósitos vinculados a las licitaciones.

Conforme a dicha perspectiva, en 2003 la OCDE y el Banco Mundial crearon esta iniciativa conjunta, revisada en 2018, la cual permite determinar cuáles son las fortalezas y debilidades de cualquier sistema de contratación pública para, a partir de esa identificación, emprender acciones encaminadas a reformar sus aspectos negativos, de manera que se consigan sistemas “modernos, eficientes, sostenibles y más inclusivos en todos los países”. De esta forma, la información obtenida al final del proceso de evaluación es de utilidad tanto para el nivel de gobierno cuyo sistema de contratación se haya sometido a MAPS (podría ser estatal, regional, local, …), ya que podrá garantizar la rendición de cuentas, obtener información y poder ofrecerla a los ciudadanos, identificar oportunidades de reforma y supervisar sus avances, como para los posibles socios externos del respectivo gobierno, puesto que podrán conocer los riesgos asociados a los fondos que proveen a ese gobierno. En última instancia, MAPS pretende ayudar a mejorar la eficacia y eficiencia de las contrataciones públicas, así como la integridad y la transparencia en el uso de los fondos públicos implicados.

Para llevar a cabo su función, MAPS evalúa cuatro ámbitos esenciales de cualquier sistema de contratación pública: rentabilidad, transparencia, equidad y buena gobernanza.

1. Rentabilidad o valor por dinero: el objetivo básico que cualquier sistema de contratación pública debe lograr es proporcionar los bienes, servicios u obras públicas necesarias de forma económica, eficiente, eficaz y sostenible.
2. Transparencia: el principio básico y comúnmente aceptado de divulgación para que las políticas, los marcos jurídicos e institucionales y la información relacionada con la toma de decisiones estén a disposición del público de forma comprensible, accesible y oportuna.
3. Equidad: el reto de que el proceso de contratación pública esté libre de prejuicios y garantice la igualdad de trato, y que la toma de decisiones se lleve a cabo conforme a dichos principios, garantizando así la integridad.
4. Buena gobernanza: incidencia en la forma de dirigir y orientar las contrataciones públicas y en la implementación de las reformas en los sistemas de contrataciones. Se analizan los objetivos de contratación, consideraciones de la política y principios de integridad.

Para ello, se implica a diversos actores en el proceso de evaluación. Las operaciones de evaluación las lleva a cabo el equipo de evaluación, el socio(s) de desarrollo y el comité directivo de evaluación (ASC por sus siglas en inglés: Assessment Steering Committee); mientras que la garantía de calidad corre a cargo del grupo consultivo técnico de evaluación (ATAG por sus siglas en inglés: Assessment’s Technical Advisory Group) y la Secretaría de MAPS.

Con carácter general, una evaluación de MAPS requiere entre 6 y 18 meses de duración, dependiendo del contexto del país evaluado, y un coste de unos $150,000 - $200,000. Según la información accesible online, hasta el momento se han realizado 36 evaluaciones, a las que es preciso añadir 17 en curso y otras 10 planificadas.

EL PROCESO DE EVALUACIÓN

En esta imagen puede verse un esquema del proceso MAPS

Fuente: MAPS The Methodology for Assessing Public Procurement Systems, p. 13

Conforme a ese esquema pueden verse siete etapas sucesivas: planificación y preparación; análisis del contexto del país; desarrollo de la evaluación; validación de los resultados y retroalimentación; sello de aprobación MAPS; publicación del informe de evaluación y, finalmente, el seguimiento de la evaluación. Dichas fases muestran algunos de los aspectos clave de este proceso de evaluación.

1) En primer lugar, se presta una gran importancia a la planificación y preparación de la evaluación, fase en la que se crean los comités de evaluación y se acuerdan los términos de referencia que guiarán todo el proceso.

2) En segundo lugar, se realiza un exhaustivo estudio del contexto del país, aspecto esencial para que la evaluación se centre en sus necesidades específicas y los elementos del marco analítico de la MAPS se apliquen correctamente. Para ello, tal y como se establece en la “Cheklist for background documents” (p.2), se analizarán estadísticas y datos nacionales, por ejemplo del Ministerio de Hacienda; los planes nacionales de desarrollo, como puede ser el plan de desarrollo sostenible; cualquier estrategia relacionada con la sostenibilidad, el desarrollo nacional o temas generales similares, cualquier iniciativa horizontal, planes de acción, etc.; índices sobre la situación política y económica contenidos en informes de terceros como Doing Business Report (Banco Mundial), Government at a Glance (OCDE), clasificaciones de países (Banco Mundial y otros), Índice de Percepción de la Corrupción (Transparencia Internacional), Global Competitive Report (Foro Económico Mundial), Índice de Desarrollo Humano (ONU), etc.; obligaciones internacionales (por ejemplo, tratados internacionales/regionales y adhesiones, incluida información sobre adhesiones potenciales/pendientes, por ejemplo, GATT/GPA, OCDE, organizaciones regionales y acuerdos comerciales, signatarios de la Convención de las Naciones Unidas contra la Corrupción, convenios fundamentales de la OIT, etc.; estudios o evaluaciones anteriores relacionados con la contratación pública o la gestión de las finanzas públicas, por ejemplo, cualquier evaluación anterior de MAPS o PEFA; principales partes interesadas en relación con la contratación pública; y Documentos sobre reformas de la contratación pública, prioridades recientes y actuales y planes de aplicación (incluidas fechas y objetivos clave). Se usa, por lo tanto, información y datos existentes y de fácil acceso, con especial atención “a la situación económica del país, sus objetivos de política nacional, el ambiente para la reforma de la contratación pública y la relación entre el sistema de contratación pública, la gestión de finanzas públicas y los sistemas de gobernabilidad pública” (p. 8). Al mismo tiempo se identifican las partes interesadas vinculadas, formal o informalmente, con las estructuras de la contratación pública.

3) Una vez analizado el contexto del país se procede a evaluar su sistema de contratación pública y a elaborar recomendaciones, con una metodología basada en cuatro pilares esenciales, subdivididos a su vez en 14 indicadores y 55 sub-indicadores. Estos cuatro pilares son 1) el marco legal y las políticas aplicables a la contratación pública; 2) el marco institucional y la capacidad de gestión; 3) el funcionamiento del sistema y la competitividad del mercado nacional; y 4) la rendición de cuentas, integridad y transparencia del sistema de contratación pública.

4) En cualquier caso, tras la evaluación se procederá a validar la información y resultados obtenidos y a realizar una retroalimentación, de forma que las partes interesadas internas del sistema de contratación puedan validarlos. Una vez realizada esta validación se envía el informe a la Secretaría del MAPS, quien lo revisa junto a ATAG y, en su caso, realiza los comentarios que sean precisos.

5) Una vez realizado lo anterior, la Secretaría emitirá el Sello de Aprobación MAPS; previa revisión de conformidad de la calidad y siempre y cuando no se plantee ninguna objeción por parte de la ATAG.

6) En penúltimo lugar se procederá a la publicación del informe de evaluación y, 7) finalmente, comenzará el seguimiento de la evaluación, realizando para ello un Plan de Acción Estratégico y un proceso de reforma.

UNA VISIÓN DE LOS INDICADORES UTILIZADOS EN LA EVALUACIÓN

Como hemos expuesto, para la evaluación se utilizan una serie de indicadores y subindicadores articulados en torno a cuatro grandes pilares. En los siguientes gráficos puede verse el panorama general de indicadores de MAPS (Fuente: “MAPS Metodología para la evaluación de los sistemas de contratación pública” 2020 (p. 9-11):

Para facilitar el trabajo de los evaluadores, a cada indicador y subindicador le precede un texto en el que se explican los aspectos a analizar, así como la naturaleza e importancia de cada elemento. Cada subindicador se evalúa siguiendo tres pasos (si bien el primero y el segundo pueden desarrollarse de forma paralela). En el primer paso se revisa el sistema aplicando los criterios de evaluación expresados en términos cualitativos. En los casos en los que es posible, para esta evaluación se utilizan datos, hechos y cifras, pero en ocasiones es preciso realizar encuestas o entrevistas a los participantes o a las partes afectadas.

En el segundo paso se revisa el sistema mediante la aplicación de un conjunto definido de indicadores cuantitativos (al menos 15) conocidos como indicadores de desempeño, de gran utilidad para mostrar resultados.

Finalmente se determinan las brechas sustantivas o materiales encontradas en la evaluación previa, las cuales precisan de acciones para mejorar la calidad y el funcionamiento del sistema. Se dará una brecha si en la evaluación previa se ha observado que el sistema no cumple con los criterios establecidos, si falta algún elemento esencial del indicador, o si hay evidencias suficientes de que una disposición del marco normativo no funciona como debería. Las brechas identificadas deberán analizarse de forma más profunda, por ejemplo, mediante una revisión cualitativa más integral de las situaciones existentes y/o a través de un análisis ampliado de las prácticas de contratación pública (es decir, incrementando el tamaño de la muestra de casos de contratación analizados).

Es posible que al realizar este análisis se encuentren “banderas rojas”, es decir, causas que impidan adoptar acciones adecuadas para mejorar el sistema de contratación pública, en cuyo caso deberán identificarse adecuadamente por el evaluador. Es preciso tener en cuenta que estas causas pueden encontrarse fuera de la esfera de la contratación pública, por ejemplo, si no se llega a un acuerdo sobre los resultados de la evaluación o si hay otras normas internas que impongan obligaciones contrarias a las acciones que se deberían emprender para mejorar el sistema de contratación pública.

La propia MAPS llama la atención sobre los límites que presenta la utilización de indicadores, ya que por sí solos no pueden ofrecer una imagen completa del sistema de contratación. Por este motivo, deben considerarse una herramienta para identificar de forma amplia las fortalezas y debilidades del sistema, y un apoyo para el análisis más profundo que llevará a cabo el evaluador, de forma que se reduzca la subjetividad de su labor.

Así, por ejemplo, el indicador 9 incluye un análisis de “casos de muestreo”. Será por lo tanto, esencial la elección de los casos a evaluar, de manera que esa muestra, que necesariamente no se corresponde con la realidad en su totalidad, ofrezca información suficiente para llegar a conclusiones válidas en conjunto. Para ello serán de gran importancia aspectos como el tamaño del muestreo o su representatividad. En todo caso, los detalles del enfoque que se haya adoptado deberán publicarse en el informe de evaluación.

VALORACIÓN FINAL DE ESTA HERRAMIENTA

La utilización de MAPS permite conocer con un alto grado de detalle, las condiciones de un sistema de contratación público, pero no sólo desde una perspectiva de análisis de la normativa aplicable, sino descendiendo a otros elementos clave, como el marco institucional y la capacidad de gestión del gobierno y de los profesionales dedicados a la contratación pública; la realidad de las prácticas de contratación; y la posibilidad de rendir cuentas así como el cumplimento de los principios de integridad y transparencia. La participación de expertos externos y de profesionales internos supone una garantía adicional de la calidad y precisión del resultado, ya que estará contrastado y revisado. Conforme a lo anterior, nos parece una herramienta muy adecuada para conseguir su objetivo: no sólo detectar los puntos fuertes y débiles de los sistemas de contratación, sino promover la implementación de medidas que permitan mejorar los aspectos que necesitan un cambio.

¹ Puede encontrarse información detallada sobre MAPS en https://www.mapsinitiative.org/ Allí está disponible en español la “METODOLOGÍA PARA LA EVALUACIÓN DE LOS SISTEMAS DE CONTRATACIÓN PÚBLICA (MAPS) 2018” (84 páginas), un resumen de la metodología en inglés “MAPS The Methodology for Assessing Public Procurement Systems” y en español “MAPS Metodología para la evaluación de los sistemas de contratación pública” 2020 (16 páginas) y la “Checklist for Background Documents”, 2021 (8 páginas), documentos utilizados para escribir esta aportación.