fundación

[ Cómo medir el impacto de las ideas ]

Nos gustaría reproducir en su totalidad un artículo que se publicó hace unos años, por lo que difícilmente calificaría como «noticia». Sin embargo, creemos que establece el tono y las pautas sobre cómo deben pensar los think tanks sobre la recaudación de fondos. Lejos de una mera acción de búsqueda de financiación, los think tanks primero deben ofrecer valor en lo que hacen y, segundo, ser capaces de dar cuenta de ello midiendo su impacto.

Este artículo, publicado por primera vez por Arthur C. Brooks, entonces presidente del American Enterprise Institute, en la entrega de marzo-abril de 2018 (pp.37–42) de Harvard Business Review. En el artículo, Brooks recuerda cómo después de la Gran Recesión de 2008, este grupo de expertos de Washington necesitaba competir aún más por cada dólar.

El resultado del trabajo (output) del AEI es bastante sencillo: libros, artículos de investigación, artículos de opinión, apariciones en los medios, etc. Sin embargo, determinar su impacto significaba medir su posición competitiva en el mercado de las ideas.

Brooks describe dos de las métricas que utiliza la AEI: cuántos artículos de opinión publican sus académicos en periódicos destacados y la frecuencia con la que el Congreso llama a esos académicos para prestar testimonio. Comparado con sus cuatro competidores principales, AEI puede reclamar el 36% de los artículos de opinión durante el período 2015-2017 y la mayor cantidad de testimonios (por un amplio margen) en los años 2009-2017.


Artículo completo, que también fue publicado en el sitio web de la AEI y se puede acceder aquí

En el verano de 2008 trabajaba felizmente como profesor en la Universidad de Syracuse cuando recibí una llamada telefónica inesperada. El año anterior, el American Enterprise Institute, uno de los centros de reflexión más antiguos y conocidos del país, donde tenía una afiliación a tiempo parcial, había estado buscando un nuevo presidente. ¿Estaba dispuesto a que me consideraran para el puesto?

La industria de los grupos de expertos es muy pequeña, por lo que no tiene un canal establecido para el liderazgo. Los consejos nunca están seguros del tipo de personas que deberían dirigir estas organizaciones, y las búsquedas de ejecutivos suelen resultar complicadas. Resulta que sé que no fui la primera opción, ni la segunda o la tercera. Durante años había enseñado y escrito sobre la recaudación de fondos y la gestión de organizaciones sin ánimo de lucro, pero en realidad tampoco había ejercido nunca. Estoy convencido de que lo último que dijeron los directores de AEI antes de ofrecerme el trabajo debe haber sido «Ah, qué demonios, démosle una oportunidad». Pero tuve suerte. Han hecho la oferta. Lo acepté.

Trabajar como director ejecutivo por primera vez es una propuesta desafiante a primera vista. Pero me enfrenté a algo más que a la curva de aprendizaje estándar: entre el momento en que acepté el puesto, a mediados de 2008, y cuando empecé, el enero siguiente, la economía sin fines de lucro colapsó como resultado de la Gran Recesión. Las donaciones benéficas en términos ajustados a la inflación cayeron casi un 10% entre 2008 y 2009, la mayor parte durante el último trimestre del año. AEI depende totalmente de las donaciones benéficas, no acepta subvenciones del gobierno ni investigación de contratos; por lo tanto, sus ingresos se desplomaron justo cuando entraba por la puerta. El instituto tuvo que competir por cada dólar como nunca antes. Mis nuevos colegas y yo tuvimos que mostrar a los donantes por qué sus inversiones filantrópicas cada vez más reducidas deberían llegar a nosotros en lugar de ir a otros, y cómo la inversión en nuestro trabajo crearía un impacto tangible.

Incluso antes de la recesión, demostrar el impacto era una preocupación creciente en el sector sin fines de lucro. Las empresas con fines de lucro pueden cuantificar su impacto utilizando métricas como las ventas y la rentabilidad de los accionistas, pero las organizaciones sin ánimo de lucro no pueden. Eso es doblemente cierto para las organizaciones sin ánimo de lucro en el mundo de las ideas puras, como AEI. ¿Cuál es la métrica para nosotros, pensamientos inteligentes por hora? Sin embargo, los filántropos modernos, muchos de los cuales han hecho grandes fortunas en empresas de alta tecnología impulsadas por la analítica, exigen pruebas de que sus dólares benéficos están funcionando muy bien. Mark Zuckerberg y otros como él no darán a las organizaciones que se tragan su dinero sin producir resultados medibles. Su generación insiste en la evidencia de que están creando valor con lo que dan. Necesitan ver datos. Tener un producto inmaterial no es excusa.

Mostrar impacto o fracaso: ese fue mi gran desafío inicial como presidente de AEI. Me llevó a muchas noches de insomnio en mis primeros años en el trabajo. Pero cumplir ese desafío resultó ser más que una cuestión de supervivencia personal en un nuevo puesto. Ha cambiado fundamentalmente la forma en que hacemos negocios.

Una oportunidad de oro

Dejar un trabajo permanente por un futuro incierto como gerente de una organización sin fines de lucro puede parecer imprudente. En realidad, era una pieza con los patrones de comportamiento que había establecido hasta ese momento en la vida.

Crecí en Seattle en una familia de artistas y académicos. Desde muy joven, mostré aptitud para la música y rápidamente encontré mi camino hacia la trompa francesa. Le di una oportunidad a la universidad después del instituto, pero la dejé después de un año y salí con la trompa para ganarme la vida como músico de música clásica y jazz en los Estados Unidos y Europa.

A los pocos años de mi carrera como músico, conocí a una chica de Barcelona y cogí un trabajo con una orquesta en España en un intento de persuadirla de que se casara conmigo. No teníamos un idioma común cuando nos conocimos, pero tras celebrar hace poco nuestro 26 aniversario, con tres hijos a punto de llegar a la edad adulta, me complace informar de que nuestras habilidades comunicativas han mejorado desde entonces.

Me encantó ser músico, pero siempre me molestaba no haber terminado la escuela y ese sentido persistente solo crecía con el tiempo. Así que, cuando aún vivía en España, reinicié la universidad a través de cursos por correspondencia.

Un mes antes de cumplir 30 años, fui a mi buzón de correo y obtuve el título de licenciado en economía. Poco después, me alejé por completo de la música y regresé a los Estados Unidos para hacer un máster en economía, que me llevó a un doctorado en análisis de políticas públicas, lo que me llevó a trabajar como profesor universitario. Finalmente aterricé en Siracusa.

Durante mi década en el mundo académico, enseñé a muchos estudiantes de administración y MBA, y gran parte de mi investigación se centró en la gestión de organizaciones sin fines de lucro y el emprendimiento social. Escribí un libro de texto sobre el tema. Una de las preguntas centrales a las que me seguía enfrentando era la de la creación de valor:¿Cómo saben las organizaciones sin ánimo de lucro, excepto las que ofrecen los productos o servicios más tangibles, que crean un valor real? El campo, incluido yo, nunca pareció tener respuestas satisfactorias. Hablaría mucho de «retorno social de la inversión» y «el doble resultado», pero esos eran más conceptos teóricos que directrices prácticas y prácticas. El paso a AEI me pareció una oportunidad de oro para resolver estos acertijos teóricos desde el mundo real de la gestión.

Pero la decisión de pasarse a AEI también fue muy personal: creía sinceramente en los principios fundamentales de la organización. La AEI es estrictamente apartidista, lo que evita los enredos políticos y las posiciones institucionales. Lo que une a los académicos y al personal es un compromiso compartido con una simple máxima moral: el sistema de libre empresa y el liderazgo estadounidense en el mundo son pilares en la lucha por defender la dignidad humana contra la pobreza y la tiranía y por ayudar a levantar a las personas marginadas. Conocer el increíble historial de lucha contra la pobreza del capitalismo global y el libre comercio fue una gran parte de lo que me había atraído por el estudio de economía en primer lugar. Ahora he tenido la oportunidad de dedicar todo mi trabajo a compartir esta verdad con el mundo.

De hecho, mi profunda admiración por AEI planteó un pequeño problema. ¿Y si, como ejecutivo sin experiencia, fracasara, perjudicando a la organización en el proceso? Cuando intentaba decidir si iba a ocupar el puesto, desayuné con Tully Friedman, el pionero del capital privado y miembro del consejo de AEI desde hace mucho tiempo que más tarde se convirtió en presidente de AEI y uno de mis amigos más cercanos. Me preocupaba en voz alta lo que pasaría si fracasaba en el trabajo y pusiera en peligro a este grupo de expertos de 75 años. «No se preocupe por eso», dijo. «Si no puede recaudar dinero o motivar a los estudiosos, lo despediremos en un año y AEI estará bien». Esto ha sido extrañamente tranquilizador. Así que, con una mezcla de emoción y pánico, dejé mi mandato e hice el traslado a Washington.

No salidas o entradas, sino impacto

Los líderes de organizaciones sin fines de lucro suelen cometer dos errores al intentar responder a la pregunta «¿Cómo sabemos si estamos teniendo un impacto?» El primero es lo que llamo el sui generis error. Es la idea de que nuestro trabajo es único y nuestra organización es tan diferente a cualquier otra cosa que exista que no podemos compararlo con ninguna otra organización, ni compararlo con ella. Es increíble la cantidad de personas inteligentes que realmente creen esto de sus propias organizaciones o de sus seres queridos. Es una afirmación falsa, pero la oigo todo el tiempo. Y los filántropos lo escuchan aún más a menudo.

El segundo error es el «error de la farola», llamado así por la historia de un tío que pierde las llaves en la calle y pasa horas buscándolas bajo una farola porque allí la luz es mejor. Las organizaciones sin ánimo de lucro que luchan por medir la eficacia recurren con frecuencia a lo que sea más fácil de ver, normalmente insumos como cuánto han recibido en contribuciones o productos como qué tan ocupadas han estado. Obviamente, esto es inadecuado, porque lo que realmente nos interesa no son las entradas o salidas, sino impacto.

El sui generis El error hace que no se mida nada y el error de la farola hace que se midan las cosas incorrectas. Mis colegas y yo nos propusimos evitar ambos escollos y crear una mejor manera de entender y describir nuestro verdadero progreso.

La producción de AEI es bastante sencilla: libros, artículos de investigación, artículos de opinión, apariciones en los medios, actos públicos,. Estos productos constituyen efectivamente nuestra curva de oferta. Pero nadie sostiene que el simple hecho de escribir un artículo de opinión, publicar un artículo revisado por pares o contratar a un académico en televisión garantice automáticamente un cambio en la forma de pensar y actuar de los líderes. Como resultado, nuestras métricas de salida no son particularmente interesantes de forma aislada. Para pasar de las métricas de salida a las métricas de impacto, tuvimos que superponer una curva de demanda en nuestra curva de oferta. Teníamos que encontrar formas, incluso formas imperfectas, de medir cuánto querían y buscaban los líderes nuestro trabajo.

En la industria de las ideas, este tipo de demanda casi nunca se observa directamente. No importa el excelente trabajo que esté haciendo una sola organización para formar a los líderes o elevar el perfil de un tema determinado, ninguna métrica como las encuestas de opinión pública, los resultados de las elecciones o los votos legislativos puede mostrar el papel de la organización en medio de la estática de miles de otras variables.

En lugar de medidas directas de impacto, nos dimos cuenta, los grupos de expertos deben desarrollar medidas proxy de impacto, buscando el punto en el que su curva de oferta se cruza con la demanda competitiva en el mercado de ideas. Teníamos que identificar y rastrear los productos que los líderes consumen con algún coste para ellos mismos y en una compensación directa con las alternativas. De forma aislada, cada una de estas métricas es un punto único de utilidad limitada. Pero considerados juntos, pintan un cuadro puntillista que nos ayuda a evaluar el impacto de nuestro trabajo.

Estos son solo dos ejemplos del conjunto de métricas de proxy que hemos llegado a utilizar:

Los periódicos nacionales más prestigiosos reciben cada uno alrededor de 1000 publicaciones de opinión no solicitadas cada semana. El «mercado» de bienes raíces en las páginas de opinión de esos periódicos es increíblemente competitivo y el personal editorial lo rechaza despiadadamente todo excepto lo que creen que los lectores más necesitan y quieren. Esa selectividad puede revelar la demanda competitiva de nuestro producto. Por lo tanto, aunque el total de artículos de opinión escritos por año es solo una métrica de producción, el número de artículos de opinión que nuestros académicos publican en un conjunto definido de los medios más competitivos constituye una medida sustitutiva viable del impacto. Aunque está lejos de ser una cifra general, esta métrica tiene un aspecto particularmente útil: los datos son, por definición, públicos y, por lo tanto, permiten la comparación con sus pares y la competencia. Todos los años hasta la fecha, AEI ha mantenido un liderazgo.

Hacemos lo mismo con el testimonio del Congreso. La mayoría de los expertos en políticas quieren testificar en The Hill, pero no pueden simplemente llamar a la centralita del Senado y ponerse en el expediente. El Senado llama usted. Así que, aunque nadie cree que los testimonios públicos sean la única forma en que los grupos de expertos dan forma al debate, ofrecen un ángulo útil para medir el impacto. Y de nuevo, es útil que los datos de todo el mundo sean de dominio público. Cuando analizamos inicialmente estas cifras, durante el 110 Congreso (2007—2009), AEI ocupó el cuarto lugar entre los grupos de expertos en términos de testimonio en el Congreso. En el 111 Congreso fuimos los número uno y desde entonces hemos mantenido esa posición.

Vale la pena recalcarlo de nuevo: ninguna de estas métricas es una medida directa del impacto, y mucho menos una perfecta. Todas estas métricas de proxy pueden ser engañadas o malinterpretadas, y cada una revela solo una dimensión parcial de la verdad. Y no todas las métricas de proxy que valen la pena se pueden utilizar para comparar a la competencia. Por ejemplo, las relaciones personales de nuestros académicos y las reuniones informativas privadas con responsables políticos y periodistas son las principales métricas de impacto, porque el tiempo y la atención de los líderes son muy escasos. Pero es imposible comparar estos datos privados de una organización a otra.

El punto no es buscar un proxy perfecto. En cambio, las organizaciones sin ánimo de lucro que operan en el sector de las ideas pueden crear un panel, equiparlo con una amplia variedad de variables como estas y, después, utilizarlo para medir las preferencias reveladas de los líderes públicos y la aceptación del trabajo de la organización.

Aclarar la misión

Al mismo tiempo que comenzamos a construir este panel de impacto, mis colegas de dirección de AEI y yo hicimos varios cambios complementarios. Por ejemplo, hemos modificado la forma en que la organización habla de sí misma para reflejar mejor nuestra definición de éxito. Las declaraciones de misión de los grupos de expertos suelen ser listas de productos aburridas («Realizamos estudios de política de alta calidad») que verdaderas expresiones de propósito. En consulta con nuestros académicos y seguidores, escribimos una nueva declaración de propósitos: «El American Enterprise Institute es un grupo de expertos en políticas públicas dedicado a defender la dignidad humana, expandir el potencial humano y construir un mundo más libre y seguro. El trabajo de nuestros académicos y personal promueve ideas arraigadas en nuestra creencia en la democracia, la libre empresa, la fuerza estadounidense y el liderazgo mundial, la solidaridad con los de la periferia de nuestra sociedad y una cultura empresarial pluralista». Tratamos de dejar claro el objetivo moral de nuestras ideas, que es servir a los demás, especialmente a los marginados de la sociedad.

Medir el impacto

Op-Eds

Los eruditos de los grupos de expertos escriben muchos artículos de opinión, pero esa es una medida de la producción. Para comprender mejor su impacto, AEI comenzó a rastrear cuántos de sus artículos de opinión publicaron tres periódicos importantes, el El New York Times, el Wall Street Journal, y el Washington Post y cómo se comparan sus ubicaciones con las de los grupos de expertos de la competencia a lo largo del tiempo. Los porcentajes reflejan las medias anuales del período 2015 a 2017.

Testimonios del Congreso

Testificar ante las comisiones del Congreso es otra forma en la que los académicos de la AEI pueden tener una verdadera influencia. Cuando Arthur Brooks llegó e instó a AEI a empezar a recopilar estos datos, la organización ocupó el cuarto lugar en esta medida. Desde entonces, se ha situado en la primera posición y su cuota de mercado ha crecido.

Luego lanzamos una serie de emprendimientos empresariales de alto perfil diseñados expresamente para crear impacto y cumplir nuestra nueva declaración de propósitos. Algunos de ellos son bastante inusuales, como la investigación sobre la felicidad, las empresas multimedia experimentales y una importante colaboración con el Dalái Lama. Nuestra última aventura de esta serie se centra en la desesperación y la dignidad humana en Estados Unidos. Su objetivo es encontrar y proponer soluciones a largo plazo a las causas subyacentes de la desesperación social y económica que definió a ambas partes en las últimas elecciones presidenciales. El programa tiene cuatro pilares principales: formación profesional y técnica para ayudar a las personas a encontrar buenos trabajos; utilizar la libre empresa para reforzar la seguridad económica de las familias; reformar el sistema de justicia penal; y encontrar nuevas estrategias para frenar la epidemia de abuso de opioides.

Construida y comercializada como una empresa start-up interna, esta empresa no desplaza ninguno de nuestros otros trabajos. Para promocionarlo entre los inversores, hemos creado un prospecto y un pitch deck, igual que cualquier start-up. Nos acercamos a los posibles donantes como lo haríamos con los capitalistas de riesgo (que muchos de ellos son). Hablamos del ROI y establecemos la cesta de métricas de impacto que utilizaremos para demostrar el éxito.

Nuestro nuevo enfoque en el impacto también nos ha ayudado a perfeccionar el desarrollo y la segmentación de nuestra audiencia. Creemos que en el mercado de ideas podemos clasificar a los consumidores potenciales de nuestros productos en cuatro grupos según su receptividad a un mensaje determinado: verdaderos creyentes (que ya están de acuerdo), persuadables (que están abiertos a recibir noticias nuestras), hostiles (que piensan que nuestra perspectiva es estúpida o malvada), y apáticos (a quien no le importa un bledo). Cruzamos estos cuatro grupos de actitudes con los cinco grupos demográficos clave (responsables políticos, líderes empresariales, medios de comunicación, líderes comunitarios y académicos) que forman nuestro público objetivo. Esto nos da una matriz de 4 x 5 y nos permite equilibrar nuestras estrategias y ofertas en estos grupos para maximizar el impacto y cumplir con más eficacia los principios de nuestra misión.

Nuestra estrategia dio sus frutos

Como era de esperar, estos cambios no siempre fueron fáciles de implementar. Cometí muchos errores en el camino. Algunos colegas se quejaron de que les estaba pidiendo que dedicaran demasiado tiempo y energía a recopilar datos y, en algunos casos, tenían razón. Más de una vez, fui víctima de medir algo completamente incorrecto. Por ejemplo, me preocupé cuando la asistencia a una serie de eventos en directo empezó a bajar. Pero pasados unos meses, alguien nos dijo que habíamos empezado a hacer streaming de los eventos en directo en la Web, donde recibían mucho tráfico. Esta información dio lugar a una métrica aún mejor, suscriptores a eventos y programación de vídeo original en nuestro canal de YouTube, una medida por la que AEI lidera ahora el sector de los grupos de expertos.

A pesar de algunos contratiempos, nuestra estrategia ha dado sus frutos. Desde 2008, los ingresos de explotación de AEI han registrado un crecimiento anual medio de aproximadamente un 10%; el instituto compró y renovó una nueva sede en el centro de Washington, D.C.; y hemos pasado de 140 becarios y miembros del personal a tiempo completo a 220. Más importante aún, hemos visto aumentar el impacto de nuestra investigación entre los responsables políticos y otros líderes de manera espectacular. Es un momento emocionante en AEI.

Naturalmente, este crecimiento requirió cambios en nuestra estructura de gestión. Los gerentes tienen ahora más autoridad y autonomía con respecto a la administración interna, mientras que mi función se ha vuelto cada vez más orientada al exterior. En estos días estoy de viaje aproximadamente la mitad del tiempo, me reúno con posibles inversores y pronunciando 175 discursos al año sobre nuestro trabajo.

Al recordar mis primeros días como líder de la AEI, estoy agradecido por las aterradoras exigencias que llevaron a los cambios que hicimos. Como los donantes exigían pruebas de que nuestros productos intrínsecamente amorfos estaban teniendo un impacto, aprendimos a medirlo y demostrarlo. Dado el imperativo de correr la voz sobre nuestro trabajo en un mercado abarrotado, hicimos inversiones en nuestros sistemas de comunicaciones que darán sus frutos en los próximos años. Con todo, tengo pruebas claras de que la crisis es la madre de la invención.

Otras organizaciones sin ánimo de lucro están preguntando por nuestros sistemas y varias fundaciones importantes han pedido a nuestro personal que ayude a sus otros beneficiarios a adoptar algunas de nuestras prácticas. Es satisfactorio ver esto. Pero, sobre todo, estoy agradecido de poder ayudar a nuestras empresas sociales a aumentar el impacto de sus esfuerzos en un mundo que los necesita más que nunca.

Arthur C. Brooks fue el presidente del American Enterprise Institute de 2009 a 2019