Measuring What Matters: Impact of Data Collection in Wisconsin’s ECE Shared Services Network
Understanding and evaluating the impact of a new service is critical to improving its offerings and meeting its mission. For Wisconsin Early Childhood Association’s ground-breaking program, Wisconsin Early Education Shared Services Network (WEESSN), the evolution of programming and assessment go hand in hand. Recently compiled data now concretely illustrate WEESSN’s impact on Wisconsin’s early childhood landscape: early care and education providers that use WEESSN Tier 3 services have strong financial policies, see lower turnover, and feel confident about their financial future.
While qualitative insights had been gathered in 2022, a desire for quantitative data that could be tracked over time became a focus in 2023. Teams from WEESSN, Opportunities Exchange (OppEx), and Luminary Evaluation, a Massachusetts-based evaluation firm, developed a unique, data-driven approach to measure WEESSN’s impact, collaborating on the evaluation design process and engaging business coaches as data collection partners. They will share key evaluation findings, program impact and opportunities, and plans for future enhancements in an online presentation on Thursday, Feb. 22.
Fueled by pandemic-era federal and state funding, along with generous philanthropic support, WEESSN’s growth over the past five years has been rapid and it is recognized as a national leader in shared services for the child care sector. Along the way, it benefited greatly from input by Louise Stoney of OppEx, who pioneered the Iron Triangle of ECE financial model. In refining the services WEESSN offers, it became clear that program implementation and data collection could be pursued at the same time.
“As a relatively new innovation in the ECE sector, this data is not only informing the WEESSN team but also telling a larger story about how a shared services network like ours helped providers maximize their revenues,” commented Paula Drew, WEESSN Co-Director. “WEESSN is financed in part with public funding, so it is critical that the program is creating the most benefit to those receiving services.”
“WEESSN’s ‘data-incorporated’ model means that coaches gather the quantitative data needed to fully articulate WEESSN’s impact and formatively shape the program,” said Alison LaRocca, President and CEO, Luminary Evaluation. “At the same time, when coaches serve as data collectors, they engage providers in a collaborative self-reflection that gives them immediate, actionable feedback to guide individual action planning and goal setting.”
For the Annual Survey evaluation, coaches worked with nearly 240 Tier 3 programs to gather data reflecting their individual financial successes in relation to the Iron Triangle ECE financial model. The data and findings from this evaluation serve as a baseline to measure changes in WEESSN-enrolled programs annually into the future.
“Baseline data related to individual provider business practices and financial matters can be very challenging for Shared Service Alliances to gather,” commented Amy Friedlander from OppEx. “Typically, Alliances ask providers to complete lengthy surveys on their own, and others just skip this step altogether. But providers frequently are unclear about how or why to answer survey questions around financial matters, resulting in incomplete and/or inaccurate baseline data.
“Without this crucial data set, however, coaches aren’t sure how or where to dig into the Iron Triangle and business best practices with their providers. And Alliances lose the ability to tell their impact story with compelling, comparative data that illustrates change.”
For more data and reflections on the evaluation’s findings, click here.
Midiendo lo importante: Repercusiones de la recopilación de datos en ECE Shared Services Network de Wisconsin
Comprender y evaluar el impacto de un nuevo servicio es fundamental para mejorar su oferta y cumplir su misión. En el caso del innovador programa de Wisconsin Early Childhood Association (WECA), Wisconsin Early Education Shared Services Network (WEESSN), la evolución de la programación y la evaluación van de la mano. Los datos recientes ilustran el impacto de WEESSN en la primera infancia de Wisconsin: quienes proveen atención y educación temprana que usan los servicios del nivel 3 de WEESSN tienen políticas financieras sólidas, registran menos rotación de personal y se sienten seguridad en su futuro financiero.
Aunque en 2022 se habían recopilado datos cualitativos, en 2023 se hizo hincapié en el deseo de disponer de datos cuantitativos que pudieran seguirse a lo largo del tiempo. Equipos de WEESSN, *Opportunities Exchange (OppEx) y Luminary Evaluation,* una empresa de evaluación con sede en Massachusetts, desarrollaron un enfoque único basado en datos para medir el impacto de WEESSN, colaborando en el proceso de diseño de la evaluación e involucrando a asesores/as empresariales como colaboradores/as en la recopilación de datos. El jueves 22 de febrero, en una presentación en línea,** se expondrán los principales resultados de la evaluación, el impacto y las oportunidades del programa, y los planes para futuras mejoras.
Impulsada por la financiación federal y estatal de la época de la pandemia, junto con un generoso apoyo filantrópico, WEESSN ha crecido rápidamente en los últimos cinco años y es reconocida como líder nacional en servicios compartidos para el sector del cuidado y la educación infantil. En el camino, se ha beneficiado en gran medida de las aportaciones de Louise Stoney, de OppEx, pionera del modelo financiero del Triángulo de Hierro para ECE. Al perfeccionar los servicios que ofrece WEESSN, quedó claro que la aplicación del programa y la recopilación de datos podían llevarse a cabo al mismo tiempo.
“Como innovación relativamente nueva en el sector de la educación y el cuidado infantil, estos datos no sólo sirven para informar al equipo de WEESSN, sino que también cuentan una historia más amplia sobre cómo una red de servicios compartidos como la nuestra ayuda a quienes proveen servicios de cuidado infantil a maximizar sus ingresos”, comentó Paula Drew, codirectora de WEESSN. “WEESSN se financia en parte con fondos públicos, por lo que es fundamental que el programa esté creando el mayor beneficio para quienes reciben los servicios”.
“El modelo de ‘datos incorporados’ de WEESSN significa que quienes asesoran, recopilan los datos cuantitativos necesarios para articular plenamente el impacto de WEESSN y dar forma al programa”, afirmó Alison LaRocca, presidenta y directora general de Luminary Evaluation. “Al mismo tiempo, cuando quienes ofrecen la asesoría actúan como recolectores de datos, involucran a quienes proveen cuidado infantil en una autorreflexión colaborativa que les proporciona un aporte inmediato y procesable para guiar la planificación de la acción individual y el establecimiento de metas.”
Para la evaluación de la Encuesta Anual, los/as asesores/as trabajaron con casi 240 programas del nivel 3 para recopilar datos que reflejaran sus éxitos financieros individuales en relación con el modelo financiero de ECE del Triángulo de Hierro. Los datos y resultados de esta evaluación sirven como referencia para medir los cambios en los programas inscritos en WEESSN anualmente en el futuro.
“Los datos de referencia relacionados con las prácticas empresariales y los asuntos financieros de cada proveedor/a pueden ser muy difíciles de recopilar para las alianzas de servicios compartidos”, comentó Amy Friedlander, de OppEx. “Normalmente, las alianzas piden a los/as proveedores/as que rellenen largas encuestas por su cuenta, y otras simplemente se saltan este paso. Pero los/as proveedores/as a menudo no tienen claro cómo o por qué responder a las preguntas de la encuesta sobre cuestiones financieras, lo que da lugar a datos de referencia incompletos o inexactos”.
“Sin embargo, sin este conjunto de datos cruciales, los/as asesores/as no tienen seguridad de cómo o dónde profundizar en el Triángulo de Hierro y en las mejores prácticas empresariales con los programas con quienes trabajan. Y las Alianzas pierden la capacidad de contar su historia de impacto con datos convincentes y comparativos que ilustren el cambio.”
Para más datos y reflexiones sobre las conclusiones de la evaluación, haga clic aquí.