Como avaliar 2020?

Podemos começar dizendo que tudo ou quase tudo que planejamos para o ano teve que ser mudado, decisões inéditas tiveram que ser tomadas, sendo algumas difíceis de serem processadas e outras que nos levaram mais rápido aos resultados positivos.

Também tivemos mudanças de rotina que eram esperadas, mas que ainda estavam distantes, como por exemplo, o trabalho remoto! Novas palavras, problemas e soluções passaram a fazer parte do nosso dia a dia: “consegue ouvir?”; “seu microfone está desligado!”; “caiu...”; “não consigo projetar!” e tantas outras.

Percebemos que era possível, porém desafiador e cansativo, criar um novo modelo de home office, no qual o que era tabu, passou a fazer parte: a presença da intimidade doméstica nas reuniões de trabalho, desde o ambiente de casa, aos barulhos de interfone, latido de cachorro, voz de criança, entre distintas situações que transitaram do engraçado ao constrangedor. Simplesmente, a vida como ela é!

2020 mostrou que a dicotomia entre o profissional e o pessoal precisava ser revista! E foi a duras penas. Porque também revelou o tamanho da desigualdade! Seja em atenção a saúde pública, seja na distribuição de apenas 20% dos trabalhadores estarem em home office, seja na divisão de tarefas domésticas, onde mulheres estiveram sobrecarregadas, seja na saúde mental e tantos outros fatores que podemos elencar.

Por isso, apesar de tudo, em nossa avaliação, 2020 é um ano para ser lembrado como o ano que mexeu com as vulnerabilidades e evidenciou as disparidades, e com isso muita gente (pessoas e organizações) teve que se (re)posicionar e fazer a diferença!

Chegamos aos 6 bilhões de doações em prol de uma causa comum, nunca se falou tanto em responsabilidade social e coletividade. Mas a pressa e a necessidade fizeram tudo isso ser distribuído no chamado “apagar incêndio”. Apesar da brasa ainda estar acesa, ganhamos experiência, recursos e tempo para que as ações de 2021 ganhem mais abrangência, robustez, eficácia e sustentabilidade.

Se quiser contar com a nossa ajuda para avaliar e/ou (re)planejar os projetos, estamos fortalecidos e preparados para contribuir com ações que façam a diferença!

Conte conosco em 2021! Também estamos ao dispor para dialogar sobre o assunto em um café virtual ou em um bate-papo com a equipe.

Que 2021 venha com saúde, empatia e resiliência!

Um abraço fraterno! Fique segur@, mantenha-se saudável!

Gestores Logos

Taiana Jung & Rui Marcos

Um resumo do terceiro ano da Logos na Semana GlocalEval de avaliação

Nos últimos três anos a Logos Consultoria organizou sete eventos gratuitos na Semana Internacional de Avaliação GlocalEVAL, que é fomentada pela iniciativa CLEAR, uma organização independente do Banco Mundial que fomenta a cultura da avaliação em países em desenvolvimento.

Em 2018, a Logos realizou quatro eventos em parceria com diferentes organizações: CIEDS, Oi Futuro, UERJ e Museu Histórico Nacional. Em 2019, foram realizados dois eventos, sendo um deles em São Paulo, com a parceria do CIEDS, do NEX e da Secretaria de Cultura de SP. Nos dois anos, também, foram parceiros para a realização dos eventos consultores independentes e acadêmicos, como: Daniela Oliveira, Paulo Jannuzzi e Marcelo Oliveira. Já em 2020, mesmo com o advento da pandemia Corona vírus, a Logos realizou um evento, a distância, em parceria com o Observatório de Segurança de Niterói.

No primeiro ano, os temas abordados foram: Avaliação de políticas públicas no contexto da Agenda 2030 no Brasil; Como avaliar e monitorar as políticas públicas no cenário de desconstrução do Estado Social brasileiro?; Contribuições da avaliação para o desenvolvimento institucional.

No segundo ano, os temas abordados foram: Censo demográfico e sua importância na formulação e avaliação de políticas públicas; O pensamento avaliativo como ponte para novas aprendizagens e práticas; Relevância e disseminação dos resultados dos processos avaliativos.

Nesse ano, o tema geral foi: cultura avaliativa na implantação, nos resultados e na transparência das políticas públicas. O resumo com as principais mensagens do encontro foi:

•             importância da definição de objetivos que sejam factíveis, equipes bem formadas e informadas;
•       estudos e informações externas são importantes, mas não são suficientes para a implantação de uma política pública, pois não são customizadas;
•        necessidade de realizar diagnóstico, elaborar indicadores adequados, realizar monitoramento, avalição e disseminação de resultados para gerar aprendizados;
•        avaliação tecno-política, com a gestão pública orientada por evidências;
•        avaliação como recurso de aprendizagem organizacional, para redesenhar processos, aprimorar práticas e inovar;
•        avaliação pode ser um instrumento para a sustentabilidade de projetos e políticas;
•   utilização de multimétodos nas avaliações. A pesquisa qualitativa, por exemplo, é uma forma de entender o comportamento dos dados no campo, dialogando com diferentes atores;
•       múltiplas possibilidades de utilização da avaliação de impacto para aferir resultados, com atenção para os vieses que podem ocorrer devido a interveniências de outros fatores que não sejam relacionados a ação avaliada;
•        existência de demanda reprimida de avaliação de impacto por parte de gestores públicos.

A gravação do evento pode ser vista no link.

https://drive.google.com/file/d/1j1TPp5hZn4y2HTB-pkWWNWwvNi9kRcwf/view?usp=sharing

           

A comunidade escolar e o preparo das escolas

para adequação ao novo cenário

Após 70 dias do início da COVID-19 no Brasil, todos os segmentos estão passando por uma profunda transformação. O âmbito educacional é um dos setores com maior impacto, já que não envolve apenas a direção, mas toda a comunidade escolar. Nesse contexto, a comunidade escolar é representada pelos estudantes, suas famílias, professores, profissionais de apoio, fornecedores, entre outros membros que apresentam algum vínculo com a escola.

Os pais e responsáveis tiveram, ao mesmo tempo, que fazer duas grandes adaptações na sua rotina: a primeira foi trazer a vida profissional para casa. A segunda, incorporar métodos educacionais a sua experiência diária, como, por exemplo, apoiar o filho no processo de ensino-aprendizagem virtual.

Por outro lado, as escolas tiveram que mudar calendários, metodologias, processos e práticas em um determinado tempo que não compõe as estruturas educacionais tradicionais. Cabe lembrar aqui que alguns ritos e práticas pedagógicas não podem ser executados de forma rápida, intuitiva e com baixo planejamento.

O período atual impõe um desafio da quebra dessas barreiras e a criação de novas estratégias para o setor educacional, de modo que mantenha ou eleve a qualidade do ensino. As escolas, devido ao impacto com a paralização dos processos educacionais tradicionais, tiveram que adaptar metodologias e práticas educacionais para o espaço online.

Os professores, em sua maioria, mesmo sem experiência em salas virtuais, tiveram que preparar e ministrar aulas. Do ponto de vista pedagógico, várias questões foram suscitadas em relação à adequação da carga horária para o ambiente virtual, bem como o equilíbrio entre conteúdo e desenvolvimento de competências. Outras questões, como o processo de socialização escolar nos intervalos das aulas virtuais (hora do recreio), são caminhos a serem construídos no decorrer dos meses com a participação da comunidade escolar.

A Logos Consultoria realizou, no início de maio, um encontro de avaliação de gestão escolar com 12 gestores de cinco escolas privadas. O encontro teve o intuito de fortalecer a cultura do planejamento e cooperação entre pares. Na oportunidade, foi realizada uma dinâmica onde os participantes puderam apresentar, a partir dos seis pilares da gestão escolar, o que foi positivo e o que não foi positivo nesse período de adequação da escola. Esse movimento, além de ampliar o olhar e possibilidades de estratégias, também serviu para confortar os participantes por meio das trocas.

Após a avaliação, a Logos apresentou uma trilha para pensar o planejamento do retorno as aulas presenciais. O novo modelo educacional está demonstrando que as escolas precisam dar atenção à sua gestão e ao seu planejamento, a exemplo de um melhor olhar ao setor financeiro, revendo as despesas e receitas; setor administrativo, readequando e capacitando os colaboradores para o novo cenário; setor pedagógico, requalificando os professores e adquirindo novas tecnologias, tal qual o relacionamento com os pais por meio de uma comunicação transparente e clara com o intuito de prepará-los e inclui-los de uma forma mais próxima ao processo educacional dos filhos. Cabe mencionar, ainda, que alguns países já estão debatendo o retorno das aulas tradicionais. Mas é necessário ressaltar que esse momento não pode ser visto como o “retorno das férias”.

As escolas devem focar em algumas etapas de planejamento que inicie por um mapeamento empático da comunidade escolar, buscando compreender o nível da saúde mental por meio da verificação de traumas. Além disso, é essencial a realização de diagnóstico pedagógico e atualização do diagnóstico socioeconômico das famílias, a fim de subsidiar a elaboração do plano de retorno, criando estratégias de conforto, segurança e parceria com os responsáveis para potencializar o aprendizado dos estudantes e a valorização das escolas como espaço de equilíbrio e resiliência social.

* A Logos Consultoria atua com gestão escolar e avaliação há 12 anos em projetos realizados por grandes Institutos, Fundações em parcerias com governos em diferentes Estados do país. Taiana Jung e Rui Marcos, mestres e especialistas em educação.

A importância de desenvolver indicadores confiáveis e capazes de reportar com confiabilidade os resultados

A gestão do conhecimento em uma organização é uma importante ferramenta para a gestão do negócio e vem sendo cada vez mais exigida, seja nas organizações públicas ou privadas. Porém, vários são os obstáculos que impactam neste processo, dentre eles a inexistência de indicadores que possam demonstrar os resultados das ações implementadas pela organização. Daí a importância de se desenvolver indicadores confiáveis e capazes de reportar, com confiabilidade os resultados.

Indicadores são medidas-sínteses que revelam a realidade por meio dos números e são capazes de quantificar e qualificar uma dada informação. O indicador é um instrumento operacional utilizado para o monitoramento de processos e medição de resultados que necessita manter a essência da informação, não devendo substituir o conceito que se deseja medir pela própria medida. Isto quer dizer que os elaboradores e gestores de políticas públicas, empresas, programas e projetos devem considerar o papel dos indicadores como instrumentos de apoio à decisão e não como uma medida que reflete toda complexidade do conceito ao qual se refere.

Os indicadores devem estar alinhados às estratégias como, por exemplo, aos resultados a serem atingidos, sendo este alinhamento essencial para uma boa gestão. Um indicador, para ser aplicado a uma dada realidade necessita apresentar algumas das propriedades básicas a seguir:

-      Cobertura: abrangência espacial ou populacional;

-      Confiabilidade da medida;

-      Validade: grau de proximidade entre o conceito e o indicador;

-      Relevância social: atributo fundamental para justificar sua produção e legitimar seu emprego no processo de análise, formulação e implementação de políticas públicas e/ou ações e projetos organizacionais;

-      Viabilidade operacional para sua obtenção;

-      Transparência metodológica na sua construção;

-      Sensibilidade: capacidade de refletir as mudanças;

-      Desagregabilidade: capacidade de trabalhar em várias escalas (nacional, estadual, municipal, mundial, pequenas localidades);

-      Comunicabilidade ao público;

-      Periodicidade de atualização: para acompanhar as mudanças sociais, econômicas, ambientais, etc.;

-      Historicidade: dispor de séries históricas.

Um indicador isolado não consegue retratar a realidade de uma  dada dimensão social, econômica, ambiental, ou de resultados de múltiplos departamentos de uma dada organização, e, nesse sentido, faz-se necessário, para sua melhor operacionalização, a criação de um sistema de indicadores que reúna informações relevantes, representadas pelo conjunto de indicadores relacionados a uma temática de interesse, área de intervenção programática ou a um determinado aspecto da realidade. 

Dessa forma, um sistema de indicadores facilita o monitoramento de objetivos, resultados e metas por parte das organizações públicas ou privadas, permitindo, quando necessário, revisões e ajustes, visando maior eficácia, eficiência e efetividade dos mesmos. Conforme reforça Jannuzzi (2009), o processo de construção de um sistema de indicadores é composta de várias etapas:

–      Explicitação da demanda, ou seja, o estabelecimento dos objetivos programáticos de um plano, ação, programa ou projeto;

–      Delineamento das dimensões a serem abrangidas, assim como das ações operacionais correspondentes;

–      Desenvolvimento de uma lista de indicadores e dos dados necessários para a construção dos mesmos;

–      Localização das fontes e coleta de dados (gerados no âmbito das ações operacionais ou em bases de dados oficiais);

–      Sistematização e análise dos dados coletados.

A construção de indicadores, ou de um sistema de indicadores, é facilitada uma vez que os objetivos e os resultados estejam bem estabelecidos e que ocorra a associação de cada objetivo e resultado a um conjunto de indicadores. Desenvolver perguntas a partir dos objetivos propostos, para serem respondidas pelo indicador, contribui para o êxito desta atividade.

Um exemplo de sistema de indicadores é o Balanced Scorecard (BSC), que se refere a uma metodologia de gestão estratégica utilizada na organização e classificação dos indicadores. O BSC é uma metodologia para avaliação de desempenho empresarial e de gestão estratégica proposta por Kaplan e Norton em 1992, na qual são observados indicadores financeiros, mas também os não financeiros. Ao avaliar o desempenho, parte-se de estratégias ou diretrizes e, neste contexto, os resultados apresentados por meio de indicadores não financeiros vão refletir ou influenciar os resultados dos indicadores financeiros.  Diferentes autores dizem que o BSC deve incorporar relações de causa-efeito entre os indicadores de desempenho e os fatores motivadores identificados na estratégia, onde algumas perspectivas para monitorar o desempenho de uma empresa não podem faltar: financeira, clientes, processos internos, aprendizagem e crescimento.

Outro exemplo, são os Objetivos do Desenvolvimento Sustentável (ODS), que compõem a Agenda 2030 (ONU), esta Agenda é um plano de ação para as pessoas, para o planeta e para a prosperidade e que por meio de 17 objetivos, 169 metas e 241 indicadores, propõe a integração das dimensões social, ambiental, econômica e institucional em busca da promoção do desenvolvimento sustentável. Conforme carta de intenções da ONU, os objetivos e metas serão acompanhados e avaliados utilizando um conjunto de indicadores globais. Estes irão ser complementados por indicadores nos níveis regionais e nacionais que serão desenvolvidos pelos Estados-membros.

Os dois exemplos ilustram a utilização de sistemas de indicadores com objetivos diferentes, mas ambos estão alicerçados em conceitos básicos, bem como em uso de larga escala para comparabilidade. É importante ressaltar que o uso de indicadores deve ocorrer a partir de uma avaliação crítica das propriedades anteriormente descritas e não apenas pelo uso tradicional dos mesmos e nem apenas por modeles, que mesmo validados em determinadas organizações precisam de ajustes para outras, já que as realidades são diferentes e as especificidades devem ser consideradas. Além disso, o fator periodicidade e representatividade são fundamentais para a melhor representação da realidade estudada, pois um indicador bom apenas vai indicar, iluminar um fato, nunca substituirá o conceito que lhe originou e nem dará conta de ser a realidade, pois ela é dinâmica e multifacetada.

Fonte:

JANNUZZI, Paulo de Martino. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público. Brasília, 56 (2), 137-160, abr/jun 2005.

________Indicadores sociais no Brasil: conceitos, fonte de dados e aplicações. Campinas: Alínea, 2009.