segunda-feira, 15 de junho de 2020

Um resumo do terceiro ano da Logos na Semana GlocalEval de avaliação


Nos últimos três anos a Logos Consultoria organizou sete eventos gratuitos na Semana Internacional de Avaliação GlocalEVAL, que é fomentada pela iniciativa CLEAR, uma organização independente do Banco Mundial que fomenta a cultura da avaliação em países em desenvolvimento.

Em 2018, a Logos realizou quatro eventos em parceria com diferentes organizações: CIEDS, Oi Futuro, UERJ e Museu Histórico Nacional. Em 2019, foram realizados dois eventos, sendo um deles em São Paulo, com a parceria do CIEDS, do NEX e da Secretaria de Cultura de SP. Nos dois anos, também, foram parceiros para a realização dos eventos consultores independentes e acadêmicos, como: Daniela Oliveira, Paulo Jannuzzi e Marcelo Oliveira. Já em 2020, mesmo com o advento da pandemia Corona vírus, a Logos realizou um evento, a distância, em parceria com o Observatório de Segurança de Niterói.

No primeiro ano, os temas abordados foram: Avaliação de políticas públicas no contexto da Agenda 2030 no Brasil; Como avaliar e monitorar as políticas públicas no cenário de desconstrução do Estado Social brasileiro?; Contribuições da avaliação para o desenvolvimento institucional.

No segundo ano, os temas abordados foram: Censo demográfico e sua importância na formulação e avaliação de políticas públicas; O pensamento avaliativo como ponte para novas aprendizagens e práticas; Relevância e disseminação dos resultados dos processos avaliativos.

Nesse ano, o tema geral foi: cultura avaliativa na implantação, nos resultados e na transparência das políticas públicas. O resumo com as principais mensagens do encontro foi:

  •             importância da definição de objetivos que sejam factíveis, equipes bem formadas e informadas;
  •       estudos e informações externas são importantes, mas não são suficientes para a implantação de uma política pública, pois não são customizadas;
  •        necessidade de realizar diagnóstico, elaborar indicadores adequados, realizar monitoramento, avalição e disseminação de resultados para gerar aprendizados;
  •        avaliação tecno-política, com a gestão pública orientada por evidências;
  •        avaliação como recurso de aprendizagem organizacional, para redesenhar processos, aprimorar práticas e inovar;
  •        avaliação pode ser um instrumento para a sustentabilidade de projetos e políticas;
  •   utilização de multimétodos nas avaliações. A pesquisa qualitativa, por exemplo, é uma forma de entender o comportamento dos dados no campo, dialogando com diferentes atores;
  •       múltiplas possibilidades de utilização da avaliação de impacto para aferir resultados, com atenção para os vieses que podem ocorrer devido a interveniências de outros fatores que não sejam relacionados a ação avaliada;
  •        existência de demanda reprimida de avaliação de impacto por parte de gestores públicos.


A gravação do evento pode ser vista no link.



quarta-feira, 13 de maio de 2020



           



A comunidade escolar e o preparo das escolas
para adequação ao novo cenário



Após 70 dias do início da COVID-19 no Brasil, todos os segmentos estão passando por uma profunda transformação. O âmbito educacional é um dos setores com maior impacto, já que não envolve apenas a direção, mas toda a comunidade escolar. Nesse contexto, a comunidade escolar é representada pelos estudantes, suas famílias, professores, profissionais de apoio, fornecedores, entre outros membros que apresentam algum vínculo com a escola.



Os pais e responsáveis tiveram, ao mesmo tempo, que fazer duas grandes adaptações na sua rotina: a primeira foi trazer a vida profissional para casa. A segunda, incorporar métodos educacionais a sua experiência diária, como, por exemplo, apoiar o filho no processo de ensino-aprendizagem virtual.



Por outro lado, as escolas tiveram que mudar calendários, metodologias, processos e práticas em um determinado tempo que não compõe as estruturas educacionais tradicionais. Cabe lembrar aqui que alguns ritos e práticas pedagógicas não podem ser executados de forma rápida, intuitiva e com baixo planejamento.



O período atual impõe um desafio da quebra dessas barreiras e a criação de novas estratégias para o setor educacional, de modo que mantenha ou eleve a qualidade do ensino. As escolas, devido ao impacto com a paralização dos processos educacionais tradicionais, tiveram que adaptar metodologias e práticas educacionais para o espaço online.



Os professores, em sua maioria, mesmo sem experiência em salas virtuais, tiveram que preparar e ministrar aulas. Do ponto de vista pedagógico, várias questões foram suscitadas em relação à adequação da carga horária para o ambiente virtual, bem como o equilíbrio entre conteúdo e desenvolvimento de competências. Outras questões, como o processo de socialização escolar nos intervalos das aulas virtuais (hora do recreio), são caminhos a serem construídos no decorrer dos meses com a participação da comunidade escolar.



A Logos Consultoria realizou, no início de maio, um encontro de avaliação de gestão escolar com 12 gestores de cinco escolas privadas. O encontro teve o intuito de fortalecer a cultura do planejamento e cooperação entre pares. Na oportunidade, foi realizada uma dinâmica onde os participantes puderam apresentar, a partir dos seis pilares da gestão escolar, o que foi positivo e o que não foi positivo nesse período de adequação da escola. Esse movimento, além de ampliar o olhar e possibilidades de estratégias, também serviu para confortar os participantes por meio das trocas.



Após a avaliação, a Logos apresentou uma trilha para pensar o planejamento do retorno as aulas presenciais. O novo modelo educacional está demonstrando que as escolas precisam dar atenção à sua gestão e ao seu planejamento, a exemplo de um melhor olhar ao setor financeiro, revendo as despesas e receitas; setor administrativo, readequando e capacitando os colaboradores para o novo cenário; setor pedagógico, requalificando os professores e adquirindo novas tecnologias, tal qual o relacionamento com os pais por meio de uma comunicação transparente e clara com o intuito de prepará-los e inclui-los de uma forma mais próxima ao processo educacional dos filhos. Cabe mencionar, ainda, que alguns países já estão debatendo o retorno das aulas tradicionais. Mas é necessário ressaltar que esse momento não pode ser visto como o “retorno das férias”.



As escolas devem focar em algumas etapas de planejamento que inicie por um mapeamento empático da comunidade escolar, buscando compreender o nível da saúde mental por meio da verificação de traumas. Além disso, é essencial a realização de diagnóstico pedagógico e atualização do diagnóstico socioeconômico das famílias, a fim de subsidiar a elaboração do plano de retorno, criando estratégias de conforto, segurança e parceria com os responsáveis para potencializar o aprendizado dos estudantes e a valorização das escolas como espaço de equilíbrio e resiliência social.



* A Logos Consultoria atua com gestão escolar e avaliação há 12 anos em projetos realizados por grandes Institutos, Fundações em parcerias com governos em diferentes Estados do país. Taiana Jung e Rui Marcos, mestres e especialistas em educação.

quarta-feira, 12 de fevereiro de 2020

A importância de desenvolver indicadores confiáveis e capazes de reportar com confiabilidade os resultados

A gestão do conhecimento em uma organização é uma importante ferramenta para a gestão do negócio e vem sendo cada vez mais exigida, seja nas organizações públicas ou privadas. Porém, vários são os obstáculos que impactam neste processo, dentre eles a inexistência de indicadores que possam demonstrar os resultados das ações implementadas pela organização. Daí a importância de se desenvolver indicadores confiáveis e capazes de reportar, com confiabilidade os resultados.
Indicadores são medidas-sínteses que revelam a realidade por meio dos números e são capazes de quantificar e qualificar uma dada informação. O indicador é um instrumento operacional utilizado para o monitoramento de processos e medição de resultados que necessita manter a essência da informação, não devendo substituir o conceito que se deseja medir pela própria medida. Isto quer dizer que os elaboradores e gestores de políticas públicas, empresas, programas e projetos devem considerar o papel dos indicadores como instrumentos de apoio à decisão e não como uma medida que reflete toda complexidade do conceito ao qual se refere.
Os indicadores devem estar alinhados às estratégias como, por exemplo, aos resultados a serem atingidos, sendo este alinhamento essencial para uma boa gestão. Um indicador, para ser aplicado a uma dada realidade necessita apresentar algumas das propriedades básicas a seguir:
-      Cobertura: abrangência espacial ou populacional;
-      Confiabilidade da medida;
-      Validade: grau de proximidade entre o conceito e o indicador;
-      Relevância social: atributo fundamental para justificar sua produção e legitimar seu emprego no processo de análise, formulação e implementação de políticas públicas e/ou ações e projetos organizacionais;
-      Viabilidade operacional para sua obtenção;
-      Transparência metodológica na sua construção;
-      Sensibilidade: capacidade de refletir as mudanças;
-      Desagregabilidade: capacidade de trabalhar em várias escalas (nacional, estadual, municipal, mundial, pequenas localidades);
-      Comunicabilidade ao público;
-      Periodicidade de atualização: para acompanhar as mudanças sociais, econômicas, ambientais, etc.;
-      Historicidade: dispor de séries históricas.
Um indicador isolado não consegue retratar a realidade de uma  dada dimensão social, econômica, ambiental, ou de resultados de múltiplos departamentos de uma dada organização, e, nesse sentido, faz-se necessário, para sua melhor operacionalização, a criação de um sistema de indicadores que reúna informações relevantes, representadas pelo conjunto de indicadores relacionados a uma temática de interesse, área de intervenção programática ou a um determinado aspecto da realidade. 
Dessa forma, um sistema de indicadores facilita o monitoramento de objetivos, resultados e metas por parte das organizações públicas ou privadas, permitindo, quando necessário, revisões e ajustes, visando maior eficácia, eficiência e efetividade dos mesmos. Conforme reforça Jannuzzi (2009), o processo de construção de um sistema de indicadores é composta de várias etapas:
      Explicitação da demanda, ou seja, o estabelecimento dos objetivos programáticos de um plano, ação, programa ou projeto;
      Delineamento das dimensões a serem abrangidas, assim como das ações operacionais correspondentes;
      Desenvolvimento de uma lista de indicadores e dos dados necessários para a construção dos mesmos;
      Localização das fontes e coleta de dados (gerados no âmbito das ações operacionais ou em bases de dados oficiais);
      Sistematização e análise dos dados coletados.
A construção de indicadores, ou de um sistema de indicadores, é facilitada uma vez que os objetivos e os resultados estejam bem estabelecidos e que ocorra a associação de cada objetivo e resultado a um conjunto de indicadores. Desenvolver perguntas a partir dos objetivos propostos, para serem respondidas pelo indicador, contribui para o êxito desta atividade.
Um exemplo de sistema de indicadores é o Balanced Scorecard (BSC), que se refere a uma metodologia de gestão estratégica utilizada na organização e classificação dos indicadores. O BSC é uma metodologia para avaliação de desempenho empresarial e de gestão estratégica proposta por Kaplan e Norton em 1992, na qual são observados indicadores financeiros, mas também os não financeiros. Ao avaliar o desempenho, parte-se de estratégias ou diretrizes e, neste contexto, os resultados apresentados por meio de indicadores não financeiros vão refletir ou influenciar os resultados dos indicadores financeiros.  Diferentes autores dizem que o BSC deve incorporar relações de causa-efeito entre os indicadores de desempenho e os fatores motivadores identificados na estratégia, onde algumas perspectivas para monitorar o desempenho de uma empresa não podem faltar: financeira, clientes, processos internos, aprendizagem e crescimento.

Outro exemplo, são os Objetivos do Desenvolvimento Sustentável (ODS), que compõem a Agenda 2030 (ONU), esta Agenda é um plano de ação para as pessoas, para o planeta e para a prosperidade e que por meio de 17 objetivos, 169 metas e 241 indicadores, propõe a integração das dimensões social, ambiental, econômica e institucional em busca da promoção do desenvolvimento sustentável. Conforme carta de intenções da ONU, os objetivos e metas serão acompanhados e avaliados utilizando um conjunto de indicadores globais. Estes irão ser complementados por indicadores nos níveis regionais e nacionais que serão desenvolvidos pelos Estados-membros.

Os dois exemplos ilustram a utilização de sistemas de indicadores com objetivos diferentes, mas ambos estão alicerçados em conceitos básicos, bem como em uso de larga escala para comparabilidade. É importante ressaltar que o uso de indicadores deve ocorrer a partir de uma avaliação crítica das propriedades anteriormente descritas e não apenas pelo uso tradicional dos mesmos e nem apenas por modeles, que mesmo validados em determinadas organizações precisam de ajustes para outras, já que as realidades são diferentes e as especificidades devem ser consideradas. Além disso, o fator periodicidade e representatividade são fundamentais para a melhor representação da realidade estudada, pois um indicador bom apenas vai indicar, iluminar um fato, nunca substituirá o conceito que lhe originou e nem dará conta de ser a realidade, pois ela é dinâmica e multifacetada.



Fonte:
JANNUZZI, Paulo de Martino. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público. Brasília, 56 (2), 137-160, abr/jun 2005.
________Indicadores sociais no Brasil: conceitos, fonte de dados e aplicações. Campinas: Alínea, 2009.