AVALIAÇÃO INSTITUCIONAL: AVALIAÇÃO E ACOMPANHAMENTO DAS MUDANÇAS NOS CURSOS DE GRADUAÇÃO DA ÁREA DA SAÚDE (CAES/ABEM)

A Comissão de Avaliação das Escolas Médicas (Caem) surgiu em virtude da participação ativa da Associação Brasileira de Educação Médica (Abem) na discussão e construção do processo de avaliação da educação médica brasileira com a consciência das dificuldades das escolas em realizar mudanças na formação do profissional de acordo com as Diretrizes Curriculares Nacionais.

A Comissão de Avaliação das Escolas Médicas (Caem), entre outras comissões da Abem, foi formada por professores estudiosos envolvidos com avaliação no âmbito da educação em saúde. Em março de 2006, teve sua primeira reunião, onde discutiu amplamente e aprovou o projeto “Avaliação de Tendências de Mudanças nos Cursos de Graduação das Escolas Médicas Brasileiras”, proposto e baseado no trabalho de tese de doutorado de Lampert.

As atividades da Comissão se orientaram na perspectiva de potencializar o entendimento da avaliação como processo democrático e construtivo, tendo como objetivos: promover e acompanhar as mudanças nas escolas para atender às Diretrizes Curriculares Nacionais (DCN) com vistas à consolidação do Sistema Único de Saúde (SUS) e incentivar e apoiar a construção do processo de avaliação (autoavaliação, avaliação externa, meta-avaliação) em cada escola no atendimento aos princípios do Sistema Nacional de Avaliação da Educação Superior (Sinaes).

No seu desenvolvimento, passou a denominar-se “Avaliação e Acompanhamento das Mudanças nos Cursos de Graduação da Área de Saúde”, ao entender a necessidade de exercitar a atividade interprofissional no trabalho em equipe, indispensável à integralidade da atenção à saúde – a sigla Caem passou a ser Caes. O programa do Pró-Saúde e PET-Saúde do Ministério da Saúde, que já envolve vários cursos da saúde, e o Fórum Nacional de Educação das Profissões na Área da Saúde (FNEPAS), que foi coordenado pela Abem, mostram coerência neste entendimento. A Comissão adaptou o instrumento de autoavaliação das escolas médicas para uso nos demais cursos da área da saúde, e a partir de então abriu um período para adesão de outros cursos da saúde, em tempo para acompanhar a construção do processo avaliativo em desenvolvimento de 2006 a 2009.

De 2007 a 2009, o projeto foi financiado pelo Ministério da Saúde e Organização Pan-Americana de Saúde (MS/Opas), o que permitiu realizar a avaliação externa das 28 escolas participantes, dando completude ao método avaliativo.

Os resultados dos trabalhos desta etapa foram publicados com o título “Relatório situacional do projeto de avaliação e acompanhamento das mudanças nos cursos de graduação da área de saúde Caem/Abem”.

As escolas reunidas na Oficina de Sistematização, ao final do Projeto Caem/Abem, apresentaram seus resultados e destacaram como ganhos no desenvolvimento do processo avaliativo: estímulo e motivação para compartilhar problemas e trocar experiências com socialização de conhecimentos adquiridos na prática; maior conforto e envolvimento ao participar de avaliação sem o objetivo de ranquear; aquisição de elementos para o planejamento das mudanças; perspectivas de criação de redes de interação; valorização da equipe condutora das mudanças, favorecendo a criação e o fortalecimento das comissões de avaliação; a avaliação externa com olhar construtivo que possibilitou ampliar a percepção do processo, diminuindo a dificuldade de expor as fragilidades e facilitando a busca de soluções; contribuição para a construção de um referencial indutor de mudanças; envolvimento de diversos atores, propiciando a reflexão coletiva e acompanhamento, gerando vínculo e comprometimento; e a participação de outros cursos da área da saúde.

Os primeiros resultados da pesquisa desenvolvida mediante o projeto foram publicados na Revista Brasileira de Educação Médica. O encarte com a síntese dos resultados preliminares de todo o processo foi distribuído aos participantes do 47º Congresso Brasileiro de Educação Médica (Cobem), reeditado e distribuído no 49º Cobem, quando reconhecida a necessidade de reforçar o embasamento e a socialização dos novos conceitos e dar seguimento ao trabalho desenvolvido, para dar suporte às escolas da área da saúde na implementação das DCN a fim de efetivar mudanças. Isto poderá ser viabilizado com o acompanhamento das escolas que completaram o ciclo construtivo do processo, a fim de firmar e trabalhar a cultura de avaliação como processo contínuo aberto e multiplicador, com o intuito de se expandir para as demais escolas.

Nesta perspectiva, a Abem apresentou, em 2012, o Programa Caes/Abem como proposta de continuidade com coordenação nacional e descentralização de projetos de avaliação de tendências de mudanças para as regionais da Abem. Sendo assim, a continuação do projeto de avaliação e acompanhamento das mudanças nos cursos de graduação da área de saúde visa fortalecer os passos já concretizados em direção às mudanças preconizadas pelas DCN dos cursos de graduação na formação dos profissionais da área da saúde. As oito regionais da Abem deverão construir seu projeto regional de avaliação, com a possibilidade de incluir outros cursos da área da saúde para a construção do respectivo processo avaliativo institucional.

As escolas que participam do Programa Caes/Abem fazem o exercício de visualizar sua unidade institucional na metodologia oferecida – o método da roda. Esta unidade, como órgão formador de profissionais da área da saúde, busca a relevância social, a excelência técnico-científica e o compromisso ético na construção de sua maturidade institucional no contexto do mundo do trabalho.

A continuidade do trabalho de avaliar e construir avaliações com as escolas da área da saúde, portanto, reforça e mantém os objetivos de promover e acompanhar as mudanças nas escolas para atender às DCN, incentivar e apoiar a construção do processo de avaliação em cada escola segundo os princípios do Sinaes, acrescido do objetivo de descentralização do Programa Caes para as regionais da Abem. Desta forma, mais próximo das escolas, poderá ampliar as buscas de fomento institucional e governamental para promover e manter ações construtivas e participativas de avaliação com discussão crítica das mudanças. E assim, com base teórica das concepções sociopolíticas, fortalecer novos métodos de ensino-aprendizagem com avaliações construtivas e formativas quanto às competências profissionais para serviços que atendam à integralidade da saúde da população brasileira.

Para o alcance dos objetivos, o Programa Caes conta com um Grupo Coordenador Nacional, que responde pela estratégia de manter e expandir a construção do processo avaliativo institucional nas escolas da área da saúde, com a descentralização para as regionais da Abem. Para isso, foi realizada uma oficina em cada uma das oito regionais da Abem (Norte, Nordeste, Centro-Oeste, Minas Gerais, RJ/ES, São Paulo, Sul I e Sul Il). As oficinas tiveram por objetivo socializar o embasamento histórico e teórico das mudanças junto com a proposta de avaliação institucional, com exercício no uso do instrumento, no método da roda , e a discussão sob a perspectiva de fazer um projeto regional de avaliação. Em cada regional foi constituído um Grupo Gestor Caes (GGCAES). Este grupo é formado por professores estudiosos de avaliação, que gradativamente devem assumir com as escolas da respectiva regional a responsabilidade pela elaboração, sustentação e continuidade de projeto regional próprio de avaliação, tendo como referência o modelo nacional e o apoio do Grupo Coordenador Nacional da Caes/Abem. Após as oficinas de capacitação, onde as escolas tomaram conhecimento do processo, foi aberto um período para adesão. As que fazem adesão assinam o Termo de Autorização Institucional com a Abem e recebem uma senha para ter acesso ao instrumento autoavaliativo.
* A figura da roda é o instrumento de autoavaliação institucional com cinco eixos e respectivos vetores, e nos três círculos, de dentro para fora, as alternativas de situações predominantes em modelos com tendências tradicional/conservadora, inovadora e avançada em mudanças para as transformações preconizadas nas DCN.

Inicialmente, realizou-se uma oficina em cada regional, na qual foram disponibilizadas informações e socializado o instrumento autoavaliativo proposto em trabalho de grupo. A seguir, a descrição dos três momentos do método da roda Caes/Abem:

Primeiro momento:
Capacitação de atores sociais das escolas para uso do instrumento – consiste em um momento de sensibilização e capacitação que se inicia com o convite de participação das escolas, no caso, as da regional. Ao reuni-las, apresenta-se o embasamento histórico e conceitual, que fundamenta os eixos e vetores relevantes e predefinidos no instrumento orientador das mudanças, seu entendimento e domínio com exercício prático, para que seja aplicado na escola. Este momento, na escola, é marcado pela troca de percepções entre os atores sociais do grupo reunidos, com representação de no mínimo três segmentos (docentes, discentes e técnico-administrativos) para abalizar a ocorrência de mudanças, identificando justificativas e evidências. O instrumento aplicado e preenchido após discussão e consenso é remetido à Secretaria da Abem, que arquiva cópia e o remete ao Grupo Gestor correspondente para que analise os dados. A análise realizada fornece a tipologia de tendências de mudanças de cada escola, com levantamento de justificativas (motivos, valores e políticas institucionais), evidências de mudanças na percepção de cada escola (situações passíveis de comprovação) e faz considerações dentro do quadro de referências do método. Esta análise é revisada pelo Grupo Coordenador Nacional, que a libera para ser arquivada na Secretaria da Abem e remetida à escola respectiva. Os dados podem ser disponibilizados sem identificação das escolas, para estudos e publicações.

Segundo momento:
Construção de indicadores – a construção participativa de indicadores quali/quanti para avaliar e acompanhar a dinâmica das mudanças deve acontecer no interior de cada escola com a aproximação das evidências respectivas de mudanças percebidas por seus atores, com identificação dos responsáveis comprometidos. Trata do aproximar-se das evidências junto aos atores envolvidos para identificar e selecionar indicadores capazes de averiguar e acompanhar a evolução das mudanças de forma construtiva, tendo como referência os indicadores/atributos já construídos no projeto da Caem, desenvolvido em 2008.

Em decorrência da estratégia de descentralização operacional para análise dos instrumentos autoavaliativos, preenchidos pelas escolas por grupo neófito nesta prática, foram necessárias duas oficinas com os GGCAES. A primeira ocorreu no pré-congresso do 51º Cobem, em 19 de outubro de 2013, em Recife (PE), quando foram apresentados dados preliminares coletados com discussão de aspectos da análise, dúvidas conceituais e de interpretação com levantamento de dificuldades e identificação de estratégias. A segunda oficina foi realizada em 14 e 15 de março de 2014, no Rio de Janeiro (RJ), com revisão do estado da arte, aspectos das análises das autoavaliações das escolas e palestra interativa e grupo focal sob orientação da Profa. Maria Cecília de Souza Minayo, assessora científica, sobre indicadores qualitativos. Considerando a abordagem qualitativa, os indicadores deverão ser construídos levando em consideração as recomendações de Valarelli (2004, apud Minayo, 2005).

Terceiro momento:
Visita às escolas e sistematização de dados com relatório – trata da visita às escolas por dupla de professores capacitados para observação planejada como pesquisadores qualitativos, mediante um roteiro, com revisão do Manual de Trabalho de Campo da Caem, elaborado em 2008. O preparo dos professores visitantes prevê revisão de referencial teórico e de instrumentos a serem usados em observação participante com gravação do grupo focal.

A visita de dois dias em cada escola com interação e levantamento de dados propicia uma análise de avaliação externa, que é enviada à escola respectiva. Logo, a escola deve discutir sua realidade ao sistematizar seus dados e resultados, confeccionar seu relatório com recomendações e revisar seu projeto, metas e estratégias institucionais. Este processo deve ser construído na perspectiva de continuidade, com levantamento de dados de forma regular, para análise e reflexão crítica da realidade institucional e formulação de recomendações, proporcionando sistematicamente os ajustes pertinentes.

Com a leitura de todos os registros da visita e da transcrição da gravação do grupo focal os pesquisadores buscarão a compreensão global e identificarão núcleos de sentido e as temáticas em torno das quais os dados são analisados e discutidos, para foco de atenção institucional de cada escola e conjunto. Na análise qualitativa será utilizada a abordagem temática, por melhor condizer com o propósito deste estudo, assim como será feito o cruzamento com os resultados do primeiro momento, da autoavaliação.

A análise será encaminhada à respectiva escola, que fará uso desta ao sistematizar os dados e construir seu relatório, onde devem constar os indicadores considerados relevantes para acompanhar a evolução das mudanças. Os dados, que podem ser apresentados sob a forma de gráficos, tabelas, figuras ou descrições, possibilitam a análise crítica da realidade.

As escolas que participaram do processo de construção autoavaliativa desenvolvido no Projeto da Caem (2006-2009), durante a oficina de sistematização dos resultados, ressaltaram alguns aspectos para a continuidade dos processos avaliativos e avanços nas tendências de mudanças. Um destes se refere à possibilidade de discutir indicadores qualitativos das mudanças e aprofundar o conceito de “competências profissionais” para os cursos da área da saúde, já que este assunto está diretamente relacionado à qualidade da formação e avaliação das escolas. Segundo o relato dos participantes, “a chancela da Caem/Abem oferece credibilidade ao projeto de avaliação”. Assim, a construção de um panorama das “competências profissionais” poderia fortalecer o processo de mudanças e facilitar a construção do processo autoavaliativo.

Fortalecer a participação das demais carreiras da área da saúde também foi apontado como uma necessidade. Isto poderia ocorrer por meio da divulgação da proposta a outras Associações de Ensino da área da saúde, tendo como pressuposto a construção participativa e colaborativa com adequações próprias e singulares a cada curso, dentro de um movimento crítico-reflexivo que visa à reorganização das práticas educacionais na direção de um sistema ancorado nos princípios e diretrizes do SUS.

A descentralização do processo tem sido considerada para que as escolas possam trabalhar em colaboração mais estreita na sua região e área de abrangência. Assim, a capacitação das escolas e a criação de um sistema em rede de colaboração e troca de informações poderão otimizar e garantir a participação mais efetiva de maior número de escolas.

Participaram do estudo 48 escolas, sendo 46 de Medicina e duas de Nutrição. Os dados obtidos neste estudo podem ser submetidos a dois tipos de análise – quantitativa e qualitativa, que muitas vezes são intimamente complementares. A análise quantitativa neste estudo acontece quando se verificam as escolhas de consenso por uma das três opções, nos 17 vetores apresentados no instrumento de autoavaliação, o que resulta na tipologia da escola. Essa tipologia de tendência de mudanças mostra se a escola se apresenta predominantemente tradicional, inovadora ou avançada para as mudanças preconizadas nas DCN e as possibilidades de diferenciar o perfil do profissional formado. A análise qualitativa se inicia no exercício de troca de informações e percepções das ações institucionais no seu conjunto, entre os participantes do grupo no uso do instrumento para chegar ao consenso e marcar a alternativa predominante entre as três oferecidas. A análise do texto redigido pelo grupo de atores reunidos para a autoavaliação, quando buscam justificar suas escolhas de alternativa predominante, e ao apontar evidências, situações passíveis de verificação, ocorridas ou não na escola, é predominantemente qualitativa.

Tabela 1 mostra as escolas que participaram da investigação com as respectivas tipologias de tendências de mudanças. Observa-se que a maioria (79,16%) se apresenta na tipologia avançada ou inovadora com tendência avançada, o que mostra o movimento de transformação nas escolas, que se preocupam em atender às diretrizes preconizadas pelas DCN.
* TABELA 1 – Tipologia de tendências de mudanças de 48 escolas da área da saúde, Caes/Abem, 2013 

As escolas que se apresentam tradicionais foram apenas três (6,25%), sendo que sete (14,59%) já apresentaram tendência à inovação, apesar de ainda se mostrarem tradicionais. Observando-se as médias da Tabela 2 nos cinco eixos, nota-se que o menor valor está no eixo Desenvolvimento Docente e, depois, no da Abordagem Pedagógica. Pode-se aferir que está sendo mais fácil avançar nas mudanças quando se trata de conceber e escrever um Projeto Pedagógico e de colocar na matriz curricular alguma carga horária de prática fora do ambiente hospitalar (eixo Cenário de Prática), que são os dois eixos onde as escolas mais avançaram.
* TABELA 2 – Tipologia de tendência de mudanças em 48 escolas da área da saúde que aderiram e realizaram o primeiro momento do Programa Caes/Abem, com percentuais das alternativas predominantes nos cinco eixos de relevância segundo a percepção de seus atores sociais na implementação das Diretrizes Curriculares Nacionais no curso de graduação – Brasil, 2013 

No entendimento de processos de mudanças, alterar comportamentos será sempre crucial, o que aparece fortemente no preparo de docentes nos quatro vetores do eixo Desenvolvimento Docente: formação didático-pedagógica, atualização técnico-científica, participação na assistência e capacitação gerencial. É bem mais complexo realizar aulas/estudos de forma distinta daquela que se conhece e que faz parte da vivência de formação escolar e da prática tradicional do professor, de expor e cobrar conteúdos. Além de escrever um Projeto Pedagógico avançado para as mudanças preconizadas – que é um passo importante do processo de mudanças, o desafio maior na sequência será mudar os espaços de aprendizagem, do professor e do estudante; mudar as metodologias de ensino; a abordagem interdisciplinar de temas concretos de aplicação prática; o processo de construção do conhecimento; a relação professor-aluno, oferecendo estrutura adequada, sem perder a relevância do professor neste processo, no eixo Abordagem Pedagógica.

Na reunião destes cinco eixos percebe-se a necessidade de mobilizar de forma complementar elementos vitais da conjuntura do novo paradigma em construção para efetivar as mudanças desejadas.

Outro aspecto a observar é que escolas de mesma tipologia de tendência de mudanças apresentam realidades distintas (dificuldades e facilidades), razão que merece ser considerada na avaliação construtiva, que visa auxiliar a instituição na busca do seu aprimoramento.

Figura 2 reúne as figuras da roda de cada uma das escolas participantes. Por meio delas, nota-se a situação dos vetores de cada eixo estudado, sendo possível perceber as lacunas ainda presentes na formação acadêmica proporcionada pelas escolas.
* FIGURA 2 – Figura da roda de 48 escolas da área da saúde, Caes/Abem, 2013 

Gráfico 1 mostra a evolução ocorrida nas tendências de mudanças das escolas de 2008 para 2013 em pontos percentuais. Nestes resultados de percepção de mudanças pelas escolas, constata-se um crescimento de mudanças ao encontro das DCN, pois as escolas estão deixando de ser tradicionais/conservadoras para, predominantemente, se perceberem com ações inovadoras. Em 2008, havia 28,6% de escolas inovadoras com tendência avançada, e em 2013 esse número aumentou para 35,41%. Quando se consideram conjuntamente as escolas avançadas e inovadoras com tendência avançada, em 2008 elas eram 75% e, em 2013, 79,16% (Gráfico 2).
* GRÁFICO 1 – Evolução das tipologias de tendências de mudanças nas escolas da área da saúde, Caes/Abem, 2008 e 2013 
* GRÁFICO 2 – Evolução de tipologias de tendência de mudanças nas escolas da área da saúde, Caes/Abem, 2008 e 2013 

Este estudo apresenta o processo participativo como um ponto a ser destacado, pois a coleta de dados é construída com os próprios atores docentes, estudantes e funcionários técnico-administrativos. Em outras palavras, os dados são obtidos a partir da realidade vivenciada pelos atores sociais, que a interpretam com base em um estoque de referências.

Outro ponto a mencionar é que os pesquisadores que analisam tais interpretações devem se colocar dentro do processo de construção da realidade, pois expressam a voz e as práticas dos diversos atores que compõem o universo de uma pesquisa avaliativa. O objetivo de todos, participantes e pesquisadores, é o interesse no processo de mudança, no entendimento do conjunto da unidade institucional, inserido no contexto do mundo do trabalho com demandas e necessidades em saúde.

Assim, os resultados obtidos devem permitir a retroalimentação dos processos de mudança, assim como averiguar se a mudança é sustentável, se proporciona estreitamento e se potencializa as relações das escolas com as unidades de atenção à saúde (básica/primária, secundária e terciária) do SUS.

Ao considerar as atividades práticas como potencialmente reorientadoras dos processos de trabalho e de formação profissional, na perspectiva da integralidade da atenção, pode-se dizer que o processo de desenvolvimento dos acadêmicos nos cenários da prática dos serviços deve atender a ambas as perspectivas de aprimoramento, do ensino (educação) e da assistência (saúde).

REFERÊNCIAS
1. Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina. Homologa em 03 out 2001 parecer CES 1.133/2001. Resolução CNE/CES nº 4, de 7/11/2001. Disponível em: http:/ /www.mec.gov.br/cne/ftp/CES/CES04.doc
2. Lampert JB. Tendências de Mudanças na Formação Médica no Brasil: tipologia das escolas. São Paulo: Hucitec; 2002.
3. Brasil. Ministério da Educação. SINAES ? Sistema Nacional de Avaliação da Educação Superior: da concepção a regulamentação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. 2.ed.ampl. Brasília; 2004.
4. Relatório situacional do projeto de avaliação e acompanhamento das mudanças nos cursos de graduação da área de saúde. Rio de Janeiro: ABEM; 2010. Disponível em: http:/ /www.caem.org.br/pdf/relatorio final2011.pdf
5. Lampert JB, Aguilar da Silva RH, Perim GI, Abdala IG, Stella RCR, Costa NMSC. Projeto de Avaliação Tendências de Mudanças no Curso de Graduação nas Escolas Médicas Brasileiras. Rev Bras Educ Med. 2009; 33(1,supl. 1):5-18.
6. Lampert JB, Perim GL, Aguilar-da-Silva RH, Stella RCR, Abdalla IG, Costa NMSC. Mundo do Trabalho no Contexto da Formação Médica. Rev Bras Educ Med. 2009; 33(1 Supl.1):35-43.
7. Abdalla IG, Stella RCR, Perim GL, Aguilar-da-Silva RH, Lampert JB, Costa NMSC. Projeto Pedagógico e Mudanças na Educação Médica. Rev Bras Educ Med. 2009; 33(1 Supl. 1): 44-52.
8. Aguilar-da-Silva RH, Perim GL, Abdalla IG, Costa NMC, Lampert JB, Stella RCR. Abordagens Pedagógicas e Tendências de Mudanças nas Escolas Médicas. Rev Bras Educ Med. 2009; 33(1 Supl.1):53-62.
9. Stella RCR, Abdalla IG, Lampert JB, Perim GL, Aguilar-da-Silva RH, Costa NMSC. Cenários de Prática e a Formação Médica na Assistência em Saúde. Rev Bras Educ Med. 2009; 33(1 Supl.1):63-69.
10. Perim GL, Abdalla IG, Aguilar-da-Silva RH, Lampert JB, Stella CR, Costa NMSC. Desenvolvimento Docente e a Formação de Médicos. Rev Bras Educ Med. 2009; 33(1 Supl.1): 70-82.
11. Lampert JB, Costa NMSC, Perim GL, Abdala IG, Stella RCR, Aguilar da Silva, RH, 2009. Tendências de Mudanças em um Grupo de Escolas Médicas Brasileiras. Ver Bras Educ Med. 2009; 33(1, supl. 1): 19-34.
12. Encarte CAES/ABEM; 2010. Disponível em: http:/ /www.abem-educmed.org.br/ caem/.
13. Minayo MCS. Importância da Avaliação Qualitativa combinada com outras modalidades de Avaliação. Sau & Transf Soc. 2011;1:3(2-11).
14. Minayo MCS, Assis SG, Souza ER. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2005.
15. Manual de Trabalho de Campo da CAEM/ ABEM; s.d. Disponível em: http:/ /www.abem-educmed.org.br/caem/.
16. Bardin L. Análise de conteúdo. Lisboa: Edições 70; 2011.
17. Minayo MCS. O desafio do conhecimento: pesquisa qualitativa em saúde. São Paulo: Hucitec-Abrasco; 2012.
18. Gomes R. A Análise de dados em pesquisa qualitativa. In: Minayo MC, org. Pesquisa social: teoria, método e criatividade. Petrópolis: Vozes; 1999.