AVALIAÇÃO DO ESTUDANTE: CONTRIBUIÇÃO DO TESTE DE PROGRESSO

(Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina)

Art. 13. A implantação e desenvolvimento das diretrizes curriculares devem orientar e propiciar concepções curriculares ao Curso de Graduação em Medicina que deverão ser acompanhadas e permanentemente avaliadas, a fim de permitir os ajustes que se fizerem necessários ao seu aperfeiçoamento.

§ 1º As avaliações dos alunos deverão basear-se nas competências, habilidades e conteúdos curriculares desenvolvidos, tendo como referência as Diretrizes Curriculares.

§ 2º O Curso de Graduação em Medicina deverá utilizar metodologias e critérios para acompanhamento e avaliação do processo ensino aprendizagem e do próprio curso, em consonância com o sistema de avaliação e a dinâmica curricular definidos pela IES à qual pertence.

O Teste do Progresso é uma avaliação cognitiva sem caráter de seleção ou classificação, constituído de uma prova institucional que avalia individualmente se o ganho de conhecimento por parte do estudante está sendo contínuo e progressivo, e como o conhecimento está sendo elaborado e consolidado nas áreas básicas e clínicas, importantes para o aproveitamento do internato e o desenvolvimento final do profissional.

O Teste do Progresso foi introduzido nos cursos de Medicina na década de 1970 pela Kansas City Medical School da Universidade de Missouri (EUA) e pela então University of Limburg, hoje Universidade de Maastricht (Holanda). Desde então, várias outras escolas de Medicina passaram a utilizar esse método de avaliação de forma isolada ou em associação colaborativa.

Esse teste situa o estudante em seu processo evolutivo de ensino-aprendizado e permite à instituição realizar o diagnóstico de suas deficiências ao longo da estrutura curricular. Ele pode ser utilizado pelos colegiados competentes para avaliação de alterações curriculares e avaliações específicas de disciplinas ou módulos de ensino.

O conteúdo do teste não está ligado a nenhum modelo de curso específico e, portanto, ele avalia os objetivos finais do currículo como um todo. O conteúdo de todos os tópicos do curso vai sendo continuadamente revisado, pois não se entende essa metodologia sem uma devolutiva consistente (feedback), na qual seja possível corrigir as falhas apresentadas durante o processo formativo. Os estudantes são incentivados a adotar um estilo de aprendizado longitudinal autodirigido e entendem que até o final de sua formação os conhecimentos elaborados deverão estar consolidados para o bom exercício da profissão.

A prova deve constar de 120 a 180 questões de múltipla escolha, elaboradas com base na prática clínica, visando a problemas que exijam aplicação de princípios ou soluções que requeiram um processo mental complexo (raciocínio e reflexão). O que se avalia é o conhecimento cognitivo por meio de perguntas que abrangem todas as áreas de amplo domínio do conhecimento: ciências básicas, ciências clínicas (Saúde Coletiva, Clínica Médica, Pediatria, Tocoginecologia e Cirurgia) e ciências do comportamento/comunicação (Ética Médica e Humanidades). A prova deve ser aplicada a todos os estudantes do primeiro ao sexto ano ao mesmo tempo, na mesma hora e com as mesmas regras.

Espera-se que o estudante atinja o domínio total do conhecimento e responda corretamente a todas as questões. Entretanto, considerando-se que o desenho das questões e a confiança do teste são perfeitos apenas na teoria, escores de 80% de acertos são considerados bastante adequados. Devemos lembrar que, mesmo que os estudantes obtenham escores elevados no teste do progresso, isto não exclui que possam ter deficiências importantes no domínio de outras habilidades e atitudes. Assim, torna-se necessária uma avaliação mais completa da formação do estudante, sendo o Teste do Progresso uma das ferramentas utilizadas no processo avaliativo do ensino-aprendizagem e do currículo.

A parceria entre escolas tem contribuído para a confecção de questões com alta qualidade, além de combinar benefícios econômicos com vantagens educacionais globais, pois tira do processo de avaliação o efeito da endogenia e permite uma comparação salutar dos avanços e/ou limitações entre as instituições participantes, sempre evitando qualquer tipo de ranqueamento.

A experiência do Núcleo Interinstitucional de Estudos e Práticas de Avaliação em Educação Médica há mais de seis anos com o Teste do Progresso, realizado em parceria entre nove escolas médicas, vem mostrando eficiência e viabilidade do processo com aprimoramento a cada ano.

Entidades como o Conselho Federal de Medicina (CFM) já apoiaram e recomendaram que as escolas realizem o Teste do Progresso como uma das avaliações do curso e do estudante reforçando assim que o Teste do Progresso é importante para o aprimoramento do processo ensino-aprendizagem e do curso.

Um dos eixos de atuação da Associação Brasileira de Educação Médica (Abem) é a avaliação, sendo o Teste do Progresso para as escolas uma das metas a ser atingida.

OBJETIVO GERAL 
Instituir o Teste do Progresso Interinstitucional para todas as escolas do Brasil como parte do Eixo de Avaliação da Abem. 

OBJETIVOS ESPECÍFICOS 
– Capacitar núcleos de escolas para a elaboração da prova do Teste do Progresso colaborativa;

– Realizar oficinas sobre o Teste do Progresso nas oito regionais da Abem – Norte, Nordeste, Centro-Oeste, Minas Gerais, São Paulo, Rio de Janeiro/Espírito Santo, Sul I e Sul II;

– Auxiliar na operacionalização da elaboração e aplicação do Teste do Progresso para as escolas que solicitarem;

– Realizar oficinas para apresentar os resultados, facilidades e dificuldades na aplicação da prova dentro de núcleos colaborativos, garantindo o não ranqueamento entre os cursos;

– Elaborar prova única com questões de excelência (testadas e “aprovadas”) de todos os núcleos do Brasil.

As regionais da Abem promoveram reuniões convidando as escolas que fazem parte da sua área de abrangência para as oficinas de esclarecimento e formação dos núcleos interinstitucionais.

A formação dos grupos de escolas obedeceu a alguns critérios que facilitaram o processo da parceria. Um deles foi a distância física entre as escolas, que é um fator importante para o sucesso dos encontros presenciais e que deve ser considerado na formação dos núcleos.

As oficinas nas regionais foram compostas por duas partes. No período da manhã, discutiu-se o que é o Teste do Progresso, quais as vantagens e dificuldades, e se propôs a formação de pelo menos um núcleo. Foi orientado que os núcleos não ultrapassassem um conjunto de dez escolas, para não dificultar a realização dos encontros presenciais para a elaboração, discussão e análise das provas. No período da tarde, a oficina trabalhou com pequenos grupos na experimentação prática da elaboração de questões objetivas com qualidade, seguindo algumas regras básicas apontadas pela literatura.

Nas oficinas foi aberto um espaço para falarmos da experiência da formação, operacionalização e funcionamento do núcleo, de forma que este fosse criado e acontecesse de forma tranquila, com a participação de todos. Para isso, foi orientado que cada núcleo deveria ter representantes responsáveis de cada escola, que responderia a um coordenador escolhido pelo grupo.

Após a organização do núcleo regional e eleito seu coordenador, foi iniciado o processo de coleta de questões nas diferentes escolas, tendo cada núcleo a liberdade de utilizar uma matriz de conteúdos própria, porém com abrangência mínima das diretrizes curriculares nacionais. Seguindo as orientações fornecidas nas oficinas, as provas foram montadas com 100 a 120 questões de múltipla escolha, abrangendo as áreas de: Ciências Básicas, Saúde Coletiva, Clínica Médica, Pediatria, Tocoginecologia, Cirurgia e Ética Médica, elaboradas preferencialmente com base na prática clínica, visando a problemas que exijam aplicação de princípios ou soluções que requeiram um processo mental complexo (raciocínio e reflexão). As provas foram aplicadas entre outubro e novembro de 2013 a todos os estudantes do primeiro ao sexto ano, ao mesmo tempo, na mesma hora e seguindo as mesmas regras.

Foi enfatizado que as análises dos dados deveriam ser realizadas por uma empresa ou órgão especializado e os responsáveis deveriam garantir o sigilo do processo. Ao final, cada questão deve ser analisada, por cada escola individualmente e pelo núcleo no conjunto, quanto ao nível de dificuldade e discriminação e índice de acertos por ano do curso, principalmente para o internato.

A primeira oficina do projeto ocorreu em 9 de novembro de 2012 na regional RJ/ES, onde o processo do Teste do Progresso já havia se iniciado. A última oficina foi realizada no dia 3 de abril de 2014 em Salvador (BA) com todos os núcleos formados.

Já existiam três núcleos interinstitucionais formados, e mais nove foram criados até 27 de maio de 2013, quando a última oficina por regional foi realizada.

Os núcleos estabelecidos solicitaram um manual para ajudar na operacionalização do núcleo e da elaboração da prova. O “manual” foi elaborado com base nas experiências existentes. Nestas sugestões, foram redigidas as funções e responsabilidades de cada professor dentro do núcleo e em sua escola. Os professores representantes de sua escola no núcleo devem ter professores assessores responsáveis de cada área de conhecimento em que a prova é composta para auxiliá-los na coleta de questões e na elaboração da prova conjuntamente com as outras escolas.

Todos os núcleos, exceto um (por motivo de greve e calendário escolar), aplicaram o Teste do Progresso Interinstitucional em suas escolas. Setenta escolas aplicaram a prova em outubro/novembro de 2013.

Na oficina de Fortaleza, em 30 de janeiro de 2014, foram apresentados todos os resultados das provas aplicadas e as análises realizadas. Sentiu-se a necessidade de construir uma matriz única de temas e conteúdos para elaboração de uma prova única, a fim de analisar conjuntamente os dados de todas as escolas pertencentes ao projeto Teste do Progresso Nacional.

Nessa oficina, uma matriz única começou a ser delineada com discussões em grupo que desencadearam um processo de construção que seria concluído na oficina seguinte.

Na oficina de Salvador, pré-congresso da regional Nordeste, em 3 de abril de 2014, após discussões em dois grupos, conseguimos uma matriz única que contemplava não só os conteúdos de cada área, mas também os cenários, faixa etária e ciclo de vida.

Também finalizamos a seleção das questões para a prova única que será editada no Congresso Brasileiro de Educação Médica – Cobem 2014, com a presença de representantes de todos os núcleos, e que já conta com 80 escolas médicas.

As escolas ainda não participantes podem integrar os núcleos que ainda possuam vagas ou outros núcleos a serem criados.

A implantação de Núcleos Interinstitucionais de Teste do Progresso com processos colaborativos de realização da prova representa um grande avanço para as escolas envolvidas. As escolas iniciaram um processo de colaboração não apenas para o Teste do Progresso, mas também para o intercâmbio de informações e experiências que trocam com base no conhecimento de cada uma. 

A aplicação e análise dos resultados proporciona aos cursos e aos estudantes uma avaliação externa cognitiva a partir do momento em que deixamos de ter em uma avaliação teórica a endogenia resultante de questões feitas sempre pelos mesmos professores.

Oferece ao estudante um aprendizado do que ele teria que conhecer em uma avaliação, porque, na maioria das provas aplicadas, foi entregue aos estudantes o gabarito comentado com referências bibliográficas.

Possibilita ao curso rever seu projeto pedagógico e conteúdos tendo por base análises gerais e por área. Permite, também, o desenvolvimento docente para a elaboração de questões objetivas de múltipla escolha a partir das oficinas e orientações técnicas para a formulação dos testes.

A avaliação dos professores envolvidos na coordenação e participação nos núcleos pelas suas escolas foi muito positiva e sempre com sugestões de que este processo fosse reconhecido pelos órgãos reguladores e preocupados com a formação dos egressos.

O Teste de Progresso permite diagnósticos que podem subsidiar mudanças no currículo ou no processo pedagógico. A prova é elaborada pelas próprias escolas que querem avaliar seus estudantes e seus cursos, e promover um movimento de melhoria nas avaliações.

O Teste de Progresso não exclui as avaliações de habilidades e atitudes.

REFERÊNCIAS

1. Verhoeven BH, Snellen-Balendong HAM, Hay IT, Boon JM, Van Der Linde MJ, Blit- z-Lindeque JJ, et al. The versatility of progress testing assessed in an internatio- nal context: a start for benchmarking global standardization? Medical Teacher 2005;27(6):514-520.

2. Mcharg J, Bradley P, Chamberlain S, Ricketts C, Searle J, Mclachlan JC. Assessment of progress tests. Medical Education 2005; 39: 221-227.

3. Willoughby TL, Dimod EG, Smull NW. Correlation of quarterly profile examination and national board of medical examiner scores. Educational and Psychological Mea- surement 1977; 37: 445-449. 

4. Van Der Vleuten CPM, Verwijnen GM, Wijnen WHFW. Fifteen years of experience with progress testing in a problem based learning curriculum. Medical Teacher 1996;18:103-109.

5. Blake JM, Norman GR, Keane DR, Muelle CB, Cunnington J, Didyk N. Introducing progress testing in McMaster university?s problem-based medical curriculum: psy- chometric properties and effect on learning. Academic Medicine 1996; 71:1002-1007.

6. Van Der Vleuten CPM, Schuwirth LWT, Muijtjens AMM, Thoben A, Cohen-Schotanus J, Van Boven CPA. Cross institutional collaboration in assessment: A case on pro- gress testing. Medical Teacher 2004; 26:719-725.

7. Nouns ZM, Georg W. Progress testing in German speaking countries. Medical Tea- cher 2010; 32(6):467-70.

8. Friedman-Ben David M, Hunter I, Harden R. Introduction of a progress test as a tool for defining core undergraduate curriculum. Educacion Medica 2001; 4:97-99.

9. Van Der Vleuten CPM, Schuwirth LWT, Muijtjens AMM, Thoben A, Cohen-Schotanus J, Van Boven CPA. Cross institutional collaboration in assessment: A case on pro- gress testing. Medical Teacher 2004; 26:719-725.

10. Verhoeven BH, Verwijnen GM, Scherpbier AJJA, Van Der Vleuten CPM. Growth of medical knowledge. Medical Education 2002; 36(8):711-717.

11. Tomic ER, Martins MA, Lotufo PA, Benseñor IM. Progress testing: Evaluation of four years of application in the school of Medicine, University of São Paulo. Clinics 2005;60(5):389-96.

12. Maffei CML, Troncon LEA. Progress testing in a traditional medical school. In: Association for Medical Education in Europe (AMEE), Malaga?Espanha. Book of Abstracts for the AMEE Conference 2009. p.S189.

13. Conselho Federal de Medicina. CFM reafirma apoio à avaliação de estudantes por meio de testes de progresso. 2012 nov.14 [acesso em: 29 mai. 2014]. Disponível em: