BNN

EDUCAÇÃO PERMANENTE ONLINE EM SAÚDE DA POPULAÇÃO NEGRA – AVALIAÇÃO DOS RESULTADOS.

Profa. Dra. Isabel Cruz

Introdução

Uma das ações de implantação da Política Nacional de Saúde Integral da População Negra-PNSIPN é o curso autoinstrucional de Saúde da População Negra para os profissionais de saúde[1], oferecido online pela Universidade Aberta do SUS (UNA-SUS), por meio do Moodle. O curso oferece informação sobre estratégias para o encontro clínico cuidado centrado na pessoa negra, sua cultura e religiosidade, bem como para a desconstrução do racismo institucional, utilizando gráficos, figuras, vinhetas de estudos de caso juntamente com avaliações formativas (gamificação) e, ao final, uma avaliação somativa. Faz-se necessário, em cursos de larga escala, monitorar o desenvolvimento de nova competência e examinar a eficácia do ensino centrado no aluno.

Objetivo

Este estudo analisa os resultados da avaliação somativa do primeiro curso oferecido. O referencial é a Teoria de Resposta ao Item[2] e, com base na análise, apresenta recomendações para melhoria do processo de ensino-aprendizagem e avaliação.

Método

Os indicadores da análise de item selecionados foram Índice de Facilidade (IF) e Índice de Discriminação (ID), com os seguintes escores (IF>=85% fácil; moderado 51-84%; e difícil =< 50%; ID >= 75% bom; justo 26-74%; precário =<25%[3]). Então, foram computados os dados estatísticos gerados em janeiro de 2015 e obtidos do questionário do Moodle, utilizado como avaliação somativa. Esse questionário é composto de 15 questões escolhidas aleatoriamente, segundo regras definidas para esta oferta, do banco de questões do Moodle que tem 54 questões de múltipla escolha cadastradas (resposta única). As questões foram elaboradas conforme a metodologia para elaboração de itens de teste[4] e validadas por um painel de peritos. Para realizar a avaliação somativa, o profissional de saúde precisava ter sido aprovado nas avaliações formativas. Uma limitação do estudo é a heterogeneidade da amostra, em razão de a matrícula no curso não ser discricionária.

Descrição da experiência

A avaliação e interpretação da prova somativa do curso de Saúde da População Negra foram feitas com base na Teoria de Resposta ao Item (TRI) que possibilita representar a relação entre a probabilidade de um aluno responder corretamente a um item e suas habilidades na área de Saúde da População Negra. Assim, a relação que se estabelece é sempre expressa de tal modo que quanto maior a habilidade de cuidado centrado na pessoa negra e isento de viés étnico-racial, maior a probabilidade de acerto no item.

Resultados e análise

O resultado global, com base na TRI, é apresentado por meio da uma matriz Índice de Facilidade (IF)/Índice de Discriminação (ID):

ID

IF =<50%

51-84%

>=85%

TOTAL

>=75%

(bom)

 

 

 

0

26-74%

(justo)

05; 10; 13; 16; 17; 27; 32; 39; 47; 48

01; 02; 03; 04; 06; 12; 18; 19; 22; 23; 24; 25; 26; 28; 35; 36; 37; 42; 43; 44; 52

07; 41; 45

34

=<25%

(precário)

(08); 11;20;29;30; (31); 33; 34; (40); 50; 53

09; (14); (15); (21); 29; 46; 51

 

18

TOTAL

21

28

03

52*

*OBS: Faltam as questões 38 e 49.
() Eficiência/coeficiente de discriminação (ED) negativa

Das 54 questões de múltipla escolha de 5 respostas, sendo apenas 1 delas correta, nenhuma permitiu separar satisfatoriamente o aluno mais habilidoso (capaz de aplicar a PNSIPN no ponto do cuidado) do menos habilidoso. Isto eraum risco, tendo em vista a heterogeinedade dos alunos. Neste sentido, 18 questões apresentaram ID precário=< 25% (11 com IF=< 50%). Decidimos aplicar o indicador Eficiência de Discriminação (ED), ou seja, comprometimento com a PNSIPN no ponto do cuidado, porque mostra quanto os resultados seriam diferentes se fosse possível separar o hábil do não-hábil, estabelecendo os escores ED >= 75% boa; adequada 26-74%; precária =<25%. Os resultados mostraram que 6 questões obtiveram um valor negativo, indicando que foram respondidas errado pelos melhores alunos.Quanto à distribuição da facilidade das questões o IF foi Fácil (03), Moderad0 (28) e Difícil (21).

Conclusões

A utilização da TRI para a análise do questionário de avaliação somativa do curso de SPN propiciou o exame de cada questão quanto ao seu potencial de revelar objetivamente o entendimento, habilidade ou atitude do aluno sobre a implantação da PNSIPN e desconstrução do RI no ponto do cuidado.

Além da apresentação global dos resultados, é preciso numa próxima etapa, abordar cada questão com IF =< 50% e/ou ID/ED =< 25%, individualmente, para revisão ou substituição, observando estritamente os objetivos de aprendizagem estabelecidos para o curso, assim como as experiências de ensino oferecidas online juntamente com as avaliações formativas.

Recomendações:

  1. As questões que tiveram um índice de ED negativo devem ser revisadas conforme os objetivos de aprendizagem estabelecidos e, se necessário, substituídas no questionário (08, 14, 15, 21, 31 e 40).

  2. As questões que obtiveram baixos escores nos índices de facilidade e discriminação devem ser revisadas e, se necessário, substituídas.

  3. Estabelecer coortes de alunos do curso de SPN, por categoria profissional, preferencialmente.

Referências

[1]Cruz I., Monteiro M., LemosA., Brasil L. E-Learning topromoteBrazilianBlacks’ health&toraiseawarenessofinstitutionalracism JournalofSpecializedNursingCare [serial onthe Internet]. 2014 May 9; [Cited 2015 July 1]; 7(1):[about ## p.]. Available from: http://www.uff.br/jsncare/index.php/jsncare/article/view/2668

[2]Vendramini, Claudette Maria Medeiros, & Dias, Anelise Silva. (2005). Teoria de Resposta ao Item na análise de uma prova de estatística em universitários. Psico-USF, 10(2), 201-210. Retrieved July 01, 2015, from http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-82712005000200012&lng=en&tlng=pt. 10.1590/S1413-82712005000200012.

[4] UNA-SUS – Guia de Elaboração de Itens para Avaliação Somativa. 2012. http://www.unasus.gov.br/

Apontamentos

  • Não há apontamentos.


BNN - ISSN 1676-4893 

Boletim do Núcleo de Estudos e Pesquisas sobre as Atividades de Enfermagem (NEPAE)e do Núcleo de Estudos sobre Saúde e Etnia Negra (NESEN).