Diferenças entre edições de "Teoria da Resposta ao Item"
(→{{Links externos}}) |
|||
(5 edições intermédias não estão a ser mostradas.) | |||
Linha 1: | Linha 1: | ||
− | A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada em medidas psicométricas, principalmente na área de avaliação de habilidades e conhecimentos. | + | A '''Teoria da Resposta ao Item''', muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada em medidas psicométricas, principalmente na área de avaliação de habilidades e conhecimentos. |
Linha 43: | Linha 43: | ||
− | Na modelagem bayesiana da Teoria da Resposta ao Item, conforme citado no início, diz-se que as respostas <tex>X_i = (x_{i1}, x_{i2}, x_{i3}, ... x_{iJ})</tex> onde <tex>J</tex> é o número de itens respondidos pelo examinando <tex>i</tex> estão correlacionadas através da habilidade e conhecimento <tex>{\theta}_i</tex> do examinando. Se <tex>{\theta}_i</tex> fosse conhecido as respostas <tex>x_{i1}, x_{i2}, x_{i3}, ... x_{iJ}</tex> seriam independentes estatisticamente. Essa abordagem costuma suscitar algumas confusões pois para o cálculo da [[ | + | Na modelagem bayesiana da Teoria da Resposta ao Item, conforme citado no início, diz-se que as respostas <tex>X_i = (x_{i1}, x_{i2}, x_{i3}, ... x_{iJ})</tex> onde <tex>J</tex> é o número de itens respondidos pelo examinando <tex>i</tex> estão correlacionadas através da habilidade e conhecimento <tex>{\theta}_i</tex> do examinando. Se <tex>{\theta}_i</tex> fosse conhecido as respostas <tex>x_{i1}, x_{i2}, x_{i3}, ... x_{iJ}</tex> seriam independentes estatisticamente. Essa abordagem costuma suscitar algumas confusões pois para o cálculo da [[verosimilhança]] utilizaremos o fato de que <tex>X_{i1} | {\theta}</tex>, <tex>X_{i2} | {\theta}</tex>, ..., <tex>X_{iJ} | {\theta}</tex> são independentes estatisticamente, ao passo que <tex>X_{i1}</tex>, <tex>X_{i2}</tex>, ..., <tex>X_{iJ}</tex> são estatisticamente dependentes. Essa propriedade é conhecida como [[independência condicional]] e pode ser estudada em mais detalhes em artigo de De Finetti, B; por hora consideremos que se soubéssemos o verdadeiro valor da habilidade e conhecimento de um examinando as suas respostas a um conjunto de itens seriam estatisticamente independentes pois já saberíamos sua habilidade. Dessa forma, submetê-lo a um conjunto de itens seria inútil: os acertos e erros aos itens seriam meramente aleatórios. Para que a Teoria da Resposta ao Item seja aplicável é necessário pressupor que a habilidade e conhecimento de um examimando seja conhecido através de uma incerteza, representada por uma distribuição de probabilidade, e que os acertos e erros de um examinando numa prova revelem informações sobre seus conhecimentos e habilidades. |
− | Considerando a propriedade da independência condicional dos acertos e erros dos itens respondidos por um examinando, a | + | Considerando a propriedade da independência condicional dos acertos e erros dos itens respondidos por um examinando, a verosimilhança gerada pelas respostas de um examinando é dada por: |
Linha 57: | Linha 57: | ||
− | Onde <tex>P({\theta}_i)</tex> é a [[distribuição de probabilidade]] a priori para a habilidade e conhecimento do examinando <tex>i</tex>, :<tex>L({\theta} | X_i = x_i)</tex> é a | + | Onde <tex>P({\theta}_i)</tex> é a [[distribuição de probabilidade]] a priori para a habilidade e conhecimento do examinando <tex>i</tex>, :<tex>L({\theta} | X_i = x_i)</tex> é a verosimilhança gerada pelas respostas aos itens e <tex>P({\theta}_i | X_i = x_i)</tex> é a distribuição de probabilidade a posteriori para o mesmo examinando ao responder os itens <tex>X_i = (x_i1, x_i2, ..., x_iJ)</tex>. |
− | == | + | ==Referências== |
* Andrade, D., Valle, R. (1998). Introdução à Teoria da Resposta ao Item. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 18, 13-32. | * Andrade, D., Valle, R. (1998). Introdução à Teoria da Resposta ao Item. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 18, 13-32. | ||
* Angoff, W. (1971). Scales, Norms, and Equivalent Scores. In R. L. Thorndike (Ed.), Eduacational Meassurement (2nd. ed.), Washington, D.C.: American Council on Education. | * Angoff, W. (1971). Scales, Norms, and Equivalent Scores. In R. L. Thorndike (Ed.), Eduacational Meassurement (2nd. ed.), Washington, D.C.: American Council on Education. | ||
Linha 74: | Linha 74: | ||
=={{Ligações externas}}== | =={{Ligações externas}}== | ||
<references/> | <references/> | ||
− | + | *[http://en.wikipedia.org/wiki/De_Finetti's_theorem Teorema de De Finetti] (texto em inglês) | |
− | [http://en.wikipedia.org/wiki/De_Finetti's_theorem Teorema de De Finetti] (texto em inglês) | + | |
Linha 81: | Linha 80: | ||
[[Categoria:Estatística]] | [[Categoria:Estatística]] | ||
− |
Edição atual desde as 17h27min de 20 de dezembro de 2007
A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada em medidas psicométricas, principalmente na área de avaliação de habilidades e conhecimentos.
Índice
Aplicação
A aplicação mais freqüente da Teoria da Resposta ao Item são as avaliações de habilidades e conhecimentos em Testes de Múltipla escolha. A Teoria da Resposta ao Item, contudo, pode abranger também testes dissertativos além de poder abarcar várias outras áreas onde se deseje obter uma medida indireta de alguma característica, por exemplo: estimar a altura de uma pessoa através de um questionário com perguntas indiretas como "Você costuma abaixar a cabeça ao passar por uma porta?" onde sabemos que as respostas "sim" e "não" estão correlacionadas com a característica a ser medida indiretamente, no caso a altura da pessoa. Outras áreas proeminentes para a aplicação da Teoria da Resposta ao Item são os Testes Psicológicos e questionários em geral, com destaque para questionários que meçam o nível sócio-econômico dos pesquisados.
A Teoria da Resposta ao Item é utilizada em avaliações de vários países, onde os programas de avaliação mais conhecidos são o NAEP<ref>NAEP - National Assessment of Educational Progress</ref> nos Estados Unidos da América, o ETS<ref>ETS - Educational Testing Service</ref> nos Estados Unidos da América, o GMAT<ref>GMAT - Graduate Management Admission Test</ref> nos Estados Unidos da América, o CITO<ref>CITO - Institute for Educational Measurement </ref> na Holanda e vários outros. No Brasil o principal programa de avaliação que utiliza a Teoria da Resposta ao Item é o SAEB, que desde sua criação em 1995, utiliza-a para estimar as habilidades e conhecimentos dos alunos do Ensino Básico e Médio das escolas públicas brasileiras através de amostragem do universo desses alunos.
História
A Teoria da Resposta ao Item surgiu a partir de discussões teóricas sobre a viabilidade de se comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes. A Teoria Clássica dos Testes, principal teoria estatística para medida dessas características na época, via-se diante de enormes dificuldades para comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes. Nesse sentido, em 1950, Gulliksen, H definiu, no âmbito da Teoria Clássica dos Testes que duas provas podem ser consideradas formas paralelas quando, após a conversão para a mesma escala, suas médias, desvios padrão de acertos bem como demais correlações do número de acertos com todo e qualquer outro critério fossem iguais. Em 1971, ainda no âmbito da Teoria Clássica dos Testes, Angoff, W delimita a equivalência de provas ao apresentar as seguintes exigências:
- As provas devem medir a mesma característica ou habilidade;
- A equivalência estabelecida deve ser independente dos dados em particular utilizados para estabelecer esse princípio e deve ser aplicável em todas as situações parecidas;
- Os escores de duas provas, uma vez estabelecida sua equivalência, devem ser substituíveis entre si, e;
- A equivalência deve ser simétrica, ou seja, não deve fazer distinção entre a prova particular escolhida como base de referência.
Ainda no âmbito da Teoria Clássica dos Testes, em 1977, Lord, F M estende as considerações levantadas por Angoff. A noção de escores substituíveis ganha nova dimensão com a introdução do conceito de equidade: Os escores transformados y* e observados x podem ser considerados "equivalentes" quando houver indiferença se um examinando responder a prova X ou Y. De acordo com esse princípio:
- Torna-se inviável a tentativa de se estabelecer a equivalência entre provas que medem diferentes características ou habilidades (consistente com a primeira restrição de Angoff);
- A equivalência de escores com margens de erro desiguais não pode ser estabelecida (consistente com os escores substituíveis de Angoff);
- Não se pode estabelecer a equivalência de provas que refletem diferentes níveis de dificuldades.
Segundo Lord, se as provas X e Y têm dificuldades diferentes, a relação entre seus escores verdadeiros é necessariamente não linear devido aos efeitos de piso e de teto. Se duas provas têm uma relação não linear é implausível que elas sejam igualmente fidedignas em todos os grupos de examinandos. Isso leva à conclusão incômoda de que, a rigor, não se pode tornar equivalentes os escores observados em provas de dificuldades diferentes. Todo esse panorama levou Lord a defender as vantagens teóricas dos modelos da teoria da resposta ao item em procedimentos que estabelecem a equivalência dos resultados de provas.
Fundamentos
A Teoria da Resposta ao Item trata o problema da estimação da habilidade e conhecimento de um examinando de forma essencialmente diferente: o enfoque das análises desvincula-se das provas (Teoria Clássica dos Testes) e concentra-se nos Itens; se na Teoria Clássica dos Testes as estatísticas dos itens dependem da população dos examinandos e da prova à qual os itens pertencem, na Teoria da Resposta ao Item cria-se o conceito de que os parâmetros dos itens, obtidos no processo estatístico de "calibração" dos parâmetros de dificuldade, discriminação e acerto casual dos itens (Valle, R) são características próprias dos mesmos. Costuma-se considerar que a característica de medição dos Itens, representados por seus parâmetros, são invariantes no tempo com algumas ressalvas, por exemplo: um item que aborde o conhecimento sobre eclipses solares e lunares estará sujeito a variações de suas características de medição conforme o modismo, sobretudo quando um eclipse ocorre; em casos como esse, a invariância dos parâmetros do item no tempo não deve ser considerada como verdadeira. Consideradas as ponderações anteriores, uma característica fundamental para a viabilidade de comparação da habilidade e conhecimento de examinandos submetidos a provas diferentes é que a Teoria da Resposta ao Item modela a probabilidade de acerto a um item, também conhecida como Curva Característica do Item, através de uma função não linear do conhecimento dos examinandos. Essa característica da modelagem da Teoria da Resposta ao Item é de grande importância pois, desse modo, é possível comparar o conhecimento dos examinandos submetidos a provas diferentes sendo necessário apenas que as provas meçam as mesmas características; essa propriedade é essencialmente útil para sistemas de avaliações onde é possível submeter uma grande quantidade de tópicos de uma matéria em sala de aula (útil para se ter um painel geral sobre o ensino de vários tópicos) com os alunos respondendo apenas um conjunto pequeno dos itens utilizados na avaliação (útil para não tornar as provas excessivamente extensas).
Modelagem Estatística
A modelagem mais moderna para a Teoria da Resposta ao Item utiliza a Estatística Bayesiana. Nessa modelagem, a probabilidade de acerto de um item é condicionada à habilidade e conhecimento do examinando. A curva que modela a probabilidade de acerto de um item é uma função crescente na ordenada da habilidade e conhecimento; o gráfico que tem a probabilidade condicional de acerto de um item na abcissa e a habilidade e conhecimento na ordenada é conhecido como Curva Característica do Item.
Na abordagem bayesiana da Teoria da Resposta ao Item costuma-se representar a habilidade e conhecimento por uma variável aleatória simbolizada grega ; a variável aleatória que representa o acerto ou erro de um item ´s simbolizada pela letra ; o resultado (acerto ou erro) de um item respondido é representado por , onde normalmente representa o acerto do item e representa o erro. O gráfico da Curva Característica do Item acima é portanto um gráfico que associa a probabilidade de acerto em função de . Adicionalmente costuma-se utilizar o índice para indicar um examinando específico ( representa a habilidade e conhecimento do examinando ) e o índice para indicar um item específico ( representa os possíveis resultados do item e representa a resposta do examinando ao item ).
Existe uma gama extensa de modelos da Teoria da Resposta ao Item: os modelos mais complexos podem considerar uma multidimencionalidade da habilidade e conhecimento onde a variável teta que a representa é um vetor multidimencional como também considerar a abordagem de créditos parciais para acomodar itens com estágios hierárquicos de desenvolvimento, por exemplo: primeiro estágio se nada está correto na resolução do item (). segundo estágio se o item foi corretamente esquematizou o problema corretamente (); terceiro estágio se o desenvolvimento do raciocínio está correto () e; quarto estágio se o item foi respondido corretamente na íntegra (). O modelo de créditos parciais, embora pouco utilizado, é adequado para questões discursivas.
O modelo mais simples e usual da Teoria da Resposta ao Item considera itens dicotômicos (onde os possíveis resultados são acerto ou erro) e uma função logística para modelar a Curva Característica do Item:
Na modelagem bayesiana da Teoria da Resposta ao Item, conforme citado no início, diz-se que as respostas onde é o número de itens respondidos pelo examinando estão correlacionadas através da habilidade e conhecimento do examinando. Se fosse conhecido as respostas seriam independentes estatisticamente. Essa abordagem costuma suscitar algumas confusões pois para o cálculo da verosimilhança utilizaremos o fato de que , , ..., são independentes estatisticamente, ao passo que , , ..., são estatisticamente dependentes. Essa propriedade é conhecida como independência condicional e pode ser estudada em mais detalhes em artigo de De Finetti, B; por hora consideremos que se soubéssemos o verdadeiro valor da habilidade e conhecimento de um examinando as suas respostas a um conjunto de itens seriam estatisticamente independentes pois já saberíamos sua habilidade. Dessa forma, submetê-lo a um conjunto de itens seria inútil: os acertos e erros aos itens seriam meramente aleatórios. Para que a Teoria da Resposta ao Item seja aplicável é necessário pressupor que a habilidade e conhecimento de um examimando seja conhecido através de uma incerteza, representada por uma distribuição de probabilidade, e que os acertos e erros de um examinando numa prova revelem informações sobre seus conhecimentos e habilidades.
Considerando a propriedade da independência condicional dos acertos e erros dos itens respondidos por um examinando, a verosimilhança gerada pelas respostas de um examinando é dada por:
Após o examinando responder um conjunto de itens a estimativa da habilidade e conhecimento pode ser facilmente calculada através do Operador de Bayes:
Onde é a distribuição de probabilidade a priori para a habilidade e conhecimento do examinando , : é a verosimilhança gerada pelas respostas aos itens e é a distribuição de probabilidade a posteriori para o mesmo examinando ao responder os itens .
Referências
- Andrade, D., Valle, R. (1998). Introdução à Teoria da Resposta ao Item. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 18, 13-32.
- Angoff, W. (1971). Scales, Norms, and Equivalent Scores. In R. L. Thorndike (Ed.), Eduacational Meassurement (2nd. ed.), Washington, D.C.: American Council on Education.
- Gulliksen, H (1950). Theory of Mental Tests. New York: Wiley.
- De Finetti, B. (1931). Funzione caratteristica di un fenomeno aleatorio. Atti della R. Academia Nazionale dei Lincei, Serie 6. Memorie, Classe di Scienze Fisiche, Mathematice e Naturale, 4:251–299.
- Fletcher, P (1995). Procedimentos para Estabelecer a Equivalência de Provas com Modelos da Resposta ao Item. Ensaio. Rio de Janeiro. v. 3, n. 6, p. 41-54.
- Lord, F M.. (1977). Pratical Applications of Item Response Theory to Pratical Testing Problems. Hillsdale, New Jersey: Lawrence Erlbaum.
- Lord, F M., & Novick, M R, (1968). Statistical Theories of Menthal Test Scores. Reading Mass: Addison-Wesley.
- Klein, R. (2003). Utilização da Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro, 11, 40, 283-96.
- Mislevy, J., Bock, D (1990). BILOG 3: Item Analysis and Test Scoring with Binary Logistic Models. Chicago: Scientific Software Inc.
- Valle, R. (2000). Teoria da Resposta ao Item. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 21, 7-91.
- Valle, R. (2001). Construção e Interpretação de Escalas de Conhecimento: um Estudo de Caso. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 23, 71-92.
Links relevantes
<references/>
- Teorema de De Finetti (texto em inglês)
Esta página usa conteúdo da Wikipedia. O artigo original estava em Teoria_da_Resposta_ao_Item. Tal como o Think Finance neste artigo, o texto da Wikipedia está disponível segundo a GNU Free Documentation License. |