Introdução

As reações de hipersensibilidade a drogas (RHD) representam até 15% de todas as reações adversas a drogas¹. A depender do mecanismo envolvido, podem cursar com uma variedade de manifestações clínicas, como urticária, angioedema, broncoespasmo, anfilaxia, exantemas, dentre outros sinais e sintomas. Geralmente, a pele pode ser acometida em mais de 90% dos casos².

A relação entre a manifestação clínica e os medicamentos suspeitos muitas vezes é difícil de ser comprovada e prejudica o seguimento adequado do paciente. A ausência do diagnóstico etiológico de certeza interfere na escolha de tratamentos específicos, que podem não ser tão eficazes quando comparados àqueles de primeira linha³.

Seja como for, as RHD influenciam de modo significante a prática clínica diária e são causa frequente de aumento no tempo de hospitalização, modificações na prescrição médica e consequente impacto socioeconômico².

Na prática clínica, do ponto de vista do paciente, o antecedente de RHD é uma experiência acompanhada por conteúdo emocional intenso, como medo, ansiedade, somatização e insegurança frente à necessidade do uso de qualquer medicamento que certamente pode exercer influência negativa em sua vida, e comprometer o seu desempenho diário⁴. A avaliação da qualidade de vida relacionada à saúde (QVRS) é importante para mensurar o impacto de doenças no dia a dia dos pacientes⁵.

A repercussão das RHD na qualidade de vida (QV) pode ser verificada pela utilização de um questionário específico, o Drug Hypersensitivity Quality of Life Questionnaire (DrHy-Q), desenvolvido originalmente na língua italiana. Esse é um instrumento de domínio único, composto por 15 itens, que atendeu aos padrões de validade de construto, consistência interna e confiabilidade, indicando ser apropriado para uso isolado ou em combinação com outros questionários, com intuito de relatar as experiências emocionais de pacientes com hipersensibilidade a fármacos⁶.

O DrHy-Q também já foi traduzido e validado para as línguas turca, holandesa, espanhola, tailandesa e portuguesa de Portugal^7-11.

Existe a versão brasileira do Medical Outcomes Study 36-Item Short-Form Health Survey (SF-36), que é um instrumento genérico para avaliação em saúde, sendo constituído por 36 questões de fácil administração e compreensão, podendo ser aplicados à população geral¹².

No Brasil não há estudos que avaliem a QV de pacientes com hipersensibilidade a medicamentos, bem como não há uma versão validada do DrHy-Q na língua portuguesa (cultura brasileira).

O desenvolvimento de uma ferramenta específica seria demorado, oneroso e impossibilitaria a comparação dos resultados obtidos com os observados em outros países. Por isso, a importância de realizar a adaptação transcultural do DrHy-Q, que é um instrumento válido e confiável.

Este estudo tem por objetivo traduzir, adaptar e validar a versão original do Drug Hypersensitivity Quality of Life Questionnaire (DrHy-Q) para a língua portuguesa (cultura brasileira, DrHy-Qb) e verificar a sua validade, confiabilidade e reprodutibilidade.

Métodos

O estudo tem delineamento transversal de uma população acompanhada entre novembro de 2017 e dezembro de 2019 em ambulatório especializado. Nesse período, foram atendidos 174 pacientes, maiores de 18 anos, com história suspeita de RHD.

Para o processo de adaptação e validação do DrHy-Qb, foi utilizada amostra de conveniência com 94 pacientes com história provável de RHD¹³. De acordo com a escala de causalidade, consideramos uma reação provável quando há presença de um evento clínico com relação temporal após a administração do medicamento, podendo ou não apresentar teste laboratorial anormal, sendo improvável atribuir a outras doenças ou produtos químicos e com resposta clínica após retirada do mesmo¹³.

Foram incluídos pacientes maiores de 18 anos, independentemente de sexo, com história provável de RHD, que aceitaram participar do estudo e assinaram o Termo de Consentimento Livre Esclarecido (TCLE). Nos critérios de exclusão estavam pacientes com história improvável ou possível de RHD, com presença outras doenças crônicas, como doenças psicossomáticas e uso rotineiro de analgésicos, capazes de interferir na QV e que se recusaram participar do estudo.

Tradução do Drug Hypersensitivity Quality of Life Questionnaire (DrHy-Q)

A adaptação linguística foi baseada em método sugerido pela autora do questionário original, com objetivo de obter uma versão traduzida equivalente conceitualmente ao questionário original.

O processo de tradução da versão original em língua italiana para a língua portuguesa (cultura brasileira) foi avaliado por uma equipe (dois tradutores bilíngues na língua italiana e dois médicos alergistas e imunologistas, detentores do conhecimento técnico na área), de forma independente e cientes dos objetivos da pesquisa.

Enfatizou-se a necessidade da tradução ser conceitual e não somente literária, bem como a linguagem ser coloquial e de fácil compreensão. A tradução abrangeu os mesmos conceitos e itens que o instrumento original, com expressões culturalmente relevantes e aceitas.

Retrotradução do Drug Hypersensitivity Quality of Life Questionnaire (DrHy-Q)

A versão de consenso foi retrotraduzida para o italiano, por outro tradutor com idioma materno italiano e bilíngue no idioma português, e comparada com a original, por uma avaliadora de idioma natal italiano, com a finalidade de rever o significado referencial de cada item, além de detectar diferenças ou discrepâncias entre ambas as edições.

Essa versão retrotraduzida também foi avaliada pela equipe do estudo e pela autora do questionário original, sendo, portanto, conduzida para a fase de adaptação transcultural.

Adaptação do Drug Hypersensitivity Quality of Life Questionnaire (DrHy-Q)

A versão de consenso foi aplicada a uma amostra de 10 pacientes com o objetivo de avaliar se a tradução era de fácil compreensão, com linguagem simples e apropriada.

Esses pacientes foram escolhidos de modo aleatório quando em consulta de rotina. Foram questionados sobre dificuldades na compreensão das perguntas, das opções de respostas e solicitados que opinassem, quando pertinente, quanto à melhor forma de realizá-las.

A versão final do DrHy-Q adaptado (DrHy-Qb) (Anexo A) foi composta por 15 itens, com escore total podendo variar de 15 pontos (melhor QV) a 75 pontos (pior QV), empregando-se a Escala de Likert de 5 pontos.

Validação do Drug Hypersensitivity Quality of Life Questionnaire adaptado (DrHy-Qb)

Uma amostra de conveniência de 84 pacientes com história provável de RHD responderam ao DrHy-Qb, juntamente com a versão brasileira de um instrumento genérico em saúde (SF-36: The Medical Outcomes Short-Form Health)¹².

Durante este processo de validação, medidas psicométricas foram mensuradas, como validade de construto, confiabilidade e reprodutibilidade do instrumento avaliado.

Análise estatística

Os dados coletados foram armazenados em arquivo no programa Microsoft Excel^® e a análise estatística foi realizada pelo software estatístico SPSS 25.0 (Statistical Package for the Social Sciences), adotando o nível de significância de 5% (p < 0,05).

Para análise dos dados, as variáveis quantitativas e qualitativas foram avaliadas descritivamente. Além disso, foram realizados testes de normalidade de amostra e homogeneidade de variâncias, como pré-requisitos para possíveis análises de correlações paramétricas e não paramétricas.

Na avaliação do constructo do questionário, optou-se pelo cálculo do coeficiente de correlação de Pearson (r), que pode variar entre -1 a +1, e, quanto mais próximo ao valor 1, mais forte é considerada a correlação. Os valores negativos equivalem a correlações inversamente proporcionais¹⁴.

O coeficiente de confiabilidade alfa de Cronbach foi utilizado para avaliar a consistência interna do instrumento. Quanto mais próximo de 1 for o resultado, mais consistentes serão as variáveis testadas¹⁵. Valores acima de 0,75 são consideráveis aceitáveis^16,17.

Para avaliação da reprodutibilidade do DrHy-Qb foi utilizado o coeficiente de correlação intraclasse (ICC), buscando a concordância do mesmo examinador, no primeiro momento e à sua reaplicação, após prazo de 7 a 30 dias. Para ter validade estatística espera-se que pelo menos 20% da amostra seja reavalida. O resultado próximo ao valor de 1, aponta correlação forte, ou seja, com uma menor variabilidade das medidas comparadas^18,19.

Aspectos éticos

O projeto foi analisado e aprovado pelo Comitê de Ética e Pesquisa da UNIFESP e cadastrado na Plataforma Brasil (CAAE: 42295414.7.00005505). A integridade, privacidade e o sigilo das informações dos pacientes foram rigorosamente respeitados. Todos os procedimentos da pesquisa seguiram a resolução nº 466/12 e a resolução nº 510/16 do Conselho Nacional de Saúde, sobre pesquisa com seres humanos. Todos os participantes assinaram o TCLE.

Resultados

Avaliação da equivalência conceitual, de itens e semântica do DrHy-Qb

Dos dez pacientes selecionados, na fase de adaptação cultural, sete deles demonstraram entender todos os itens do DrHy-Qb. Três pacientes sugeriram mudanças de cunho semântico nas questões, em relação a termos e palavras mais apropriadas para melhor compreensão e aproximação da realidade brasileira.

Durante a fase de validação, alguns dos entrevistados tiveram dificuldade em distinguir os sentimentos questionados: ansiedade, angústia, pavor, preocupação e medo. O tempo médio de aplicação foi de 7,5 minutos para os pacientes que compreenderam e autopreencheram o questionário, enquanto o tempo médio entre os que necessitaram do auxílio de um entrevistador para leitura das perguntas foi de 24 minutos. Todos os pacientes responderam às questões do DrHy-Qb.

Características socioeconômicas e clínicas da amostra

O sexo feminino correspondeu a 69% (n = 58) da amostra e a média de idade da população foi 40,3 anos (mediana [DP], mínimo-máximo; 36 anos [15,19], 18-72 anos). Optou-se em realizar o método de leitura das questões em 21,4% (n=18) dos pacientes que não sabiam ler e escrever e tinham discernimento sobre a doença. As demais características socioeconômicas foram descritas na Tabela 1.

Em relação às manifestações clínicas, a mais frequente foi o angioedema palpebral isolado, que ocorreu em 40,5 % (n = 34), seguido de anafilaxia em 35,7% (n = 30). As reações de hipersensibilidade descritas foram relacionadas ao número de drogas, número de episódios e à classe de drogas implicadas (Tabela 2).

Avaliação de confiabilidade do DrHy-Qb

Pelo cálculo do coeficiente alfa de Cronbach, demonstramos que a consistência interna, entre os 15 itens do DrHy-Qb, foi excelente, α = 0,936.

De maneira semelhante, o DrHy-Qb mostrou ser preciso, pela confirmação da confiabilidade por item, ou seja, todas as questões contribuíram para uma boa fidedignidade ao comporem o questionário (Tabela 3).

Avaliação da reprodutibilidade pelo coeficiente de correlação intraclasse (ICC)

Vinte e três pacientes (27,3%) foram selecionados de forma aleatória e responderam novamente ao DrHy-Qb em tempo variável de 7 a 30 dias após a primeira avaliação. Neste estudo, houve classificação excelente na concordância da reprodutibilidade do questionário testado.

O coeficiente intraclasse (ICC) mostrou correlação de r = 0,984 (IC95% = 0,963-0,993, p < 0,001) confirmando concordância excelente de reprodutibilidade do DrHy-Qb.

Avaliação de constructo do DrHy-Qb

A média do escore do DrHy-Qb foi 43,19 pontos (mediana [DP], mínimo-máximo; 44 [13,95], 15-70) e a média do somatório total do SF-36 foi 108,44 pontos (mediana [DP], mínimo-máximo; 111,55 [18,48], 60,5-139) (Tabela 4). Vale salientar, quanto maior o valor do DrHy-Qb, bem como menor o SF-36, pior será considerada a QV.

O coeficiente de correlação de Pearson mostrou haver correlação negativa (instrumentos inversamentes proporcionais) e moderada entre a média do escore de DrHy-Qb e a média do somatório total do SF-36 (r = -0,394; p < 0,01). Com relação aos domínios, não houve significância em "limitação por aspectos físicos" (p = 0,11) e "vitalidade" (p = 0,07). Já os demais domínios tiveram correlação negativa, moderada e significante com a média do escore de DrHy-Qb (Tabela 5).

Discussão

Tradução e adaptação transcultural

Na fase de tradução, a comparação da versão retrotraduzida com a versão fonte original foi feita com a finalidade de detectar quaisquer mal-entendidos, erros de tradução ou imprecisões do novo questionário. No processo do desenvolvimento de um instrumento por consenso, a própria tradução por método de comitê reduz o viés cultural e social que podem acontecer quando apenas um ou dois tradutores são responsáveis pela tradução.

Embora todas as versões de tradução do DrHy-Q tenham partido do original italiano, cada adaptação para as diferentes culturas poderia ter alterado o conteúdo do questionário e consequentemente seu objetivo em avaliação. Isso é minimizado quando se faz a conciliação com o autor do questionário original. Após a validação da versão brasileira, optou-se por denominá-la DrHy-Qb para melhor diferenciação com as demais versões culturais existentes.

Alguns dos entrevistados tiveram dificuldade em distinguir os sentimentos questionados no DrHy-Qb: ansiedade, angústia, pavor, preocupação e medo. Por mais que esses termos estejam relacionados a sentimentos negativos, eles não são considerados sinônimos^20,21.

De acordo com o Instituto Brasileiro de Geografia e Estatística em 2018 havia 11,3 milhões de pessoas com mais de 15 anos de idade que não sabiam ler ou escrever²². Assim, era de se esperar que alguns pacientes tivessem limitações na compreensão do questinário. Dessa forma, considerou-se auxiliar 18 pacientes na leitura do instrumento para melhor entendimento do processo, além de ser observado um tempo médio de 24 minutos necessários para responder o mesmo. Os demais pacientes com escolaridade a partir do ensino fundamental até a pós-graduação responderam ao questionário sem dificuldades.

A versão tailandesa quantificou um tempo médio de aproximadamente 7,4 minutos, semelhante ao observado em nosso estudo¹⁰. Os demais estudos de validação do DrHy-Q não especificaram tempo de aplicação do questionário^6‑11.

Sobre a coleta de dados, no estudo tailandês houve percentuais baixos de itens não preenchidos, cerca 1,2% da amostra¹⁰. O estudo holandês mostrou abandono nas respostas dos questionários em 42% e isso foi esperado devido à coleta dos dados ter sido por e-mail⁸. No nosso estudo todos os pacientes responderam completamente a versão brasileira, o DrHy-Qb.

Avaliação das propriedades psicométricas do questionário

Os dados de avaliação psicométrica encontrados no nosso estudo mostraram que o DrHy-Qb está alinhado com os resultados de outros estudos de validação dessa ferramenta^6‑11.

Na avaliação de constructo do questionário, optamos por usar o coeficiente de correlação de Pearson (r) por se tratar de análise com duas variáveis dependentes quantitativas (DrHy-Qb e SF-36). Observamos correlação negativa, ou seja, inversamente proporcional, que é condizente com a interpretação de que quanto maior o escore do DrHy-Qb, pior a QV do paciente, e quanto maior os valores absolutos do SF-36 total e por domínios, melhor a QV do paciente estudado.

Nenhum paciente relatou o uso de medicações corriqueiras para tratar alguma doença física. Nesse estudo, os dados comprovaram a falta de correlação de possíveis limitações por aspectos físicos e de vitalidade com o comprometimento na QV dos pacientes.

A avaliação de construto pelo cálculo do coeficiente de correlação de Pearson entre o escore do DrHy-Qb e a média do somatório total do SF-36 mostrou-se negativa e moderada (r = -0,394; p < 0,01) e foi capaz de demonstrar que aspectos específicos na QVRS desses pacientes com experiências de RHD não foram detectados adequadamente pela ferramenta genérica (SF-36). Este resultado corrobora os dados encontrados por outros estudos de validação do DrHy-Q^6-11.

A avaliação da confiabilidade do DrHy-Qb pelo cálculo do coeficiente alfa de Cronbach mostrou o quão consistente é o instrumento. Se as respostas fossem discrepantes, haveria a tendência de não ser confiável para mensurar aquilo que se pretende. Algumas perguntas têm a capacidade de aumentar a consistência dos questionários e outras em diminuir. O resultado desse estudo evidenciou um α global de 0,936, mostrando uma excelente consistência entre os 15 itens do questionário.

Ao comparar o alfa global com o alfa excluindo cada questão, foi possível determinar se a remoção desse item aumentaria a confiabilidade geral do questionário, caso o alfa resultante fosse maior que global. No nosso estudo, todas as perguntas apresentaram comportamento semelhante e importante ao compor o DrHy-Qb, com α por item acima de 0,928 até α global de 0,936. Nos demais estudos publicados, o DrHy-Q também apresentou confiabilidade elevada^6‑11.

A análise estatística evidenciou que o DrHy-Qb atendeu aos padrões de reprodutibilidade para validação de instrumentos em QVRS, semelhante aos estudos anteriores^6‑11. Para que não houvesse perda amostral, alguns pacientes responderam novamente ao questionário entre o período mínimo de 7 dias e máximo de 30 dias.

Todos foram questionados sobre a ocorrência de alguma mudança significativa de vida e de saúde na última semana, semelhante ao que aconteceu no estudo tailandês¹⁰, e o tempo não determinou impacto sobre a QVRS desses pacientes.

A nossa avaliação de teste-reteste, aplicado em 27,3% da amostra, apresentou resultado excelente e confirmado pelo cálculo do ICC (r = 0,984; IC95% = 0,963-0,993, p = 0,0001). As demais validações do DrHy-Q seguiram resoluções semelhantes e com percentual amostral também aproximado^6‑11.

Escores obtidos do DrHy-Qb

Comparar as pontuações do DrHy-Qb com as obtidas em estudos de outros países nos auxiliou na investigação de diferenças culturais e o impacto sobre a QVRS. Entretanto, no estudo holandês de validação, foi realizada uma reformulação na escala do somatório do escore de DrHy-Q para 0-100, onde o valor máximo indicou comprometimento na qualidade de vida⁸.

Utilizar a ferramenta como ela foi descrita e desenvolvida é importante para melhor comparabilidade das casuísticas e respectivos resultados. Por essa razão, o somatório do escore de DrHy-Q foi reformulado para uma escala com variação de 0 a 100 pontos, onde 100 pontos indicam maior comprometimento na QVRS e para a escala original 15-75 pontos, onde 75 pontos apontam pior QV⁶. Sendo assim, foi possível analisar as medianas do escore de DrHy-Q nas diferentes populações onde essa ferramenta foi validada (Tabela 6).

Para conversão do escore de DrHy-Q em uma escala de 0 a 100 pontos foi utilizada a fórmula:

A mediana do escore do DrHy-Qb foi 48 pontos. Já para reformular o escore de DrHy-Q na escala de 15 a 75 pontos, utilizou-se a fórmula:

A mediana do escore do DrHy-Qb foi 44 pontos (Tabela 6).

A mediana do escore de DrHy-Q no estudo tailandês não foi descrita, apenas as médias para as variáveis estudadas¹⁰. Já no estudo holandês, os dados mais baixos se justificariam por ser um estudo retrospectivo, com os diagnósticos e aconselhamentos realizados previamente à aplicação do questionário em comparação às populações italiana e turca. Além disso, foram observadas percepções mais saudáveis do povo holandês em relação aos outros países estudados, como o menor consumo de medicamentos. Essas diferenças culturais e sociais poderiam influenciar no resultado do DrHy-Q⁸.

O escore mediano do DrHy-Qb, em relação ao resultado dos outros países, foi considerado alto, provavelmente pelo fácil acesso aos medicamentos, muitos desses sem a obrigatoriedade de uma receita médica para aquisição, e sua consequente automedicação, aumentando a frequência de exposições aos fármacos. Outro fator associado seria, possivelmente, o aumento do consumo de medicamentos de forma indiscriminada no Brasil²³.

Ao contrário de outros estudos retrospectivos em que o paciente é abordado após anos das reações ou aconselhamento médico, uma das vantagens deste estudo foi o fato de os pacientes terem sido avaliados durante o levantamento da hipótese diagnóstica e antes da realização de testes cutâneos ou de provocação. Desta forma, reduz-se o risco de influenciar o resultado do questionário.

Todos os pacientes responderam adequadamente aos itens do instrumento DrHy-Qb e não houve perda amostral em nosso estudo. Outro aspecto que não contribuiu para possíveis vieses foi o de não termos abordado doenças psicossomáticas ou psiquiátricas, bem como doenças relacionadas a dor crônica e uso corriqueiro de remédios para analgesia. Estes fatores de confusão poderiam comprometer essa avaliação específica em QVRS.

Limitações do estudo e empregabilidade do instrumento validado

Uma das limitações do nosso estudo foi o fato de não ter sido realizado em conjunto com outros centros de referência em alergia a fármacos no Brasil, o que proporcionaria maior casuística e representação mais ampla dos pacientes com RHD.

As diferenças étnicas e socioeconômicas, bem como a participação de pacientes com farmacodermias tardias graves, não foram avaliadas nesse estudo. Esses tópicos deverão ser investigados futuramente.

Conclusões

Este estudo possibilitou que o questionário DrHy-Q fosse adequadamente traduzido, adaptado culturalmente e suas propriedades psicométricas avaliadas de acordo com as orientações dos autores que o desenvolveram⁶. A versão portuguesa do DrHy-Q (cultura brasileira, DrHy-Qb) apresentou excelente confiabilidade, validade de construto e reprodutibilidade, o que possibilita a sua utilização na avaliação da qualidade de vida dos pacientes com hipersensibilidade a drogas, bem como para direcionar um tratamento ou suporte psicológico aos que mais necessitarem. O DrHy-Qb é uma ferramenta útil para avaliação da QRVS em futuras pesquisas científicas brasileiras.

Anexo 1
Questionário de Qualidade de Vida em Hipersensibilidade a Drogas para a língua portuguesa (cultura brasileira) - DrHy-Qb

Referências

1. Demoly P, Adkinson NF, Brockow K, Castells M, Routledge PA, Savage RL, et al. International Consensus on drug allergy. Allergy. 2014 April; 69(4):420‑37.

2. Ensina LF. Abordagem ao paciente com hipersensibilidade a Drogas: perspectiva clínica. In: Ensina LF, Camelo-Nunes IC, Solé D, eds. Alergia a Fármacos: do diagnóstico ao tratamento. 1ª ed. São Paulo: Atheneu; 2019. p. 53-61.

3. Demoly P, Viola M, Gomes ER, Romano A. Epidemiology and Causes of Drug Hypersensitivity. In: Pichler WJ, ed. Drug Hypersensitivity. Basel:Karger; 2007. p. 2-17.

4. Hassel JC, Danner D, Hassel AJ. Psychosomatic or allergic symptoms? High levels for somatization in patients with drug intolerance: Psychometric profile and drug intolerance. J Dermatol. 2011 Oct; 38(10):959‑65

5. Seidl EMF, Zannon CMLC. Qualidade de vida e saúde: aspectos conceituais e metodológicos. Cad Saúde Pública. 2004;20(2):580-8.

6. Baiardini I, Braido F, Fassio O, Calia R, Canonica GW, Romano A, DrHy-Q PROs Italian Group. Development and validation of the Drug Hypersensitivity Quality of Life Questionnaire. Ann Allergy Asthma Immunol. 2011;106(4):330-5.

7. Bavbek S, ÖzdemirSk, Erdogan Bd, Karaboga I, Buyukozturk S, Gelincik A, et al. Turkish version of the Drug Hypersensitivity Quality of Life Questionnaire: assessment of reliability and validity. Qual Life Res. 2015;25(1):101-9.

8. Moayeri M, Os-Medendorp Hv, Baiardini I,Rockmann H. Assessment of validity and reliability of Drug Hypersensitivity Quality of Life Questionnaire: The Dutch experience. Eur Ann Allergy Clin Immunol. 2017;49(3):129-34.

9. Gastaminza G, Ruiz-Canela M, Baiardini I, Andrés-López B, Corominas M. Psychometric Validation of the Spanish Version of the DHRQoL Questionnaire. J of Investig Allergol Clin Immunol. 2016;26(5):322-23.

10. Chongpison Y, Rerknimitr P, Hurst C,Mongkolpathumrat P, Palapinyo S, Chularojanamontri L, et al. Reliability and validity of the Thai Drug Hypersensitivity Quality of Life Questionnaire: a multi-center study. Int J for Qual Health Care. 2018;31(7):527-34.

11. Dias de Castro E, Barbosa J, Mesquita AM, Caires A, Ribeiro L, Cernadas JR, et al. Drug Hypersensitivity Quality of Life Questionnaire: validation procedures and first results of the Portuguese version. Health Qual Life Outcomes. 2021;19(143):1‑11.

12. Ciconelli RM. Tradução para o português e validação do questionário genérico de avaliação de qualidade de vida "medical outcomes study 36-item short-form health survey (sf-36)" [tese de doutorado]. São Paulo: Universidade Federal de São Paulo - Escola Paulista de Medicina; 1997.

13. Edwards IR, Biriell C. Harmonisation in Pharmacovigilance. Curr. Drug Saf. 1994;10(2):93-102.

14. Cohen J, Cohen P, West SG, Aiken LS. Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences. 3ª ed. New Jersey: Lawrence Erlbaum Associates; 2003.

15. Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics. 1977;33(1):159-74.

16. George D, Mallery P. SPSS for Windows step by step: A simple guide and reference. 4ª ed. Boston: Allyn & Bacon; 2003.

17. Getboys R, ed. Handout on reliability book [Internet]. Wilfrid Laurier University, 2003. Disponível em: https://www.wlu.ca

18. Cicchetti DV. Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology. Psychol Assess. 1994;6(4):284-90.

19. Fleiss JL, Levin B, Paik MC. Statistical methods for rates and proportions. 3ª ed. New Jersey: Wiley, Hoboken; 2003.

20. Clark DA, Beck AT. Terapia Cognitiva para Transtorno de Ansiedade. Porto Alegre: Artmed; 2012.

21. Dalgalarrondo P. Psicopatologia e Semiologia dos Transtornos Mentais. 3ª ed. Porto Alegre: Artmed; 2018.

22. Costa G. Analfabestismo resiste no Brasil e no mundo do século 21 [Internet]. Setembro de 2019 [citado em 10 de julho de 2020]. Disponível em: https://agenciabrasil.ebc.com.br/educacao/noticia/2019-09/analfabetismo-resiste-no-brasil-e-no-mundo-do-seculo-21

23. Brasil, Ministério da Saúde, Conselho Nacional de Saúde. www.conselho.saude.gov.br [site na Internet]. Consumo de medicamentos: um autocuidado perigoso. Disponível em: http://www.conselho.saude.gov.br/ultimas_noticias/2005/medicamentos.htm.

• Voltar ao Topo
• Próximo Número