Dorival, O seu email foi muito elucidativo. Obrigado pelo envio. Luiz De: Dorival Leao Pinto Junior [mailto:leao@icmc.usp.br]
Enviada em: quarta-feira, 16 de outubro de 2013 10:06
Para: Mauricio Cardeal
Cc: abe-l@ime.usp.br
Assunto: Re: [ABE-L]: Bland-Altman Caros Redistas, inicialmente gostaria de deixar claro que nÃo escrevo nesta lista para defender os mÃtodos de Bland-Altman ou qualquer outra metodologia. TambÃm nÃo vou entrar no mÃrito das discussÃes filosÃficas sobre a aplicaÃÃo da estatÃstica, mas vou comentar um pouco sobre: "mediÃÃo" e comparaÃÃo interlaboratorial (CI). Os mÃtodos descritos em Bland-Altman sÃo tÃcnicas estatÃsticas utilizadas para analisar os resultados de comparaÃÃes interlaboratoriais. TambÃm deixo claro que todas as normas citadas no e-mail sÃo utilizadas mundialmente (100% dos paÃses) e adotadas pelo INMETRO. Vamos comeÃar por "mediÃÃo": MediÃÃo à o conjunto de operaÃÃes com objetivo de determinar o valor de uma grandeza. Estas operaÃÃes podem ser realizadas automaticamente. (GUM (2008)). ISO GUM (2008), AvaliaÃÃo de dados de MediÃÃo - Guia para a expressÃo de incerteza de mediÃÃo, 1 ediÃÃo brasileira. Em geral, o resultado de uma mediÃÃo à uma aproximaÃÃo ou estimativa do valor da grandeza. Assim, o resultado da mediÃÃo somente està completo se estiver acompanhado da incerteza da estimativa (GUM(2008)). Na prÃtica, a especificaÃÃo ou definiÃÃo da grandeza à consequÃncia da exatidÃo (accuracy) desejada. Para atender a exatidÃo requerida, a grandeza deve ser especificada de tal forma que esta tenha um Ãnico valor para os propÃsitos prÃticos associados. Assim, medir significa realizar um experimento para estimar o valor da grandeza com exatidÃo apropriada. Obviamente, devemos expressar a estimativa acompanhada do valor da incerteza (desvio padrÃo). EntÃo, ao medirmos realizamos um experimento "probabilÃstico": - Especificar a grandeza conforme exatidÃo requerida; - Elaborar um mÃtodo de mediÃÃo apropriado (que atende à exatidÃo requerida); - Escolher ao acaso um valor dentre "todos" os possÃveis para a grandeza, conforme mÃtodo de mediÃÃo definido; Ao aplicarmos o mÃtodo de mediÃÃo, escolhemos ao acaso um valor na populaÃÃo de possÃveis valores. Ao medirmos sob condiÃÃes de repetibilidade, retiramos amostras aleatÃrias..... Por outro lado, as comparaÃÃes interlaboratoriais sÃo experimentos realizados para estudar apenas um dos trÃs objetivos bÃsicos: Comparar MÃtodos de MediÃÃo; Avaliar LaboratÃrios; Estudar Materiais de referÃncia. As comparaÃÃes interlaboratoriais com objetivo de avaliar LaboratÃrios sÃo conhecidas como "Ensaio de ProficiÃncia", sendo este à um mecanismo aplicado pelos organismos acreditadores (como, INMETRO) para avaliar a competÃncia tÃcnica dos laboratÃrios acreditados. Uma discussÃo detalhada sobre CI pode ser encontrada na norma: ISO/IEC 17043:2010. Conformity assessment-general requirements for Proficiency Testing, 2010. Na prÃtica, temos diversas formas de conduzir um ensaio de proficiÃncia. A mais simples consiste em escolhermos 1 ou mais artefatos. Em geral, estes artefatos sÃo preparados para o experimento. Na sequÃncia, os artefatos sÃo distribuÃdos sequencialmente entre os laboratÃrios participantes para serem medidos. Obviamente que temos diversos pontos para cuidar durante o experimento: i) Estabilidade dos artefato durante o experimento; ii) DefiniÃÃo dos mÃtodos de mediÃÃo. Sà faz sentido comparar laboratÃrios cujos mÃtodos de mediÃÃo apresentem exatidÃo similares; iii) ReferÃncia. Em geral, um"ou mais laboratÃrios "reconhecidos"; iii) TÃcnica estatÃstica para anÃlise dos resultados; iv) CritÃrio de comparaÃÃo, que em geral, à baseado em um IC ou valor p; Como os laboratÃrios realizam o experimento probabilÃstico da mediÃÃo sob condiÃÃes de repetibilidade, podemos supor que temos amostras aleatÃrias como resultado do EP. Assim, nÃo à absurdo utilizarmos tÃcnicas como, IC ou valor p, para determinar a compatibilidade de laboratÃrios com relaÃÃo a uma referÃncia. PorÃm, precisamos de estimativas dos desvios padrÃo dos laboratÃrios participantes e dos laboratÃrio(s) referÃncia. A questÃo crÃtica sobre uma mediÃÃo Ã: COMO ESTIMAR SUA INCERTEZA (DESVIO PADRÃO)??? à fÃcil observarmos que para diminuirmos a variabilidade em nossos dados, em geral, basta diminuirmos o nÃmero de casas decimais das observaÃÃes. Na prÃtica de mediÃÃo, basta diminuirmos a resoluÃÃo do equipamento envolvido. Isto quer dizer que, em geral, "piorar" um equipamento "melhora"a variabilidade de seus resultados. Absurdo! Esta observaÃÃo, nos diz que uma "boa" estimativa da variabilidade deve levar em conta nÃo somente os dados. O GUM (2008) apresenta dois tipos de fontes de variabilidade: Tipo A e Tipo B. A tipo A à proveniente dos dados (amostra aleatÃria) e as fontes do tipo B sÃo provenientes de outras informaÃÃes, como caracterÃsticas tÃcnicas do instrumento, interferÃncia ambiental, etc... Por exemplo, a resoluÃÃo de um instrumento tem distribuiÃÃo uniforme no intervalo (- res/2 ; res/2). Dependendo do experimento a resoluÃÃo à interpretada como uma triangular no intervalo (- res/2 ; res/2). Outra caracterÃstica à a deriva de um instrumento que tambÃm à avaliada via uma distribuiÃÃo uniforme. As fontes do tipo B sÃo informaÃÃes a priori na estimativa do desvio padrÃo da mediÃÃo. Na minha opiniÃo, nÃo temos como analisar os dados de uma comparaÃÃo interlaboratorial sem o conhecimento da incerteza de mediÃÃo de cada laboratÃrio (Tipo A e Tipo B). O curioso à que os artigos citados NÃO consideraram as componentes do tipo B na anÃlise. Portanto, a variabilidade foi subestimada (em geral) e o resultado da comparaÃÃo pode estar comprometido. No artigo: LeÃo, D.. ; AOKI, Reiko ; SILVA, G. F. . Statistical analysis of proficiency testing results under elliptical distributions. Computational Statistics & Data Analysis, v. 53, p. 1427-1439, 2009. apresentamos uma estratÃgia para incluir as fontes do tipo B para avaliar a compatibilidade de laboratÃrios via Ensaios de proficiÃncia. Um EP leva em mÃdia dois anos para ser concluÃdo, pois precisamos avaliar com cuidado todas as fontes de variabilidade associadas ao mÃtodo, ao artefato, à pessoas envolvidas...... Dorival LeÃo
De: "Mauricio Cardeal" <mcardeal@ufba.br>
Para: abe-l@ime.usp.br
Enviadas: TerÃa-feira, 15 de Outubro de 2013 12:12:40
Assunto: Re: [ABE-L]: Bland-Altman
Bom dia!
NÃo estou a fazer comentÃrios sobre os mÃtodos de Bland-Altman e o mÃtodo alternativo. Pretendo fazer outra discussÃo: ao ler o artigo, fica evidente que a tomada de decisÃo sobre diferenÃas entre as curvas deu-se exclusivamente a partir de valores de p. Fiquei surpreso porque, uma vez que o plano amostral nÃo foi probabilÃstico, ou nÃo hà qualquer descriÃÃo que se possa supor o contrÃrio, os valores de p ou os testes estatÃsticos de hipÃtese, ou mesmo intervalos de confianÃa, nÃo possuem qualquer interpretabilidade, uma vez que a estimativa do erro-padrÃo à enviesada. Quero ressaltar de que estou me referindo ao contexto teÃrico da escola frequentista mesmo, pois minha formaÃÃo à nessa escola, apesar de estudar a escola subjetivista tambÃm por conta prÃpria. Por isso reitero que o meu comentÃrio à dentro do campo teÃrico da escola frequentista.
Por que insistir no emprego da estatÃstica inferencial se o seu uso sà faz sentido em planos amostrais probabilÃsticos? Mesmo que os mÃdicos adorem valor de p e epidemiologistas adorem intervalos de confianÃa, eles estÃo completamente equivocados e mal formados em estatÃstica com cursos de fins de semana, ou quatro meses em alguma pÃs-graduaÃÃo em saÃde.
A conclusÃo do artigo sobre associaÃÃo atravÃs da significÃncia estatÃstica nÃo me diz absolutamente nada.
MaurÃcio Cardeal
MÃdico (UFBA), Doutor em epidemiologia pelo Instituto de SaÃde Coletiva (UFBA), especializaÃÃo em estatÃstica aplicada pelo Departamento de EstatÃstica (UFBA)
UFBA - Universidade Federal da Bahia Em 11-10-2013 20:12, Basilio de BraganÃa Pereira escreveu: NÃo uso o mÃtodo de Bland e Altman pois acho mais interessante usar o metodo derivado de uma ideia de um colega nosso Ronir Luiz. Os referencias aos artigos originais seguem abaixo e anexo envio um desenvolvimento para dados discretos
LUIZ, R. R.; COSTA, A. J. L.; KALE, P. L.; WERNECK, G. L. Assessment of
agreement of a quantitative variable: a new graphical approach. J. Clin. Epidemiol.,
New York, v.56, n.10, p.963-967, 2003.
LLORCA, J.; DELGADO-RODRÂIGUEZ, M. Survival analytical techniques were
used to assess agreement of a quantitative variable. J. Clin. Epidemiol., New York,
v.58, n.3, p.314-315, 2005.
Em 11 de outubro de 2013 18:16, Luiz Sergio Vaz <luizvaz@sarah.br> escreveu: Boa tarde. AlguÃm da Lista teria experiÃncia com a interpretaÃÃo e uso dos grÃficos de Bland-Altman, para avaliaÃÃo da concordÃncia entre dois mÃtodos de mediÃÃo de variÃveis contÃnuas? O artigo original teve mais de 18.000 citaÃÃes. No caso , estou comparando a altura da crianÃa em pà (mÃtodo de referÃncia) com outros 3 mÃtodos: envergadura, altura da crianÃa deitada e a altura estimada pelo comprimento do braÃo. Segue uma parte do banco de dados (5 crianÃas), sà para mostrar como essas medidas variam: Alturape | Alturadeitado | Envergadura | Alturaest | 95,4 | 96,7 | 94,1 | 97,9 | 104,7 | 105,5 | 103,5 | 106,1 | 102 | 103 | 102,2 | 104,4 | 103 | 104 | 100,5 | 107,4 | 103,2 | 104 | 100,5 | 104,8 |
Se alguÃm tiver algum Ãndice de concordÃncia melhor que o grÃfico de Bland-Altman, pode mandar. Luiz
--
Basilio de BraganÃa Pereira ,DIC and PhD(Imperial College), DL(COPPE)
*UFRJ-Federal University of Rio de Janeiro
*Titular Professor of Bioestatistics and of Applied Statistics
*FM-School of Medicine and COPPE-Posgraduate School of Engineering and
HUCFF-University Hospital Clementino Fraga Filho. *Tel: 55 21 2562-7045/7047/2618/2558
www.po.ufrj.br/basilio/ *MailAddress:
COPPE/UFRJ
Caixa Postal 68507
CEP 21941-972 Rio de Janeiro,RJ
Brazil
|