JAMA,
2002; 287: 2691-2700
JAMA,
2002; 287: 2691-2700
Empirical Studies Assessing the
Quality of Health Information for Consumers on the World Wide Web
A Systematic Review
Gunther Eysenbach, MD; John Powell, MSc, MRCPsych, MFPHM; Oliver
Kuss, PhD; Eun-Ryoung Sa, MS
Full text: 
On this page you'll find
In the following I am collecting press reports and related
publications concerning this paper. JAMA has also published an
editorial
alongside with the study. Some press releases / press reports have not
been authorized by me - please do not cite from these without getting
back to me to to ascertain that I endorse the messages or quotes used
there.
CHICAGO - Criteria for determining the quality of the consumer health information on the World Wide Web vary widely and need to be
improved, according to an article in the May 22/29 issue of The Journal of the American Medical Association (JAMA).
Gunther Eysenbach, M.D., at the time of the study with the University of Heidelberg, Germany, (currently with the Centre for Global eHealth
Innovation, Toronto General Hospital, Ontario), and colleagues reviewed studies evaluating consumer health information on the Web to establish a
methodological framework on how "quality" on the Internet is assessed in
practice. The researchers also looked at the differences of the results and
conclusions, and compared the methodological rigor of these studies, to determine to what extent the conclusions depend on the methodology
used, and to suggest future directions for research.
The Internet has become an important mass medium for consumers seeking health related information and services online, according to background
information in the article. The authors report that it is unclear how much of a problem misinformation on the Web is, and if it has an impact
on public health. Previous studies have described, critically appraised, and analyzed consumer health information on the Web.
"However, to date, no systematic and comprehensive synthesis of the methodology and evidence has been attempted," the authors note.
In this study, the authors searched several medical and science databases (for information between 1966 - 2001) to identify "published
and unpublished empirical studies in any language in which investigators
search the Web systematically for specific health information, evaluated the quality of Web sites or pages, and reported quantitative
results." A total of 79 distinct studies met the inclusion criteria, evaluating
5,941 health Web sites and 1,329 Web pages, and reporting 408 evaluation results for 86 different quality criteria.
The authors found that the "most frequently used quality criteria used include accuracy, completeness, readability, design,
disclosures, and references provided. Fifty-five studies (70 percent) concluded that
quality is a problem on the Web, 17 (22 percent) remained neutral, and 7 studies (9 percent) came to a positive conclusion," the authors
report. Positive studies scored significantly lower in search and evaluation
methods.
The researchers suggest that more studies are needed to help develop methods and instruments to guide consumers to quality information.
"Studies evaluating content should also harness the potential of the Web as a source for qualitative data rather than getting bogged down by the
question of how much information is inaccurate, one could analyze where and why gaps exist between evidence-based medicine and health
information on the Internet, which may elicit a wealth of valuable data that may inform priorities for research, health
communication, and education," the authors conclude.
(JAMA. 2002; 287: 2691-2700. Available post-embargo at jama.com.)
Editor's Note: Dr. Eysenbach's research was partly funded by the European Union under the Action Plan for Safer Use of the Internet,
MedCERTAIN Project. Co-author, John Powell, M.Sc., is funded by the NHS
(South East) Research and Knowledge Management program.
Researchers differ on how to study Web health info
Last Updated: 2002-05-21 16:55:46 -0400 (Reuters Health)
NEW YORK (Reuters Health) - Various researchers have assessed the quality of consumer health information on the Internet, with most of their studies reaching negative conclusions. But the researchers themselves often differ in how they measure "quality," new study findings show.
"There is a certain risk to encounter imperfect health information on the Web, but even medical experts often disagree on the question of what good health information constitutes in the first place," lead study author Dr. Gunther Eysenbach of the University of Toronto in Canada told Reuters Health.
"Thus, despite frequent research and media reports that health information on the Web does not comply to expert guidelines, there is little reason to discourage consumers to obtain health information from the Web," he added.
Eysenbach and his colleagues analyzed 79 different studies that evaluated nearly 6,000 health Web sites and 1,330 Web pages.
Seven out of every 10 studies concluded that "quality is a problem on the Internet," the investigators report in the May 22/29 issue of The Journal of the American Medical Association.
The most frequently used criteria to determine Web site and Web page quality were accuracy, completeness, readability, design, disclosures and references provided.
In evaluating accuracy, however, some study authors reportedly compared the Internet information to criteria they established beforehand, while others compared the Internet information to previously published research. Many studies also did not clarify whether the author actually searched the literature or used his or her own knowledge to determine a document's accuracy, the researchers note.
Furthermore, although 11 studies used various formulas to determine the reading level of various Internet documents, none included testing consumers to determine whether they comprehended the information, according to Eysenbach and his team.
Similar discrepancies existed for the other criteria used to measure quality, the report indicates.
"Obviously, the closer you look, the more flaws you find in health information on the Web, but the same is true for health information in other media," Eysenbach said. He encouraged consumers to search the Internet for health information but advises them to "keep a critical eye on quality."
In a related editorial, Dr. Ahmad Risk of eHealth Research & Development in England and Carolyn Petersen of the Mayo Clinic in Rochester, Minnesota, assert that the new study "highlights the formlessness of the Internet."
"The breadth and sophistication of content available on the Web have increased by several magnitudes since the mid-1990s, but absolute standards for health information have yet to be established," the editorialists write.
Eysenbach's research was funded in part by the European Union under the Action Plan for Safer Use of the Internet MedCERTAIN Project.
SOURCE: The Journal of the American Medical Association 2002;287:2691-2700, 2713
http://jama.ama-assn.org/issues/v287n20/abs/jrv10005.html
Last Updated: 2002-05-23 (Jess Merber)
Despite
frequent research and media reports that health information on the web
does not comply to expert guidelines, there is little reason to
discourage consumers to obtain health information from the web,
according to a study published in May 22/29 issue of the Journal of
the American Medical Association (JAMA, 2002; 287: 2691-2700).
The study authors criticise previous studies and media reports,
suggesting that up to 90 per cent of health information on the web is
“inaccurate”. “Obviously, the closer you look, the more flaws
you find in health information on the web, but the same is true for
health information in other media. I would encourage consumers to
obtain as health information from the web, although they should keep a
critical eye on quality,” the lead author, Dr. Gunther Eysenbach,
Senior Scientist at the Centre for Global eHealth Innovation at
Toronto General Hospital and Associate Professor at the University of
Toronto. “Medical experts have higher expectations of what a website
should provide than consumers do, and our study shows that the
conclusion of the studies is depended on the methodology used. The
higher the expectation of the expert, the greater the amount of
information is found wrong,” explains Eysenbach.
The
“quality” of health information has many facets, including that it
should be accurate, readable, accessible, contain disclosures of
authorship, ownership, target audience, sponsors, intention of the
site, date and frequency of updates, and provide references and links
to further information.
In
order to get a comprehensive overview of the quality of health
information on the web, Eysenbach and colleagues performed
meta-analysis, systematically reviewing all research studies in which
medical experts have critically reviewed health information on the web
and pooling the results from 79 of such studies. It was noted that the
majority of previous researchers concluded that health information on
the web is a problem, warning consumers from obtaining health
information from the web. However, Eysenbach and colleagues found that
study authors did so mainly on grounds of criticising insufficient
completeness of information given on a website, failure to disclose
certain information, the difficulty to find relevant information on
the web, and that information on the web often written on a higher
reading level than printed material, excluding less well educated
users.
The authors note that “completeness” of a web page or website—often evaluated as implicit part of “accuracy”—is not an appropriate evaluation criterion, as websites may deliberately and with good reason focus on a single topic in-depth rather than aiming for comprehensiveness, and consumers will usually search across different websites when looking for specific health information.
Unlike
traditional media, where the stream of information is filtered
“upstream” by editorial control, the web requires the filtering
tasks be performed by those “downstream”, at the consumer end.
Eysenbach sees the key challenge in developing technological and
educational interventions to guide consumers to the best available
information on the web. Eysenbach
recommends that consumers
should learn appropriate search techniques. For example, search engine
results can be improved by entering appropriate search terms, which
lead to high quality sites rather than quackery sites. Eysenbach
recommends that patients should choose Internet savvy physicians and
ask them for a “information prescription”, i.e., letting them
write down reliable websites and appropriate search terms for
information about their condition and treatment.
Eysenbach
et al have found little evidence suggesting that information on the
web is less accurate than information in other media.
For example, an early study about the quality of information on
television also concluded that 30 per cent of information was
incorrect. Moreover, the risk to encounter “bad” health
information also heavily depends on the subject area, and it heavily
depends on how consumers search for information. “On the web, you
get what you look for. If you enter ‘quick and natural cure for
cancer’ into a search engine you shouldn’t be surprised if most of
the information is dubious,” says Eysenbach.
Once
consumers have encountered a website, Eysenbach recommends search for
the imprint and disclosure information, making sure about who is
behind the website, what is the motivation and intention of the site
owner, who are the authors, what is their qualification, and when the
site was last updated. Eysenbach also recommends to look into who is
linking to this site and how many other sites are linking to the site
in question. Such information can be obtained from search engines such
as Google. “If a site claims to be the ‘National Vaccine
Information Center’, but no-one links to this site, especially no
organisations you trust, this could be an indication for a suspicious
site.”
In
terms of lack of disclosures Eysenbach concludes that while many
websites still have to do a better job in fully disclosing certain
information such as when the content was created or what the
physician’s credentials are, the meta-analysis showed that only 1
per cent of websites did not disclose the owner of the site,
demonstrating that the consumer has at least always the possibility to
check who behind the site is. “It is too difficult and
time-consuming for the user to gather bits and pieces of this
disclosure information from various web pages. We propose a standard
for how this information should be provided,” says Eysenbach, who
works on various projects proposing such standards. Previous research
by Dr Eysenbach published earlier this year in the British Medical
Journal (BMJ 2002; 324: 573-577), observed how consumers searched and
appraised health information on the web, and demonstrated that
consumers still care too little about disclosure statements and who is
behind the website. Eysenbach
is convinced that client-side software should be developed that
support consumers in appraising and filtering information according to
their needs.
In
terms of readability Eysenbach points out that the methods used to
assess readability are all based on evaluating just sentence length
and structure using so-called readability formulas. “The web enables
the use of graphics, audio and video, to boost the ability of the
consumer to understand complex health issues, but multimedia is not
taken into account by readability formulae,” says Eysenbach. “We
need better methods to measure how consumers comprehend electronic
information, and we need new quality criteria for the
comprehensibility of multimedia information. This requires actual
consumers to be involved in this type of research.”
Eysenbach
advises users to shop
around on multiple sites. “Our study showed that many
medical experts who have evaluated health content critically noted
that a single website rarely covers a complete picture of an health
issue.” According to Eysenbach, the beauty
of the web is that you don’t have to rely on a single information
sheet or one opinion, “make sure that you gather information from
multiple sites and then discuss the options with your doctor.”
Eysenbach
is also working on technological innovations to guide consumers to
high quality information on the web. “In an situation where you have
jewels and junk laying side by side, innovative computer-based methods
to guide consumers to the best available evidence become critical”,
says Eysenbach. “After all, the web is an electronic medium, opening
more possibilities than traditional media.” His work is in line with
the “semantic web” vision of the World-Wide-Web Consortium at MIT.
Its director, Tim-Berners Lee, explains the rationale for working
towards a semantic web as follows: “The Web
can reach its full potential only if it becomes a place where data can
be shared and processed by automated tools as well as by people.”
As
co-ordinator of the MedCERTAIN and MedCIRCLE semantic web projects,
funded by the European Union under its Action Plan for Safer Use of
the Internet, Eysenbach intends to make use of the possibilities the
semantic web is offering and works on the creation of semi-automatic
methods for consumers to assess the credibility of a website. As a
first step, in the MedCERTAIN project, Eysenbach and colleagues have
developed a machine-readable vocabulary which allows health publishers
to make disclosure statements in a standardized, machine readable way.
This enables consumers on the web to use intelligent software
“agents” which automatically gather information from the web,
taking into account 1) preferences entered by the user, 2) what
providers say about themselves and 3) what third parties (e.g. portal
sites) say about the site.
To
support this development, Eysenbach also hopes for more research
evidence on which quality criteria predict understanding, behaviour or
attitude change on the part of consumers, and eventually lead to
improvement of public health. “We need more research evidence to
study how different quality criteria are related to each other, and
what effect they have on consumers.”
Instead of attempting to estimate the prevalence of imperfect health information on the web and “getting bogged down bogged down by the question of how much information is inaccurate. ” Eysenbach and colleagues recommend that researchers should harness the power of the Internet as the most comprehensive electronic archive of written material representing our world and peoples’ opinions, concerns and desires. Physicians who surf the Internet for the first time are often stunned from what they learn from websites set up by lay people or patient self-support communities. “Material on these venues can be rich source for researchers interested in understanding experiences and views of people and patients,” says Eysenbach. “It presents a unique but largely untapped opportunity for health researchers to analyze where and why gaps exist between evidence-based medicine and consumer behaviour and expectations. Such research may elicit a wealth of valuable data that may inform priorities for research, health communication, and education.“
Last Updated: 2002-05-24 (Anette Tuffs)
Wie
der Nutzer schlechte Internetprogramme vermeiden kann / Studie im
Journal of the American Medical Association
Die
Qualität von Gesundheitsinformationen im Internet wird von Experten
meist als mangelhaft beurteilt. Dennoch sollten Nutzer ihre aktiven
Suche nach nützlicher Information im World Wide Web nicht aufgeben.
Denn die Vorteile sind groß: Da vielfältige Informationen angeboten
werden und rasch aufrufbar sind, können sie unmittelbarer verglichen
werden als gedruckte Informationen. Informationen medizinischen
Inhalts im Internet sind jedoch keineswegs schlechter als
vergleichbare gedruckte Publikationen oder Fernsehprogramme. Außerdem
bietet das Internet seinen Nutzern spezifische Möglichkeiten, die
Qualität seiner Seiten direkt oder indirekt zu bewerten.
Dies
sind Ergebnisse einer
Untersuchung, die Dr. Gunther Eysenbach von der Forschungsgruppe
Cybermedizin und eHealth, Abteilung Klinische Sozialmedizin des
Universitätsklinikums Heidelberg, zusammen mit Wissenschaftlern aus
London, Halle und Pittsburgh in der letzten Ausgabe des "Journal
of the American Medical Association (JAMA)" (Band 287 vom 22.
Mai) veröffentlichten. Dafür analysierten sie 79 Studien, die
Gesundheitsinformation im Internet auf insgesamt mehr als 7000
Websites bewertet hatten. Die Wissenschaftler dieser Studien hatten
insgesamt 86 verschiedene Qualitätskriterien angelegt. Vor allem
wurde beurteilt: Entsprachen die Informationen dem medizinischen
Standard? Waren sie vollständig und verständlich? Wie war das Design
des Website? Wurden Angaben zu Quellen, Herausgebern und Autoren
gemacht?
90%
mangelhafte Informationen?
Insgesamt
57 Studien kamen zu dem Urteil, dass die Qualität der
Informationsprogramme zu wünschen übrig lässt, 17 Studien kamen zu
einer neutralen Bewertung und 7 Studien erbrachten positive
Ergebnisse. Manche der Studienautoren kamen sogar zu dem Schluss, dass
bis zu 90% der medizinischen Internetinformationen falsch oder
unvollständig waren.
Die
internationale Forschergruppe um Gunther Eysenbach kritisiert jedoch
die Methoden, auf deren Grundlage solche Studienergebnisse zustande
kamen. Er sieht keine Grundlage dafür, Gesundheitsinformationen im
Internet pauschal abzulehnen und generell vor jeglichem Gebrauch zu
warnen – im Gegenteil: „Patienten sollten zwar ein kritisches Auge
auf die Qualität haben, aber es gibt kaum eine bessere Möglichkeit
sich umfassend zu informieren und mit Leidensgenossen Kontakt
aufzunehmen als über das Internet“, so Eysenbach.
Zu
viele Probleme würden die Bewertungen hinsichtlich der
„Richtigkeit“ der Informationen durch verschiedene Wissenschaftler
aufwerfen. So hängt das Urteil stark davon ab, wie vertraut die
Experten mit dem jeweiligen Gebiet waren. "Medizinische Experten
haben andere Vorstellungen als die Nutzer, wie eine Website aussehen
sollte. Je höher die Ansprüche sind, desto harscher fällt das
Urteil aus", sagt Dr. Gunther Eysenbach, der seit kurzem an der
Universität von Toronto tätig ist.
Auch
das Qualitätskriterium „Vollständigkeit“, oft von den
Studienautoren zusammen mit der „Richtigkeit“ der Informationen
zusammen bewertet – wird von der Forschergruppe kritisiert. „Im
Internet spielt es eine geringere Rolle als in anderen Medien, da
fehlende Informationen ohne Mühe durch Verbindungen zu anderen
Websites ersetzt werden können. Nicht die Vollständigkeit einer
Homepage zählt, sondern die Tatsache, dass versprochene Information
tatsächlich geboten wird und ausgewogen ist", sagt Eysenbach. Während
viele Studienautoren zu dem Schluss kamen, dass die Lesbarkeit von
Webinformationen oft schlecht ist, weist das Team um Eysenbach darauf
hin, dass keine der Studien die tatsächliche Verständlichkeit mit
Probanden getestet hat, sondern lediglich Formeln benutzt wurden, die
beispielsweise die Satzlänge messen. Die Verständlichkeit in einem
Medium wie dem Internet würde aber auch durch Grafiken, Video- und
Audio-Material unterstützt, so Eysenbach, was mit diesen Methoden
nicht erfasst würde.
Das
medizinische Thema, so ergab die Analyse, scheint eine Rolle für die
Qualität zu spielen: Im
Durchschnitt nur 5% der Krebs-Websites wiesen falsche Informationen
auf, während Informationen zur Ernährung, insbesondere zum Thema
"Gewichtsreduktion", deutlich schlechter abschnitten. Grundsätzlich
seien solche Vergleiche aber mit Vorsicht zu genießen, so Eysenbach,
da im Internet es letztendlich der Benutzer selbst in der Hand hat,
etwa durch die Wahl seiner Suchstrategie, ob er auf Quacksalberseiten
oder vertrauenswürdigen Websites landet.
Tipps
für die Suche nach seriösen Informationen
Wie
kann dem Internet-Nutzer bei seiner Suche nach seriöser Information künftig
geholfen werden? Traditionelle Medien haben einen Filter vor der
Erstellung und Verbreitung von Informationen: Herausgeber und
Redakteure entscheiden, welche Information letztlich dem Leser, Hörer
oder Zuschauer angeboten wird. "Beim Internet muss der Filter
primär am anderen Ende sitzen - beim Nutzer ", fordert Eysenbach.
Dies fängt mit einem effizienten Einsatz der Suchmaschinen an,
zum Beispiel durch Verwendung der richtigen Suchbegriffe. Eysenbach
arbeitet aber im Rahmen des EU-Projekts MedCIRCLE auch an
intelligenten Browserprogrammen und Suchagenten, die dem Benutzer
vertrauenswürdige Websites – basierend auf Benutzerpräferenzen und
Angaben von Informationsanbietern – empfiehlt.
Ein
weiterer Rat: "Patienten sollten ihren Arzt fragen, welche
Websites oder zumindest welche Suchbegriffe er ihnen empfiehlt."
Eysenbach spricht sich für ein "Rezept für Informationen"
aus - analog der Verschreibung von Arzneimitteln solle der Arzt diese
Informationen aufschreiben und dem Patienten mitgeben. Eysenbach gibt
einen weiteren Tip: Mit der Suchmaschine "Google" könne der
Benutzer feststellen, wer und wie viele andere Websites mit dem
Informationsangebot per Link verbunden sind – oft ein indirekter
Hinweis auf die Reputation einer Website.
Beim
Surfen solle der Benutzer zumindest darauf achten, wer der Herausgeber
der Website sei. Dies sei in 99% der Fälle herauszubekommen. Außerdem
sollte, bevor eine Information genutzt wird, die Motivation des
Herausgebers bekannt sein, und ersichtlich sein, wann die Information
erstellt wurde. Letztlich empfiehlt Eysenbach die Vorzüge des Webs zu
nutzen und die Information möglichst von verschiedenen Websites
einzuholen.
Last Updated: 2002-05-22
Gesundheitsinformation im Internet: Häufig ungenau, unvollständig oder unverständlich
HEIDELBERG. Die Qualität von Gesundheitsinformationen im Internet lässt häufig zu wünschen übrig. Zu dieser Erkenntnis gelangt Gunther Eysenbach von der Universität Heidelberg im amerikanischen Ärzteblatt (JAMA 2002; 287: 2691-2700) auf der Basis einer systematischen Übersicht zu 79 Studien, die Internetseiten untersucht hatten.
Viele Informationen sind ungenau, unvollständig oder unverständlich. Es gibt Mängel im Internet-Design, viele Sites nennen ihre Urheber nicht, und es fehlen Quellenangaben. Zu diesem Ergebnis kommen in der Tendenz etwa 70 Prozent aller empirischen Studien zur Qualität von ”ehealth”-Sites. 22 Prozent der Studien kommen zu einer neutralen Bewertung, während nur 9 Prozent die Informationen im Internet positiv beurteilen. Die Qualität variiert je nach angebotenem Thema.
Besonders unzuverlässig sind offenbar Informationen zur Ernährung im Allgemeinen und zum Thema ”Abnehmen” im Speziellen. Hier fand eine Studie bei 88,9 Prozent aller untersuchten ”Sites” fehlerhafte Informationen. Dagegen scheinen Informationen zu Krebserkrankungen verlässlicher. Eine Untersuchung fand nur bei 4 Prozent der Sites zum Prostatakarzinom Fehler.
Die Vergleichbarkeit der Studien ist jedoch beschränkt, und die Übersicht zeigt, wie schwierig es ist, die Qualität von Internet-Informationen überhaupt zu beurteilen. Was bedeutet es schon, wenn eine Site unvollständige Informationen liefert, wenn jeder Benutzer die Möglichkeit hat, mehrere Sites anzusteuern, bis er das gefunden hat, was er sucht. Besser sei es vermutlich, so Eysenbach, die Sites nicht nach deren Vollständigkeit zu beurteilen, sondern danach, ob sie die Informationen, die sie versprechen, liefern, und ob sie in ihrer Darstellung ausgewogen (”balance”) sind.
Die mangelnde Ausgewogenheit vieler Sites hat in den USA übrigens schon die Behörden auf den Plan gerufen. Die FDA prüft regelmäßig die Internetseiten von Arzneimittelherstellern, was zu einer steigenden Zahl von Abmahnungen geführt hat. Ob dies eine Lösung für die Mehrzahl der Sites ist, darf bezweifelt werden. Einen anderen Weg gehen Initiativen, welche die Transparenz von Internet-Sites verbessern wollen. Hierzu zählt etwa das MedCertain-Projekt der EU.
Das Ziel solcher Projekte müsse es sein, die Anzahl inadäquater Informationen im Internet zu minimieren und gleichzeitig den Patienten die Möglichkeit zu geben, schlechte Informationen zu erkennen. Beides werde zu einer Minimierung der Gesundheitsrisiken führen, denen ein User ausgesetzt ist, wenn er im Internet nach Informationen sucht.
/rme (22.05.02)
http://www.diariomedico.com/edicion/noticia/0,2458,149011,00.html
Lás páginas web sanitarias carecen de criterios consolidados para la evaluación de la calidad. Así concluye un estudio publicado en el último número de The Journal of American Medical Association.
Los criterios para determinar la calidad de la información a los consumidores que ofrecen los web sanitarios no están en absoluto consolidados, sino que coexisten varios métodos de evaluación de la calidad con distintos baremos de exigencia, lo que en la práctica se traduce en una enorme confusión. Gunther Eysenbach, del Center for Global eHealth Innovation del Hospital General de Toronto, en Ontario (Canadá), ha dirigido un estudio en el que ha revisado los distintos sistemas de evaluación con la intención de diseñar una metodología unívoca sobre el modo correcto de medir la calidad.
Durante esta revisión Eysenbach descubrió que los criterios más utilizados eran seis: "La precisión de las informaciones, lo completas que fueran, su legibilidad, el diseño de las páginas, su grado de novedad y las referencias que aporten. En cualquier caso, de los 79 estudios que hemos revisado, 55 (un 70 por ciento) concluyen que la calidad representa un serio problema; 17 de ellos (el 22 por ciento) se mostraron neutrales y sólo 7 estudios (un 9 por ciento) defendieron la calidad de los contenidos".
Estos 79 estudios evaluados por Eysenbach habían analizado 5.941 sitios de salud en la red y 1.329 páginas diferentes.
Para el autor, internet se ha convertido en un canal de comunicación de masas y de consumidores muy relevante y eso justifica la necesidad de apuntalar la calidad de los contenidos.
"No está claro cuál es el impacto de la las informaciones incorrectas que aparecen en los web sobre la salud pública. Hasta el momento no se ha llevado a cabo ningún estudio sistemático para crear una metodología de evaluación unívoca y que tenga posibilidades de consolidarse".
http://fr.news.yahoo.com/020522/54/2lien.html
Yahoo! France, Actualités, mercredi 22 mai 2002, 15h31
La qualité des sites Internet dinformations sur la santé destinés au grand public fait lobjet dune attention toute particulière de la part des consommateurs mais aussi des professionnels. Dans ce contexte, une étude parue aujourdhui dans le Journal of American Medical Association souligne le besoin urgent doutils dévaluation fiables et validés pour mesurer la qualité de ces sites.
Cette enquête dirigée par le Dr Eysenbach (Hôpital Général de Toronto) avait pour objectif de définir comment la qualité des sites Internet sur la santé était mesurée.
Pour cela, Eysenbach et ses collaborateurs ont identifié 79 études distinctes qui portaient justement sur la mesure de la qualité des informations des sites Web santé ou médicaux destinés au grand publics. Au total, ces donnés concernaient 5.941 sites principalement de langue anglaise.
Les auteurs ont pu définir les critères les plus souvent retenus pour mesurer la qualité des sites : précision, véracité, exhaustivité, lisibilité, ergonomie, conflits dintérêts et sources.
Selon lanalyse de Eysenbach, 70 % des études ont conclu que la qualité était un problème sur le web, 22 % sont restées neutres et environ 8 % présentaient des conclusions positives.
Cependant, lenquête de Eysenbach montre que ces conclusions sont dépendantes des méthodes dévaluation employées. En effet, celles qui arrivaient à des conclusions positives avaient plus tendances à être méthodologiquement discutables.
Dans leur discussion, Eysenbach et ses confrères estiment que la priorité réside dans la mise au point de critères et de méthodes dévaluation pertinents. Si ces standards de qualité font lobjet dun consensus, il sera alors possible de guider les consommateurs dans leur recherche dinformations sur la santé.
Par ailleurs, ces auteurs soulignent quil ne faut pas seulement sattacher à dégager les aspects négatifs de linformation santé sur le Web mais quil faut aussi souligner son potentiel pour délivrer des informations fiables.
Source : JAMA 2002;287:2691-700
SR
(Caducée)
May 2002, Vol. 31, No.5 (p.6-7)
Quality of Health Info
Despite dozens of studies to evaluate health information on the Internet, there is no sure-fire way to assess relative quality.
That is a major conclusion of an exhaustive worldwide review of consumer health information on the Word Wide Web by four researchers from Germany, England, the US and Canada. They compared criteria from 79 other studies in evaluating 5941 Web sites and 1329 Web pages.
Quality criteria covered 26 major factors that include accuracy, completeness, readability, and design.
"It seems unlikely that a simple scoring system could be developed that predicts content quality across domains and site populations," concludes research leader Gunther Eysenbach, MD. Now at Toronto General Hospital, he was with the cybermedicine unit at the University of Heidelberg when the study began. Dr. Eysenbach adds: "Most authors who evaluated content found significant problems, criticizing lack of completeness, difficulty in finding high-quality sites, and lack of accuracy - in particular if 'accuracy' also implied 'completeness'. However, completeness as a requirement has questionable validity from the perspective of the user or the public health researcher. "Too much information may overburden users. Web sites might deliberately and with good reason focus on a single topic in-depth rather than aim for comprehensivenss. Perhaps a better approach would be to evaluate whether web based materials cover the topics they claim to be discussing and if they are balanced."
Dr. Eysenbach and his colleagues regard the epidemiology of consumer health information as an emerging research discipline "at the intersection of medical informatics and public health." They note that many descriptive, cross-sectional studies have tried to draw attention to perceived "outbreaks" of misinformation on the Web by estimating the proportion or prevalence of inadequate health information. This is seen as of questionable value: "Future studies should use analytic rather than descriptive approaches to investigate the relationship between quality markers and other variables, including outcomes. Such studies are urgently needed in the ongoing process to develop methods and instruments and to identify factors that can be assessed to predict favorable patient outcomes."
The 10-page review, appearing in the May 22/29 issue of JAMA, is accompanied by an editorial by medical informatics researchers from Brighton, England, and the Mayo Clinic. They wonder whether use of health information from Web sites "has any effect on users' health." (sic!)
jeudi 30 mai 2002
une dépêche de l'estimé Caducee.net datée du 22/05/2002
Une étude parue aujourd'hui dans le JAMA souligne le besoin d'outils validés pour mesurer la qualité des sites santé.
Eysenbach et ses collaborateurs ont identifié 79 études distinctes,
dont les données concernent 5.941 sites principalement de langue
anglaise. Ils ont pu définir les critères les plus souvent retenus
pour mesurer leur qualité : précision, véracité,
exhaustivité, lisibilité, ergonomie, conflits d'intérêts et
sources.
70 % des études ont conclu que la qualité est un problème sur le web.
Eysenbach estime que la priorité réside dans la mise au point de méthodes
d'évaluation pertinentes. Si ces standards de qualité font l'objet
d'un consensus, il sera alors possible de guider les consommateurs
dans leur recherche d'informations sur la santé. Source : JAMA
2002 ;287 :2691-700 Rappelons qu'Eysenbach est associé au
projet MedCIRCLE décrit par Stefan Darmoni dans la rubrique de notre
ami Philippe Eveillard : http://www.33docpro.com/
(Source: http://www.00dr.com/breve.php3?id_breve=401)
Kritik über Gesundheitsinfos im Web nicht gerechtfertigt
Forschergruppe: Vernichtende Beurteilung über medizinische
WWW-Inhalte unangebracht
Heidelberg (pte, 27. Mai 02/16:36) -
Internet-Informationen medizinischen Inhalts sind nicht schlechter als
vergleichbare gedruckte Publikationen. Zudem bietet das Netz seinen
Nutzern spezifische Möglichkeiten, die Qualität seiner Seiten direkt
oder indirekt zu bewerten. Das sind nur zwei Ergebnisse einer
Untersuchung unter der Leitung von Gunther Eysenbach von der
Forschungsgruppe Cybermedizin und eHealth, Abteilung Klinische
Sozialmedizin des Uniklinikums Heidelberg. Eysenbach sowie
Wissenschaftler aus Halle, London und Pittsburgh analysierten zu
diesem Zweck 79 Studien, die Gesundheitsinfos im Internet auf
insgesamt mehr als 7.000 Websites nach 86 verschiedenen Qualitätskriterien
beurteilt hatten. Die internationale Forschergruppe übt nun im
Journal of the American Medical Association (JAMA; 2002; 287:
2691-2700) http://www.jama.ama-assn.org
Kritik an ihrer vernichtenden Beurteilung medizinischer
Webinhalte.
Gemäß der Beurteilung der vorangegangenen Studie enthalten 90 Prozent der Websites mangelhafte Informationen. 57 Studien kamen zu dem Urteil, dass die Qualität der Informationsprogramme zu wünschen übrig lässt, nur 17 Studien ergaben eine neutrale Bewertung und sieben Studien erbrachten positive Ergebnisse. Einige Studienautoren kamen sogar zu dem Schluss, dass bis zu 90 Prozent der medizinischen Internetinformationen falsch oder unvollständig waren. Das Team um Eysenbach sieht aber keine Grundlage dafür, Gesundheitsinformationen im Internet pauschal abzulehnen und generell vor jeglichem Gebrauch zu warnen. Eysenbach betont im Gegensatz: "Patienten sollten zwar ein kritisches Auge auf die Qualität haben, aber es gibt kaum eine bessere Möglichkeit, sich umfassend zu informieren und mit Leidensgenossen Kontakt aufzunehmen als über das Internet."
Probleme würden die Bewertungen hinsichtlich der "Richtigkeit" der Informationen durch verschiedene Wissenschaftler aufwerfen. Da Urteil hänge stark davon ab, wie vertraut die Experten mit dem jeweiligen Gebiet waren. "Medizinische Experten haben andere Vorstellungen als Nutzer, wie eine Website aussehen sollte. Je höher die Ansprüche sind, desto harscher fällt das Urteil aus", erklärte Eysenbach. Der Forscher kritisierte, dass auch das Qualitätskriterium "Vollständigkeit" von den Studienautoren zusammen mit der "Richtigkeit" der Informationen bewertet wird. "Im Internet spielt es eine geringere Rolle als in anderen Medien, da fehlende Informationen mühelos durch Verbindungen zu anderen Websites ersetzt werden können", so Eysenbach.
Das medizinische Thema, so die Analyse, scheint eine
Rolle für die Qualität zu spielen. Durchschnittlich wiesen nur fünf
Prozent der Krebs-Websites falsche Informationen auf, während
Informationen zur Ernährung, insbesondere zum Thema
"Gewichtsreduktion" deutlich schlechter abschnitten.
Insgesamt seien solche Vergleiche aber mit Vorsicht zu genießen, so
Eysenbach. Letztendlich habe es der Benutzer selbst in der Hand, wie
etwa durch die Wahl der Suchstrategie, ob er auf einer vertrauenswürdigen
Website landet oder nicht. Eysenbach arbeitet im Rahmen des
EU-Projektes MedCIRCLE u.a. an intelligenten Browserprogrammen und
Suchagenten, die dem Benutzer vertrauenswürdige Websites - basierend
auf Benutzerpräferenzen und Angaben von Informationsanbietern -
empfehlen.
(Autor: pressetext.austria)
Quelle: Popilu.at - Salzburgs Internetplattform für Pongau, Pinzgau und Lungau, http://www.popilu.at/seitenblicke/news/default.asp?page=news.asp&NewsID=1745
Montag, 27. Mai 2002
Die Qualität von Gesundheits-Informationen im Internet wird von Experten meist als mangelhaft beurteilt. Dennoch sollten Nutzer ihre Suche nach Nutzwert nicht aufgeben. Die Vorteile sind groß, da die vielfältigen Infos leicht mit gedruckten Inhalten verglichen werden können. Online-Infos medizinischen Inhalts sind keineswegs schlechter als vergleichbare Publikationen oder Fernsehprogramme.
HALLE. Außerdem bietet das Internet seinen Nutzern spezifische Möglichkeiten, die Qualität seiner Seiten direkt oder indirekt zu bewerten.
Dies sind Ergebnisse einer Untersuchung, die Gunther Eysenbach von der Forschungsgruppe Cybermedizin und eHealth, Abteilung Klinische Sozialmedizin des Universitätsklinikums Heidelberg, zusammen mit Wissenschaftlern aus London, Halle und Pittsburgh in der letzten Ausgabe des Journal of the American Medical Association (JAMA) (Band 287) veröffentlicht haben. Dafür analysierten sie 79 Studien, die Gesundheitsinformation im Internet auf mehr als 7000 Websites nach 86 verschiedenen Qualitätskriterien bewertet hatten.
Beurteilt wurde vor allem: Entsprachen die Informationen dem medizinischen Standard? Waren sie vollständig und verständlich? Wie war das Design des Website? Wurden Angaben zu Quellen, Herausgebern und Autoren gemacht?
90 Prozent der Websites mit mangelhafte Informationen
57 Studien kamen zu dem Urteil, dass die Qualität der Informationsprogramme zu wünschen übrig lässt, 17 Studien ergaben eine neutrale Bewertung und 7 Studien erbrachten positive Ergebnisse. Manche der Studienautoren kamen sogar zu dem Schluss, dass bis zu 90 Prozent der medizinischen Internetinformationen falsch oder unvollständig waren.
Die internationale Forschergruppe kritisiert jedoch die Methoden, mit deren Hilfe diese Studienergebnisse zustande gekommen waren. Er sieht keine Grundlage dafür, Gesundheitsinformationen im Internet pauschal abzulehnen und generell vor jeglichem Gebrauch zu warnen - im Gegenteil: "Patienten sollten zwar ein kritisches Auge auf die Qualität haben, aber es gibt kaum eine bessere Möglichkeit sich umfassend zu informieren und mit Leidensgenossen Kontakt aufzunehmen als über das Internet", sagt Eysenbach.
Probleme würden die Bewertungen hinsichtlich der "Richtigkeit" der Informationen durch verschiedene Wissenschaftler aufwerfen. So hängt das Urteil stark davon ab, wie vertraut die Experten mit dem jeweiligen Gebiet waren. "Medizinische Experten haben andere Vorstellungen als die Nutzer, wie eine Website aussehen sollte. Je höher die Ansprüche sind, desto harscher fällt das Urteil aus", sagt Eysenbach, der seit kurzem an der Universität von Toronto tätig ist.
Information zu Krebs enthält selten falsche Angaben
Auch das Qualitätskriterium "Vollständigkeit", oft von den Studienautoren zusammen mit der "Richtigkeit" der Informationen bewertet - wird von der Forschergruppe kritisiert. "Im Internet spielt es eine geringere Rolle als in anderen Medien, da fehlende Informationen ohne Mühe durch Verbindungen zu anderen Websites ersetzt werden können. Nicht die Vollständigkeit einer Homepage zählt, sondern die Tatsache, dass versprochene Information tatsächlich geboten wird und ausgewogen ist", sagt Eysenbach. Während viele Studienautoren zu dem Schluss kamen, dass die Lesbarkeit von Webinformationen oft schlecht ist, weist das Team um Eysenbach darauf hin, dass keine Studie die tatsächliche Verständlichkeit mit Probanden getestet hat, sondern lediglich Formeln benutzt wurden, die beispielsweise die Satzlänge messen. Die Verständlichkeit in einem Medium wie dem Internet würde aber auch durch Grafiken, Video- und Audio-Material unterstützt, was mit diesen Methoden nicht erfasst würde.
Das medizinische Thema, so ergab die Analyse, scheint eine Rolle für die Qualität zu spielen: Im Durchschnitt nur 5 Prozent der Krebs-Websites wiesen falsche Informationen auf, während Informationen zur Ernährung, insbesondere zum Thema "Gewichtsreduktion", deutlich schlechter abschnitten. Grundsätzlich seien solche Vergleiche aber mit Vorsicht zu genießen, so Eysenbach, da im Internet es letztendlich der Benutzer selbst in der Hand hat, etwa durch die Wahl seiner Suchstrategie, ob er auf Quacksalberseiten oder vertrauenswürdigen Websites landet.
Tipps für die Suche nach seriösen Informationen
Wie kann dem Internet-Nutzer bei seiner Suche nach seriöser Information künftig geholfen werden? Traditionelle Medien haben einen Filter vor der Erstellung und Verbreitung von Informationen: Herausgeber und Redakteure entscheiden, welche Information letztlich dem Leser, Hörer oder Zuschauer angeboten wird. "Beim Internet muss der Filter primär am anderen Ende sitzen - beim Nutzer", fordert Eysenbach. Dies fängt mit einem effizienten Einsatz der Suchmaschinen an, zum Beispiel durch Verwendung der richtigen Suchbegriffe. Eysenbach arbeitet im Rahmen des EU-Projekts MedCIRCLE auch an intelligenten Browserprogrammen und Suchagenten, die dem Benutzer vertrauenswürdige Websites - basierend auf Benutzerpräferenzen und Angaben von Informationsanbietern - empfiehlt.
Ein weiterer Rat: "Patienten sollten ihren Arzt fragen, welche Websites oder zumindest welche Suchbegriffe er ihnen empfiehlt." Eysenbach spricht sich für "Informationen auf Rezept" aus - analog der Verschreibung von Arzneimitteln solle der Arzt diese Informationen aufschreiben und dem Patienten mitgeben. Ein weiterer Tipp: Mit der Suchmaschine "Google" kann der Benutzer feststellen, wer und wie viele andere Websites mit dem Informationsangebot per Link verbunden sind - oft ein indirekter Hinweis auf die Reputation einer Website.
Beim Surfen solle der Benutzer darauf achten, wer die Herausgeber der Website sind. Dies lässt sich fast immer ermitteln. Außerdem sollte, bevor eine Information genutzt wird, die Ziele des Herausgebers bekannt sein, und ersichtlich sein, wann die Information erstellt wurde. Letztlich empfiehlt Eysenbach die Vorzüge des Webs zu nutzen und sich die Information möglichst von verschiedenen Websites einzuholen.
Autor: Philipp Grätzel von Grätz
| Alles sehr subjektiv: Manch Autor Gnadenlos findet 90 Prozent Schrott |
| Einer, der das medizinische Internet von Anfang
an begleitet hat, ist
Gunther Eysenbach, der am Institut für Sozialmedizin in
Heidelberg für die Cybermedizin zuständig ist und der jetzt auch
an der Universität Toronto lehrt. Er ist selbst Initiator eines
Rating-Systems, nämlich des von der EU unterstützten
Medcircle (ehemals
MEDCERTAIN)-Projekts. In einer
großen Übersichtsarbeit im
Journal of the
American Medical Association hat er sich jetzt erneut der
Qualität medizinischer Web-Sites gewidmet: 79 Studien zum Thema
hat er nebeneinander gelegt und sie auseinander genommen.
Betrachtet man die globalen Bewertungen, die die Autoren dieser 79
Studien abgeben, so kann man einen Trend zum Negativen nicht
verleugnen: 57 Studien, so Eysenbach in seinem Review, kamen zu
dem Ergebnis, dass die Qualität medizinischer
Informationsprogramme im Netz zu wünschen übrig lasse. 17 Studien
endeten mit einer neutralen Gesamtwertung, und lediglich 7 Studien
zogen ein positives Fazit. Mehr noch: Eysenbach verglich die
Bewertungsmaßstäbe und konnte zeigen, dass es die Autoren der
enthusiastischeren Studien in der Tat weniger genau mit ihren
Qualitätsansprüchen nahmen als die skeptischer gestimmten. Anders
gesagt: Wer mit einer positiven Grundhaltung an seine Studie heran
ging, drückte eher mal ein Auge zu. |
| Beim Thema Krebs ist fast alles Gold, was glänzt |
| Viele Studien beklagen sich darüber, dass auf
einer Informationsseite gebotene Informationen nicht vollständig
seien. Das Kriterium "Vollständigkeit" allerdings ist im Internet
überaus fraglich, da fehlende Information durch den Besuch anderer
Seiten rasch ergänzt werden kann. Interessant: Die Qualität
medizinischer Internetseiten - immer gemessen am höchsten "level
of evidence", also z.B. anerkannten Leitlinien - scheint abhängig
zu sein vom Krankheitsbild. So war der Anteil qualitativ
schlechter Seiten im Bereich Ernährungsmedizin/Diät/Adipositas
unverhältnismäßig hoch: Er schwankte je nach Studie zwischen 45
und 90 Prozent. Im Gegensatz dazu waren die Informationen zu
Krebserkrankungen erstaunlich korrekt: Der Prozentsatz der als "schlecht"
eingestuften Webseiten lag je nach Tumorart nur zwischen 4 und 9
Prozent. Eysenbach weist darauf hin, dass solche Zahlen mit
Vorsicht zu genießen sind: Sie sind stark abhängig von der Art der
untersuchten Webseiten, die ja häufig den Ergebnislisten großer
Suchmaschinen entnommen sind. |
| Plädoyer für die "Webseite auf Rezept" |
| Verglichen mit anderen Medien, speziell mit dem
Fernsehen, schneide das Internet in Sachen Informationsqualität
alles in allem trotzdem nicht so schlecht ab, so die
Studienautoren abschließend. "Patienten sollten zwar ein
kritisches Auge auf die Qualität haben, aber es gibt kaum eine
bessere Möglichkeit, sich umfassend zu informieren und mit
Leidensgenossen Kontakt aufzunehmen als über das Internet", sagt
Eysenbach. Er plädiert seit Langem dafür, dass Ärzte ihren
Patienten auf Wunsch qualitativ hochwertige Webseiten "verschreiben",
um so das Informationsbedürfnis der Patienten in evidenzbasierte
Bahnen zu lenken. |
Quelle: DocCheck Newsletter, http://www.doccheck.de/newsletter/de/2002_9/1371.htm?PHPSESSID=95126967f28cce8adc5f0974aebc1b16
Tom Ferguson - one of the pioneers of cybermedicine and consumer health informatics and publisher of the Ferguson Report - has awarded the "The Ferguson Report's Distinguished Achievement Award" to Gunther Eysenbach.
Gunther Eysenbach carries a German passport, lives and works in Toronto, and spends his summers at Harvard's School of Public Health. He is one of the most productive researchers, editors, and publishers in the online health field. His Journal of Medical Internet Research (jmir.org) is the only peer-reviewed electronic e-health journal indexed by MEDLINE. JMIR publishes studies and scholarly articles on e-health and is a good place for aspiring e-health researchers to submit their work.
The Ferguson Report, Number 9, September 2002
Last modified: Monday, 18-Nov-2002 04:26:25 PST Last access from: llf320030.crawl.yahoo.net -
[author: g. eysenbach] [feedback] [disclosures]