Jak czytać artykuły naukowe?
W czasopiśmie New England Journal of Medicine ukazał się artykuł – raport z wieloośrodkowego, międzynarodowego badania skuteczności i bezpieczeństwa szczepionki BNT162b2 mRNA przeciw COVID-19 [1].
Ponieważ trwają szczepienia pracowników systemu ochrony zdrowia, studentów i kadry kierunków medycznych, przybliżenie tej publikacji naszemu środowisku wydaje się teraz szczególnie istotne.
Artykuł jest raportem z wieloośrodkowego, międzynarodowego badania randomizowanego, kontrolowanego placebo. Kontrolowane eksperymenty randomizowane (RCT – randomised controlled trial) stanowią złoty standard prowadzenia badań w celu testowania skuteczności i bezpieczeństwa interwencji. Prawidłowo zaplanowane i przeprowadzone tego typu badania uważane są za najbardziej wiarygodne, a ich wyniki za najbardziej godne zaufania. Odpowiednio liczebne i jednorodne grupy badanych osób, stosowanie tzw. interwencji kontrolnych (standardowa terapia, interwencja pozorowana lub placebo), maskowanie (zaślepianie) osób badanych, badających i oceniających wyniki pomiarów i testów służą minimalizowaniu wpływu tzw. czynników zakłócających na wyniki i konkluzje – ogranicza się występowanie tzw. błędów systematycznych (bias), mogących wypaczać wynik badania. Wnioski z prawidłowo przeprowadzonego badania RCT są stosunkowo najbardziej pewne – ryzyko, że są błędne, jest stosunkowo najmniejsze [2]. W bazie danych Physiotherapy Evidence Database, PEDro, spośród wielu rodzajów badań tzw. pierwotnych, indeksowane są wyłącznie badania randomizowane [3].
Niniejsza praca zawiera ocenę jakości metodologicznej artykułu, a więc może być przydatna do odpowiedzi na pytanie o jego wiarygodność. Ma na celu także popularyzację zasad podejmowania decyzji w drodze krytycznej analizy publikacji naukowych. Przedstawiona analiza nie służy odpowiedzi na pytanie o bezpieczeństwo i skuteczność szczepionki BNT162b2 mRNA. Streszczenie analizowanej publikacji (na podstawie [4]) przedstawiono na infografice.
Analizy dokonano z zastosowaniem skali PEDro [5]. Skala PEDro jest narzędziem oceny jakości metodologicznej publikacji kontrolowanych badań randomizowanych. Została opracowana z myślą o ocenianiu prac z zakresu fizjoterapii na potrzeby bazy danych PEDro. Jednak z uwagi na swoją uniwersalność, rzetelność i wiarygodność, stała się jednym z najszerzej stosowanych narzędzi oceny takich prac w wielu obszarach, w tym w badaniach dotyczących farmakoterapii [6].
Ocena publikacji
Artykuł został oceniony skalą PEDro przez troje fizjoterapeutów – certyfikowanych oceniających PEDro. Każda z oceniających osób dokonała oceny niezależnie. Nie wystąpiły różnice w ocenach poszczególnych oceniających.
Spośród 11 ocenianych skalą PEDro kryteriów jakości metodologicznej publikacji kontrolowanych badań eksperymentalnych, 10 dotyczy tzw. trafności wewnętrznej – rzetelności przeprowadzenia badania, a jedno (kryterium nr 1) – tzw. trafności zewnętrznej albo kryterium możliwości uogólniania wyników badania – jego zastosowania do innych osób niż osoby uczestniczące w badaniu.
Publikacja spełniła wszystkie 11 kryteriów. Ponieważ w ocenie sumarycznej nie uwzględnia się kryterium nr 1, wynik oceny wynosi 10/10. Kryterium nr 1 (jedenaste kryterium, nieuwzględniane w ocenie sumarycznej) także zostało przez każdego oceniającego uznane za spełnione. Nie wprowadzono klasyfikacji punktowej – gradacji jakości publikacji w skali PEDro.
Według ostatniego podsumowania (11 stycznia 2021 r.), w PEDro indeksowano 37 417 prac RCT, a ich średni wynik oceny jakości metodologicznej wyniósł 5,1 (z odchyleniem standardowym 1,6) [7]. Niektóre kryteria skali PEDro (np. zaślepienie badanych i badających) w niektórych badaniach nie mogą zostać spełnione, mimo stosowania się do wszystkich możliwych do spełnienia kryteriów rzetelności badania [5].
Informacje dodatkowe
Badania fazy drugiej i fazy trzeciej – jakie przedstawiono w analizowanej publikacji – to proces, „gdzie oceniana jest skuteczność i bezpieczeństwo pod kątem występowania niepożądanych odczynów poszczepiennych oraz bezpieczeństwo jej podawania z innymi szczepionkami już ujętymi w programach szczepień” [8]. Autorzy [1] zastrzegają, że część wyników badań, w zakresie trwałości odpowiedzi immunologicznej i immunogenetyczności szczepionki, nie jest jeszcze opublikowana, a badanie jest w trakcie.
30 grudnia 2020 roku New England Journal of Medicine opublikował kolejny raport – z przeprowadzonego w Stanach Zjednoczonych wieloośrodkowego badania skuteczności i bezpieczeństwa szczepionki mRNA-1273 przeciw infekcji koronawirusem SARS- CoV-2 [10] firmy Moderna [11]. Praca ta została oceniona skalą PEDro przez tych samych oceniających. Analogicznie, każdy z oceniających wskazał spełnienie wszystkich 11 kryteriów oceny. Z uwagi na wprowadzenie w Polsce najpierw szczepionki Pfizer i BioNTech [9], wybrano do omówienia publikację [1, 4].
Ocen publikacji skalą PEDro dokonali niezależnie: mgr Kamil Adamiec, mgr Weronika Krzepkowska oraz dr hab. prof. AWF Maciej Płaszewski.
Piśmiennictwo
1. Polack FP, Thomas SJ, Kitchin N, Absalon J, Gurtman A, Lockhart S, Perez JL, Pérez Marc G, Moreira ED, Zerbini C, Bailey R, Swanson KA, Roychoudhury S, Koury K, Li P, Kalina WV, Cooper D, Frenck RW, Hammitt LL, […] C4591001 Clinical Trial Group. Safety and Efficacy of the BNT162b2 mRNA Covid-19 Vaccine. N Engl J Med, 383(27):2603-2615, 2020 Dec 10; DOI: 10.1056/NEJMoa2034577.
2. Guyatt G, i wsp. Therapy (Randomized Trials). [w:] Guyatt G, i wsp. (red.) User’s Guides to the Medical Literature. Essentials of Evidence-Based Clinical Practice. McGraw-Hill, wyd. 2, 2008.
3. PEDro, Physiotherapy Evidence Database. https://pedro.org.au/polish.
4. Polack FP, i wsp. Research Summary. Safety and Efficacy of the BNT162b2 mRNA Covid-19 Vaccine. N Engl J Med, 383(27):2603-2615, 2020 Dec 10.
5. PEDro scale.
6. Yamato TP, Maher C, Koes B, Moseley A. The PEDro scale had acceptably high convergent validity, construct validity and inter-rater reliability in evaluating methodological quality of pharmaceutical trials. J Clin Epidemiol 2017;86:176-81. DOI:10.1016/j.jclinepi.2017.03.002.
7. Statystyki PEDro. Aktualizacja z 11.01.2021 r.
8. Państwowy Zakład Higieny Narodowy Instytut Zdrowia Publicznego. Jak się bada bezpieczeństwo szczepionek
9. Comirnaty. Charakterystyka produktu leczniczego.
10. Baden LR, El Sahly HM, Essink B, Kotloff K, Frey S, Novak R, Diemert D, Spector SA, Rouphael N, Creech CB, McGettigan J, Kehtan S, Segall N, Solis J, Brosz A, Fierro C, Schwartz H, Neuzil K, Corey L, Gilbert P, Janes H, Follmann D, Marovich M, Mascola J, Polakowski L, Ledgerwood J, Graham BS, Bennett H, Pajon R, Knightly C, Leav B, Deng W, Zhou H, Han S, Ivarsson M, Miller J, Zaks T; COVE Study Group. Efficacy and Safety of the mRNA-1273 SARS-CoV-2 Vaccine. N Engl J Med. 2020 Dec 30. doi: 10.1056/NEJMoa2035389. Epub ahead of print.
11. Państwowy Zakład Higieny Narodowy Instytut Zdrowia Publicznego. Gdzie znaleźć informacje na temat szczepionki mRNA firmy Moderna?
Daj znać, co sądzisz o tym artykule :)
