Próba podwójnie ślepa
Autor tekstu:

Dziękuję doktorowi Stevenowi Bratmanowi, za udostępnienie publikacji,
które pomogły mi w napisaniu poniższego tekstu.

Jeśli ktoś pyta mnie, co uważam za największy przełom w medycynie dwudziestego wieku, zazwyczaj nie namyślam się długo i odpowiadam: podwójnie ślepa próba.

Odkrycie tej metody wywołało istny huragan, który przeszedł przez dziewiętnastowieczny paradygmat medycyny, wywiewając długie pasmo zabobonu i pseudonaukowych praktyk.

Za jej wynalazcę uznaje się francuskiego fizjologa Claude’a Bernarda (1813-1878), który twierdził, że naukowy eksperyment powinien być podzielony między teoretyków doskonale znających i rozumiejących przebieg eksperymentu, a laików, którzy nie rozumieją jego pryncypiów. Następnie obie grupy powinny zapisać wyniki obserwacji, a następnie winny być one porównane. Tylko wyniki, które będą zgodne między grupami, powinny być uznane jako prawdziwe.

Było to niezmiernie kontrowersyjne twierdzenie, gdyż w czasach, w których przyszło żyć Bernardowi, uważano że jedynie doskonale wyedukowani i znający się na rzeczy naukowcy potrafią poprawnie, i — co najważniejsze - obiektywnie, zinterpretować wyniki eksperymentu.

No dobrze, ale dlaczego podwójnie ślepa próba?

Większość osób, z którymi rozmawiam, przynajmniej słyszała o tej metodzie, ale zupełnie nie rozumie dlaczego jest ona taka istotna. Podejrzewam, że nie z powodu, iż jest to szczególnie trudna metoda, ale raczej ze względu, że konsekwencje jej stosowania często bywają trudne do zaakceptowania. Podwójnie ślepa próba uczy nas, że nie wolno ufać osobistemu doświadczeniu, a jest to pigułka niezwykle gorzka w smaku i trudna do przełknięcia.

Okazuje się, że metoda jest szczególnie druzgocząca dla medycyny alternatywnej. Jak doskonale wiemy, medycyna alternatywna zasadza się w tradycji, anegdotach, zdrowym rozsądku oraz ustnym przekazie. Wydawać by się mogło, że są to wystarczające źródła informacji. Podwójnie ślepa próba udowadnia nam jednak, że jest zupełnie inaczej.

Z pewnością zdajemy sobie sprawę, że występowanie pewnych czynników zakłócających może powodować powstawanie przeróżnych iluzji. Wydaje się nam wówczas, że dostrzegamy występowanie czegoś, czego w rzeczywistości nie ma. Mając do czynienia z lekarstwem bądź terapią musimy uzyskać pewność, że oddziaływanie na organizm nie jest wynikiem takich właśnie złudzeń.

Czym jest podwójnie ślepa próba?

W prawidłowo przeprowadzonym eksperymencie z zastosowaniem randomizacji z podwójnie ślepą próbą, dzielimy uczestników na dwie grupy. Osoby z jednej z grup otrzymają testowany lek, natomiast pacjenci z drugiej grupy otrzymają fałszywy lek — placebo. Żaden z uczestników, a także nikt spośród przeprowadzających eksperyment nie będzie wiedział kto należy do której grupy. Czyli zarówno pacjenci, jak i podający leki, a także lekarze, którzy przebadają osoby z obu grup przed i po eksperymencie będą „ślepi". Wszelkie tabletki, bądź fiolki zostaną oznakowane nic nie mówiącymi kodami. Jedyną osobą mającą „odsłonięte oczy" będzie superwizor, którego współcześnie zastępuje komputer.

Kiedy eksperyment zostanie zakończony, wszyscy pacjenci przebadani, a ich wyniki zapisane, dopiero wtedy kody zostaną złamane i do pracy wezmą się statystycy.

Istotną rolę odgrywa tu również czynnik losowości, czyli randomizacja. Pacjenci zostaną przypisani do poszczególnych grup w sposób absolutnie losowy. Ma to na celu zabezpieczenie eksperymentu przed błędem „tendencyjnego dobrania" uczestników.

Ale po co to wszystko?

Doświadczenie, które zdobyliśmy przez ostatnie 40 lat, pokazuje wyraźnie, że jedynie metoda podwójnie ślepej próby z randomizacją i zastosowaniem placebo pozwala na udzielenie odpowiedzi na pytanie: „Czy dane leczenie jest skuteczne w przypadku danej choroby".

Zdrowy rozsądek podpowiada nam, że sami potrafimy odgadnąć, czy dany środek/leczenie przynosi nam korzyści, po prostu próbując go na sobie. Następnie odpowiadamy sobie na pytanie: „Czy mi to pomogło?" (Czy pomogło mojemu sąsiadowi, mamie, wujkowi?) Jeśli tak, znaczy to, że jest to skuteczne leczenie. Jeśli nie — nieskuteczne. Proste, prawda?

Niestety nie, nie jest to prawda. Przypadki medyczne oscylują w dziedzinie życia, w której zdroworozsądkowe obserwacje ani trochę nie są godne zaufania. Jedną z rzeczy, której uczy nas podwójnie ślepa próba, jest to, że naukowcy nie mogą polegać na swoich własnych oczach. A wszystko przez moc czynników zakłócających eksperyment.

Czynniki zakłócające

Delikatny, często niezauważalny wpływ czynników zakłócających może spowodować powstanie iluzji, że nieefektywny środek jest efektywny. To właśnie tym czynnikom zawdzięczamy fakt, że przez tyle stuleci mieliśmy do czynienia z pseudonauką w medycynie. Weźmy na przykład osławione już puszczanie krwi. Kiedy spojrzymy w przeszłość, okaże się, że wielu światłych i ponadprzeciętnie inteligentnych ludzi twierdziło, że przecinanie żyły w celu upuszczenia „złej krwi" przynosi znakomite rezultaty. Powstało szereg traktatów publikowanych w literaturze medycznej tamtych czasów, że kontrolowane wykrwawianie pacjentów przynosi doskonały efekt terapeutyczny.

Dziś wiemy, że puszczanie krwi, jako remedium na większość chorób, nie pomaga choremu, a wielokrotnie było też przyczyną śmiertelnych zejść masy ludzi. Dlaczego to przerażające leczenie przetrwało w medycynie tak długo? Odpowiedź jest prosta — ponieważ nie możesz wierzyć we wszystko co widzisz. Ludzie, którzy dostrzegali pozytywne efekty puszczania krwi byli zmyleni szeregiem czynników zakłócających. Oto one: efekt placebo, reinterpretacja wyników, efekt obserwatora, tendencyjny dobór grup, naturalny rozwój choroby, regresja do średniej, efekt udziału w badaniach oraz iluzja statystyczna

Efekt placebo jest procesem, w którym sugestia lub autosugestia powoduje zniesienie symptomów choroby. Początkowe badania nad zakłócającym wpływem efektu placebo zawierały rażące błędy metodologiczne, [ 1 ] ale w chwili obecnej nie mamy wątpliwości, że występuje szereg przypadłości, które doskonale odpowiadają na leczenie placebo. Należą do nich np. uderzenia gorąca na twarz związane z menopauzą, [ 2 ] symptomy powiększenia prostaty, [ 3 ] czy pewne odmiany bólu. [ 4 ] Badania pokazują, że ponad 50%-70% pacjentów poprawnie odpowiada na zastosowanie placebo.

Ludzie na ogół wpadają w złość, kiedy mówi im się, że pozytywne wrażenia jakich doświadczają mogą być wynikiem działania efektu placebo. Jednak przykłady świadczą, że jest to bardzo prawdopodobne. Przyjrzyjmy się kilku.

W podwójnie ślepej próbie z zastosowaniem placebo, badanie 30 ludzi z zespołem cieśni nadgarstka dostrzegało znaczną poprawę podczas stosowania magnetoterapii. Ci, którzy używali fałszywych magnesów zgłaszali identyczną poprawę. [ 5 ]

Badanie 321 pacjentów z bólem dolnej części pleców wykazało, że manipulacja wykonana przez kręgarza jest niezwykle pomocna, ale niestety nie bardziej niźli rozdanie ulotek edukacyjnych dotyczących bólu dolnych części pleców. [ 6 ]

W badaniu 67 osób z bólem biodra akupunktura przyniosła znaczną poprawę. Dokładnie taką samą poprawę przyniosło wbijanie igieł w miejsca zupełnie losowe, a nawet delikatne ukłucie igłą skóry bez faktycznej jej penetracji. [ 7 ]

W eksperymencie ze 177 pacjentami cierpiącymi na ból szyjnego odcinka kręgosłupa okazało się, że fałszywa akupunktura laserowa (rzekoma terapia wymyślona przez prowadzących na potrzeby badania) jest znacznie skuteczniejsza, niźli klasyczny masaż. [ 8 ]

Proszę zwrócić uwagę, że powyższe badania nie dyskwalifikują testowanych terapii. W większości przypadków liczebność grup jest zbyt mała, żeby móc wnioskować na ten temat. To co pokazują jest jednak niezwykle istotne: porównują ich działanie z zastosowaniem placebo. Badania te obrazują bardzo wyraźnie, że każda losowa forma leczenia, bez względu jak będzie bezwartościowa bądź idiotyczna, wydaje się działać w jakimś stopniu.

Placebo przynajmniej przynosi jakiś skutek. Wiele, naprawdę wiele innych iluzji może stwarzać wrażenie pozytywnego oddziaływania, pomimo faktu, że takowego w ogóle nie ma.

Nawet w przypadku, gdy leczenie (lub fałszywe leczenie) nie przynosi żadnego efektu, ludzie skłonni są reinterpretować symptomy i doświadczać ich jako mniej dolegliwe. Oto przykład: wyobraź sobie, że otrzymujesz lekarstwo, które ma sprawić, że częstotliwość twojego kaszlu się zmniejszy. Najprawdopodobniej zaobserwujesz, że kaszlesz rzadziej, nawet jeśli częstotliwość twojego kaszlu nie ulegnie wcale zmianie. Innymi słowy, zreinterpretujesz symptomy jako rzadsze i/lub mniej uciążliwe. [ 9 ] Jak pokazują ostatnie badania, dokładnie to złudzenie występuje podczas zażywania syropów przeciwkaszlowych sprzedawanych bez recepty, które wydawały się pomagać tysiącom ludzi ostatniej dekady.

Efekt obserwatora jest bardzo podobny, ale dotyczy bardziej lekarzy niźli pacjentów. Jeśli lekarz wierzy, że podaje choremu efektywny lek, będzie on obserwował poprawę u chorego, nawet jeśli takowej w ogóle nie ma. Pięknym przykładem na to złudzenie jest badanie nad nowym reżimem leczenia stwardnienia rozsianego w porównaniu z placebo. [ 10 ] Dokonano badania z zastosowaniem podwójnie ślepej próby, jednak część lekarzy otrzymała pełne dane dotyczące eksperymentu (odsłonięto im oczy). Okazało się, że ci lekarze, skłonni byli zauważać poprawę tam, gdzie spodziewali się ją znaleźć.

Tendencyjny dobór występuje wówczas, gdy eksperymentatorzy mogą decydować, który pacjent powinien otrzymać leczenie, a który znaleźć się w grupie kontrolnej (tej, która otrzyma placebo). Okazuje się, że prowadzący eksperyment podświadomie dobierają pacjentów w taki sposób, żeby wynik całego eksperymentu wyglądał lepiej. [ 11 ] Oto dlaczego eksperyment z zastosowaniem podwójnie ślepej próby musi zawierać czynnik losowości.

Wiele chorób ma tendencje do wykazywania samoistnej remisji jako efekt naturalnego rozwoju choroby. Każdy rodzaj leczenia podany na początku jej występowania będzie wydawał się być skuteczny. Dobrym przykładem do zobrazowania tego zjawiska będzie tu ból szyjnego odcinka kręgosłupa oraz ból dolnej części pleców. Większość epizodów objawiających się tymi przypadłościami z czasem samoczynnie ustąpi, bez względu na rodzaj zastosowanego leczenia. Oczywiście każde wyda się być skuteczne w walce z tymi dolegliwościami.

Regresja do średniej jest bardzo podobna do samoistnej remisji z pewną delikatną różnicą. Bazuje bowiem na fakcie, że niemal każdy symptom dowolnej choroby ma zmienny przebieg. Nawet jeśli nie znika zupełnie z czasem, cechują go okresy lepsze i gorsze. Ciśnienie krwi może nam świetnie zobrazować ten problem.

U większości ludzi ciśnienie krwi podnosi się i opada kilka razy dziennie, a nawet zmienia się z tygodnia na tydzień. Załóżmy, że średnie ciśnienie krwi pewnej osoby wynosi 140/90, ale okazjonalnie potrafi podskoczyć do 170/110. Jeśli okaże się, że mierząc ciśnienie takiej osobie trafimy w dzień, kiedy będzie miała ciśnienie podwyższone, może to sprawić błędnie wrażenie, że należy podać leki regulujące nadciśnienie.

Zgodnie z prawem statystyki, po pewnym czasie osoba ta wróci do swojego średniego ciśnienia, by nadal oscylowało wokół średniej wartości. Stanie się tak bez względu na rodzaj podanych leków. Wyniki natomiast najprawdopodobniej przypisane zostaną niepotrzebnemu bądź niedziałającemu lekarstwu.

Efekt udziału w badaniach odwołuje się do zjawiska, iż ludzie którzy zapisują się jako obiekty badawcze mają tendencję do dbania o swoje zdrowie i mogą z tego powodu czuć się lepiej, a nie z powodu, że odnoszą korzyści z leczenia. Okazuje się, że jest to zadziwiająco silny czynnik.

Jeśli zapiszemy kogoś na badanie nowego leku np. obniżającego poziom cholesterolu, a następnie podamy mu placebo, poziom jego cholesterolu ulegnie znacznemu obniżeniu. Dlaczego tak się dzieje? Prawdopodobnie może mieć tu znaczenie fakt, że ludzie ci przystępując do badań zaczynają bardziej dbać o swoje zdrowie. Jedzą zdrowiej, więcej ćwiczą, etc.

Ponownie okazuje się, że zastosowanie losowej podwójnie ślepej próby jest nieodzowne, żeby zminimalizować wpływ takiego efektu na całość badania.

Pozostają nam jeszcze iluzje statystyczne. Załóżmy, że wynalazłeś wybitnie bezwartościową terapię, która w każdym z testów wykazuje swoją miałkość, ale pomaga jednemu na stu badanych. Jeśli teraz zastosujesz swoją terapię na stu tysiącach pacjentów, otrzymasz tysiąc pozytywnych wyników, a sama terapia będzie wyglądała wspaniale.

Iluzje statystyczne występują niezwykle często, z czego nie zawsze zdajemy sobie sprawę. Załóżmy, że testujesz nowe lekarstwo, które w założeniu ma zapobiegać chorobom serca. Aplikujesz je grupie 1000 osób, ale okazuje się, że nie występuje spodziewany efekt. Oczywiście fakt ten działa niezwykle drażniąco, więc zaczynasz analizować wyniki znacznie wnikliwiej. Po pewnym czasie zauważasz, że w grupie przyjmującej lek występowanie raka trzustki jest znacznie niższe, niż w grupie testowej. Czyżbyś był świadkiem nowego odkrycia? Być może, ale najprawdopodobniej jednak nie.

Zgodnie ze złośliwą naturą średnich statystycznych, jeśli zaczniesz drążyć wyniki możesz być pewny, że znajdziesz dane świadczące o poprawach w obrazie różnych dolegliwości. To nic innego niż czysty przypadek — statystyczna iluzja.

Ostrożnie z obserwacjami.

W badaniach obserwacyjnych eksperymentatorzy nie podają ludziom żadnych środków ani medykamentów. Zamiast tego, po prostu obserwują pewną grupę ludzi. Na przykład, badania nad zdrowiem pielęgniarek polegały na tym, że grupa prawie 100,000 pielęgniarek przez wiele lat wypełniała kwestionariusze. Starano się znaleźć połączenie pomiędzy różnymi stylami życia, a zapadalnością na różne choroby.

Doświadczenie pokazało np. że pielęgniarki, które konsumowały więcej owoców i jarzyn zapadały rzadziej na raka. Te wyniki są często cytowane jako argument na związek niższej zachorowalności na raka przy większym spożyciu owoców i jarzyn. Niemniej wcale nie musi być to prawdą. Oto dlaczego:

Wszystko co wiemy z tego badania, to fakt, że większe spożycie jarzyn i owoców jest skorelowane z mniejszą zapadalnością na raka, a nie, że wywołuje mniejszą zachorowalność. Ludzie, którzy jedzą więcej jarzyn i owoców mogą mieć szereg innych zdrowych nawyków, nawet takich, o których nic nie wiemy, i to one mogą być przyczyną niższej zachorowalności.

Może to wyglądać na czysto akademicki problem, ale tak nie jest. Naukowcy analizujący badania nad menopauzą kobiet, które otrzymywały hormonalną terapię zastępczą wykazywały o 50% mniejszą zapadalność na choroby serca, niźli kobiety, które nie korzystały z takiej terapii. Odkrycie to, wraz z dziesiątkami logicznie wypływających argumentów wydawały się pokazywać, że estrogen powinien zapobiegać występowaniu chorób serca. Doprowadziło to do tego, że lekarze zaczęli zalecać kobietom w okresie menopauzy estrogenową terapię hormonalną.

Niestety, okazało się, że jest to potworny błąd. Wspomniane badanie nie pokazywało przyczyny i skutku, i było całkiem możliwe, że kobiety które korzystały z hormonalnej terapii zastępczej były zdrowsze z innych powodów oraz, że istniał inny czynnik zabezpieczający je przed wspomnianymi chorobami. Po zastosowaniu kolejnej serii badań z wykorzystaniem podwójnie ślepej próby z randomizacją i placebo, okazało się, że to, co wszyscy mieli za pewnik, nie jest prawdą. Badanie pokazało, że hormonalna terapia zastępcza powoduje choroby serca w późniejszym wieku, [ 12 ] a także zwiększa ryzyko zachorowania na raka piersi.

Innymi słowy, pokładanie całkowitej wiary jedynie w badaniach polegających na obserwacji doprowadziło wiele kobiet do przedwczesnej śmierci. A to już nie jest czysto akademicka spekulacja.

Okazało się też, że kobiety, które korzystały z hormonalnej terapii zastępczej były ogólnie zdrowsze, gdyż większość była znacznie lepiej sytuowana, pochodziła z wyższej klasy ekonomicznej oraz posiadała lepszy dostęp do opieki medycznej.

Ostatecznie okazuje się, że badania polegające tylko na obserwacji nie udowadniają niczego i mogą doprowadzić do zupełnie mylnych wniosków.

Podobnie, zaobserwowano iż ludzie, których dieta jest bogata w antyoksydanty wykazują niższą zapadalność na raka i choroby serca. Pamiętajmy, że nie oznacza to wcale, że antyoksydanty zmniejszają ryzyko tych chorób. A pewnie nie jeden raz byliśmy bombardowani takimi informacjami przez ludzi trudniących się sprzedażą różnych suplementów diety.

Gigantyczne badania z zastosowaniem podwójnie ślepej próby, które zostały przeprowadzone nad antyoksydantami jako potencjalnymi środkami zabezpieczającymi ludzi przed chorobami serca i rakiem pokazały wyraźnie, że witamina E nie działa, a beta-karoten tylko pogarsza sprawę! [ 13 ]

Tylko i wyłącznie Medycyna Oparta o Dowody

Podwójnie ślepa próba zrewolucjonizowała współczesną medycynę. Wiele dawnych przekonań odeszło dzięki tej metodzie do lamusa. Mnóstwo pseudonaukowych poczynań medyków z przeszłości przestało zagrażać naszemu zdrowiu i życiu.

Przekonanie, że współczesna medycyna musi opierać się na badaniach z wykorzystaniem podwójnie ślepej próby nosi nazwę Evidence Based Medicine, co znaczy Medycyna Oparta o Dowody.

Zgodnie z założeniami EMB środki medyczne czy terapie, które nie przeszły przez rygorystyczne testy z wykorzystaniem podwójnie ślepej próby nie mogą być przedstawiane jako efektywne leczenie. Dotyczy to zarówno indonezyjskich ziół, świecowania uszu, chińskiej medycyny naturalnej czy też dowolnego aspektu szeroko stosowanej medycyny konwencjonalnej.

Niestety, medycyna alternatywna do dziś nie przedstawiła dowodów skuteczności z wykorzystaniem podwójnie ślepej próby. Jeśli już do jakichś testów doszło, jak np. akupunktura, bądź chiropraktyka, alternatywa poniosła klęskę. Niecierpliwie też czekam, kiedy próbie zostanie poddana moja ulubiona cudowna mikstura — Alveo, która ostatnio przeżywa ponowny renesans. Śmiem twierdzić, że wiem jaki będzie wynik i chętnie założę się z tymi, którzy obstawiają drugą opcję. Najpiękniejsze w tym wszystkim jest to, że bez względu na to, której ze stron kibicujemy, nie jesteśmy w stanie nic zrobić, co mogło by zaburzyć wyniki testu. (Parafraza tekstu Richarda Dawkinsa zamierzona.)


 Przypisy:
[ 1 ] Hrobjartsson A, Gotzsche PC, Is the placebo powerless? An analysis of clinical trials comparing placebo with no treatment, N Engl J Med. 2001;344:1594-1602
[ 2 ] MacLennan A, Lester S, Moore V, Oral estrogen replacement therapy versus placebo for hot flushes: a systematic review, Climacteric. 2001;4:58-74.
[ 3 ] Nickel JC, Placebo therapy of benign prostatic hyperplasia: a 25-month study, Canadian PROSPECT Study Group. Br J Urol. 1998;81:383-387.
[ 4 ] Solomon S, A review of mechanisms of response to pain therapy: why voodoo works, Headache. 2002;42:656-62
[ 5 ] Carter R, Hall T, Aspy CB and others, Effectiveness of magnet therapy for treatment of wrist pain attributed to carpal tunnel syndrome, J Fam Pract. 2002;51:38-40.
[ 6 ] Cherkin DC, Deyo RA, Battie M, A comparison of physical therapy, chiropractic manipulation, and provision of an educational booklet for the treatment of patients with low back pain, N Engl J Med. 1998;339:1021-1029.
[ 7 ] Fink M, Karst M, Wippermann B, Non-specific effects of traditional Chinese acupuncture in osteoarthritis of the hip: a randomized controlled trial, Complement Ther Med. 2001;9:82-88.
[ 8 ] Irnich D, Behrens N, Molzen H, Randomised trial of acupuncture compared with conventional massage and sham laser acupuncture for treatment of chronic neck pain, BMJ. 2001;322:1-6.
[ 9 ] Schroeder K, Fahey T, Over-the-counter medications for acute cough in children and adults in ambulatory settings, Cochrane Database Syst Rev. 2001;CD001831.
[ 10 ] Noseworthy JH, Ebers GC, Vandervoort MK, The impact of blinding on the results of a randomized, placebo-controlled multiple sclerosis clinical trial, Neurology. 2001;57:S31-5.
[ 11 ] Kramer MS, Randomized trials and public health interventions: time to end the scientific double standard, Clin Perinatol. 2003;30:351-61
[ 12 ] Manson JE, Hsia J, Johnson KC, Women's Health Initiative Investigators. Estrogen plus progestin and the risk of coronary heart disease, N Engl J Med. 2003;349:523-34.
[ 13 ] Clarke R, Armitage J, Antioxidant vitamins and risk of cardiovascular disease. Review of large-scale randomised trials, Cardiovasc Drugs Ther. 2002;16:411-5.
Moyad MA, Selenium and vitamin E supplements for prostate cancer: evidence or embellishment?, Urology. 2002;59(Suppl 1):9-19.
Heinonen OP, Albanes D, Virtamo J, Prostate cancer and supplementation with alpha-tocopherol and beta-carotene: incidence and mortality in a controlled trial, J Natl Cancer Inst. 1998;90:440446.
Albanes D, Heinonen OP, Huttunen JK, Effects of alpha-tocopherol and beta-carotene supplements on cancer incidence in the Alpha-Tocopherol Beta-Carotene Cancer Prevention Study, Am J Clin Nutr. 1995;62(suppl):1427S1430S.
Virtamo J, Edwards BK, Virtanen Mand others, Effects of supplemental alpha-tocopherol and beta-carotene on urinary tract cancer: incidence and mortality in a controlled trial (Finland), Cancer Causes Control. 2000;11:933-939.
Frieling UM, Schaumberg DA, Kupper TS and others,A randomized, 12-year primary-prevention trial of beta carotene supplementation for nonmelanoma skin cancer in the physicians' health study, Arch Dermatol. 2000;136:179184.
Heart Protection Study Collaborative Group, MRC/BHF Heart Protection Study of antioxidant vitamin supplementation in 20,536 high-risk individuals: a randomised placebo-controlled trial, Lancet. 2002;360:23-33.
Omenn GS, Goodman GE, Thornquist MD and others, Effects of a combination of beta carotene and vitamin A on lung cancer and cardiovascular disease, N Engl J Med. 1996;334:11501155.
Malila N, Taylor PR, Virtanen MJ and others, Effects of alpha-tocopherol and beta-carotene supplementation on gastric cancer incidence in male smokers (ATBC Study, Finland), Cancer Causes Control. 2002;13:617-623.

Jacek Gargasz
Informatyk, pracuje w Glass's Information Services (Australia). Przez sześć lat pracował na Monash University, Deakin University oraz Swinburne University.
 Strona www autora
 Numer GG: 3335

 Liczba tekstów na portalu: 5  Pokaż inne teksty autora
 Liczba tłumaczeń: 1  Pokaż tłumaczenia autora

 Oryginał.. (http://www.racjonalista.pl/kk.php/s,7244)
 (Ostatnia zmiana: 08-04-2010)