Racjonalista - Strona głównaDo treści
Kryzys odtwarzalności w nauce i jego przyczyny

Ten wątek jest przedawniony

Działy Forum » Nauka
NapisanoAutorTytuł
19-11-2020 08:58Arminius (25555 punktów)Kryzys odtwarzalności w nauce i jego przyczyny
Ocena 3 na 3
Niedawno, w wątku zatytułowanym "Dlaczego nauka przebiera nogami w miejscu"
www.racjonalista.pl/forum.php/s,825997 postawiony został problem obserwowanego od kilkudziesięciu lat zastoju w nauce. Jego widomym symptomem jest - między innymi - tzw. kryzys odtwarzalności (reproducibility crisis) polegający w wielkim skrócie na tym, iż wyniki uzyskane w wyniku przeprowadzonych doświadczeń/badań nie są potwierdzane ( w ogromnym, często większościowym procencie) przez kolejne takie badania. Do niedawna szczególnie psychologa obciążona była tym grzechem - ale okazuje się, że nauki ścisłe ( biologia, chemia, medycyna, astronomia...) nie są wcale od niego wolne. Przyczyną stanu rzeczy jak wyżej może być po prostu nierzetelność, bylejakość oraz chęć przyśpieszenia kariery zawodowej przez naukowców dokonujących owych badań. Wszak wiadomo o fenomenie punktozy, która w różnych emanacjach trapi świat nauki na całym świecie. Okazuje się jednak, że przyczyną patologii jak wyżej może być także tzw. "machine learning". Definicja uczenia maszynowego w wielkim uproszczeniu brzmi następująco:
"Uczenie maszynowe to technologia, która - zamiast precyzyjnie programować komputery - uczy je wykonywania zadań na podstawie analizy danych."
Rzeczywistość jednakże może wyglądać zasadniczo odmiennie. Bowiem to przecież człowiek/naukowiec nadal konstruuje ową technologię i determinuje metodę wykonywania owych zadań - ze wszystkimi konsekwencjami tego faktu.
Dr Genevery Allen z Uniwersytetu w Houston uważa, iż kryzys odtwarzalności jak wyżej jest w dużym stopniu spowodowany "wynikami" projektów/zadań zleconych do wykonania komputerom.
Zainteresowanych problemem odsyłam do podlinkowanego materiału - nadmieniają finalnie, iż wątek niniejszy jest również wyśmienitym przyczynkiem de debaty nad sztuczną inteligencją.

www.bbc.com/news/science-environment-47267081

"Machine-learning techniques used by thousands of scientists to analyse data are producing results that are misleading and often completely wrong.Dr Genevera Allen from Rice University in Houston said that the increased use of such systems was contributing to a "crisis in science".She warned scientists that if they didn't improve their techniques they would be wasting both time and money. Her research was presented at the American Association for the Advancement of Science in Washington.A growing amount of scientific research involves using machine learning software to analyse data that has already been collected. This happens across many subject areas ranging from biomedical research to astronomy. The data sets are very large and expensive.
'Reproducibility crisis'
But, according to Dr Allen, the answers they come up with are likely to be inaccurate or wrong because the software is identifying patterns that exist only in that data set and not the real world."Often these studies are not found out to be inaccurate until there's another real big dataset that someone applies these techniques to and says 'oh my goodness, the results of these two studies don't overlap'," she said."There is general recognition of a reproducibility crisis in science right now. I would venture to argue that a huge part of that does come from the use of machine learning techniques in science."The "reproducibility crisis" in science refers to the alarming number of research results that are not repeated when another group of scientists tries the same experiment. It can mean that the initial results were wrong. One analysis suggested that up to 85% of all biomedical research carried out in the world is wasted effort."
Autor wątku ma uprawnienia do usuwania wypowiedzi, jeżeli łamią regulamin Forum lub znacznie odbiegają od tematu.

szarley (54913 punktów)
>Przyczyną stanu rzeczy jak wyżej może być po prostu nierzetelność, bylejakość
>oraz chęć przyśpieszenia kariery zawodowej przez naukowców dokonujących owych badań. Wszak wiadomo o fenomenie punktozy, która w różnych emanacjach trapi świat nauki na całym świecie.

Jest jeszcze jedna przyczyna, choć zazębia się z tymi tu opisanymi
Każda praca MUSI zakończyć się sukcesem. W środowisku naukowców, z którymi współpracowałem panowała opinia, że wyniki badań należy prezentować bez względu na to, czy badania udowodniły założoną tezę, czy też nie. Sam kiedyś podjąłem badania na jednej z uczelni, z których nic nie wyszło. Założenie okazało się mylne, ale na zawodowej konferencji zostało to ogłoszone. Wskazano "drogę donikąd" Dziś, jest presja zajedno sponsorów (państwowych czy prywatnych) jak i samego naukowego środowiska, że badania, MUSZĄ zakończyć się sukcesem, choćby wyniki naciągać, część badań pomijać. Oczywiście nie dotyczy to najpoważniejszych naukowych ośrodków i najpoważniejszych uczonych, ale już w doktorskich czy nawet magisterskich pracach pęd do tak rozumianego sukcesu psuje pracę nauki.

Przykład:
Pewna firma miała problem z oczyszczaniem ścieków. Dyrektorzy chcieli zwiększyć produkcję, ale oznaczałoby to zwiększenie ładunku zanieczyszczeń. Odwiedzili kilku profesorów zwolenników różnych metod i każdy z nich podjął temat wyznaczając doktoranta, kiedy jednak okazywało się że dana metoda nie rokuje, wstrzymywano doktorat (mimo deklaracji finansowania go do końca!) Dlaczego?
Odpowiedź była jedna: "doktorat nie polega na tym, że czegoś się zrobić nie udało"

Skutki są dwa:
1 Zleksza naciąganie wyników,
1.1 brak jest powtarzalności w innych laboratoriach
1.2 firmy inwestują w rozwiązania, które okazują się nieskuteczne
2 Marnowanie czasu na powtarzanie doświadczeń, z których raz już wyciągnięto wnioski, że jest to ślepa droga

Dyktaturze sprzeciwiają się tylko ludzie mający potrzebę wolności. Łańcuchowy burek nie czuje tej potrzeby
chętnie racjonalistka (29094 punktów)

>Każda praca MUSI zakończyć się sukcesem. [...] "doktorat nie polega na tym, że czegoś się zrobić nie udało"
Jasne: kto w badania inwestuje, ten oczekuje sukcesu; podający się za naukowców niechby błądzili 'za swoje'.

cr
20-11-2020 18:53 
 Ocena 3 na 3
okragly (21676 punktów)
>>Każda praca MUSI zakończyć się sukcesem. [...] "doktorat nie polega na tym, że czegoś się zrobić nie udało"
>Jasne: kto w badania inwestuje, ten oczekuje sukcesu; podający się za naukowców niechby błądzili 'za swoje'.
porażki kształcą (tylko trzeba poinformowac innych zainteresowanych badaczy; nie idcie tą drogą, tam nic nie ma)
życie to porażka np drzewo wydaje miliony nasion rocznie, nic z tego nie wzrasta, ot przyjdą dziki i zjedzą, same porazki
trzeba pokochać porażki
chętnie racjonalistka (29094 punktów)

>trzeba pokochać porażki
Najlepiej bez wzajemności.


cr
20-11-2020 22:58 
 Ocena 1 na 1
okragly (21676 punktów)
>>trzeba pokochać porażki
>Najlepiej bez wzajemności.
czemu porażka jest kobietą? a kim ja jestem?
21-11-2020 11:48 
 Ocena 2 na 2
chętnie racjonalistka (29094 punktów)

>>>trzeba pokochać porażki
>>Najlepiej bez wzajemności.
>czemu porażka jest kobietą?
Fiasko nie jest.

>a kim ja jestem?
Wiktorią?

cr
Rafał Poniecki (7132 punktów)
>>Jego widomym symptomem jest - między innymi - tzw. kryzys odtwarzalności <<

Jednym z powodów, oprócz wspomnianego niepublikowania wyników negatywnych, jest chyba wręcz patologiczne dopatrywanie się plagiatów. Plagiatem jest oczywiście przedstawianie czyjejś pracy jako własnej, ale równie źle widziane jest robienie czegoś, co już ktoś inny zrobił. No bo przecież "muszę być oryginalny".
okragly (21676 punktów)
>Kryzys odtwarzalności w nauce i jego przyczyny
dotychczasowa organizacja, sposób dzialania nauki wyczerpal sie. Proponowałbym zrezygnowac z hierarchii, indywidualizmu, wolności (liberalizmu), stworzyć przyjacielską wspólnotę np 20 badaczy, z tego byłyby owoce
20-11-2020 21:47 
 Ocena 1 na 1
Henryk.K (2246 punktów)
>>Kryzys odtwarzalności w nauce i jego przyczyny
>dotychczasowa organizacja, sposób dzialania nauki wyczerpal sie. Proponowałbym zrezygnowac z hierarchii, indywidualizmu, wolności (liberalizmu), stworzyć przyjacielską wspólnotę np 20 badaczy, z tego byłyby owoce
>
Od 1945 roku mamy w Polsce tylko takie wspólnoty uczonych. Takie kółka wzajemnej adoracji. Najlepsza polska uczelnia lokuje się w światowym rankingu po pierwszej pięćsetce.
Młodzi zdolni naukowcy opuszczają kraj i szukają możliwości rozwoju na obczyźnie.
Przyjacielskie wspólnoty uczonych bardzo dbają, żeby nikt się nie wybił.
Taka tradycja się zrodziła.


Trzeba podważyć wszystko, co się da podważyć, gdyż tylko w ten sposób można wykryć to, co podważyć się nie da. Tadeusz Kotarbiński ,, Traktat o dobrej robocie"
20-11-2020 23:03 
 Ocena 1 na 1
okragly (21676 punktów)
>>>Kryzys odtwarzalności w nauce i jego przyczyny
>>dotychczasowa organizacja, sposób dzialania nauki wyczerpal sie. Proponowałbym zrezygnowac z hierarchii, indywidualizmu, wolności (liberalizmu), stworzyć przyjacielską wspólnotę np 20 badaczy, z tego byłyby owoce
>>
> Od 1945 roku mamy w Polsce tylko takie wspólnoty uczonych. Takie kółka wzajemnej adoracji. Najlepsza polska uczelnia lokuje się w światowym rankingu po pierwszej pięćsetce.
> Młodzi zdolni naukowcy opuszczają kraj i szukają możliwości rozwoju na obczyźnie.
>Przyjacielskie wspólnoty uczonych bardzo dbają, żeby nikt się nie wybił.
wtedy to nie jest przyjacielska wspólnota. Człowiek indywidualnie jest ZEREM
20 ZER=ZERO
zażyła wspólnota daje MOC
waligóra (961 punktów)
>...postawiony został problem obserwowanego od
>kilkudziesięciu lat zastoju w nauce.
No chyba w Polsce.
Takiego postępu jakiego dokonała nauka - fizyka, matematyka, chemia, medycyna..., nie mówiąc już o rozwoju technologii np. elektroniki,jaki obserwujemy, od właśnie kilkudziesięciu lat, cywilizacja ludzka nie doświadczyła nigdy przedtem w swej historii.
Oczywiście, subwencjonując na własnym podwórku takie "badania podstawowe" jak tłumaczenie Encyklopedii Katolickiej, można tego nie zauważyć.
A na świecie - tak np. pierwszy z brzegu problem - poważnie rozpatruje się np. modele ekonomii, socjologii, filozofii oparte na globalnych sieciach AI.
W fizyce penetrujemy takie obszary rzeczywistości, o jakich choćby przed 20- laty nikt nie przewidywał.
Mechanika kwantowa, kosmologia - czy te dziedziny są w zastoju ?
Zastój w metodologii nauki ? , wolne żarty - warto po prostu przeczytać odpowiednią literaturę. Dostępnych są tysiące książek, w każdej dziadzinie - po co tworzyć fikcyjne problemy.


uxbridge (5980 punktów)
>Zastój w metodologii nauki ? , wolne żarty - warto po prostu przeczytać odpowiednią literaturę. Dostępnych są tysiące książek, w każdej dziedzinie - po co tworzyć fikcyjne problemy.
Ano po to, żeby oddalić od siebie i wyprzeć dojmujące poczucie niezrozumienia otaczającego świata. Inaczej mówiąc świadomość własnego nieuctwa.
22-11-2020 15:44 
 Ocena 1 na 1
Arminius (25555 punktów)nadęte Ego?
>>Zastój w metodologii nauki ? , wolne żarty - warto po prostu przeczytać odpowiednią literaturę. Dostępnych są tysiące książek, w każdej dziedzinie - po co tworzyć fikcyjne problemy.
>Ano po to, żeby oddalić od siebie i wyprzeć dojmujące poczucie niezrozumienia otaczającego świata. Inaczej mówiąc świadomość własnego nieuctwa.

Na jakiej podstawie twierdzi pan, iż dr Genevery Allen z Uniwersytetu w Houston jest nieukiem - bo to przecież ona i jej podobni naukowcy postawili tezę jak w wątku inicjującym. Czy pan przypadkiem nie jest dziadersem - mizoginem, który ma rozdętą...świadomość swojej pozornej wyjątkowości?
23-11-2020 09:32 
 Ocena 1 na 1
uxbridge (5980 punktów)Odp: nadęte Ego?
>>>Zastój w metodologii nauki ? , wolne żarty - warto po prostu przeczytać odpowiednią literaturę. Dostępnych są tysiące książek, w każdej dziedzinie - po co tworzyć fikcyjne problemy.
>>Ano po to, żeby oddalić od siebie i wyprzeć dojmujące poczucie niezrozumienia otaczającego świata. Inaczej mówiąc świadomość własnego nieuctwa.
>Na jakiej podstawie twierdzi pan, iż dr Genevery Allen z Uniwersytetu w Houston jest nieukiem - bo to przecież ona i jej podobni naukowcy postawili tezę jak w wątku inicjującym.
Dr Allen mówi o konkretnym problemie wynikajacym z nadmiernego (wg. niej) polegania na AI w opracowaniu wyników badań. Nie ma to nic wspólnego z jakimś ogólnym kryzysem nauki czy "zastojem". Nieuctwem jest powoływanie się na opinię bez rozumienia kontekstu i wyciąganiem tyleż ogólnych co nieuprawnionych wniosków.
Nb. Problem o którym mówi Genevera (nie Genevery!) Allen zidentyfikowała sama nauka a nie jej niedouczeni krytycy. I to nauka go rozwiąże, z całą pewnością bez pomocy fałszywie zatroskanych.

Wróć do listy wątków działu Nauka
Aby pisać w tym wątku, musisz się zalogować

  

Zaloguj przez OpenID..
Jeżeli nie jesteś zarejestrowany/a - załóż konto..

Szukaj na Forum  Przewodnik  Regulamin i instrukcja obsługi Forum  Kolegium Moderatorów

 


[ Regulamin publikacji ] [ Bannery ] [ Mapa portalu ] [ Reklama ] [ Sklep ] [ Zarejestruj się ] [ Kontakt ]
Racjonalista © Copyright 2000-2018 (e-mail: redakcja | administrator)
Fundacja Wolnej Myśli, konto bankowe 101140 2017 0000 4002 1048 6365