Racjonalista - Strona głównaDo treści
Sztuczna inteligencja

Ten wątek jest przedawniony

Działy Forum » Nauka
NapisanoAutorTytuł
07-02-2011 20:01Karol Rudnik (61 punktów)Sztuczna inteligencja
Ocena 1 na 1
Zbytnio nie wiedziałem na jakim forum to pisać. Wybrałem to, bo mało osób będzie pisać, że to jest niemożliwe, bo "Bóg musi tchnąć życie".

Na wstępie zaznaczam, że rozważania są czysto teoretyczne.

Jako, że jestem programistą, próbowałem wymyślić od podstaw coś w rodzaju sztucznej inteligencji. Dużo nad tym rozmyślałem no i jako, że z reguły jak coś mnie pochłonie to staram się to robić perfekcyjnie to próbowałem zrobić swego rodzaju sieć neuronową. Pierwsze o czym pomyślałem to Game of Life. No i zastanawiałem się, czy jak by zrobić "planszę" ograniczoną tylko i wyłącznie pamięcią komputera, czy dało by się uzyskać coś w rodzaju "mini-mózgu". No ale zrezygnowałem, jak zacząłem brać pod uwagę ile obliczeń musiałby wykonać komputer. Więc pomyślałem, że można to zrobić na poziomie czysto elektronicznym. No i wymyśliłem coś takiego:
\|/
-[ ]-
/|\
No i powstał taki 'ala neuron'. Pomyślałem, że na elektronicznym modelu by to działało o wiele wiele szybciej. Przypuśćmy że to [ ] byłby układ bramek ustawiający stany na wszystkich wyjściach, biorąc pod uwagę informacje z wejść, a \ i | i / i - i - to po prostu szyny dwukierunkowe. Całość opierała by się na systemie dwójkowym i zasadach podobnych w Game of Life. I teraz zaczyna się moje ostateczne pytanie. Czy jak by utworzyć wystarczająco dużą taką sieć, podpiąć do niej podstawowe urządzenia do komunikacji, nie wiem, ekran, głośnik, mikrofon, kamerę, ew. klawiaturę. Czy po jakimś czasie taki układ zaczął by się zachowywać jak prawdziwy mózg? Znaczy po przechwyceniu wystarczającej ilości danych, byłby zdolny do łączenia ich w logiczną całość i "wypluwania" zrozumiałych informacji?
Autor wątku ma uprawnienia do usuwania wypowiedzi, jeżeli łamią regulamin Forum lub znacznie odbiegają od tematu.

PiotrB (2937 punktów)
>Czy po jakimś czasie taki układ zaczął by się zachowywać jak prawdziwy mózg? Znaczy po przechwyceniu wystarczającej ilości danych, byłby zdolny do łączenia ich w logiczną całość i "wypluwania" zrozumiałych informacji?

Najkrócej - NIE. Sieć neuronowa nauczy się tego, co wcześniej do niej wrzucisz, tutaj nie ma miejsca na spontaniczność ludzkiego mózgu, chyba że zależy Ci po prostu na przewidywaniu/klasyfikowaniu danych. Jak wrzucisz do niej np odpowiednią ilość danych opisujących zależności między np wzrostem i wagą w punkcie wejścia, a płcią w punkcie wyjścia, sieć neuronowa, jeśli "nauczy" już się tych relacji, będzie mogła później z mniejszym/większym prawdopodobieństwem rozróżniać jaki wzrost i waga odpowiada jakiej płci. Do bawienia się różnymi sieciami neuronowymi można użyć np programu Neuronix z pakietu Sphinx.

To wciąż jednak (aż) obliczenia matematyczne. Nie sądzę, żeby współczesna neurobiologia sprowadzała działanie mózgu, myślenie, przypominanie sobie itd, do obliczeń matematycznych.
karol57 (61 punktów)
>>Czy po jakimś czasie taki układ zaczął by się zachowywać jak prawdziwy mózg? Znaczy po przechwyceniu wystarczającej ilości danych, byłby zdolny do łączenia ich w logiczną całość i "wypluwania" zrozumiałych informacji?
>Najkrócej - NIE. Sieć neuronowa nauczy się tego, co wcześniej do niej wrzucisz, tutaj nie ma miejsca na spontaniczność ludzkiego mózgu, chyba że zależy Ci po prostu na przewidywaniu/klasyfikowaniu danych. Jak wrzucisz do niej np odpowiednią ilość danych opisujących zależności między np wzrostem i wagą w punkcie wejścia, a płcią w punkcie wyjścia, sieć neuronowa, jeśli "nauczy" już się tych relacji, będzie mogła później z mniejszym/większym prawdopodobieństwem rozróżniać jaki wzrost i waga odpowiada jakiej płci. Do bawienia się różnymi sieciami neuronowymi można użyć np programu Neuronix z pakietu Sphinx.
>To wciąż jednak (aż) obliczenia matematyczne. Nie sądzę, żeby współczesna neurobiologia sprowadzała działanie mózgu, myślenie, przypominanie sobie itd, do obliczeń matematycznych.
Jednak ja mówię o tym, że do pustej sieci(jak by sformatowanego mózgu) podpięte są urządzenia do podstawowej komunikacji. Sądzę, że po jakimś czasie (3 minuty, dni, lata, wieki, tysiąclecia?) sieć, by otrzymała wystarczająco informacji, by zaczęła robić z nimi coś logicznego.
07-02-2011 21:36 
 Ocena 1 na 1
PiotrB (2937 punktów)
>Jednak ja mówię o tym, że do pustej sieci(jak by sformatowanego mózgu) podpięte są urządzenia do podstawowej komunikacji. Sądzę, że po jakimś czasie (3 minuty, dni, lata, wieki, tysiąclecia?) sieć, by otrzymała wystarczająco informacji, by zaczęła robić z nimi coś logicznego.

Ok, na ile ja znam się na programowaniu, to program komputerowy nie zrobi nic poza tym, jakie ma algorytmy. Programista doskonale wie, co dostanie w punkcie wyjścia, po wprowadzeniu jakichś danych. Jeśli napisze prosty program w C++, który sprawdza czy dana liczba jest liczbą parzystą (że się tak pochwalę podstawami znajomości tego języka):

#include <iostream>
using namespace std;
int main()
{
int x;
cin>>x;
if(x%2==0)
cout<<"Parzysta";
else
cout<<"Nieparzysta";
system("pause");
return 0;
}

Doskonale wiem, jak ten program działa i jakie wypluwa wyniki. Ty spodziewasz się, że komputer w magiczny sposób przekroczy to, co mu wcześniej wgra programista. Póki co wydaje mi się to lekko nierealne, ale kto wie, może kiedyś...
07-02-2011 23:33 
 Ocena 2 na 2
stilgar (7322 punktów)

>Doskonale wiem, jak ten program działa i jakie wypluwa wyniki. Ty spodziewasz się, że komputer w magiczny sposób przekroczy to, co mu wcześniej wgra programista. Póki co wydaje mi się to lekko nierealne, ale kto wie, może kiedyś...

Wcale nie jest to nierealne, Już teraz tworzy się programy, które same siebie modyfikują i ulepszają - programista tylko wpycha taki soft na właściwe tory, ale nie zależy od niego, jaką ścieżkę rozwoju wybierze program.

Jako hobby w wolnym czasie mam właśnie ambicję stworzenia takiego samodoskonalącego się programu, który wykroczy poza nałożone mu ramy...

( A przy okazji, miło jest zobaczyć kod w C++, a jakichś dotnetów czy innej Javy tak trzymać!)
diogenes (42753 punktów)
>Czy po jakimś czasie taki układ zaczął by się zachowywać jak prawdziwy mózg?

Chodzi o mózg czy o inteligencję? Podłożem inteligencji wcale nie muszą być układy neuro- czy mózgopodobne. Być może to ślepa uliczka sztucznej inteligencji. Ja skupiłbym się najpierw na precyzyjnym opisie naturalnej inteligencji, jej strukturze i funkcji (danej przede wszystkim w introspekcji), a następnie próbował znaleźć dla niej materialny nośnik, bez przesądzania, że ma on imitować mózg.

To chyba normalne, że zanim zaczniemy zastanawiać się nad sztuczną inteligencją, opiszemy najpierw inteligencję naturalną.

Co to jest inteligencja?


Okres ważności moich postów kończy się z chwilą ich opublikowania.
07-02-2011 20:49 
 Ocena 2 na 2
coreless (16088 punktów)

>Co to jest inteligencja?

Załóżmy, że jest to zdolność reagowania na sytuacje problemowe i ich rozwiązywania.

Ponieważ nie ma najpierwszego początku i ostatecznego końca.
Karol Rudnik (61 punktów)
>>Co to jest inteligencja?
>Załóżmy, że jest to zdolność reagowania na sytuacje problemowe i ich rozwiązywania.
Biorąc pod uwagę decyzje, które podejmuje się bez dostępu do jakichkolwiek danych, ew. opierać się na doświadczeniu. Również może to być odczuwanie "własnego ja" jako bytu. Na pewno nie jest to tylko i wyłącznie rozwiązywanie problemów z dostępnymi wszystkimi danymi, gdzie algorytm postępowania jest skończony, wtedy to by była wirtualna inteligencja.
coreless (16088 punktów)

>Biorąc pod uwagę decyzje, które podejmuje się bez dostępu do jakichkolwiek danych, ew. opierać się na doświadczeniu.

Mętne. Możesz sprecyzować?

>Również może to być odczuwanie "własnego ja" jako bytu.

To nie inteligencja, to samoświadomość. To nie to samo. Dzieci są zdolne do zachowań inteligentnych zanim osiągną samoświadomość, podobnie zwierzęta.

>Na pewno nie jest to tylko i wyłącznie rozwiązywanie problemów z dostępnymi wszystkimi danymi, gdzie algorytm postępowania jest skończony...

Informacja dostępna w danej chwili to wszystkie dane. Innej inteligencji nie ma.

Ponieważ nie ma najpierwszego początku i ostatecznego końca.
07-02-2011 21:03 
 Ocena 1 na 1
diogenes (42753 punktów)
>Załóżmy, że jest to zdolność reagowania na sytuacje problemowe i ich rozwiązywania.

To zbyt ogólne określenie, raczej nieprzydatne do zbudowania urządzenia równoważnego inteligencji. Jak, dlaczego, dzięki czemu w ogóle reagujesz tak a nie inaczej na sytuację? Jak w ogóle określisz się w sytuacji? Co to takiego sytuacja, w szczególności - problemowa (bezproblemowa)? Inteligencja to przecież złożony fenomen (percepcja, rozróżnienia, abstrakcja, uwaga, skupienie, wybór, pamięć, język, oczekiwania, nieuświadomione determinacje, działanie, itd.). Zwróć uwagę, że nawet problem to sprawa względna: to,co dla jednego jest sytuacją problemową (np. uczeń na egzaminie), dla innego jest okazją do nudy.


Okres ważności moich postów kończy się z chwilą ich opublikowania.
coreless (16088 punktów)

Załóżmy, że "sytuacja problemowa" to sytuacja stwarzana przez badacza problemu sztucznej inteligencji. Inteligencja nie musi wiedzieć, że ma do czynienia z sytuacją problemową. Wystarczy, że wie to ten, kto taką sytuację stwarza.


Ponieważ nie ma najpierwszego początku i ostatecznego końca.
08-02-2011 15:28 
 Ocena 2 na 2
diogenes (42753 punktów)
>Inteligencja nie musi wiedzieć, że ma do czynienia z sytuacją problemową.

Czy inteligencja to tylko pewnego rodzaju bezduszne urządzenie, którym posługuje się świadomość (jak wieloma innymi narzędziami)? Dlaczego nie dyskutuje się o sztucznej emocjonalności? Czym byłaby sztuczna miłość, zazdrość albo sztuczny gniew?

Okres ważności moich postów kończy się z chwilą ich opublikowania.
stilgar (7322 punktów)
>>Inteligencja nie musi wiedzieć, że ma do czynienia z sytuacją problemową.
>Czy inteligencja to tylko pewnego rodzaju bezduszne urządzenie, którym posługuje się świadomość (jak wieloma innymi narzędziami)? Dlaczego nie dyskutuje się o sztucznej emocjonalności? Czym byłaby sztuczna miłość, zazdrość albo sztuczny gniew?

Emocje są strukturami dużo prymitywniejszymi od inteligencji. Przy ewolucyjnym tworzeniu SI prawdopodobnie powstałyby samorzutnie - zwłaszcza przy wykorzystywaniu bólu i przyjemności jako środków do treningu.
homopitek (1536 punktów)
>Czy inteligencja to tylko pewnego rodzaju bezduszne urządzenie, którym >posługuje się świadomość (jak wieloma innymi narzędziami)?

Dlaczego przyjmujesz, że to świadomość posługuje się inteligencją, a nie odwrotnie?


Nie stosuję emoticonów
Złotek (867 punktów)
(zablokowany)
>Czy inteligencja to tylko pewnego rodzaju bezduszne urządzenie, którym posługuje się świadomość (jak wieloma innymi narzędziami)? Dlaczego nie dyskutuje się o sztucznej emocjonalności? Czym byłaby sztuczna miłość, zazdrość albo sztuczny gniew?
Ależ to wszystko w gruncie rzeczy jest sztuczne. Wszystko jest gdzieś zapisane w naszym mózgu, zakładając, że można by stworzyć sztuczny również można by go dowolnie zaprogramować, nawet lepiej niż jesteśmy zaprogramowani my, mógłby być bardziej empatyczny, lub bardziej gniewny. Emocje są przecież wytworem chemicznym naszego mózgu, a więc czemu by nie stworzyć sztucznych emocji? Przeczenie temu zalatuje metafizyką.
07-02-2011 21:10 
 Ocena 2 na 2
karol57 (61 punktów)
>>Czy po jakimś czasie taki układ zaczął by się zachowywać jak prawdziwy mózg?
>Chodzi o mózg czy o inteligencję? Podłożem inteligencji wcale nie muszą być układy neuro- czy mózgopodobne. Być może to ślepa uliczka sztucznej inteligencji. Ja skupiłbym się najpierw na precyzyjnym opisie naturalnej inteligencji, jej strukturze i funkcji (danej przede wszystkim w introspekcji), a następnie próbował znaleźć dla niej materialny nośnik, bez przesądzania, że ma on imitować mózg.
>To chyba normalne, że zanim zaczniemy zastanawiać się nad sztuczną inteligencją, opiszemy najpierw inteligencję naturalną.
Tak tylko to wystarcza na rozwiązania ze skończonymi algorytmami. Jeżeli by to rozpisać na strukturę i funkcję to według mnie było by to bardzo ograniczone. Jak już pisałem to by była bardziej wirtualna inteligencja. Nie można przewidzieć wszystkich struktur i funkcji. To coś by musiało ingerować nie tylko w swoje dane, ale także w logikę z jaką są one przetwarzane.
07-02-2011 21:11 
 Ocena 1 na 1
prof. Grabowska (8446 punktów)
(zablokowany)
> Co to jest inteligencja?
Inteligencja jest to coś, co badają testy inteligencji.

"Pomagaj zawsze, nie czyń krzywdy - nigdy" Sai Baba.
07-02-2011 21:18 
 Ocena 1 na 1
coreless (16088 punktów)

>Inteligencja jest to coś, co badają testy inteligencji.

Definicja banalna, ale trafia w sedno sprawy. To badacz definiuje, czym jest inteligencja, jakie zachowanie uznajemy za inteligentne, jaki problem wymaga inteligentnej reakcji. Inteligencja często nie wie, że jest inteligencją, albo, że nią nie jest.
A propos, czy Pani Profesor była już badana testem inteligencji, bo jeśli nie, to by oznaczało, że...

Ponieważ nie ma najpierwszego początku i ostatecznego końca.
prof. Grabowska (8446 punktów)
(zablokowany)
> czy Pani Profesor była już badana testem inteligencji
Byłam. I stwierdzono, że jestem inteligentna inaczej.

"Pomagaj zawsze, nie czyń krzywdy - nigdy" Sai Baba.
coreless (16088 punktów)

Gratulacje! Bez wątpienia, Pani to się należało, nieprawdaż?

Ponieważ nie ma najpierwszego początku i ostatecznego końca.
prof. Grabowska (8446 punktów)
(zablokowany)
>Gratulacje! Bez wątpienia, Pani to się należało, nieprawdaż?
Mam nadzieję.


"Pomagaj zawsze, nie czyń krzywdy - nigdy" Sai Baba.
07-02-2011 21:55 
 Ocena 1 na 1
rhotax7 (3947 punktów)
Była ale nie umiała przez 20 min. otworzyć książeczki z testami.
rhotax7 (3947 punktów)
Inteligencja składa się z dwóch składowych-edukcji relacji i edukcji korelatu.
Rozwinięcie tych pojęć najlepiej objaśniają opracowania Mensy.
coreless (16088 punktów)

>Rozwinięcie tych pojęć najlepiej objaśniają opracowania Mensy.
Wolę Piageta. Nada się do mniej skomplikowanych modeli inteligencji.

Ponieważ nie ma najpierwszego początku i ostatecznego końca.
07-02-2011 22:45 
 Ocena 1 na 1
prof. Grabowska (8446 punktów)
(zablokowany)
>edukcji relacji i edukcji korelatu.
Sratu tatu.

"Pomagaj zawsze, nie czyń krzywdy - nigdy" Sai Baba.
homopitek (1536 punktów)
>Definicja banalna, ale trafia w sedno sprawy. To badacz definiuje, czym jest >inteligencja, jakie zachowanie uznajemy za inteligentne, jaki problem wymaga >inteligentnej reakcji. Inteligencja często nie wie, że jest inteligencją, albo, że >nią nie jest.

A czy badacz definiujący inteligencję nie jest inteligencją?


Nie stosuję emoticonów
08-02-2011 17:26 
 Ocena 2 na 2
Ruffo (484 punktów)

>Co to jest inteligencja?

Inteligencja to jest to, czego używamy, kiedy nie wiemy, co zrobić.
Sylwek (15472 punktów)
>Ja skupiłbym się najpierw na precyzyjnym opisie naturalnej inteligencji, jej strukturze i funkcji (danej przede wszystkim w introspekcji), a następnie próbował znaleźć dla niej materialny nośnik, bez przesądzania, że ma on imitować mózg.
>To chyba normalne, że zanim zaczniemy zastanawiać się nad sztuczną inteligencją, opiszemy najpierw inteligencję naturalną.
>Co to jest inteligencja?

To akurat wydaje się być złą strategią. Po pierwsze: jeśli już to "jak działa inteligencja?". Gdy wiemy jak coś działa, to możemy próbować to jakoś odtworzyć.

A jeśli porzucimy pytanie "co?" (zresztą z samej swej natury wykluczające jakiekolwiek naukowo interesujące odpowiedzi), to na pytanie "jak" raczej nie odpowie nam introspekcja, bo różne rzeczy tam można znaleźć, ale niekoniecznie odpowiedź jak ona sama działa.
rhotax7 (3947 punktów)
Masz zamiar iść na żywioł i pozostawić wszystko evolucji w wśród elektronicznych części.
Pamiętaj o zasadach doboru naturalnego w tym sztucznym środowisku - co ma decydować o przeżywalności poszczególnych połączeń?
Albo inaczej co będzie kryteriami doboru neuronowych połączeń ?
Dlaczego jedne mają być lepsze od drugich?
Jaki wewnętrzny proces będzie to determinował?

Ty chyba nie masz zamiaru ingerować w zachodzący proces.

W jaki sposób chcesz by ten elektroniczny mózg się nauczył rozpoznawać kształty z TV?
Ma to zrobić samoistnie?

Ewolucja jaka doprowadziła do wykształcenia się cech naszego mózgu miała dużo etapów i odbywała się stopniowo w środowisku różnych strategii przetrwania wykszatałcających rózne przystosowania. Jeden organizm nie będzie miał z kim i o co konkurować.
Bez wspólzawodnictwa będzie jedynie trwał i pożerał prąd, a Ty będziesz czekał na sygnał świadomości od niego.

Dobór naturalny to nie losowy proces. Polegający na zróżnicowanym przeżywaniu pewnych koncepcji budowy i oprogramowania organizmów.
A czy u Ciebie elementy składowe doboru naturalnego będą zachowane?
Coś musi decydować jakie połączenia są lepsze a jakie gorsze w tym mózgu jaki budujesz bo mają one naśladować autonomiczne jednostki a ich efektem ma być chociażby rozróżnianie obrazów i głosu z TV.

Uważam jeśli dobrze rozumuję że Twój projekt jest na chwilę obecną stratą czasu .
Polecam Ci biologię ewolucyjną bys mógł podpatrzeć naturę i poznac jej mechanizmy
a to pomoże Ci poprawić projekt o brakujące elementy uzupełniające.
Takie jak nagroda za skuteczne połączenia neuronowe i kara za mniej udane.

Odpisz mi i broń swego pomysłu oraz objaśnij mi punkty gdzie błądzę.

Samolubny Gen - od tej książki zacznij edukację a zbudujesz coś pięknego i sprawdż czy juz ktoś tego nie próbował i jak mu poszło.
07-02-2011 21:26 
 Ocena 2 na 2
karol57 (61 punktów)
>Masz zamiar iść na żywioł i pozostawić wszystko evolucji w wśród elektronicznych części.
>Pamiętaj o zasadach doboru naturalnego w tym sztucznym środowisku - co ma decydować o przeżywalności poszczególnych połączeń?
>Albo inaczej co będzie kryteriami doboru neuronowych połączeń ?
>Dlaczego jedne mają być lepsze od drugich?
Hmmm.. na początku myślałem, że po prostu "zasady" będą z góry ustalone, ale teraz...
>Jaki wewnętrzny proces będzie to determinował?
...może nie wewnętrzny proces, a coś w rodzaju neuronów sterujących. Tylko tak można w nieskończoność, bo "co będzie nimi sterowało?"
>Ty chyba nie masz zamiaru ingerować w zachodzący proces.
Nie, chyba, że chodzi o zasady "początkowe".
>W jaki sposób chcesz by ten elektroniczny mózg się nauczył rozpoznawać kształty z TV?
>Ma to zrobić samoistnie?
Uważam, że gdy będzie dostawał ciągle podobne dane, to sam sobie utworzy "obiekty" z których będzie opisywał świat.
>Ewolucja jaka doprowadziła do wykształcenia się cech naszego mózgu miała dużo etapów i odbywała się stopniowo w środowisku różnych strategii przetrwania wykszatałcających rózne przystosowania. Jeden organizm nie będzie miał z kim i o co konkurować.
>Bez wspólzawodnictwa będzie jedynie trwał i pożerał prąd, a Ty będziesz czekał na sygnał świadomości od niego.
>Dobór naturalny to nie losowy proces. Polegający na zróżnicowanym przeżywaniu pewnych koncepcji budowy i oprogramowania organizmów.
>A czy u Ciebie elementy składowe doboru naturalnego będą zachowane?
>Coś musi decydować jakie połączenia są lepsze a jakie gorsze w tym mózgu jaki budujesz bo mają one naśladować autonomiczne jednostki a ich efektem ma być chociażby rozróżnianie obrazów i głosu z TV.
>Uważam jeśli dobrze rozumuję że Twój projekt jest na chwilę obecną stratą czasu .
Tu możesz mieć rację. Często porywam się z motyką na słońce. Dlatego zaznaczyłem, że to tylko rozważania teoretyczne.
>Polecam Ci biologię ewolucyjną bys mógł podpatrzeć naturę i poznac jej mechanizmy
>a to pomoże Ci poprawić projekt o brakujące elementy uzupełniające.
>Takie jak nagroda za skuteczne połączenia neuronowe i kara za mniej udane.
>Odpisz mi i broń swego pomysłu oraz objaśnij mi punkty gdzie błądzę.
>Samolubny Gen - od tej książki zacznij edukacje a zbudujesz coś pięknego i sprawdż czy juz ktoś tego nie próbował i jak mu poszło.
No to teraz mi dowaliłeś. Cały czas uważałem, że gdy tak połączony i z góry ustawiony logicznie "mózg", będzie kolekcjonował dane, zacznie wreszcie dawać jakieś sygnały samoświadomości. Jednak teraz jak tak myślę, jeżeli z góry wszystko ustalę i nawet by to wypaliło, wreszcie musiałbym w końcu zwiększyć liczbę neuronów co doprowadziło by do zniszczenia przynajmniej części informacji. Ten "mózg" musiałby sam kontrolować przepływ. Przemyślę to przez noc, może coś napiszę, przeczytam tą książkę i zobaczę czy w ogóle warto.
rhotax7 (3947 punktów)
Po północy napiszę do Ciebie maila .
Teraz się wypstrykałem (można tylko 3 dziennie).

Nie uwierzysz mi pewnie ale 5 min wcześniej przeczytałem pierwszy raz o Game of Life zanim dałem Ci odpowiedż.

A AI wcześniej się nie zajmowałem.

Ale stary jakie rzeczy ja wymyślam to szok.

Masz plusa za błyskawiczne zauważenie niedociągnięć (to bardzo dobrze Ci wróży) i za odwagę wyskoczenia z takim wątkiem na najlepszym do tego portalu.
07-02-2011 23:41 
 Ocena 2 na 2
stilgar (7322 punktów)

>No to teraz mi dowaliłeś. Cały czas uważałem, że gdy tak połączony i z góry ustawiony logicznie "mózg", będzie kolekcjonował dane, zacznie wreszcie dawać jakieś sygnały samoświadomości. Jednak teraz jak tak myślę, jeżeli z góry wszystko ustalę i nawet by to wypaliło, wreszcie musiałbym w końcu zwiększyć liczbę neuronów co doprowadziło by do zniszczenia przynajmniej części informacji. Ten "mózg" musiałby sam kontrolować przepływ. Przemyślę to przez noc, może coś napiszę, przeczytam tą książkę i zobaczę czy w ogóle warto.

Problem jest taki, że mózg przez samo kolekcjonowanie danych niczego nie osiągnie - zmieni się w śmietnik. Musi umieć dane selekcjonować i analizować - a do tego musi mieć możliwość interakcji ze źródłem danych. Wyobraź sobie, że siedzisz w pokoju, w którym gra radio, leci film w telewizji, na ścianach wiszą obrazy, na stole stoi obiad, a ty nie możesz nic zrobić, tylko się przyglądać. Czego się nauczysz? Niczego.

Zwiększanie liczby neuronów wcale nie musi prowadzić do niszczenia żadnych informacji - zależy od tego jak je będziesz podłączać. Da się to zrobić zupełnie bezinwazyjnie, nie uszkadzając struktury.

Inna rzecz, do której udało mi się dojść - żeby proces powstawania inteligencji nie zajął ci miliona lat, musisz mieć możliwość trenowania swojego stworzenia. Do tego potrzebujesz dwóch rzeczy - bólu i przyjemności Dodając do sieci takie dwa bodźce ( nie połączone jednak bezpośrednio z otoczeniem ) dużo łatwiej jest sterować procesem nauki - w końcu to ból powoduje, że po pierwszym oparzeniu nie wskakujemy i nie giniemy w ogniu
08-02-2011 14:22 
 Ocena 1 na 1
Guzik (2020 punktów)
Problem jest taki, że mózg przez samo kolekcjonowanie danych niczego nie osiągnie - zmieni się w śmietnik. Musi umieć dane selekcjonować i analizować - a do tego musi mieć możliwość interakcji ze źródłem danych

W naturze istnieje podobny problem.Np. ludzie autystyczni pochłaniają niesamowitą ilość danych, ale ich mózg ma problem z selekcjonowaniem, oraz z interakcją. Może medycyna coś podpowie informatykom - których mam właśnie okazję podziwiać w akcji.
stilgar (7322 punktów)

>Jako, że jestem programistą, próbowałem wymyślić od podstaw coś w rodzaju sztucznej inteligencji.

Fascynujące, doprawdy. Jakieś 8 lat temu miałem IDENTYCZNE przemyślenia jak twoje - i zrezygnowałem z dokładnie tego samego powodu

Przede wszystkim wymyśliłem, że neurony matematyczne to tylko upośledzona wersja prawdziwych, która nie oddaje wielu jej istotnych elementów ( czas propagacji sygnału?), więc chciałem symulować takie sieci. Oprócz tego, chciałem im stworzyć wirtualny świat, w którym wirtualne stworki miałyby się uczyć interakcji z otoczeniem. Problem w tym, że stworki przez ewolucję mogłyby się stać jedynie tak skomplikowane jak ich świat.

Symulowanie samego świata o tak wielkiej złożoności nie dawałoby już wiele mocy na symulowanie samych sieci.

Następnym etapem mojego rozumowania było skonstruowanie robotów, które wchodziłyby w interakcje z naszym światem.

A następnie wymyśliłem, żeby symulować jedną, olbrzymią sieć, wykorzystując do tego Internet - milion komputerów, każdy symulujący jeden lub kilka(naście) neuronów i mamy sztuczną inteligencję. Mogłaby przetwarzać dane z internetu i w ten sposób poznawać świat. W interakcje z ludźmi mogłaby wchodzić pisząc na forach ( jak już by się nauczyła pisać )

Poważnym problemem jest jednak np. to, że człowiek nie rodzi się z pustą siecią, tylko od razu ma predefiniowane w niej pewne algorytmy (instynkty).


Ostatnimi czasy za to myślę, że konstruowanie sieci neuronowych do stworzenia SI to marnowanie mocy komputerów. Popatrz na taki procesor komputera w czasie, gdy wykonuje jakiś algorytm. Przez bramki przelatuje masa sygnałów i coś się z nimi dzieje. Załóżmy, że na tym procesorze chodzi jakiś program-kalkulator. Chcesz zasymulować prace takiego kalkulatora. Nie masz pojęcia, jak jest napisany. Cóż więc robisz, symujesz pracę bramek logicznych?

Nasz mózg jest procesorem. Nie ma sensu symulacja tego procesora - trzeba skopiować program, który na nim działa.
Besaleelem (160 punktów)
>Nasz mózg jest procesorem. Nie ma sensu symulacja tego procesora - trzeba skopiować program, który na nim działa.

nie da się pominąć materialnych właściwości tkanki mózgowej. funkcjonujący program jest sprawą drugorzędną.
10-02-2011 00:46 
 Ocena 3 na 3
Grzegorz Staniak (2145 punktów)
>Nasz mózg jest procesorem. Nie ma sensu symulacja tego procesora - trzeba skopiować program, który na nim działa.

To akurat nieprawda. Ani mózg nie jest czymkolwiek, co moglibyśmy porównywać pod jakimkolwiek względem ze znanymi nam procesorami (poza najogólniejszymi i bezużytecznymi spostrzeżeniami typu "też przetwarza informacje"), ani nie istnieje żaden "program" w nim działający który dawałoby się skopiować.
satanisz (151 punktów)
Polecam zapoznanie się z niniejszą publikacją.
www.uci.agh.edu.pl/uczelnia/tad/sztuczny_mozg/
Bardzo dobrze obrazuje, że sztuczna inteligencja jest nie lada wyzwaniem.
piotao (913 punktów)
> [...] Pierwsze o czym pomyślałem to Game of Life. No i zastanawiałem się, czy jak by zrobić "planszę" ograniczoną tylko i wyłącznie pamięcią
>komputera, czy dało by się uzyskać coś w rodzaju "mini-mózgu".

Nie musisz tego robić. Ściągnij program Golly, i zobacz jak działa. Program ten korzysta z algorytmów przyspieszających obliczenia, więc możliwe jest zobaczenie w czasie rzeczywistym, jak przebiega ewolucja kolonii liczących setki milionów komórek. Fascynuje mnie to, ponieważ stary, dobry Life wynaleziony (tak chyba mogę napisać) przez Johna Conway'a jest kompletną maszyną Turinga... można w nim programować, ale JAKIE to jest programowanie! Tak dziwnego języka niewielu widziało. W Life programuje się GRAFICZNIE. Oznacza to, że istnieją grupy organizmów - subkolonie, które cyklicznie odtwarzają swój kształt, jednocześnie przemieszczając się po planszy. Używa się ich jako nośników informacji. Zależnie od położenia (TAK!) dana subkolonia organizmów ma inne ścieżki ewolucyjne - i jest to już bardzo dobrze poznane. Istnieją układy, które zajmują się syntezą takich latających 'statków', inne tworzą blokady dla ich ruchu, opracowano także sposób przetwarzania informacji, i wiele wspaniałych wynalazków. Cała rzecz jest magiczna. Najbardziej powalające jest to, że w Life stworzono Life wyższego poziomu, w ten sposób, że organizmy tworzą wielusetmilionową kolonię, która masz kształt kraty. A w oczkach tej kraty zachodzi ewolucja Life, tylko na kosmiczną skalę. Świetne, jeżeli badałeś temat Life, koniecznie to zobacz Przy tym programie można spędzić godziny, a najlepsze jest postawienie gdzieś jednej kropki i obserwowanie jak postępuje destrukcja w precyzyjnych mechanizmach.

Golly: golly.sourceforge.net/

Polecam wszystkim, którzy kiedyś próbowali Life na kartce z ołówkiem i gumką... To jest czad!



-pio-
Hodża (11172 punktów)
> Przy tym programie można spędzić godziny, a najlepsze jest postawienie gdzieś jednej kropki i obserwowanie jak postępuje destrukcja w precyzyjnych mechanizmach.

No właśnie, te kropki mnie zupełnie zniechęciły do tej gry. Już po sprawdzeniu kilkudziesięciu kombinacji widać, że każdy prawie układ osobników szybko dość podlega degradacji do zbioru niepowiązanych ze sobą elementów (struktur stabilnych, oscylatorów i różnych "szybowców"). Dlatego nazwa "life" jest zupełnie na wyrost. Owaszem, znane są bardzo złożone układy, wykazujące zupełnie niesamowite właściwości, złożone nawet z milionów osobników, zachowujące się jak gigantyczne oscylatory, fabryki, itp. itd. ale żaden z nich nie ma właściwości układów żywych, wystarczy minimalne zakłócenie, właśnie taka kropka, żeby wszystko się z hukiem zawaliło, żadnej odporności ani samoregulacji. Te układy nie ewoluują w sensie "biologicznym".
Ale kiedyś zrobiłem modyfikację Life'a "z dopływem energii" -tam są komórki "trwałe",niewymierające, które nazwałem "słońcami", będące ciągłym źródłem "normalnych" osobników, podlegających klasycznym regułom Conway'a. I wtedy, kiedy zaburzałem symetryczny strumień generowanych struktur, zaczęła się jazda. Tak, to była ewolucja. Nie pytajcie mnie, do czego doprowadziła, bo i tak byście mi nie uwierzyli
Potem jeszcze dodałem możliwość różnicowania osobników na kategorie, które względem siebie zachowywały się klasycznie, po conwayowsku, ale względem osobników z innych kategorii wykazywały bezwzględną krwiożerczość. To była już czysta poezja wirtualnego życia.
Ktoś, kto zna tę grę "Life" i programuje bez trudu może powtórzyć to, o czym napisałem, gdyż wskazówki są wystarczające.
Marcuch (664 punktów)
>Czy jakby utworzyć wystarczająco dużą taką sieć, podpiąć do niej podstawowe
>urządzenia do komunikacji, nie wiem, ekran, głośnik, mikrofon, kamerę, ew. klawiaturę. Czy po jakimś
>czasie taki układ zaczął by się zachowywać jak prawdziwy mózg? Znaczy po przechwyceniu
>wystarczającej ilości danych, byłby zdolny do łączenia ich w logiczną całość i "wypluwania"
>zrozumiałych informacji?

Po pierwsze nie ma ogólnego pojęcia "zrozumiałej informacji", ani "czystej informacji". Program może coś wypluwać, co dla niego będzie "informacją", a dla Ciebie nie. Musisz ubrać bity w sens, że się tak wyrażę. A dokładnie: nadać ciągowi bitów jakąś strukturę i umożliwić programowi działanie na tej strukturze, lub wielu strukturach. To taka uwaga ogólna i zaraz do niej wrócę.

Po drugie, odpowiedz sobie na pytanie, po czym poznasz, że program ma coś na kształt "świadomości", "samoświadomości" itp. i czego właściwie od niego oczekujesz? Możesz oceniać jego "świadomość" tylko po reakcjach na bodźce. Zapewne chciałbyś rozpoznać pożądane "świadome" działanie programu po tym, że uchwycisz interesujący związek między danymi wprowadzanymi do niego, a przez niego wyprowadzanymi. Innymi ogólnymi słowy, zależy Ci na jakiejś korelacji, zależności zdarzeń zewnętrznych i efektów działania programu.
Jeśli zależność ta będzie zbyt prosta, program ocenisz jako debila, jeśli będzie zbyt złożona, nie uchwycisz żadnej zależności (bez obrazy). A zatem oczekujesz aby program ujawnił pewnie zależności w zakresie złożoności przez Ciebie pożądanym. Co więcej, zgaduję, że chciałbyś, żeby program ujawnił w sposób niespodziewany jakieś nowe związki między tym, co odbiera; żeby wypluł coś więcej, niż Ty do niego wprowadzasz i żeby było to sensowne.

Z tych względów odradzam ci "Game of life" - na podstawowym poziomie generuje złożone struktury, które "fajnie wyglądają" ale są bez sensu. A kiedy próbujesz je uporządkować, skonstruować jakieś bardziej sensowne procesy, uzyskujesz znacznie mniejszą wydajność niż w C++.

Proste sieci neuropodobne trzeba uczyć i mogą zaoferować Ci jedynie pewną ekstrapolację tego, co już znasz, czym je uczysz. Z kolei bardzo złożone sieci nie pozwalają uzyskać zrozumiałego wglądu w zasadę ich funkcjonowania. Algorytm jest realizowany, sieć produkuje jakieś ciekawe obiekty - ale nie możesz podglądnąć jej świadomości, ani nijak zrozumieć "jak to działa", bo jest zbyt dużo zależności pomiędzy poszczególnymi komórkami.

Natomiast polecam Ci środowisko programowania "PureData", służące pierwotnie technice audio, ale teraz szeroko wykorzystywane w rozmaitych artystycznych instalacjach multimedialnych.
Programowanie polega tam na łączeniu obiektów przesyłających informację synchronicznie lub asynchronicznie i jest dość intuicyjne. Program działa cały czas, nie ma kompilacji. Możesz zacząć od rzeczy trywialnych i zrozumiałych i rozbudowywać je, np. na zasadzie zagnieżdżania całych sieci w jednym obiekcie, w kierunku bardziej złożonych systemów, zachowując pojęcie działania całości. Możesz umieszczać w obiektach proste tradycyjne sieci neuronowe i SOM (Self-Organized Map). Możesz też, przy pewnej wprawie, programować własne moduły w C, żeby potem łączyć je na zasadzie "przeciągania kabelków" w bardzo przejrzystym, graficznym interfejsie.

Jest tutorial, obiekty są od bardzo prostych (sumowanie liczb, generatory oscylacji, szumów, obwiedni, rejestratory sygnałów z wejścia audio), przez bardziej skomplikowane (filtry, układy produkujące zniekształcenia nieliniowe), do zupełnie wyczesanych (analizatory fft, splot sygnałów, przesuwniki widma, obiekty nagrywające/odtwarzające pliki, operujące na sygnałach zespolonych, na sygnale wizyjnym z kamery komputerowej itd.).

Ze środowiskiem tym, jeśli Cię to zainteresuje możesz sprząc interfejs "Arduino", czyli malutki przetwornik analogowo-cyfrowy i cyfrowo-analogowy, za pomocą którego możesz wpuszczać do kompa sygnały z dowolnych (dokupionych) czujników (światło, wilgotność, odległość) oraz sterować małymi urządzeniami elektrycznymi, po wysyłanie sms'ów w systemie gsm włącznie.

Za pomocą takiej kombinacji software'owo-hardware'owej ludzie tworzą naprawdę ciekawe struktury, roboty i systemy przetwarzania informacji, które naprawdę robią wrażenie "inteligentnych". Ja sam używam tego, do tworzenia programów wspomagających kompozycję muzyczną i przetwarzających dźwięk.
karol57 (61 punktów)
Przepraszam, że tak późno odpowiadam, ale wcześniej nie miałem nawet czasu myśleć. A potem ferie się zaczęły to chciałem trochę odpocząć. Więc wracając do tematu.

@coreless
>>Biorąc pod uwagę decyzje, które podejmuje się bez dostępu do jakichkolwiek danych, ew. opierać się na doświadczeniu.
>Mętne. Możesz sprecyzować?
W skrócie mówiąc chodzi mi o to, bo on sam coś wymyślił, spróbował. Nie działał proceduralnie. Bo gdyby działał proceduralnie potrzebował by jakichś informacji (parametrów) do wykonania danego algorytmu, a on musiałby oprzeć się na swoim doświadczeniu i sam znaleźć odpowiedni algorytm.
>>Również może to być odczuwanie "własnego ja" jako bytu.
>To nie inteligencja, to samoświadomość. To nie to samo. Dzieci są zdolne do zachowań inteligentnych zanim osiągną samoświadomość, podobnie zwierzęta.
Ale gdy to "coś" nie będzie wiedziało o swoim istnieniu, jego inteligencje będzie (przynajmniej według mnie) mniejsza. Masz rację, najpierw musi być inteligentny, by osiągnąć samoświadomość, ale jak tego nie wymyśli to zdecydowanie, będę traktował go jak idiotę.
>>Na pewno nie jest to tylko i wyłącznie rozwiązywanie problemów z dostępnymi wszystkimi danymi, gdzie algorytm postępowania jest skończony...
>Informacja dostępna w danej chwili to wszystkie dane. Innej inteligencji nie ma.
Tutaj nie chodzi mi o wszystkie dostępne dane, tylko dane wymagane do rozwiązania danego problemu. Jeżeli on ich nie posiada musi sam wymyślić algorytm (sposób postępowania), w którym uwzględni brak tych danych i, który pomoże mu rozwiązać problem.

@stilgar
>>>Inteligencja nie musi wiedzieć, że ma do czynienia z sytuacją problemową.
>>Czy inteligencja to tylko pewnego rodzaju bezduszne urządzenie, którym posługuje się świadomość (jak wieloma innymi narzędziami)? Dlaczego nie dyskutuje się o sztucznej emocjonalności? Czym byłaby sztuczna miłość, zazdrość albo sztuczny gniew?
>Emocje są strukturami dużo prymitywniejszymi od inteligencji. Przy ewolucyjnym tworzeniu SI prawdopodobnie powstałyby samorzutnie - zwłaszcza przy wykorzystywaniu bólu i przyjemności jako środków do treningu.
Tylko co jak dla tego czegoś "ból" będzie miał inną definicję. I np. wszystkie zwarcia na obwodach jakie mogę dla niego wymyślić, będą dla niego przyjemnością?

@satanisz
>Polecam zapoznanie się z niniejszą publikacją.
>www.uci.agh.edu.pl/uczelnia/tad/sztuczny_mozg/
>Bardzo dobrze obrazuje, że sztuczna inteligencja jest nie lada wyzwaniem.
Tak czytałem po założeniu tego wątku. Świetny artykuł. Wcześniej do tego nie dotarłem, bo szukałem pod tagami sztuczna inteligencja, a nie sztuczny mózg.

@piotao
W tym programie nie rozumiem dokładnie wszystkich zasad, ale dzięki. Ogarnę to może coś mi wyjdzie.

@Marcuch
No widzę, że dokładnie zrozumiałeś o co mi chodzi. Dzięki zaraz sprawdzę ten programik. Jakimś dziwnym trafem nie słyszałem nigdy o "Arduino", a widzę, że to bardzo ciekawa rzecz. A stary laptop leży bezużyteczny w kącie.
Marcuch (664 punktów)
Jeszcze jedna rozwlekła, filozofująca tym razem, uwaga. Podejrzewam na podstawie własnych doświadczeń, a także na podstawie zmagań pewnych autorów z dziełami sztuki, że pracując nad syntezą zachowań quasi-inteligentnych będziesz często dochodził do wniosku, że całość jest za mało "żywa".
W istocie bowiem, sama złożoność czy nieprzewidywalność, a nawet samo generowanie nowych form przez twój program nie wystarczą żeby Cię zadowolić jako inżyniera i jako estetę. Być może, jeśli dokładnie wypytasz samego siebie o swoje oczekiwania wobec programu, dojdziesz do wniosku, brzmiącego dość atawistycznie, że chodzi Ci o wytworzenie czegoś na kształt sztucznego życia. Program ma zachowywać się jak Organizm, jak jednostka sama posiadająca pewien sens i pewną tajemnicę swojego działania, a nie jak kolekcja oczywistych, czytelnych, powiązanych ze sobą funkcji, obojętnych zależności, procesów stochastycznych nudzących gładkością rozkładu prawdopodobieństwa, czy nawet chaosu deterministycznego, który nie produkuje żadnego porządku i który z chwilą jego zrozumienia już staje się nieciekawy.

Pewnie brzmi to dziwnie, ale dopóki będziesz intelektualnie panował nad swoim programem, dopóty nie zaskoczy Cię on niczym interesującym. Nie będzie sztuką, lecz narzędziem. I nie chodzi tu o intelektualne panowanie dosłowne, polegające na znajomości wszystkich jego mechanizmów, lecz nawet o takie, które oznacza samą możliwość rozłożenia jego zachowania na składniki proste i zrozumiałe. Być może na razie nie zdajesz sobie z tego sprawy, dążąc właśnie do umysłowego "panowania" nad sztucznym życiem (to dążenie przewija się przez całą historię ludzkości), ale może okazać się, że ostatecznie przekonasz się do wartości i "żywości" swojej instalacji dopiero z chwilą napotkania na tkwiącą w niej tajemnicę nie do pokonania.

Pomijając te filozoficzne dywagacje, zachęcić miałem Cię do jeszcze jednej rzeczy. Ponieważ synteza jest, jak nadmieniłem, mało "wydajna" w kreowaniu sztucznego życia, musisz posłużyć się strzępkami tego, co potocznie uważa się za żywe, co już znasz jako biologię. O co chodzi? O to, byś zamiast przebiegów dobrze określonych matematycznie korzystał również z próbek z "życia wziętych". A więc uzależniał pracę programu również od naturalnych procesów zachodzących w świecie, za pośrednictwem czujników albo danych ściąganych na bieżąco z internetu. W sztuce multimedialnej buduje się czasem "wizualizacje": np. obrazek, którego forma zależy od natężenia ruchu ulicznego w jakimś mieście, albo od obrazu z kamery internetowej. Sama taka "wizualizacja" jest na tyle "żywa", że niektórzy uważają ja za dzieło sztuki i podpisują się pod nią. Podobnie jest w muzyce elektronicznej, która w połączeniu z czymś nieelektronicznym (w próbkami fizycznych instrumentów, z głosem) brzmi znacznie lepiej, niż sama. Jasne jest zatem, że takie "próbkowanie" zjawisk rzeczywistych, biologicznych, komunikacyjnych, społecznych wstrzyknie w twoją instalację o wiele więcej organicznej autentyczności niż jakiekolwiek matematyczne procesy elementarne. Nawet składniki stochastyczne w zbyt dużym natężeniu stają się po prostu niezrozumiałym nudnym chaosem, nie wystarczy powiedzieć, że "żywość" to "nieprzewidywalność".

Coś, czego oczekujesz, czyli sens w działaniu organizmu leży gdzieś pośrodku między chaosem a porządkiem. Ale, niestety, w tym samym matematycznym zakresie odnajdziesz mnóstwo zjawisk bezsensownych, zatem matematyka nie wyczerpuje istoty rzeczy. Procesy życiowe, a w tym myślowe mają swoją specyficzną dynamikę, której praktycznie nie da się wyczerpująco sparametryzować, a więc i zsyntetyzować. I nie chodzi tutaj wcale o złożoność, lecz o specyficzność właśnie, czyli o fakt, że czegoś nie znaliśmy do końca, że coś jest nowe.
Wstrzykując nieprzewidywalne informacje "z zewnątrz" dodajesz do programu również element tajemnicy i tutaj wracamy do tego, co pisałem wcześniej. Właśnie dlatego, że ostateczne pochodzenie wszystkich mechanizmów twojego programu będzie Ci nieznane, będzie miał on szansę zrobić na tobie wrażenie Organizmu, autonomicznej żywej jednostki, czegoś nowego, być może tępej ale nowej osoby. Tak się stanie dlatego, że "oderwie się" on od Ciebie, w sensie: nie Ty będziesz już decydował jaki jest sens, porządek wszystkiego, co on produkuje. To on objawi Ci jakiś własny, wewnętrzny porządek działania. Takie zjawisko ma miejsce w odniesieniu do arcydzieł sztuki - odnosi się wrażenie, że nie tylko przemawiają w imieniu autora, ale że przekraczają jego intencje, że "mówią same za siebie". Jeśli tak nastąpi w przypadku twojego programu, będzie to spora rzecz. Ale to być może oznacza, że powinieneś zainteresować się również estetyką i sztuką (nie mylić z historią sztuki).

Brzmi to trochę jak porażka rozumu: życie pojawia się równolegle z tajemnicą. Ale myślę, że tak właśnie postrzegamy życie zwierząt, roślin, ludzi, społeczności (i tak postrzega się rozumne żywioły w prymitywnych społecznościach): jako procesy, które same sobie nadają sens, które wydają się celowe bez naszej ingerencji, które skrywają źródło swojej własnej "woli".

Wróć do listy wątków działu Nauka
Aby pisać w tym wątku, musisz się zalogować

  

Zaloguj przez OpenID..
Jeżeli nie jesteś zarejestrowany/a - załóż konto..

Szukaj na Forum  Przewodnik  Regulamin i instrukcja obsługi Forum  Kolegium Moderatorów

 


[ Regulamin publikacji ] [ Bannery ] [ Mapa portalu ] [ Reklama ] [ Sklep ] [ Zarejestruj się ] [ Kontakt ]
Racjonalista © Copyright 2000-2018 (e-mail: redakcja | administrator)
Fundacja Wolnej Myśli, konto bankowe 101140 2017 0000 4002 1048 6365