Tu coś jest:

pl.m.wikipedia.org/wiki/Przechowywanie_informacji

>Tu coś jest:
>pl.m.wikipedia.org/wiki/Przechowywanie_informacji

Dzięki, ale tu jest tylko o tym jak to robi mózg i RAM,a mnie interesuje jak to robi sztuczna sieć neuronowa.

> ... mnie interesuje jak to robi sztuczna sieć neuronowa.

Twoje pytanie sugeruje, że nie znasz podstaw. Polecam zacząć od dowolnego podręcznika o sztucznych sieciach neuronowych, np. tego. Uczenie (się) i pamięć sieci polega na zmianie współczynników w_i (patrz strona 27).

>> ... mnie interesuje jak to robi sztuczna sieć neuronowa.
>Twoje pytanie sugeruje, że nie znasz podstaw. Polecam zacząć od dowolnego podręcznika o sztucznych sieciach neuronowych, np. tego. Uczenie (się) i pamięć sieci polega na zmianie współczynników w_i (patrz strona 27).
>

OK, byłem nieprecyzyjny.
Nie miałem na myśli zmiany wag poszczególnych neuronów, które faktycznie w pewnym sensie można traktować jak pamięć sieci.

Interesuje mnie nieco bardziej złożony problem pamięci długotrwałej w hipersieciach. Czyli problem pamięci kognitywnej.

> Nie miałem na myśli zmiany wag poszczególnych neuronów, które faktycznie w pewnym sensie można traktować jak pamięć sieci. Interesuje mnie nieco bardziej złożony problem pamięci długotrwałej w hipersieciach. Czyli problem pamięci kognitywnej.

Muszę przyznać, że nie wiem o co Ci chodzi: albo Ty nie rozumiesz czegoś elementarnego, albo ja nie rozumiem czegoś zaawansowanego. Z elementarnego punktu widzenia wszelka pamięć, krótko- czy długotrwała, polega li tylko na zmianie wag neuronów. Natomiast z zaawansowanego - nie jest mi wiadome aby było inaczej.

>Muszę przyznać, że nie wiem o co Ci chodzi: albo Ty nie rozumiesz czegoś elementarnego, albo ja nie rozumiem czegoś zaawansowanego. Z elementarnego punktu widzenia wszelka pamięć, krótko- czy długotrwała, polega li tylko na zmianie wag neuronów. Natomiast z zaawansowanego - nie jest mi wiadome aby było inaczej.

Tak, wagi przypisane poszczególnym neuronom, czy poszczególnym wejściom do neuronów i modyfikowane w kolejnych iteracjach, to podstawa działania sieci. Ale to nie ten problem. Każdy taki neuron odpowiada za małą, jednostkową część składową. Mnie interesuje problem całych "konceptów" tworzonych w oparciu o te części składowe.
Wiesz czym są hipersieci?

> Wiesz czym są hipersieci?

Choć polską terminologię w tej dziedzinie znam słabo to zgaduję, że chodzi Ci o "sieć sieci" (co jest nadal siecią), ewentualnie o hiperpłaszczyznę kodowaną przez sieć we wielowymiarowej przestrzeni kognitywnej. Wątpię jednak czy to jest istotne bo...

> Mnie interesuje problem całych "konceptów" tworzonych w oparciu o te części składowe.

... rozwiązanie tego problemu wydaje się być gdzie indziej. Znasz historię hipotezy grandmother cell ? Pisałem tu o niej kiedyś.

A może o coś innego Ci chodzi? Jeśli tak, to postaraj się wyłuszczyć problem precyzyjnie.

>... rozwiązanie tego problemu wydaje się być gdzie indziej. Znasz historię hipotezy grandmother cell ? Pisałem tu o niej kiedyś.

Tak, to ten problem. Podobno odpowiednio skonstruowana sieć neuronowa, może sobie poskładać z tych pojedynczych kawałków rozproszonej informacji nt. "babci" całościowy koncept "babci" i przechować go w czasie aby wykorzystać w przyszłości. Czyli powtórzyć operację komórki neuronalnej kodującej białko przechowujące informacje pamięci długotrwałej (bo według współczesnej wiedzy tak to się tam chyba odbywa).

Pytanie czy nauka potrafi to już robić czy to tylko kaczka informacyjna?

OK, rozumiem, że można to teoretycznie zrobić budując "hiperlinki" do poszczególnych neuronów cząstkowych i zgromadzonych w nich wag, po czym gdy będzie taka konieczność, to w którejś z iteracji pozbierać te rozproszone informacje i poskładać sobie "babcię" z puzzli. Ale niebezpieczeństwo jest takie, że gdy zabraknie iluś tam neuronów cząstkowych, to pełny obraz "babci" nie powstanie.
Można co prawda zrobić "backup", ale to nie będzie efektywne.
Czy wiesz coś nt. istnienia innej metody przechowywania "całościowej" informacji?

>> Znasz historię hipotezy grandmother cell ? Pisałem tu o niej kiedyś.
> Tak, to ten problem. Podobno odpowiednio skonstruowana sieć neuronowa, może sobie poskładać z tych pojedynczych kawałków rozproszonej informacji nt. "babci" całościowy koncept "babci" i przechować go w czasie aby wykorzystać w przyszłości.

No tak, tyle że według tej hipotezy ten "koncept babci" to aktywność pojedynczego neuronu.

> Czyli powtórzyć operację komórki neuronalnej kodującej białko przechowujące informacje pamięci długotrwałej (bo według współczesnej wiedzy tak to się tam chyba odbywa).

O ile mi wiadomo, to nawet długotrwała pamięć nie jest kodowana w białkach, lecz polega na trwałej zmianie wag synaps. (Chociaż ta zmiana może być spowodowana syntezą pewnych białek.)

> Pytanie czy nauka potrafi to już robić czy to tylko kaczka informacyjna?

Już potrafi: nowsze telefony komórkowe rozpoznają twarze.

> OK, rozumiem, że można to teoretycznie zrobić budując "hiperlinki" do poszczególnych neuronów cząstkowych i zgromadzonych w nich wag, po czym gdy będzie taka konieczność, to w którejś z iteracji pozbierać te rozproszone informacje i poskładać sobie "babcię" z puzzli.

Nie trzeba babci składać. Choć cechy babci są zawarte w wielu neuronach (tzn. w wagach ich połączeń), to koncept babci jest aktywnością pojedynczego neuronu.

> Ale niebezpieczeństwo jest takie, że gdy zabraknie iluś tam neuronów cząstkowych, to pełny obraz "babci" nie powstanie.

Mózg biologiczny rozwiązuje ten problem przez nadmiarowość neuronów - gdy któreś giną, to inne przejmują ich funkcje. Sztucznie robi się to przez dodatkowe bity automatycznie poprawiające błędy, dodatkowe połączenia komunikacyjne, itp.

> Czy wiesz coś nt. istnienia innej metody przechowywania "całościowej" informacji?

Co masz na myśli? Coś więcej niż powiedziałem powyżej?

>O ile mi wiadomo, to nawet długotrwała pamięć nie jest kodowana w białkach, lecz polega na trwałej zmianie wag synaps. (Chociaż ta zmiana może być spowodowana syntezą pewnych białek.)

Co rozumiesz przez pojęcie wagi synapsy w biologicznej komórce? Powierzchnię "styku" z drugą komórką? Nasycenie takim lub innym neurotransmiterem? Jak Twoim zdaniem biologiczny neuron określa wagę danej synapsy?

Chyba to jednak białka zajmują się kodowaniem pamięci długotrwałej.
Ponieważ biologiczna pamięć jest "nadpisywana" na poprzednich zasobach, to wyłączając odpowiedni gen można nie zakodować nowego obrazu wymazując jednocześnie obraz poprzedni.
Można też wywołać określony obraz i podając nowy obraz nadpisać poprzedni.
Synapsy to chyba jednak tylko gra receptorów neuroprzekaźników "przeskakujących" z jednego neuronu do drugiego. I jeśli są zablokowane czymś co imituje określony neuroprzekaźnik np. pochodzący ze słynnych konopi, to co prawda dzieją się tam różne dziwne rzeczy ale nie powoduje to wymazywania pamięci długookresowej.
Z drugiej strony zauważ, że synapsy i ich "przepustowość" (np.pole "styku") ciągle się zmieniają. To co jest ważniejsze dostaje priorytet itd.
Wiem, nie znaleziono jeszcze ani konkretnego białka odpowiedzialnego za kodowanie, ani sposobu kodowania pamięci, ale wydaje się, że zabawy z włączaniem i wyłączaniem genu potwierdzają koncept białkowy.

Z drugiej strony jeśli masz ponad 20 neuroprzekaźników na jednej synapsie, a do tego stale "fruwają" w jedną i drugą stronę, to raczej trudno sobie wyobrazić jakiś długotrwały constans w takim układzie,który by zapewnił pamięć długookresową. To nie jest przecież tak jak w sztucznej zero-jedynkowej sieci neuronowej, która pracuje na diametralnie uproszczonym modelu.

W biologii jeden neuron odpowiada przecież za jakiś bardzo wąski fragment sygnału (np. obrazu) ale kooperacja wielu neuronów pozwala łatwo i szybko !!! znajdować, pokazywać i analizować obraz całości. Faktycznie nie do końca jeszcze wiadomo jak to się dzieje, ale zapewne tworzy się jednak jakaś struktura wielopiętrowej hipersieci.

>> Pytanie czy nauka potrafi to już robić czy to tylko kaczka informacyjna?
>Już potrafi: nowsze telefony komórkowe rozpoznają twarze.

Ale to jest tylko "prosta" kombinatoryka. Porównanie jednego wzorca z bazą danych innych wzorców i znalezienie najmniejszej odległości między nimi. To nie jest kreatywne wnioskowanie. Nie trzeba się odwołać do złożonych konceptów budowanych w oparciu o rozproszone dane jednostkowe. Trywializując: przekładasz piksele na cyferki, budujesz gigantyczne macierze, włączasz "robota" i szukasz.
Aby sieć nauczona rozpoznawać kota miała się nauczyć rozpoznawać kaczkę to musisz ją nauczyć kolejnymi milionami obrazów kaczki. Żadnej otologii w tym nie ma. "Zwykłe" liczydło.

W pytaniu miałem na myśli wątpliwość, czy nauka potrafi zapisywać te zbiorcze koncepty w sieciach jakoś inaczej niż tylko jako zestaw rozproszonych danych jednostkowych.

Całe moje pierwotne pytanie można by sprowadzić do tego czy znany jest sposób budowania jakby wielowymiarowej sieci neuronowej, w której wyższa warstwa będzie dodatkowo agregowała koncepty z niższej warstwy sieci i potrafiła na nich pracować, czy też posługujemy się tylko układem agregującym kolejne poziomy neuronów dostając coraz bardziej zagregowany obraz przedmiotu.
Qrde, nie jestem precyzyjny, przepraszam. Brakuje mi słów, aby to wyrazić. Pomyślę jak inaczej zapisać to pytanie. Ale może to co powyżej pozwoli Ci "poczuć" mój dylemat.

>> O ile mi wiadomo, to nawet długotrwała pamięć nie jest kodowana w białkach, lecz polega na trwałej zmianie wag synaps. (Chociaż ta zmiana może być spowodowana syntezą pewnych białek.)
> Chyba to jednak białka zajmują się kodowaniem pamięci długotrwałej. Ponieważ biologiczna pamięć jest "nadpisywana" na poprzednich zasobach, to wyłączając odpowiedni gen można nie zakodować nowego obrazu wymazując jednocześnie obraz poprzedni. [...]

Uważam to za czystą spekulację (no bo jak informacja zakodowana w ciągu aminokwasów białka miałaby być odczytana dostatecznie szybko?) i podtrzymuję moją wypowiedź, że wszelka pamięć jest zakodowana w wagach synaps. Jeśli potrafisz wskazać prace naukowe przeczące mojemu zdaniu, to chętnie się z nimi zapoznam.

> Co rozumiesz przez pojęcie wagi synapsy w biologicznej komórce? Jak Twoim zdaniem biologiczny neuron określa wagę danej synapsy?

Biochemia synapsy - jak to zwykle biochemia - jest skomplikowana. Ale wynik tej biochemii jest stosunkowo prosty: waga synapsy polega na mniejszej lub większej zdolności przesyłania neurotransmiterów z pobudzonego neuronu do pobudzanego. Natomiast mechanizmy zmiany tej zdolności w wyniku uczenia się są ponownie skomplikowane.

>>> Pytanie czy nauka potrafi to już robić czy to tylko kaczka informacyjna?
>> Już potrafi: nowsze telefony komórkowe rozpoznają twarze.
> Ale to jest tylko "prosta" kombinatoryka. [...] Aby sieć nauczona rozpoznawać kota miała się nauczyć rozpoznawać kaczkę to musisz ją nauczyć kolejnymi milionami obrazów kaczki. Żadnej ontologii w tym nie ma. Zwykłe liczydło.

Według obowiązującego dogmatu w programie sztucznej inteligencji, cała ontologia tudzież epistemologia to zwykłe liczydła.
Ale wracając do konkretów kotów i kaczek, choć sieć neuronową można nauczyć rozpoznawać obrazy tak jak piszesz, to jest to metoda zbyt prymitywna aby była skuteczna w praktyce.

> W pytaniu miałem na myśli wątpliwość, czy nauka potrafi zapisywać te zbiorcze koncepty w sieciach jakoś inaczej niż tylko jako zestaw rozproszonych danych jednostkowych.

To zależy co rozumiesz przez "zbiorczy koncept". Różne cechy kota czy kaczki (futro, pióra, ilość nóg, itd.) są na pewno zapisane w wagach wielu synaps różnych neuronów. Ale samo rozpoznanie np. kaczki może się sprowadzać do aktywności pojedynczego neuronu.

> Całe moje pierwotne pytanie można by sprowadzić do tego czy znany jest sposób budowania jakby wielowymiarowej sieci neuronowej, w której wyższa warstwa będzie dodatkowo agregowała koncepty z niższej warstwy sieci i potrafiła na nich pracować...

Chyba chodzi Ci o głębokie uczenie się. Jest to bardzo obiecująca metoda, która jest ostatnio stosowana w rozpoznawaniu twarzy, mowy i otoczenia.

> ... czy też posługujemy się tylko układem agregującym kolejne poziomy neuronów dostając coraz bardziej zagregowany obraz przedmiotu.

A tu już nie wiem o co Ci chodzi.

> Brakuje mi słów, aby to wyrazić. Pomyślę jak inaczej zapisać to pytanie.

Znam tę trudność, bo klarowne sformułowanie pytania to pół drogi do odpowiedzi.

>Czy ktoś mógłby mi wyjaśnić, albo odesłać do (e-)papierowego lub białkowego źródła, w jaki sposób
>sieć neuronowa potrafi realizować funkcję "pamięci operacyjnej" czyli przechowywania (przez jakiś
>określony czas) w swojej strukturze wytworzonej przez siebie lub pozyskanej z zewnątrz informacji?
>Buduje sobie krąg (pętlę) po której ta informacja krąży w kolejnych iteracjach?

Podstawy działania sieci neuronowych wyjaśniają te sprawy.

>Podstawy działania sieci neuronowych wyjaśniają te sprawy.
>
Dzięki za info, ale "podstawy działania sieci neuronowych" to dość rozległy mimo wszystko obszar.
Możesz podpowiedzieć jakieś specjalistyczne hasło, albo rozdział w publikacji? Cokolwiek co zawęzi obszar poszukiwań.

>>Podstawy działania sieci neuronowych wyjaśniają te sprawy.
>>
>Dzięki za info, ale "podstawy działania sieci neuronowych" to dość rozległy mimo wszystko obszar.
>Możesz podpowiedzieć jakieś specjalistyczne hasło, albo rozdział w publikacji? Cokolwiek co zawęzi obszar poszukiwań.

Informacja w sieci neuronowej jest kodowana wprost w samych neuronach, i w postaci tzw. wartości progowej sygnału na wejściu, którego przekroczenie powoduje aktywację danego neuronu, znaczy przekazanie sygnału dalej - do innych neuronów, z którymi jest on połączony.

Trenowanie sieci polega na modyfikowaniu tych progów, zależnie od wyniku: sukces - w dół, porażka - w górę.

'Wstęp do teorii obliczeń neuronowych'. John Hertz i inni.