Tosiaan, tuo esitelmä oli kybernetiikkakurssin viimeinen yhteenvetoluento; on vakiintunut sellainen tapa, että olen vuosittain käynyt päivittämässä sen yhteenvedon! Ja tänä vuonna oli aiheena uusi “kirja”, jota kävin puffaamassa:

http://neocybernetics.com/suomeksi/E/

Kognitiivisten toimintojen mallinnus lähti liikkeelle 1900-luvun vaihteessa behaviorismista, jonka mukaan ihmisen toiminta perustaa ympäristöstä tuleviin ärsykkeisiin reagoimiseen. Luennolla heitetään arvaus, että saatettaisiin olla palaamassa takaisin behaviorismin suuntaan. Tähän liittyy kävelysimulaatioesimerkki, josta todetaan, että agentin tila määrittyy dynaamisen ympäristön mukaan.

Luennolla kuitenkin todetaan, että neokybernetiikassa korostetaan sekä ympäristön että (mielen) rakenteiden merkitystä. Kognitiivisen vallankumouksen taustalla olikin se, että behavioristinen oppimiskäsitys ei pystynyt selittämään mm. sitä, miten lapsi oppii tuottamaan uusia lauseita tai miksi kaksi aiemmin yhtä hyvin pärjännyttä opiskelijaa suoriutuvat täysin eri tavoin jostain tentistä, mikä selittyy opiskelijoiden erilaisilla tavotteilla.

Mielen rakenteiden mallintamista on tutkittu pitkään tekoälyn parissa. Kuten tekoälytutkimuksessa on havaittu, symbolisen tekoälytutkimuksen ja sääntöpohjaisten järjestelmien kautta ei päästä pitkälle. Sen sijaan erilaiset käsitteet opitaan vuorovaikutuksessa muiden kanssa. Näitä käsitteitä tai semanttisia kategorioita voidaan esittää prototyyppien avulla kuten Kohosen kehittämä itseorganisoiva kartta tekee. Vastaavasti sosiaalipsykologian yhteydessä puhutaan mieleen varastoituneista skeemoista, joiden avulla ihminen jäsentää ympäristöään ja jotka ohjaavat ihmisen tiedonkäsittelyä. Skeemat eivät ole kuitenkaan varastoituneet mieleen attribuuttiluetteloina, vaan ne perustuvat prototyyppeihin (esim. lintu on mielessämme varpusen/peipposen näköinen olio eikä lista adjektiiveja).

- Eric

Mielenkiintoinen väite oli, että sensoriverkosto toimii paremmin, jos noodeilla ei ole täydellistä tietoa kaikista noodeista vaan ainoastaan lokaalia informaatiota. Teoriassa kuvittelisi verkoston toimivan vähintään yhtä hyvin, mikäli sillä on enemmän informaatiota käytössä, mutta kenties taustalla on sama idea kuin dimension pudotuksessa koneoppimisessa. Epämielenkiintoisesta informaatiosta halutaan päästä eroon, jotta oppimistehtävä helpottuisi, ja ettei malli sovittuisi kohinaan.

Viimeisenä mieleeni jäi esimerkki 2D-robottisimulaatiosta. Jos ymmärsin oikein, ideana oli, että ensin klusteroidaan data ja sen jälkeen opitaan lineaarit mallit klustereille. Uskoisin, että tämän pystyisi tekemään luontevammin yhdessä vaiheessa optimoimalla samanaikaisesti sekä klusterien sijainteja että niitä vastaavien mallien parametreja. Näin tehdään esim. mikstuurimalleissa. Minulle ei jäänyt mieleen, mikä oli esimerkin yhteys kybernetiikkaan, mutta ehkä sen tarkoituksena oli ainakin osoittaa, että lokaalisti lineaarisilla malleilla on mahdollista saavuttaa luontevaa käyttäytymistä.

- Eric

Esimerkkinä perinteisistä malleista lajien vuorovaikutusdynamiikan kuvaamiseen annetaan Lotka-Volterra-malli. Itse tämän tyyppistä mallia joskus ajaessani huomasin juuri sen ongelman, että malli on herkkä alkuarvoille ja saattaa helposti päätyä tilaan, jossa toinen laji kuolee sukupuuttoon. Neokyberneettisten mallien avulla voidaan luennon mukaan välttyä näiltä ongelmilta, ja niiden erikoisuutena onkin stabiilisuus, robustisuus sekä mahdollisuus kuvata luonnon monimuotoisuutta. Dynamiikka saadaan tuotua malleihin sitä kautta, että datavektoriin koodataan myös menneitä tapahtumia.

Jo viime luennolla esitellyksi tullut neokyberneettinen malli voidaan nähdä siten, että systeemi hamuaa informaatiota ja sen seurauksena virittää jonkinlaisen approksimaation pääkomponenttiavaruudesta. Avaruuden virittävät pääkomponentit ovat lähes ortogonaalisia, mihin perustuu systeemin robustisuus.

Erona perinteisiin malleihin on myös se, että agentit eivät kommunikoi keskusjohdon tai toistensa kanssa. Sen sijaan ne kommunikoivat ympäristönsä kanssa, ja tämän myötä ilmeisesti myös epäsuorasti toistensa kanssa.

Kaiken kaikkiaan luennolla tuli paljon intuitiivisesti uskottavia väitteitä, mutta itselleni ne jäivät vielä aikalailla intuition tasolle. Kokonaiskuva neokyberneettisistä malleista hahmottui hieman paremmin, mutta melko hukassa sitä tuntee vielä olevansa.

- Eric

Luento selkeytti jonkin verran edellisessä kommentissani esittämääni pohdintaa top-down ja bottom-up lähestymistapojen suhteesta emergenssin mallintamiseen. Parhaaseen tulokseen päästään siis yhdistämällä näitä näkökulmia.

Esimerkkinä neuroverkkomallin parametrien oppimiseen esiteltiin Hebbian-oppiminen, joka perustuu empiirisiin havaintoihin neuronien ja synapsien toiminnasta. Suoritin aikoinaan kurssin aiheesta Nature Inspired Computing, jossa käsiteltiin useita muita luonnon inspiroimia algoritmeja. Johtopäätöksenä oli, että luonto tarjoaa monia hyviä ideoita algoritmien kehittämiseen. Käytännön sovellutuksissa ei kuitenkaan ole aina järkevää pyrkiä pitäytymään tiukasti niissä säännönmukaisuuksissa, jotka voidaan havaita luonnon järjestelmissä. Sen sijaan voidaan kehittää keinotekoisia heuristiikkoja, jotka tuovat parannusta esim. muurahaisalgoritmeihin. Vastaavasti luennolla esiteltiin Erkki Ojan sääntö, jolle ei välttämättä voida löytää suoraa analogiaa luonnosta, mutta joka stabiloi mukavasti oppimisprosessin.

- Eric

Luennolla kuitenkin puhutaan top-down-lähestymistavan puolesta, kun taas yllä esitetty tapa on oleellisesti bottom-up. Itselleni jäi hieman epäselväksi, millaisia nämä top-down-mallit käytännössä voivat olla, mutta se selvinnee tulevilla luennoilla.

Yhtenä esimerkkinä bottom-up-lähestymistavasta, joka ei toimi, annetaan ruoho vs. jänikset -malli. Kun havaitaan, että malli ei käyttäydy järkevästi, sitä säädetään hieman. Tämä kuitenkin toistuu ja on loputon prosessi, joka johtaa hyvin monimutkaisiin malleihin, mikä ei ole toivottavaa. Itse kuitenkin näkisin kuvatun differentiaaliyhtälöpohjaisen mallin pikemminkin top-down-lähestymistapana. Bottom-up-tapa ratkaista ongelma olisi mallintaa erilaisten jänisten käyttäytyminen ja rakentaa näiden yksittäisten käyttäytymismallien pohjalta agenttisimulaatio.

Tunnistan kuitenkin kuvatunlaisen iteratiivisen mallinrakennuksen ongelman esimerkiksi omassa lähestymistavassani shakinpeluuseen. Yritän monesti löytää shakkia pelatessani hienolta näyttäviä uhrausjatkoja ja käytän paljon aikaa niiden laskemiseen. Kun huomaan, että jatko ei toimi, koitan muuttaa sitä hieman ja laskea entistä syvemmälle. Lopputuloksena olen käyttänyt huomattavasti aikaa epätoivoisen uhrausjatkon analysointiin, kun järkevämpää olisi ollut valita alunperin jokin suoraviivainen ja yksinkertaisempi pelivaihtoehto.

Toinen luennolla esitetty asia, joka ei vastannut ennakkokäsitystäni emergenssin mallintamisesta, oli rajautuminen lineaarisiin malleihin. Itse olen yhdistänyt kompleksiset systeemit vahvasti epälineaarisiin dynamiikkoihin. Esimerkiksi luennoitsijan aiemmin mainitsemat neuroverkothan ovat epälineaarisia malleja. Väite siitä, että takaisinkytkennällä voidaan kaapata monia epälineaariselta vaikuttavia ilmiöitä, vaikuttaa kuitenkin uskottavalta. Jäänkin mielenkiinnolla odottamaan millaisia takaisinkytkentää hyödyntäviä lineaarisia malleja kurssilla tullaan käsittelemään.

Viimeisenä mieleeni jäi luennolla mainittu hahmomalli. Hahmomalli perustuu luonnosta saataviin havaintoihin sekä luonnon pohjalta tehtyyn fysikaaliseen malliin. Tällainen lähestymistapa assosioituu minulla vahvasti Bayesilaiseen mallintamiseen; tarkastelemalla ilmiötä yleisesti valitaan ensin jokin malliperhe (fysikaalinen malli) sekä määritetään malliperheen parametreille jonkinlaiset priorijakaumat. Tämän jälkeen muodostetaan lopullinen (hahmo)malli päivittämällä parametrien arvoja luonnosta saaduilla havainnoilla.

Vaikka palikkojen asetteleminen isommaksi kokonaisuudeksi on kieltämättä teknisillä aloilla tyypillistä, on mielestäni silti ihmisen luonnollinen tutkimusjärjestys yleensä ylhäältä alaspäin. Perustan tämän siihen, että nähdäkseni virike tutkia jotakin asiaa tulee usein jostain aistitusta asiasta ja aistien avulla pääsee käsiksi systeemin kerrokseen, jonka alapuolella on toisia kerroksia. Tai näin ainakin tunnen itseni kohdalla menevän.

Koen, että systeemin tutkimuksen ja mallintamisen vaikeus kumpuaa paljolti emergenssistä. Jonkin kiinnostavan systeemin pintakuvioon taikka ylemmällä tasolle saattaa päästä käsiksi pelkällä aistihavainnolla, mutta emergenssi vaikeuttaa alemmille tasoille pääsemistä. Miten itse ymmärrän emergenssin tässä kohtaa on, että se on uuden asian syntymä, mikä johtaa systeemin ylemmälle tasolle. Luennoilla kuunnelun perusteella näen lisäksi, että emergenssi vaatii tapahtuaakseen joko aikaa, yksilöiden (tarkasteltavan) määrän lisääntymistä tai vuorovaikutusta yksilöiden välillä tai edellä mainittujen seikkojen kombinaatiota. Ymmärsin lisäksi, että emergenssi tapahtuu tasapainopisteessä, paikallisessa minimissä. Miksi taas emergenssi vaikeuttaisi alemmille tasoille pääsemistä, johtuu mielestäni siitä, että sen myötä/sen tapahduttua alemman tason prosesseista voi olla vaikea ellei jopa mahdoton saada informaatiota. Tietenkin luennoillakin otettiin esille kysymys, että tarvitseeko prosesseja ymmärtää vai riittäisikö lopputilat/tasapainotilat itsessään. Oikeastaan olen valmis allekirjoittamaan, että lopputilat voivat olla systeemin kannalta kaikkein relevanteimpia, mutta en näe miten kyseiset lopputilat pysyttäisiin löytämään ilman dataa ja dynaamisten vuorovaikutussuhteiden ymmärtämistä.

Toisaalta en koe, että datan olemassaolokaan välttämättä takaisi mallin löytymistä. Vaikka dataa olisi olemassa niin eikö siitä pitäisi saada muodostettua jonkin lainen tulkinta, että se todella toisi lisää ymmärystä? Toisaalta tulkinnan muodostaminen tuntuu itsessään vaikealta ongelmalta, jos tietoa alemman tason prosesseista ei ole. Luennoilta toisaalta ymmärsin, että esimerkiksi luonnon toiminta ei välttämättä perustu optimiin vaan erilaisiin hyviin ratkaisuihin, jota sitten muodostava spektrin. Vaihtoehtojen olemassaolo vaikeuttaa silmissäni entisestään tulkinnan muodostamista.

Itse en tiedä, onko kompleksisten systeemien teoriaa välttämättä olemassa “Pallas Athene Hypothesin” mukaisesti. Toisaalta ajatus siitä, että kaikki olisi mallinnettavissa matematiikalla on kiehtova, mutta toisaalta koen sen hieman surulliseksi. Mielelläni nimittäin uskoisin, että vapaa tahto ei ole vain illuusio.

- Rosa

- Heikki

Kuulehan – voisimme keskustella asiasta kurssin lopulla! Tulet hämmästymään …

- Heikki