Parole Chiave
Robotica autonoma e dello sviluppo con robot umanoidi; computational embodied neuroscience; apprendimento non-supervisionato, supervisionato, e per rinforzo; apprendimento open-ended; motivazioni intrinseche ed estrinseche; comportamento goal-directed ed abituale; attenzione e visione attiva; architetture sensomotorie gerarchiche; apprendimento Pavloviano e strumentale; cervello: amigdala, ippocampo, gangli-della base, cervelletto, corteccia.
Storia informale (ed un pò lunga) delle mie ricerche
Queste pagine web riguardano principalmente le mie attività di ricerca scientifica. Dato che la storia delle cose e delle persone spiega molto di esse, ecco la storia informale della mia formazione e delle mie esperienze di ricerca.
Alle superiori ho fatto il liceo scientifico ("Cavour", Roma; 1987). Poi mi sono ad Economia presso l'Università di Roma Sapienza con l'idea di fare qualcosa di utile per le persone (ma forse avrei dovuto studiare fisica in quanto mi interessava molto).
Durante l'università ho iniziato a frequentare alcuni corsi in filosofia in quanto sono sempre stato interessato a capire cos'è la conoscenza e l'intelligenza, il processo che la produce. Seguendo alcuni corsi ho però ritenuto che la filosofia trattasse tali problemi in modo non sufficientemente scientifico (almeno a Roma) per cui successivamente ho seguito dei corsi a Psicologia, Università di Roma Sapienza. Qui, grazie alle affascinanti lezioni del Prof. Eliano Pessa, ho conosciuto l'approccio computazionale allo studio dell'intelligenza ed in particolare sono rimasto "folgorato" dalle reti neurali, il modello di intelligenza artificiale che meglio rappresenta l'"apprendimento", intenso come processo di generazione ed acquisizione della conoscenza, tema su cui da allora ho dedicato la mia ricerca (iniziando dalla tesi di Economia dove ho simulato con reti neurali degli agenti formanti un mercato oligopolitico).
Così dopo la laurea in Economia (1997) ho fatto un anno di Scuola di Specializzazione in “Reti Neurali e Psicologia Cognitiva” presso Psicologia, Università di Roma Sapienza. Nel frattempo ho iniziato a frequentare l'Istituto di Scienze e Tegnologie della Cognizione del CNR (ISTC-CNR) dove ho iniziato a collaborare con Domenico Parisi, un ricercatore visionario che ha contribuito a portare le reti neurali in Italia.
In seguito (1998) ho iniziato un “PhD in Computer Science”, in particolare un dottorato triennale presso la University of Essex (Colcester, Regno Unito) in cui mi sono focalizzato su "pianificazione con reti neurali ed apprendimento per rinforzo" sotto la guida di Jim Doran, uno dei ricercatori che contribuì ai primi sviluppi dell'Intelligenza Artificiale classica in Gran Bretagna. Durante il dottorato l'apprendimento per rinforzo (apprendimento "per prove ed errori") è diventato uno strumento principale di indagine nella mia ricerca. Prima, durante e dopo il dottorato ho continuato a studiare a fondo psicologia e neuroscienze.
Dopo il dottorato di ricerca (2001), sono tornato a Roma presso l'ISTC-CNR dove grazie a Stefano Nolfi, uno dei più importanti esponenti della "Robotica Evolutiva", ho fatto postdocs nell'ambito di alcuni progetti europei (Swarm-bots, ECAgents). Le mie ricerche hanno coinvolto "sistemi embodied" di "artificial life" (approcci evolutivi con algoritmi genetici) per lo studio di fenomeni sociali auto-organizzativi attraverso sistemi robotici collettivi. Queste ricerche hanno rafforzato in me l'idea che l'intelligenza "vera" può emergere solo dall'interazione con l'ambiente attraverso un corpo (sensori ed attuatori).
Successivamente ho cercato di unire questa "visione embodied" dell'intelligenza con lo studio del cervello e del comportamento attraverso modelli computazionali più fortemente legati ai dati empirici provenienti dalla psicologia e dalle neuroscienze, in particolare lavorando nell'ambito di altri progetti europei con cui ho iniziato a lavorare in modo autonomo (MindRaces, ICEA). Nel 2006 ho creato un gruppo di ricerca presso l'ISTC (dove sono diventato Ricercatore nel 2009) chiamato "LOCEN -Laboratory of Computational Embodied Neuroscience" dedicato proprio a studiare comportamento e cervello attraverso modelli computazionali che fanno una sintesi tra "visione embodied" dell'intelligenza e vincoli empirici provenienti dai dati di neuroscienze e psicologia. Con il LOCEN siamo andati progressivamente specializzandoci nello studio dei fenomeni di apprendimento per eccellenza, quelli legati alla "curiosità" (motivazioni intrinseche: sorpresa, novità, auto-generazine di obiettivi, acquisizione di competenza). Questi approcci e temi sono stati al centro della ricerca di due progetti europei che ho ideato e coordinato per l'ISTC: prima il progetto europeo IM-CLeVeR (Intrinsically Motivated Cumulative Learning Versatile Robots; 2009-2013) e poi il progetto europeo GOAL-Robots (Goal-based Open-ended Autonomous Learning Robots; 2016-2020). In questi progetti i temi dell'open-ended learning sono stati affrontati sia dal punto di visto neuroscientifico/psicologico (soprattutto in IM-CLeVeR) che della robotica autonoma (soprattutto in GOAL-Robots). Questi approcci ci hanno portato negli anni ad approfondire sia i meccanismi fondamentali dietro l'apprendimento naturale (neuroscienze e psicologia: apprendimento Pavloviano e strumentale, comportamento goal-directed ed abituale, coordinazione sensomotoria, attenzione; cervello: motivazioni ed architetture sensomotorie gerarchiche, amigdala, ippocampo, gangli-della base, cervelletto, corteccia) che i meccanismi di apprendimento nell'intelligenza artificiale e nella robotica (robotica dello sviluppo ed autonoma: coordinamento visione-manipoplazione, apprendimento open-ended, motivazioni intrinseche ed estrinseche, visione attiva; machine learning: apprendimento non-supervisionato, apprendimento supervisionato, apprendiento per rinforzo, reti neurali classiche e "deep").
Gli obiettivi principali della mia ricerca possono quindi essere raggruppati in due filoni:
- Il primo obiettivo di ricerca mira a comprendere i meccanismi fondamentali dell'intelligenza e del comportamento umano, con un particolare focus sull'apprendimento (da qui anche il forte interesse per la psicologia dello sviluppo). Questo viene fatto attraverso la comprensione dell'architettura e del funzionamento di sistema cervello, in particolare di come l'insieme di neuroni che lo formano, organizzati in strutture formanti reti complesse, riescano a produre il comportamento visto come interazione circolare cervello-corpo-ambiente (visione "embodied"). L'argomento che raggruppa i temi specifici di ricerca è l'apprendimento cumulativo di più azioni sensomotorie guidato da motivazioni estrinseche (fame, sete, sopravvivenza, ecc.) ed intrinseche (curiosità: sopresa, novità, acquisizione di competenza, autogenerazione di obiettivi). A tal fine nel LOCEN costruiamo, sulla base dei dati dalle neuroscienze, modelli computazionali del cervello a livello di sistema: questo livello consente di usare i modelli per capire come il cervello genera il comportamento, un elemento caratterizzante gli studi del LOCEN (il comportamento dei modelli viene confrontato con i dati dalla psicologia). Negli anni questo ci ha portato a studiare funzioni e meccanismi di diverse aree del cervello (in particolare: amigdala, ippocampo, gangli-della base, cervelletto, diverse aree della corteccia) e come esse interagiscono per produrre apprendimento e comportamento (apprendimento classico e strumentale, comportamenti abituali, comportamento goal-directed; coordinamento occhio mano ed attenzione, processi di alto livello decisionali ed esecutivi, ed ultimamente coscienza). Questo ci ha portato anche a studiare varie malattie mentali e neurodegeneraive (Parkinson, Alzheimer, autismo, depressione, dipendenze da sostanze e comportamentali, disturbo da stress post-traumatico) in quanto cercare di capire il malfunzionamento del cervello è non solo utile di per se, ma è anche uno dei principali modi per capire il funzionamento del cervello sano.
- Il secondo obiettivo è produrre robot in grado di imparare autonomamente conoscenze e competenze sensomotorie in modo cumulativo sulla base di motivazioni intrinseche. In particolare, questo obiettivo si focalizza sullo sviluppo di robot autonomi in grado di apprendere a risolvere molti compiti, non solo uno o pochi task specifici come avviene spesso in robotica. Inoltre i robot debbono imparare in modo autonomo: dal punto di vista delle applicazioni, questo punto è molto importante per limitare l'impiego di lavoro umano per programmare i robot, ed anche per consentire ai robot di risolvere compiti in ambienti che presentano difficoltà non anticipabili al momento della loro programmazione (ad esempio gli ambienti non-strutturati che si trovano ad affrontare i robot di servizio, o i robot che esplorano ambienti nuovi come gli ambienti costruiti dall'uomo e lo spazio). La strategia per realizzare questi robot è l'apprendimento "aperto" (cioè continuo) basato sull'autogenerazione degli obiettivi (task) sulla base di motivazioni intrinseche (novità, sorpresa, acquisizione di competenza): i goal autogenerati consentono poi ai robot di aquisire competenze motorie e modelli del mondo. Queste conoscenze possono poi essere utilizzate dai robot per svolgere compiti utili per gli utilizzatori umani. Come gruppo di ricerca riteniamo che lo sviluppo della “vera” intelligenza artificiale debba passare per questi processi.
Curriculum breve con date:
1996: BA e Master in Economia (Tesi: "Simulazione di agenti concorrenti oligopolistici")
1996-1997: Master in psicologia cognitiva e reti neurali (Tesi: "Un modello di coordinazione occhio-braccio")
1997-1998: Assistente di Ricerca, Istituto di Scienze e Tecnologie della Cognizione, Consiglio Nazionale delle Ricerche italiano (ISTC-CNR), Roma, Italia (Ricerca: "Un modello di attenzione", "Un modello di evoluzione culturale")
1998-2001: Dottorato in Informatica, University of Essex, Colchester, United Kingdom (Tesi: "Planning with neural networks and reinforcement learning")
2001-2005: Postdoc presso l'ISTC-CNR (Ricerca: "Robotica collettiva, reti neurali, algoritmi genetici")
2006-oggi: Ricercatore presso l'ISTC-CNR (Argomenti: "Apprendimento cumulativo, comportamento gerarchico, di abilità multiple, comportamento goal-directed, motivazioni intrinseche, apprendimento per rinforzo, robot autonomi, comportamento, cervello")
2006-oggi: Fondatore e Coordinatore del del gruppo di ricerca "Laboratory of Computational Embodied Neuroscience - LOCEN-ISTC-CNR"
2006-2009: Ricercatore principale per ISTC-CNR del Progetto Integrato Europeo "ICEA - Integrating Cognition, Emotion and Autonomy"
2009-2013: Coordinatore del Progetto Integrato Europeo "IM-CLeVeR – Intrinsically Motivated Cumulative Learning Versatile Robots"
2016-2020: Coordinatore del progetto Europeo Future and Emergent Technologies chiamato "GOAL-Robots – Goal-based Open-ended Autonomous Learning Robots"
1998-oggi: Circa 100 pubblicazioni internazionali con peer review nel campo della robotica autonoma e dei modelli computazionali di sistema del cervello e del comportamento
Pubblicazioni selezionate (i pdf dei documenti sono scaricabili da qui):
Link alle pubblicazioni
Apprendimento per rinforzo, gerarchie, apprendimento di molteplici competenze negli animali e robot
- Seepanomwan K., Caligiore D., Baldassarre G., Cangelosi A. (2013). Modelling mental rotation in cognitive robots. Adaptive Behavior, 21 (4), 299-312.
- Ciancio A. L., Zollo L., Baldassarre G., Caligiore D., Guglielmelli E. (2013). The Role of Learning and Kinematic Features in Dexterous Manipulation: A Comparative Study with Two Robotic Hands. International Journal of Advanced Robotic Systems, 10, E1-21.
- Baldassarre, G., Mirolli, M. (eds.) (2013). Computational and robotic models of the hierarchical organisation of behaviour. Berlin: Springer-Verlag.
- Caligiore D., Borghi A., Parisi D., Ellis R., Cangelosi A., Baldassarre G. (2013) How affordances associated with a distractor object affect compatibility effects: A study with the computational model TRoPICALS. Psychological Research, 77(1), 7-19.
- Thill S., Caligiore D., Borghi A. M., Ziemke T., Baldassarre G. (2013). Theories and computational models of affordance and mirror systems: an integrative review. Neuroscience and Biobehavioral Reviews, 37, 491-521.
- Caligiore D., Borghi A., Parisi D., Baldassarre G. (2010). TRoPICALS: A Computational Embodied Neuroscience Model of Compatibility Effects. Psycological Review, 117(4), 1188-1228.
- Mannella F., Baldassarre G. (2007). A neural-network reinforcement-learning model of domestic chicks that learn to localise the centre of closed arenas. Philosophical Transactions of the Royal Society of London Series B-Biological Sciences, 362(1479), 383-401.
- Baldassarre G. (2002). A modular neural-network model of the basal ganglia's role in learning and selecting motor behaviours. Journal of Cognitive Systems Research, 3(2), 5-13.
Motivazioni intrinseche in animali e robot
- Fiore V. G., Sperati V., Mannella F., Mirolli M., Gurney K., Firston K., Dolan R. J., Baldassarre G. (2014). Keep focussing: striatal dopamine multiple functions resolved in a single mechanism tested in a simulated humanoid robot. Frontiers in Psychology - Cognitive Science, 5 (124), E1-17.
- Baldassarre G., Mirolli M. (eds.) (2013). Intrinsically Motivated Learning in Natural and Artificial Systems. Berlin: Springer-Verlag.
- Baldassarre G., Mannella F., Fiore V. G., Redgrave P., Gurney K., Mirolli M. (2013). Intrinsically motivated action-outcome learning and goal-based action recall: A system-level bio-constrained computational model. Neural Networks, 41, 168-187.
- Mirolli M., Baldassarre G., Santucci V. G. (2013). Phasic dopamine as a prediction error of intrinsic and extrinsic reinforcement driving both action acquisition and reward maximization: A simulated robotic study. Neural Networks, 39, 40-51.
- Baldassarre G. (2011). What are intrinsic motivations? A biological perspective. In Proceedings of the IEEE Conference on Developmental Learning and Epigenetic Robotics (ICDL2011), e1-8. IEEE. (Second Best Conference Paper).
- Schembri M., Mirolli M., Baldassarre G. (2007). Evolving internal reinforcers for an intrinsically motivated reinforcement-learning robot. Proceedings of the 6th IEEE International Conference on Development and Learning, e282-287. IEEE.
Motivazioni estrinseche in animali e sistemi embodied
- Mirolli M., Mannella F., Baldassarre G. (2010). The roles of the amygdala in the affective regulation of body, brain and behaviour. Connection Science, 22(3), 215-245.
- Mannella F., Mirolli M., Baldassarre G. (2010). The interplay of Pavlovian and instrumental processes in devaluation experiments: a computational embodied neuroscience model tested with a simulated rat. In Tosh Colin and Ruxton Graeme (eds), "Modelling Perception With Artificial Neural Networks", 93-113. Cambridge, Cambridge University Press.
Robot collettivi, evoluti, ed auto-organizzanti
- Baldassarre G., Nolfi S. (2009). Strengths and synergies of evolved and designed controllers: a study within collective robotics. Journal of Artificial Intelligence, 173, 857-875.
- Baldassarre G., Trianni V., Bonani M., Mondada F., Dorigo M., Nolfi S. (2007). Self-organised coordinated motion in groups of physically connected robots. IEEE Transactions on Systems Man and Cybernetics Part B-Cybernetics, 37(1), 244-239.
- Baldassarre G., Parisi D., Nolfi S. (2006). Distributed coordination of simulated robots based on self-organization. Artificial Life, 12(3), 289-311.
