Avrete sicuramente letto recentemente degli articoli relativi ad un esperimento di Facebook conclusosi in maniera anomala dove due bot (si tratta di programmi intelligenti in grado di sostenere conversazioni in linguaggio naturale) erano stati incaricati di parlare fra di loro, con l’obbiettivo di svolgere una trattativa.
Oggi un collega (Andrea Benedetti che ringrazio) mi ha ricordato la vicenda evidenziando un elemento interessante in merito a quanto realmente successo. L’esperimento è stato terminato non perché era sfuggito di mano così come i vari media han raccontato inizialmente, ma perché in realtà l’output delle conversazioni era uscito dal campo di sperimentazione e risultava inutile (i bot non utilizzavano più un linguaggio a noi comprensibile).
Cosa sia successo lo spiega molto bene in questo breve video David Puente
Quello che vedo io, in realtà è un qualcosa di ancora più interessante che dovrebbe far riflettere su quanto è importante definire dei design principle e delle chiare linee guida.
Così come con Tay, Microsoft non aveva impostato alcuni paletti per determinati argomenti sensibili che dovevano essere moderati, i Bot di Messenger non hanno avuto linee guida in merito al linguaggio che dovevano utilizzare. Per gestire la trattativa i bot hanno così creato dei loro codici linguistici che avrebbero dovuto “deviare” la conversazione a loro favore. Interessante vedere come sia bastata una sola stringa con il nuovo modello “conversazionale” (la nuova lingua creata da uno dei due bot) per deviare completamente tutta la conversazione.
Per le logiche del Machine Learning, quella stringa è entrata a far parte del training set (la base di dati utilizzata per educare il modello), deviando quindi il risultato finale. Come in ogni progetto, anche per l’intelligenza artificiale è importante definire bene sin dall’inizio i paletti ed i rischi per evitare di dover poi fare delle correzioni in corso.