Dopo una piccola serie di esperimenti di supporto ai clienti con l’AI generativa (ma non solo), sono emerse alcune problematiche che probabilmente dovranno essere affrontate dalle aziende e che costeranno loro un po’ di lavoro non pianificato.
Innanzi tutto quali sono stati gli esperimenti:
- chatbot basato su un assistente di ChatGPT 4 con RAG utilizzando tutti i contenuti del sito di supporto, che contiene quindi quelli che potremmo definire i “manuali” del prodotto
- chatbot uguale al precedente ma “alimentato” con FAQ scritte ad-hoc
- chatbot di terza parte, che utilizza ChatGPT 4 per la generazione delle risposte, mentre la parte RAG è gestita esternamente e basata su FAQ scritte ad hoc e messe a disposizione da me
- (ancora in prova) sistema di ricerca semantica che a fronte di una domanda (non elenco di keyword) cerca nelle FAQ se c’è al risposta corretta
Tutti hanno funzionato “così così”.
Non sono mancate le risposte corrette e, nel caso del chatbot di terza parte, la chiusura della conversazione indicando che non aveva materiale per rispondere (corretto).
Purtroppo, in diversi casi la risposta è stata data, sbagliata e, come è tipico di questi sistemi, in modo convincente.
Un caso riguardava una funzionalità del prodotto che non esiste e per la quale il bot dava precise indicazioni su come attivarla. L’utente, disperato, ci ha scritto chiedendoci come mai nel suo prodotto quella funzionalità non si riuscisse a trovare.
Un secondo caso riguardava una risposta sulla possibilità di utilizzare il prodotto (è un software) in modo illimitato con la licenza base (che invece prevede chiari limiti).
Le prime domanda che ci si pone sono: ma perché ha dato queste risposte? Nella documentazione mancava l’informazione? O il sistema non è stato in grado di estrarla? Oppure per qualche motivo si è “inventato” quanto ha scritto?
Siccome siamo pigri, ci verrebbe da dire che il sistema ha le allucinazioni e che quindi è meglio lasciar perdere. E’ una opzione.
Ma forse dovremmo ragionare anche in altro modo: siamo sicuri che la nostra documentazione, così come l’abbiamo prodotta, sia adeguata per gli utenti e per il sistemi generativi?
L’utente vuole usare un chatbot perché non trova facilmente le risposte nella nostra documentazione e il chatbot risponde male… per lo stesso motivo.
Stiamo per caso cercando di tirare fuori dal nostro materiale qualcosa di utile ma non vogliamo ammettere che è inadeguato? Ci stiamo illudendo che l’AI generativa sistemi tutto il caos e le cattive abitudini che abbiamo accumulato negli anni?
Può essere che ci riesca, che sia così “intelligente” non solo da “macinare” quando le diamo in pasto, ma di riorganizzarlo e adattarlo ad un nuovo modo di consultazione. Ma può anche essere che finisca con il mettere in luce il caos e renderlo ancora più palese e, in certi casi, deleterio.
Oltre a quanto abbiamo già digitalizzato ed è utilizzabile dall’AI generativa, dobbiamo confrontarci con un altro problema, ovvero la conoscenza non scritta. E’ quella conoscenza del reparto di supporto, o dei tecnici, o dei commerciali, o, in generale, che sta nella testa delle persone. Quante volte in una azienda si va a cercare “quello che sa”? Moltissime.
Conservare quella conoscenza è un problema “storico” delle aziende e lo diventerà ancora di più non appena ci renderemo conto che ci serve per l’AI, perché molto del valore non è mai stato digitalizzato (e regolarmente viene perduto quando qualcuno se ne va).
Questa esperienza la facciamo tutti i giorni. Nel dare supporto ai clienti, trovo soluzioni che si possono ottenere con il prodotto così come è, ma bisogna saperlo usare nel modo giusto. Come insegno all’AI questo “modo giusto”? Devo digitalizzare tutti i casi che mi passano per le mani? Personalmente non lo so.
I clienti sono diversi
Dobbiamo aprire una parentesi importante. Provate a seguire uno dei tanti corsi sul prompting. Metodi zero shot, one shot, chain of thought e via dicendo. Sono tutte tecniche per farci aiutare dall’AI generativa.
Questo utilizzo richiede esperienza e non è il modo con il quale il cliente medio formula la richiesta di supporto. Alla persona non interessa se dietro c’è l’AI o un essere umano: ha una domanda e vuole una risposta. I chatbot quindi, vanno costruiti per riuscire a rispondere in modo preciso e corretto alla domanda secca, con poca interazione.
In futuro forse ci abitueremo a fornire un contesto ampio con le nostre richieste e usciremo dalla mentalità delle parole chiave a cui siamo abituati. Anche il modo di interagire, verbale invece che digitando il testo, sarà di aiuto, ma è necessario un pericoloso periodo di transizione.
Pericoloso perché i bot vanno controllati a vista e sarà necessario parecchio lavoro per indirizzarli e filtrare le loro risposte. Nel frattempo bisogna costruire una massa di informazioni in modo diverso, lasciandoci alle spalle l’idea che posso buttare dentro un PDF parole a caso per poi ottenere le informazioni pulite, ordinate e corrette dall’AI. Oppure ci accontenteremo di una AI che fa lo stesso casino che facciamo noi.
