Quando gli LLM si dimenticano quello che hanno detto
DeepSeek ha fatto tutto un suo ragionamento e poi si è contraddetto…
@mau @macfranc @aitech Per ragioni di lavoro e anche di hobby (scrittura creativa) sto facendo vari esperimenti con vari llm. Non sto facendo benchmark perché non mi sono stati domandati da qualcuno. Ma porca miseria, crei un personaggio cieco, e dopo qualche capitolo della storia in cui interagisce col mondo, lui guida la macchina? Io da persona nata cieca so come un cieco si muove nel mondo, perciò individuo subito dove l’llm sbaglia. Senza sarcasmi.
@mau @macfranc @aitech Pazienza. Comunque, sempre in scrittura creativa, senza scomodare la disabilità, io noto che tante volte prendono nomi da altre storie e li mettono in quella attuale. Tipo. Se io scrivo una storia con una parrucchiera di nome Maria e la concludo, nella storia successiva se il nome Maria è associato a una persona che svolge una professione diversa, prima o poi, Maria taglierà i capelli a qualcuno.
@talksina @macfranc @aitech questo perché il prompt prende tutto quello che hai fatto nella sessione. Quello che scrivevo stamattina era che però bisogna sempre ricordargli i punti salienti (nel caso tuo, che il protagonista è cieco). Questo perché probabilmente non c’è moltissimo materiale di addestramento e quindi l’llm tende a dimenticare le poche connessioni che ha in favore di connessioni più forti nel corpus di addestramento, come il fatto che la gente guidi un’automobile.
@mau @macfranc @aitech ecco vedi, questi sono dettagli che mi mancavano. Dovrò a breve fare dei corsi specifici in merito. Essendo un modello, ha i suoi standard; il problema qual è? Che noi utilizzatori non abbiamo alcun controllo su chi gestisca i suddetti standard, perciò errori e bias sono all’ordine del giorno! Io che li uso quotidianamente penso sia una follia affidarsi ai llm per il lavoro, addirittura sostituendo il lavoro umano. (1/2)
