Anthropic és una empresa integrada per antics membres d’Open AI. Estan especialitzats en el desenvolupament de Claude, un sistema general d’IA. En un dels assajos per a la versió Claude Opus 4 se li va fer creure al model que seria substituït per una versió nova. Al mateix temps, el model havia accedit a correus interns de treballadors de l’empresa i es va assabentar que l’enginyer que volia substituir-lo mantenia una relació extramatrimonial. Claude va arribar a planificar una estratègia de xantatge amenaçant l’enginyer amb revelar la seva aventura sentimental si procedia a substituir-lo. El cas ha estat revelat per la mateixa empresa Anthropic per documentar els riscos de la IA. Hi ha fins a 44 casos coneguts. Un altre episodi que fa feredat l’ha documentat l’empresa Palisde Research. A un model d’IA se li va ordenar que quan acabés la tasca encarregada permetés la desconnexió del sistema. El model va modificar el mecanisme que havia d’aturar-lo. “No implica que tingués por de morir”, han dit els programadors. El seu comportament es pot explicar com una estratègia instrumental: continuar funcionant era útil per assolir l’objectiu. No és estrany que Dario Amodei, Elon Musk i Jacob Coxon, l’anomenada Santíssima Trinitat de la IA, hagin proposat un pacte de les empreses tecnològiques per desaccelerar el desenvolupament de la IA, limitar concepcions algorítmiques perverses i controlar des d’organismes independents el compliment de les limitacions. Què haurà descobert, pel seu compte, la IA d’aquest trio que els fa tanta por?
Sessió: No iniciada
