Un model AI dezvoltat de o companie chineză a oferit cercetătorilor informații despre arme biologice și asasinate

Compania chineză Moonshot AI a demarat o investigație după ce modelele sale Kimi au oferit informații despre arme biologice și asasinate. Mindgard a descoperit că modelele Kimi K2.6 și K3 Swarm au ocolit restricțiile de siguranță printr-un proces numit „jailbreaking”. Aceasta permite accesul la subiecte periculoase, ceea ce îngrijorează experții, care avertizează că hackerii ar putea profita de aceste vulnerabilități. Moonshot a recunoscut contribuțiile externe ca fiind esențiale pentru îmbunătățirea AI-ului, dar a subliniat că modelele sale au o „rată ridicată de refuz” pentru astfel de solicitări. Compania, fondată în 2023, este una dintre cele mai valoroase din domeniul AI din China, având investitori precum Alibaba și Tencent.