Fora dos filmes de ficção científica, não há precedentes de sistemas de IA matando pessoas ou sendo usados em ciberataques. No entanto, alguns legisladores querem implementar salvaguardas antes que atores mal-intencionados tornem esse futuro distópico uma realidade. Um projeto de lei da Califórnia, conhecido como SB 1047, tenta evitar desastres do mundo real causados por sistemas de IA antes que aconteçam, e está a caminho de uma votação final no senado do estado ainda em agosto. Embora pareça um objetivo com o qual todos podemos concordar, o SB 1047 provocou a ira de jogadores grandes e pequenos do Vale do Silício, incluindo capitalistas de risco, grandes grupos de tecnologia, pesquisadores e fundadores de startups. Muitos projetos de lei de IA estão circulando pelo país agora, mas a Lei de Inovação Segura e Segura para Modelos de Inteligência Artificial de Fronteira da Califórnia se tornou uma das mais controversas. Aqui está o porquê - e quem está dizendo isso. O que faz o SB 1047? O SB 1047 tenta impedir que grandes modelos de IA sejam usados para causar "danos críticos" contra a humanidade. O projeto de lei dá exemplos de "danos críticos" como um ator mal-intencionado usando um modelo de IA para criar uma arma que resulta em perdas em massa, ou instruindo um a orquestrar um ciberataque causando mais de US $ 500 milhões em danos (para comparação, a interrupção da CrowdStrike é estimada em ter causado mais de US $ 5 bilhões). O projeto de lei torna os desenvolvedores (ou seja, as empresas que desenvolvem os modelos) responsáveis por implementar protocolos de segurança suficientes para evitar resultados como esses. Quais modelos e empresas estão sujeitas a essas regras? As regras do SB 1047 se aplicariam apenas aos maiores modelos de IA do mundo: aqueles que custam pelo menos US $ 100 milhões e usam 10^26 FLOPS durante o treinamento - uma quantidade enorme de computação, mas o CEO da OpenAI, Sam Altman, disse que o GPT-4 custou cerca disso para treinar. Esses limites poderiam ser elevados conforme necessário. Hoje, poucas empresas desenvolveram produtos de IA públicos grandes o suficiente para atender a esses requisitos, mas gigantes da tecnologia como OpenAI, Google e Microsoft provavelmente o farão em breve. Os modelos de IA - essencialmente, motores estatísticos maciços que identificam e preveem padrões em dados - geralmente se tornaram mais precisos à medida que cresceram, uma tendência que muitos esperam que continue. Mark Zuckerberg disse recentemente que a próxima geração do Llama do Meta exigirá 10 vezes mais computação, o que a tornaria sob a autoridade do SB 1047. No que diz respeito aos modelos de código aberto e suas derivados, o projeto de lei determinou que uma vez que US $ 25 milhões sejam gastos no desenvolvimento ou aprimoramento por outra parte, eles se tornam responsáveis por aquele modelo derivado, em vez do desenvolvedor original. O projeto de lei também exige um protocolo de segurança para evitar usos indevidos de produtos de IA abrangidos, incluindo um botão de "parada de emergência" que desliga todo o modelo de IA. Os desenvolvedores também devem criar procedimentos de teste que abordem os riscos apresentados pelos modelos de IA, e devem contratar auditores terceirizados anualmente para avaliar suas práticas de segurança em IA. O resultado deve ser uma "garantia razoável" de que seguir esses protocolos impedirá danos críticos - e não certeza absoluta, o que, é claro, é impossível de fornecer. Quem iria executar isso e como? Uma nova agência da Califórnia, a Divisão de Modelos de Fronteira (FMD), supervisionaria as regras. Cada novo modelo de IA público que atenda aos critérios do SB 1047 deve ser certificado individualmente com uma cópia escrita de seu protocolo de segurança. O FMD seria governado por um conselho de cinco pessoas, incluindo representantes da indústria de IA, comunidade de código aberto e academia, nomeados pelo governador e pelo legislativo da Califórnia. O conselho aconselhará o procurador-geral da Califórnia sobre possíveis violações do SB 1047 e emitirá orientações aos desenvolvedores de modelos de IA sobre práticas de segurança. O diretor de tecnologia de um desenvolvedor deve enviar uma certificação anual ao FMD avaliando os riscos potenciais de seu modelo de IA, quão eficaz é seu protocolo de segurança e uma descrição de como a empresa está cumprindo o SB 1047. Semelhante às notificações de violação, se ocorrer um "incidente de segurança de IA", o desenvolvedor deve relatá-lo ao FMD dentro de 72 horas após ter conhecimento do incidente. Se um desenvolvedor não cumprir nenhuma dessas disposições, o SB 1047 permite que o procurador-geral da Califórnia ajuíze ação civil contra o desenvolvedor. Para um modelo que custa US $ 100 milhões para treinar, as penalidades podem chegar a até US $ 10 milhões na primeira violação e US $ 30 milhões em violações subsequentes. Essa taxa de penalidade aumenta à medida que os modelos de IA se tornam mais caros. Por fim, o projeto de lei inclui proteções para denunciantes se tentarem divulgar informações sobre um modelo de IA inseguro ao procurador-geral da Califórnia. O que dizem os defensores? O senador estadual da Califórnia, Scott Wiener, autor do projeto de lei e representante de San Francisco, diz ao TechCrunch que o SB 1047 é uma tentativa de aprender com falhas de políticas passadas com mídias sociais e privacidade de dados, e proteger os cidadãos antes que seja tarde demais. “Temos um histórico com tecnologia de esperar que danos ocorram e depois torcer nossas mãos”, disse Wiener. “Não vamos esperar que algo ruim aconteça. Vamos apenas sair na frente.” Mesmo se uma empresa treinar um modelo de US $ 100 milhões no Texas, ou, por assim dizer, na França, ele será abrangido pelo SB 1047 desde que faça negócios na Califórnia. Wiener diz que o Congresso tem feito “muito pouco legislando em torno da tecnologia ao longo do último quarto de século”, então ele acha que cabe à Califórnia estabelecer um precedente aqui. Quando perguntado se ele se encontrou com a OpenAI e o Meta sobre o SB 1047, Wiener diz “nos encontramos com todos os grandes laboratórios.” Dois pesquisadores de IA que às vezes são chamados de "padrinhos da IA", Geoffrey Hinton e Yoshua Bengio, apoiaram este projeto de lei. Estes dois pertencem a uma facção da comunidade de IA preocupada com os perigosos cenários apocalípticos que a tecnologia de IA poderia causar. Esses 'doomers de IA' existem há um tempo no mundo da pesquisa, e o SB 1047 poderia codificar algumas de suas salvaguardas preferidas em lei. Outro grupo que patrocina o SB 1047, o Centro de Segurança em IA, escreveu uma carta aberta em maio de 2023 pedindo ao mundo que priorize "atenuar o risco de extinção pela IA" tão seriamente quanto pandemias ou guerra nuclear. “Isso está no interesse de longo prazo da indústria na Califórnia e nos EUA de forma mais geral, porque um importante incidente de segurança provavelmente seria o maior obstáculo para mais avanços”, disse o diretor do Centro de Segurança em IA, Dan Hendrycks, em um e-mail ao TechCrunch. Recentemente, as próprias motivações de Hendrycks foram questionadas. Em julho, ele lançou publicamente uma startup, Gray Swan, que constrói “ferramentas para ajudar as empresas a avaliar os riscos de seus sistemas de IA,” de acordo com um comunicado à imprensa. Após críticas de que a startup de Hendrycks poderia se beneficiar se o projeto de lei fosse aprovado, potencialmente como um dos auditores exigidos pelo SB 1047 para empresas de IA contratarem, ele se desfez de sua participação patrimonial na Gray Swan. “Eu me desvinculei para enviar um sinal claro”, disse Hendrycks em um e-mail ao TechCrunch. “Se a oposição bilionária de VC à segurança comum da IA quiser mostrar que seus motivos são puros, que eles sigam o exemplo.” O que dizem os opositores? Um coro crescente de jogadores do Vale do Silício se opõe ao SB 1047. A “oposição bilionária de VC” de Hendrycks provavelmente se refere à a16z, a empresa de capital de risco fundada por Marc Andreessen e Ben Horowitz, que se opôs veementemente ao SB 1047. No início de agosto, o diretor jurídico da empresa de risco, Jaikumar Ramaswamy, enviou uma carta ao senador Wiener, alegando que o projeto de lei “vai sobrecarregar as startups por causa de seus limites arbitrários e em constante mudança”, criando um efeito inibidor no ecossistema de IA. À medida que a tecnologia de IA avança, ela ficará mais cara, o que significa que mais startups ultrapassarão aquele limiar de $100 milhões e serão abrangidas pelo SB 1047; a16z diz que várias de suas startups já recebem tanto para treinar modelos. Fei-Fei Li, frequentemente chamada de madrinha da IA, quebrou o silêncio sobre o SB 1047 no início de agosto, escrevendo em uma coluna da Fortune que o projeto de lei vai “prejudicar nosso ecossistema de IA em desenvolvimento.” Enquanto Li é uma pioneira em pesquisa de IA bem conceituada em Stanford, ela também teria criado uma startup de IA chamada World Labs em abril, avaliada em um bilhão de dólares e apoiada pela a16z. Ela se junta a acadêmicos influentes de IA como o colega pesquisador de Stanford Andrew Ng, que chamou o projeto de lei de “um ataque ao código aberto” durante uma palestra em um evento do Y Combinator em julho. Modelos de código aberto podem criar riscos adicionais para seus criadores, visto que, como qualquer software aberto, eles são mais facilmente modificados e implantados para fins arbitrários e potencialmente maliciosos. O cientista-chefe de IA do Meta, Yann LeCun, disse que o SB 1047 prejudicaria os esforços de pesquisa, e é baseado em uma “ilusão de ‘risco existencial’ promovida por algumas poucas ‘think tanks’ delirantes”, em um post no X. O Llama LLM do Meta é um dos principais exemplos de um LLM de código aberto. As startups também não estão felizes com o projeto de lei. Jeremy Nixon, CEO da startup de IA Omniscience e fundador da AGI House SF, um hub de startups de IA em San Francisco, preocupa-se que o SB 1047 irá destruir seu ecossistema. Ele argumenta que os atores mal-intencionados deveriam ser punidos por causar danos críticos, não os laboratórios de IA que desenvolvem e distribuem abertamente a tecnologia. “Há uma confusão profunda no centro do projeto de lei, de que os LLMs de alguma forma podem diferir em seus níveis de capacidade prejudicial”, disse Nixon. “É mais provável, em minha opinião, que todos os modelos tenham capacidades prejudiciais conforme definido pelo projeto de lei.” Mas as Big Tech, nas quais o projeto de lei se concentra diretamente, também estão preocupadas com o SB 1047. A Chamber of Progress - um grupo de comércio representando Google, Apple, Amazon e outras gigantes da Big Tech - emitiu uma carta aberta se opondo ao projeto de lei, dizendo que o SB 1047 restringe a liberdade de expressão e “empurra a inovação tecnológica para fora da Califórnia.” No ano passado, o CEO do Google, Sundar Pichai, e outros executivos de tecnologia endossaram a ideia de regulamentação federal de IA. O Vale do Silício tradicionalmente não gosta quando a Califórnia estabelece regulamentações amplas de tecnologia como essa. Em 2019, a Big Tech jogou uma carta semelhante quando outro projeto de lei de privacidade estadual, a Lei de Privacidade do Consumidor da Califórnia, também ameaçou mudar o cenário tecnológico. O Vale do Silício fez lobby contra aquele projeto de lei, e meses antes de entrar em vigor, o fundador da Amazon, Jeff Bezos, e outros 50 executivos escreveram uma carta aberta pedindo uma lei de privacidade federal. O que acontece em seguida? Em 15 de agosto, o SB 1047 será enviado para o plenário da Assembleia do Senado da Califórnia com as emendas que forem aprovadas. É onde os projetos de lei “vivem ou morrem” no Senado da Califórnia, segundo Wiener. Espera-se que seja aprovado, dada sua enorme aprovação dos legisladores até agora. A Anthropic enviou uma série de emendas sugeridas ao SB 1047 no final de julho, que Wiener diz que ele e os comitês de política do Senado da Califórnia estão considerando ativamente. A Anthropic é a primeira desenvolvedora de um modelo de IA de ponta a sinalizar publicamente que está disposta a trabalhar com Wiener no SB 1047, mesmo que não apoie o projeto de lei como está. Isso foi amplamente visto como uma vitória para o projeto de lei. As mudanças propostas pela Anthropic incluem a eliminação do FMD, a redução do poder do Procurador Geral de processar os desenvolvedores de IA antes que um dano ocorra e a eliminação da disposição de proteções para denunciantes no SB 1047. Wiener diz que está geralmente positivo em relação às emendas, mas precisa da aprovação de vários comitês de política do Senado antes de adicioná-las ao projeto de lei. Se o SB 1047 passar no Senado, o projeto de lei será enviado para a mesa do governador da Califórnia, Gavin Newsom, onde ele decidirá em última análise se assina o projeto de lei antes do final de agosto. Wiener diz que não conversou com Newsom sobre o projeto de lei e não sabe qual é a posição dele. Este projeto de lei não entrará em vigor imediatamente, já que o FMD está programado para ser formado em 2026. Além disso, se o projeto de lei for aprovado, é muito provável que enfrente desafios legais antes disso, talvez de alguns dos mesmos grupos que estão se manifestando a respeito agora.