OpenAI anuncia novo comitê independente de supervisão do conselho para segurança

A OpenAI disse na segunda-feira que seu Comitê de Segurança e Proteção, que a empresa introduziu em maio ao lidar com controvérsias sobre processos de segurança, se tornará um comitê independente de supervisão do conselho.

O grupo será presidido por Zico Kolter, diretor do departamento de aprendizado de máquina da escola de ciência da computação da Universidade Carnegie Mellon. Outros membros incluem Adam D’Angelo, membro do conselho da OpenAI e cofundador do Quora, o ex-chefe da NSA e membro do conselho Paul Nakasone, e Nicole Seligman, ex-vice-presidente executiva da Sony.

O comitê supervisionará “os processos de segurança que orientam a implantação e o desenvolvimento do modelo OpenAI”, disse a empresa. Recentemente, concluiu a sua revisão de 90 dias avaliando os processos e salvaguardas da OpenAI e depois fez recomendações ao conselho. OpenAI está divulgando as descobertas do grupo como um público postagem no blog.

OpenAI, o Microsoftstartup apoiada por trás do ChatGPT e PesquisaGPTestá atualmente buscando uma rodada de financiamento que avaliaria a empresa em mais de US$ 150 bilhões, de acordo com fontes familiarizadas com a situação que pediram anonimato porque os detalhes da rodada não foram divulgados. A Thrive Capital está liderando a rodada e planeja investir US$ 1 bilhão, e a Tiger Global também está planejando aderir. Microsoft, Nvidia e Apple estão supostamente também em negociações para investir.

As cinco principais recomendações do comité incluíam a necessidade de estabelecer uma governação independente para a segurança e proteção, melhorar as medidas de segurança, ser transparente sobre o trabalho da OpenAI, colaborar com organizações externas; e unificar as estruturas de segurança da empresa.

Na semana passada, a OpenAI lançou o1, uma versão prévia de seu novo modelo de IA focado no raciocínio e na “solução de problemas difíceis”. A empresa disse que o comitê “revisou os critérios de segurança que a OpenAI usou para avaliar a aptidão do OpenAI o1 para o lançamento”, bem como os resultados da avaliação de segurança.

O comitê irá “juntamente com todo o conselho, exercer a supervisão sobre os lançamentos de modelos, incluindo ter autoridade para adiar um lançamento até que as preocupações de segurança sejam resolvidas”.

Embora a OpenAI esteja em modo de hipercrescimento desde o final de 2022, quando lançou o ChatGPT, ela tem sido simultaneamente repleta de controvérsias e saídas de funcionários de alto nível, com alguns funcionários atuais e ex-funcionários preocupados com o fato de a empresa estar crescendo rápido demais para operar com segurança.

Em julho, os senadores democratas enviaram um carta ao CEO da OpenAI, Sam Altman, sobre “questões sobre como a OpenAI está abordando questões emergentes de segurança”. No mês anterior, um grupo de atuais e ex-funcionários da OpenAI publicou um carta aberta descrevendo preocupações sobre a falta de supervisão e a ausência de proteção aos denunciantes para aqueles que desejam se manifestar.

E em maio, um ex-membro do conselho da OpenAI, falando sobre a demissão temporária de Altman em novembro, disse que deu ao conselho “informações imprecisas sobre o pequeno número de processos formais de segurança que a empresa tinha em vigor” em várias ocasiões.

Naquele mês, a OpenAI decidiu dissolver sua equipe focada nos riscos de longo prazo da IA ​​apenas um ano após anunciar o grupo. Os líderes da equipe, Ilya Sutskever e Jan Leike, anunciaram suas saídas da OpenAI em maio. Leike escreveu em um post no X que “a cultura e os processos de segurança da OpenAI ficaram em segundo plano em relação aos produtos brilhantes”.

ASSISTIR: OpenAI é líder indiscutível no superciclo de IA