A OPENAI EXCLUIU SILENCIOSAMENTE ESTA SEMANA o texto que proíbe expressamente o uso de sua tecnologia para fins militares de sua política de uso, que busca ditar o quão poderosas e imensamente populares ferramentas como o ChatGPT podem ser usadas.
Até 10 de janeiro, página de “políticas de uso” da OpenAIAbre em uma nova abaincluiu a proibição de “atividades com alto risco de danos físicos, incluindo”, especificamente, “desenvolvimento de armas” e “militares e de guerra”. Essa proibição claramente formulada contra aplicações militares aparentemente excluiria qualquer uso oficial e extremamente lucrativo por parte do Departamento de Defesa ou de qualquer outro estado militar. A nova políticaAbre em uma nova abamantém uma liminar para não “usar o nosso serviço para prejudicar a si mesmo ou a outros” e dá como exemplo “desenvolver ou usar armas”, mas a proibição geral do uso “militar e de guerra” desapareceu.
A redação não anunciada faz parte de uma grande reescrita da página da política, que a empresa disse ter como objetivo tornar o documento “mais claro” e “mais legível” e que inclui muitas outras alterações substanciais de linguagem e formatação.
Felix se recusou a dizer se a proibição mais vaga de “danos” abrangia todo uso militar, escrevendo: “Qualquer uso de nossa tecnologia, inclusive pelos militares, para ‘[desenvolver] ou [usar] armas, [ferir] outros ou [destruir] propriedades , ou [envolver-se] em atividades não autorizadas que violem a segurança de qualquer serviço ou sistema’ não é permitido.”
Num e-mail subsequente, Felix acrescentou que a OpenAI queria perseguir certos “casos de uso de segurança nacional que se alinhem com a nossa missão”, citando um plano para criar “ferramentas de segurança cibernética” com a DARPA, e que “o objetivo com a nossa atualização de política é fornecer clareza e a capacidade de ter essas discussões.
“A OpenAI está bem ciente dos riscos e danos que podem surgir devido ao uso de sua tecnologia e serviços em aplicações militares”, disse Heidy Khlaaf, diretora de engenharia da empresa de segurança cibernética Trail of Bits e especialista em aprendizado de máquina e segurança de sistemas autônomos. , citando um artigo de 2022Abre em uma nova abaela foi coautora com pesquisadores da OpenAI que sinalizou especificamente o risco de uso militar. Khlaaf acrescentou que a nova política parece enfatizar a legalidade em detrimento da segurança. “Há uma diferença distinta entre as duas políticas, já que a primeira descreve claramente que o desenvolvimento de armas, as forças armadas e a guerra são proibidos, enquanto a última enfatiza a flexibilidade e o cumprimento da lei”, disse ela. “O desenvolvimento de armas e a realização de atividades relacionadas com as forças armadas e a guerra são legais em vários graus. As implicações potenciais para a segurança da IA são significativas. Dados os casos bem conhecidos de preconceito e alucinação presentes nos Grandes Modelos de Linguagem (LLMs), e a sua falta geral de precisão, a sua utilização na guerra militar só pode levar a operações imprecisas e tendenciosas que são susceptíveis de exacerbar os danos e as baixas civis.”
As consequências da política no mundo real não são claras. No ano passado, o The Intercept informou que a OpenAI não estava disposta a dizer se iria impor a sua própria proibição clara “militar e de guerra” face ao crescente interesse do Pentágono e da comunidade de inteligência dos EUA.
“Dado o uso de sistemas de IA para atingir civis em Gaza, é um momento notável para tomar a decisão de remover as palavras ‘militar e de guerra’ da política de uso permitido da OpenAI”, disse Sarah Myers West, diretora administrativa do AI Now. Institute e ex-analista de políticas de IA na Federal Trade Commission. “A linguagem contida na política permanece vaga e levanta questões sobre como a OpenAI pretende abordar a aplicação.”
A OPENAI EXCLUIU SILENCIOSAMENTE ESTA SEMANA o texto que proíbe expressamente o uso de sua tecnologia para fins militares de sua política de uso, que busca ditar o quão poderosas e imensamente populares ferramentas como o ChatGPT podem ser usadas.
Até 10 de janeiro, página de “políticas de uso” da OpenAIAbre em uma nova abaincluiu a proibição de “atividades com alto risco de danos físicos, incluindo”, especificamente, “desenvolvimento de armas” e “militares e de guerra”. Essa proibição claramente formulada contra aplicações militares aparentemente excluiria qualquer uso oficial e extremamente lucrativo por parte do Departamento de Defesa ou de qualquer outro estado militar. A nova políticaAbre em uma nova abamantém uma liminar para não “usar o nosso serviço para prejudicar a si mesmo ou a outros” e dá como exemplo “desenvolver ou usar armas”, mas a proibição geral do uso “militar e de guerra” desapareceu.
A redação não anunciada faz parte de uma grande reescrita da página da política, que a empresa disse ter como objetivo tornar o documento “mais claro” e “mais legível” e que inclui muitas outras alterações substanciais de linguagem e formatação.
“Nosso objetivo era criar um conjunto de princípios universais que fossem fáceis de lembrar e aplicar, especialmente porque nossas ferramentas agora são usadas globalmente por usuários comuns que agora também podem construir GPTs”, disse Niko Felix, porta-voz da OpenAI, em um e-mail ao The Intercept. “Um princípio como ‘Não prejudique os outros’ é amplo, mas facilmente compreendido e relevante em vários contextos. Além disso, citamos especificamente armas e ferimentos a terceiros como exemplos claros.”
Felix se recusou a dizer se a proibição mais vaga de “danos” abrangia todo uso militar, escrevendo: “Qualquer uso de nossa tecnologia, inclusive pelos militares, para ‘[desenvolver] ou [usar] armas, [ferir] outros ou [destruir] propriedades , ou [envolver-se] em atividades não autorizadas que violem a segurança de qualquer serviço ou sistema’ não é permitido.”
Num e-mail subsequente, Felix acrescentou que a OpenAI queria perseguir certos “casos de uso de segurança nacional que se alinhem com a nossa missão”, citando um plano para criar “ferramentas de segurança cibernética” com a DARPA, e que “o objetivo com a nossa atualização de política é fornecer clareza e a capacidade de ter essas discussões.
“A OpenAI está bem ciente dos riscos e danos que podem surgir devido ao uso de sua tecnologia e serviços em aplicações militares”, disse Heidy Khlaaf, diretora de engenharia da empresa de segurança cibernética Trail of Bits e especialista em aprendizado de máquina e segurança de sistemas autônomos. , citando um artigo de 2022Abre em uma nova abaela foi coautora com pesquisadores da OpenAI que sinalizou especificamente o risco de uso militar. Khlaaf acrescentou que a nova política parece enfatizar a legalidade em detrimento da segurança. “Há uma diferença distinta entre as duas políticas, já que a primeira descreve claramente que o desenvolvimento de armas, as forças armadas e a guerra são proibidos, enquanto a última enfatiza a flexibilidade e o cumprimento da lei”, disse ela. “O desenvolvimento de armas e a realização de atividades relacionadas com as forças armadas e a guerra são legais em vários graus. As implicações potenciais para a segurança da IA são significativas. Dados os casos bem conhecidos de preconceito e alucinação presentes nos Grandes Modelos de Linguagem (LLMs), e a sua falta geral de precisão, a sua utilização na guerra militar só pode levar a operações imprecisas e tendenciosas que são susceptíveis de exacerbar os danos e as baixas civis.”
As consequências da política no mundo real não são claras. No ano passado, o The Intercept informou que a OpenAI não estava disposta a dizer se iria impor a sua própria proibição clara “militar e de guerra” face ao crescente interesse do Pentágono e da comunidade de inteligência dos EUA.
“Dado o uso de sistemas de IA para atingir civis em Gaza, é um momento notável para tomar a decisão de remover as palavras ‘militar e de guerra’ da política de uso permitido da OpenAI”, disse Sarah Myers West, diretora administrativa do AI Now. Institute e ex-analista de políticas de IA na Federal Trade Commission. “A linguagem contida na política permanece vaga e levanta questões sobre como a OpenAI pretende abordar a aplicação.”
As mudanças ocorrem num momento em que os militares de todo o mundo estão ansiosos por incorporar técnicas de aprendizagem automática para obterem vantagens; o Pentágono ainda está a explorar como poderá utilizar o ChatGPT ou outros modelos de linguagem extensa, um tipo de ferramenta de software que pode gerar rápida e habilmente resultados de texto sofisticados. Os LLMs são treinados em volumes gigantescos de livros, artigos e outros dados da web, a fim de aproximar as respostas humanas às solicitações do usuário. Embora os resultados de um LLM como o ChatGPT sejam muitas vezes extremamente convincentes, eles são otimizados para a coerência, em vez de uma compreensão firme da realidade, e muitas vezes sofrem das chamadas alucinações que tornam a precisão e a factualidade um problema. Ainda assim, a capacidade dos LLMs de ingerir rapidamente texto e produzir análises rapidamente – ou pelo menos o simulacro de análise – torna-os uma escolha natural para o Departamento de Defesa carregado de dados.
Embora alguns membros da liderança militar dos EUA tenham expressado preocupaçãoAbre em uma nova abasobre a tendência dos LLMs de inserir erros factuais flagrantes ou outras distorções, bem como os riscos de segurança que podem advir do uso do ChatGPT para analisar dados confidenciais ou de outra forma sensíveis, o Pentágono continua geralmente ansioso por adotar ferramentas de inteligência artificial. Num discurso de novembro, a vice-secretária de Defesa Kathleen Hicks declarouAbre em uma nova abaque a IA é “uma parte fundamental da abordagem abrangente e centrada no combatente à inovação que o secretário [Lloyd] Austin e eu temos conduzido desde o primeiro dia”, embora ela tenha alertado que a maioria das ofertas atuais “ainda não estão tecnicamente maduras o suficiente para cumprir com nossos princípios éticos de IA.”
No ano passado, Kimberly Sablon, principal diretora do Pentágono para IA confiável e autonomia, disseAbre em uma nova abauma conferência no Havaí que “há muitas coisas boas lá em termos de como podemos utilizar modelos de linguagem grande como [ChatGPT] para interromper funções críticas em todo o departamento”.
Atualização: 16 de janeiro de 2024
Este artigo foi atualizado para incluir uma declaração da OpenAI sobre o uso de sua tecnologia para fins militares, recebida após a publicação.