Mesmo quando as organizações adotam LLMs cada vez mais poderosos, elas terão dificuldade em abandonar sua dependência dos humanos.
Os modelos de linguagem grandes (LLMs, na sigla em inglês de Large Language Models) são de fato uma inovação que está mudando o paradigma da ciência de dados. Eles ampliam as capacidades dos modelos de aprendizado de máquina para gerar texto e imagens relevantes em resposta a uma ampla gama de estímulos qualitativos. Embora essas ferramentas sejam caras e difíceis de construir, uma multidão de usuários pode usá-las rapidamente e de forma econômica para realizar algumas das tarefas baseadas em linguagem que só os humanos poderiam fazer antes.
Apenas para citar um exemplo prático, esse artigo que foi originalmente publicado em inglês pelo jornal MIT Sloan Business Review dos EUA, teve essa versão em português – BR traduzida em menos de 2 minutos usando o ChatGPT.
Isso levanta a possibilidade de que muitos empregos humanos — especialmente os que envolvem principalmente trabalhar com texto ou código e são intensivos em conhecimento — possam ser substituídos ou significativamente subestimados pela adoção generalizada dessa tecnologia. Mas, na realidade, os LLMs são muito mais complicados de usar efetivamente em um contexto organizacional do que geralmente se reconhece, e ainda não demonstraram que podem executar satisfatoriamente todas as tarefas que os trabalhadores do conhecimento executam em qualquer emprego específico.
A maioria das áreas potenciais de uso para LLMs se concentra na manipulação de informações existentes, muitas delas específicas de uma organização individual. Isso inclui resumir conteúdo e produzir relatórios (o que representa 35% dos casos de uso, segundo uma pesquisa) e extrair informações de documentos, como PDFs contendo informações financeiras, e criar tabelas a partir deles (33% dos casos de uso).
Outros usos populares e eficazes de LLMs incluem a criação de imagens com ferramentas como o Dall-E 2 ou a geração de dados sintéticos para aplicativos quando os dados reais são difíceis de obter, como dados para treinar ferramentas de reconhecimento de voz como a Alexa da Amazon.
A maioria das organizações que usam LLMs ainda está na fase de exploração. As interações com clientes, a gestão do conhecimento e a engenharia de software são três áreas de experimentos organizacionais extensivos com IA generativa.
Por exemplo, a Audi recrutou um fornecedor para construir e implantar um chatbot baseado em LLM personalizado que responderia às perguntas dos funcionários sobre documentação disponível, detalhes dos clientes e avaliações de risco. O chatbot recupera informações relevantes de uma variedade de bancos de dados proprietários em tempo real e deve evitar responder perguntas se os dados disponíveis forem insuficientes. A empresa usou ferramentas de engenharia de estímulo desenvolvidas pela Amazon Web Services para recuperação aumentada de geração (RAG), um procedimento de personalização comum que usa dados específicos da organização sem exigir alterações no modelo de fundação subjacente.
Ao contrário das ferramentas de automação convencionais que presumem uma entrada fixa, um processo explícito e um único resultado correto, a entrada e saída das ferramentas LLM podem variar, e o processo pelo qual a resposta é produzida é uma caixa preta. Os gerentes não podem avaliar e controlar essas ferramentas da mesma maneira que fazem com máquinas convencionais. Portanto, existem questões práticas que devem ser respondidas antes de usar essas ferramentas em um contexto organizacional: quem determinará a entrada? Quem avaliará a qualidade da saída e quem terá acesso a ela?
Desafios na Integração de LLMs nas Organizações
Nesta seção, focamos em cinco desafios-chave prováveis de surgir ao integrar LLMs na organização e por que eles provavelmente exigirão envolvimento contínuo dos funcionários humanos.
1. O Problema da Captura de Conhecimento.
Organizações produzem volumes enormes de informações proprietárias escritas que não podem processar facilmente por si mesmas: planos estratégicos, descrições de cargos, organogramas e processos organizacionais, documentação de produtos, avaliações de desempenho, e assim por diante. Um LLM treinado com esses dados pode produzir insights aos quais a organização provavelmente não tinha acesso antes. Isso pode ser a vantagem mais importante de uma empresa ao usar LLMs.
Organizações que fazem o melhor uso de LLMs os utilizarão para gerar saídas que se referem especificamente às suas necessidades e são informadas por suas fontes de dados. Por exemplo, “Quais são os interesses do consumidor provavelmente na China?” é uma pergunta menos pertinente para um negócio do que “Como devemos adaptar nossos produtos para consumidores na China?” Para responder utilmente a este último, o LLM requer acesso aos dados proprietários da organização; a qualidade da resposta depende da qualidade e relevância dos dados nos quais o LLM foi treinado.
Alimentar as informações corretas para o LLM não é uma tarefa simples, dada o esforço considerável necessário para filtrar os volumes de dados irrelevantes que as organizações produzem. O conhecimento útil sobre a cultura organizacional, resultados de pesquisas com funcionários, e assim por diante, levam tempo para serem reunidos e organizados. Mesmo assim, muito conhecimento importante pode ser conhecido por indivíduos, mas não documentado. Em um estudo, apenas cerca de 11% dos cientistas de dados relataram que conseguiram ajustar seus LLMs com os dados necessários para produzir respostas boas e apropriadas específicas para sua organização. O processo é caro e requer processadores poderosos, milhares de exemplos de treinamento e verificação de alta qualidade, engenharia extensiva e atualizações contínuas.
Há também o problema da poluição de dados dentro de um LLM: Se dados de baixa qualidade de qualquer lugar da organização forem fornecidos ao LLM, isso afetará não apenas as respostas atuais, mas também as futuras. Um conjunto de regras sobre a curadoria de dados usados para treinar um LLM deve ser estabelecido, e, em última instância, alguém na organização deve supervisionar tais atividades.
Como a personalização de LLMs requer vastas quantidades de dados de alta qualidade, as empresas devem organizar e padronizar conhecimentos explícitos e codificá-los em procedimentos operacionais padrão, descrições de cargos, manuais de funcionários, guias de usuário, algoritmos de computador e outras unidades de conhecimento organizacional para uso em LLMs. A programação de computadores é uma área onde o conhecimento explícito pode ser particularmente importante.
LLMs já são muito úteis para responder a perguntas de programação, e existem inúmeras ferramentas baseadas em LLMs, como o Copilot do GitHub e o StarCoder do Hugging Face, que auxiliam os programadores humanos em tempo real. Um estudo sugere que programadores preferem usar ferramentas baseadas em LLMs para gerar código porque elas fornecem um ponto de partida melhor do que a alternativa de procurar online por código existente para reutilizar. No entanto, essa abordagem não melhora a taxa de sucesso das tarefas de programação. A principal desvantagem até agora tem sido que mais tempo é necessário para depurar e entender o código que o LLM gerou.
A dificuldade da tarefa de captura de conhecimento para organizações provavelmente impulsionará a criação de novos empregos. Por exemplo, bibliotecários de dados, que catalogam e curam dados específicos da organização que podem ser usados para treinar aplicativos LLM, podem se tornar críticos em alguns contextos.
2. O Problema de Verificação da Saída.
As saídas dos LLMs para tarefas de programação podem ser testadas quanto à correção e utilidade antes de serem implementadas e usadas em situações com consequências reais. No entanto, a maioria das tarefas não é assim. Recomendações estratégicas ou ideias de marketing, por exemplo, não são saídas que podem ser testadas ou verificadas facilmente. Para esses tipos de tarefas, a saída simplesmente precisa ser “suficientemente boa” em vez de perfeitamente correta para ser útil. Quando uma resposta de LLM é considerada boa o suficiente? Para tarefas simples, os funcionários com o conhecimento relevante podem julgar por si próprios apenas lendo a resposta do LLM.
Até agora, as evidências sobre se os usuários levarão a sério a tarefa de verificar a saída não são encorajadoras. Em um experimento, trabalhadores de colarinho branco receberam a opção de usar um LLM para uma tarefa de escrita. Aqueles que optaram por usar a ferramenta poderiam então escolher entre editar o texto ou entregá-lo sem editar. A maioria dos participantes escolheu a última opção.
E o que acontece se os funcionários não tiverem o conhecimento necessário para julgar as saídas mais complicadas, incomuns e consequentes de um LLM? Podemos muito bem fazer perguntas para as quais não sabemos como são boas o suficiente as respostas. Isso requer um grau mais alto de julgamento humano habilidoso na avaliação e implementação das saídas do LLM.
Ao contrário de um LLM, um funcionário humano é responsável por suas saídas, e um histórico de precisão ou bom julgamento pode permitir que seu empregador avalie suas saídas futuras. Um humano também pode explicar como chegou a certas conclusões ou tomou certas decisões. Isso não ocorre com LLMs: cada solicitação envia uma pergunta por um caminho complexo através de seu corpus de conhecimento para produzir uma resposta única e inexplicável. Além disso, LLMs podem “esquecer” como fazer tarefas que anteriormente faziam bem, tornando difícil fornecer uma garantia de serviço para esses modelos.
Em última análise, um humano é necessário para avaliar se a saída do LLM é boa o suficiente, e eles devem levar essa tarefa a sério. Um desafio ao integrar a saída do LLM com a supervisão humana é que, em muitos contextos, o humano deve saber algo sobre o domínio para poder avaliar se a saída do LLM é valiosa. Isso sugere que conhecimento específico não pode ser “terceirizado” para um LLM – especialistas do domínio ainda são necessários para avaliar se a saída do LLM é boa antes de ser colocada em uso.
3. O Problema de Adjudicação de Saída.
Adjudicação é o processo de resolver disputas ou diferenças de opinião por meio de um julgamento ou decisão final. Na prática, isso pode envolver um árbitro, juiz ou outra autoridade neutra que examine os fatos e argumentos apresentados por ambas as partes e emita uma decisão ou veredito. No contexto organizacional, a adjudicação pode ocorrer em várias situações, como resolver disputas entre funcionários, interpretar contratos ou políticas da empresa, ou tomar decisões sobre questões complexas que envolvem diferentes perspectivas ou interesses.
LLMs se destacam na sumarização de grandes volumes de texto. Isso pode ajudar a trazer dados valiosos para embasar a tomada de decisão e permitir que os gestores verifiquem o estado do conhecimento sobre um tópico específico, como o que os funcionários disseram sobre um determinado benefício em pesquisas passadas. No entanto, isso não significa que as respostas dos LLMs sejam mais confiáveis ou menos tendenciosas do que as decisões humanas: LLMs podem ser solicitados a chegar a conclusões diferentes com base nos mesmos dados, e suas respostas podem variar mesmo quando recebem a mesma solicitação em momentos diferentes.
Isso facilita para diferentes partes dentro de uma organização gerar saídas conflitantes. Por exemplo, se indivíduos ou grupos com interesses diferentes gerassem saídas de LLM que apoiassem suas próprias posições, os líderes seriam confrontados com a adjudicação desses desacordos. Esse desafio existia antes do surgimento dos LLMs, mas dado que o custo de criar novo conteúdo agora é muito menor do que o custo de adjudicação, os gerentes enfrentam uma tarefa nova e mais complicada do que nunca.
Se a tarefa de adjudicar as saídas dos LLMs será adicionada aos empregos existentes ou criará novos dependerá de quão fácil é aprendê-la. A ideia otimista de que funcionários de níveis mais baixos serão capacitados pelo acesso aos LLMs para assumir mais tarefas dos funcionários de níveis mais altos requer suposições particularmente heroicas.
A visão de longo prazo sobre hierarquias de empregos é que os ocupantes precisam de habilidades e julgamento adquiridos por meio da prática, e a disposição para lidar com certos empregos, não apenas conhecimento teórico disponibilizado rapidamente pelos LLMs.
O desafio sempre foi fazer com que os gerentes capacitem os funcionários a usar mais esse conhecimento em vez de tomar decisões por eles. Essa relutância tem sido muito mais sobre falta de confiança do que falta de conhecimento ou habilidade dos funcionários. Como discutido acima, a adjudicação eficaz da saída dos LLMs também pode exigir um grande conhecimento do domínio, o que limita ainda mais a extensão em que essa tarefa pode ser delegada a funcionários de níveis mais baixos.
Uma maneira de abordar tanto os direitos de decisão quanto os problemas de robustez para saídas de alto risco é centralizar o uso dos LLMs. Criar um papel para gerar os principais relatórios de uma organização usando um LLM facilita o desenvolvimento de expertise no uso dessas ferramentas e limita o número de documentos gerados usando dados específicos da organização.
Estabelecer um papel centralizado com uma abordagem padrão para a produção de relatórios também pode ajudar a evitar o problema de lidar com saídas conflitantes e a necessidade de adjudicar diferenças de conteúdo. Um escritório de LLM poderia conduzir seus próprios experimentos de robustez para ver como mudanças modestas em dados, limites de segurança e a linguagem das solicitações mudam a saída.
Isso tornaria o papel do adjudicador menos técnico do que de conformidade, então poderia ser facilmente situado no escritório do advogado geral como uma função de TI.
4 – O problema da relação custo-benefício
O problema custo-benefício surge ao considerar a adoção de modelos de linguagem grandes (LLMs) dentro de uma organização. Os benefícios de usar a saída de LLMs podem ser imprevisíveis. Por exemplo, LLMs são excelentes para redigir correspondências simples, que muitas vezes só precisam ser boas o suficiente.
No entanto, correspondências simples que ocorrem repetidamente, como notificações de clientes sobre pagamentos em atraso, já foram automatizadas com cartas-padrão. As interações interativas com clientes e outras pessoas já são tratadas bastante bem com bots simples que os direcionam para soluções que a organização deseja que eles tenham (embora não necessariamente o que esses clientes realmente querem). Os centros de atendimento já estão repletos de modelos e textos preparados adaptados às perguntas mais comuns que os clientes fazem.
Um estudo com representantes de atendimento ao cliente, onde alguns auxílios baseados em computador já estavam em vigor, constatou que a adição de uma combinação de LLM e algoritmos de aprendizado de máquina que haviam sido treinados em interações bem-sucedidas com os clientes melhorou a resolução de problemas em 14%. Se isso é muito ou pouco para um trabalho frequentemente descrito como especialmente adequado para a saída de LLMs, e se o resultado vale o custo de implementação, são questões em aberto.
Um experimento pré-registrado com 758 consultores do Boston Consulting Group mostrou que o GPT-4 aumentou drasticamente a produtividade dos consultores em algumas tarefas, mas a diminuiu significativamente em outras. Esses eram trabalhos em que as tarefas centrais eram bem adequadas para serem realizadas por LLMs, e os efeitos de produtividade eram reais, mas bem aquém do impressionante.
Mesmo onde existem oportunidades para LLMs gerarem respostas melhores e mais refinadas do que os modelos e chatbots existentes, a questão é se as organizações verão a necessidade de usá-los.
Elas podem optar por isso em contextos como chamadas de vendas, onde o ganho pode ser significativo, mas podem não fazê-lo em contextos como atendimento ao cliente, onde as organizações não mostraram muito interesse em melhorar seu desempenho usando os recursos que já têm.
Além disso, as economias de tempo e custo proporcionadas pelos LLMs em vários contextos podem ser anuladas pelos outros custos que eles impõem. Por exemplo, a conversão de chatbots em LLMs é uma empreitada considerável, mesmo que eventualmente possa ser útil; além disso, colocar clientes ou clientes em conversas diretas com chatbots alimentados por LLMs pode expor a organização a riscos de segurança e de marca. Correspondências ou mensagens de alto risco muitas vezes devem ser analisadas por advogados ou profissionais de comunicação – um processo caro – independentemente se foram redigidas por um humano ou por um LLM.
5 – O Problema da transformação do trabalho.
Como os LLMs vão trabalhar com os trabalhadores? Prever a resposta está longe de ser simples. Primeiro, dado que os funcionários geralmente estão envolvidos em várias tarefas e responsabilidades dinâmicas, LLMs que assumem uma tarefa não podem substituir o trabalho inteiro e todas as suas sub tarefas separadas.
Vale a pena lembrar o efeito da introdução dos caixas eletrônicos: mesmo que as máquinas fossem capazes de fazer muitas das tarefas que os caixas bancários realizavam, elas não reduziram significativamente o número de trabalhadores humanos porque os caixas tinham outras tarefas além de lidar com dinheiro e foram liberados para assumir novas responsabilidades.
A variabilidade e imprevisibilidade da necessidade de LLMs em qualquer fluxo de trabalho dado são fatores que basicamente protegem os empregos existentes. A maioria dos empregos agora não tem necessidade de usar LLMs com tanta frequência, e pode ser difícil prever quando eles precisarão deles. Os empregos que os LLMs têm mais probabilidade de substituir são, claro, aqueles em que as tarefas que ocupam a maior parte do tempo das pessoas podem ser consistentemente realizadas corretamente pela tecnologia.
Mas mesmo nesses casos, existem sérias ressalvas. As projeções de enormes perdas de emprego dos LLMs dependem da suposição não declarada de que as tarefas podem simplesmente ser redistribuídas entre os trabalhadores. Isso poderia ter funcionado com grupos de digitação antiquados, onde todos os funcionários realizavam tarefas idênticas. Se a produtividade do grupo aumentasse em 10%, seria possível realocar o trabalho e reduzir o número de digitadores em 10%. Mas se os trabalhadores não estiverem organizados em um grupo, tal redução não é possível sem uma transformação significativa e custosa do local de trabalho.
Além disso, claramente, não podemos cortar 10% do assistente pessoal de um executivo se eles se tornarem 10% mais produtivos. Cortar mão de obra é mais fácil com trabalho terceirizado do que com emprego. Uma organização pode negociar para reduzir o custo ou o número de horas de trabalho terceirizado que obtêm de um fornecedor se parte desse trabalho puder ser realizado por LLMs.
Os maiores fornecedores de tecnologia, como as gigantes empresas de terceirização de TI, têm mais probabilidade de ter grandes números de programadores realizando tarefas razoavelmente intercambiáveis (como em um grupo de digitação) e têm a maior chance de fazer cortes de empregos. O grau em que as reduções de custos criadas pela IA levam a preços mais baixos para os clientes em comparação com lucros mais altos para os contratantes é uma questão em aberto.
Contratantes individuais também estão em risco. Pode ser verdade que um contratante possa fazer mais com um LLM do que sem um, mas isso é igualmente verdadeiro para um funcionário. Se houver menos trabalho para distribuir, a empresa provavelmente reduzirá o número de contratantes antes de demitir funcionários, porque é mais fácil.
Como acontece com os fornecedores de terceirização, as empresas também podem tentar renegociar preços mais baixos com contratantes que estão usando LLMs. Evidências iniciais indicam que o volume de trabalho de gig padronizado que pode ser feito por contratantes diminuiu desproporcionalmente com a introdução de LLMs.
Outra possibilidade é que os LLMs possam aumentar suficientemente a produtividade em toda uma organização que tenham um efeito não em ocupações específicas, mas na necessidade geral de trabalho. Não há evidências disso ainda, mas seria um efeito bem-vindo para muitos líderes empresariais, dada a lentidão do crescimento da produtividade nos EUA e em outros lugares e a dificuldade que muitos empregadores relatam em expandir suas forças de trabalho.
Uma área surpreendente onde os LLMs podem avançar é uma que pensávamos ser a mais humana: fornecer feedback individual, como em coaching, aconselhamento e tutoria. Há algumas evidências de que as pessoas preferem que pelo menos sua interação inicial em tais situações seja com um chatbot de IA em vez de um humano, porque acham menos ameaçador.
Recomendações para os diretores e gestores
A história das inovações relacionadas à tecnologia da informação sugere que seus impactos variam consideravelmente dependendo do trabalho, da organização e da indústria e levam muito tempo para se desdobrar. O fato de que as ferramentas LLM estão constantemente se tornando mais fáceis de usar e que estão sendo incorporadas a produtos de software amplamente adotados, como o Microsoft Office, torna provável que elas sejam adotadas mais rapidamente. Nossas conversas sugerem que, neste momento, no entanto, a maioria das organizações está simplesmente experimentando com LLMs de maneiras pequenas.
Como as organizações devem se preparar para os LLMs?
Primeiramente, padrões de uso aceitáveis devem ser elaborados e divulgados. Provavelmente é impossível impedir que os funcionários experimentem com LLMs, mas mesmo nesta fase inicial, é importante estabelecer regras básicas para seu uso, como proibir que dados proprietários sejam carregados para LLMs de terceiros e divulgar se e como os LLMs foram usados na preparação de quaisquer documentos que estão sendo compartilhados.
Políticas de uso aceitável já limitam como os funcionários podem usar os equipamentos e ferramentas da empresa. Outra abordagem é usar uma ferramenta como o Amazon Q, um chatbot gerativo alimentado por IA que pode ser personalizado para obedecer às políticas de uso aceitável de uma organização em torno de quem pode acessar um LLM, que dados podem ser usados e assim por diante.
Em segundo lugar, vale a pena pensar em criar um escritório central para produzir todas as saídas importantes de LLM, pelo menos inicialmente, para ajudar a garantir que os padrões de uso aceitável sejam seguidos e gerenciar problemas como a poluição de dados.
Os escritórios centrais podem fornecer orientação nas melhores práticas para criar prompts e interpretar a variabilidade das respostas. Eles também oferecem a oportunidade de economias de escala. Ter um bibliotecário de dados responsável por todos os dados da empresa que poderiam ser usados em análises é muito mais eficiente e fácil de gerenciar do que ter cada usuário possível gerenciá-los individualmente.
Pelo menos inicialmente, estabelecer regras e práticas requer a convocação de uma força-tarefa que inclua representantes de TI, do escritório do consultor geral e provavelmente usuários. A força-tarefa e, posteriormente, um escritório central, poderiam ajudar a enfrentar os desafios de gerenciamento de dados que têm dificultado o uso de aprendizado de máquina e análises de dados mais simples.
Como primeiro passo, simplesmente identificar onde a análise está sendo impedida por dados que não estão sendo compartilhados, que não podem ser compartilhados (porque estão sob controle de fornecedores, por exemplo) ou que não foram codificados seria um grande passo para quebrar esses silos e tornar mais e melhores informações possíveis.
Depois, todos que provavelmente solicitarão relatórios de LLM ou precisarão usá-los devem receber treinamento simples para entender as peculiaridades das ferramentas – especialmente sua capacidade de alucinação – e como avaliar documentos e relatórios gerados por IA.
O próximo passo seria treinar os funcionários no design e refinamento de prompts. Também é importante articular e comunicar um padrão para o que constitui a aprovação do limite “suficientemente bom” para sua organização antes de usar a saída do LLM. Um escritório central pode facilitar o treinamento que melhor se adapta à organização.
Os empregadores devem alterar os critérios de contratação para empregos futuros ou começar a fazer planos para onde podem cortar?
As muitas alegações na mídia popular sobre como a IA eliminará enormes números de empregos criarão pressão dos investidores e partes interessadas para realizar esses cortes. Pode ajudar a lembrá-los de quão imprecisas foram outras previsões; por exemplo, previsões de que motoristas de caminhão seriam largamente substituídos por motoristas robóticos até agora não se concretizaram.
No longo prazo, uma vez que descobrimos as diferentes maneiras pelas quais os LLMs podem ser utilizados, podemos ver se as tarefas podem ser reorganizadas para criar eficiências. Seria imprudente começar a reescrever contratos com fornecedores ou começar a cortar empregos hoje.
A história da tecnologia mostrou que, a longo prazo, novas tecnologias criam mais empregos do que eliminam. Previsões sobre perdas massivas de empregos de inovações em TI, e especialmente de IA, não se concretizaram.
Desenvolvimentos que mudam a alocação de trabalho entre empregos geralmente avançam lentamente. Esperamos que o uso dos LLMs seja generalizado, mas as perdas de empregos sejam relativamente pequenas, mesmo onde os LLMs são usados extensivamente.
A ideia de que essas ferramentas podem substituir empregos em massa deve confrontar a realidade de que as tarefas mais simples que os LLMs realizam já foram automatizadas até certo ponto, que as tarefas mais importantes em um determinado emprego que os LLMs podem realizar provavelmente gerarão novas tarefas, e que reorganizar o trabalho entre os funcionários existentes para encontrar posições em excesso que possam ser cortadas não é provável que seja fácil ou econômico. O determinismo tecnológico – a noção de que mudanças na tecnologia são o principal fator que molda a sociedade – é uma teoria popular entre as pessoas que criam tecnologia, mas tem pouca credibilidade entre aqueles que a estudam.
Fonte:
MIT Sloan Business Review, edição 65-3 – Primavera de 2024
Sobre os autores desse texto e do estudo:
Peter Cappelli é Professor de Gestão;
Prasanna (Sonny) Tambe é professor associado de operações, informação e decisões;
Valery Yakubovich é diretor executivo do Instituto Mack de Gestão da Inovação, todos na Escola Wharton da Universidade da Pensilvânia.
Referências usadas nesse artigo:
1. “Beyond the Buzz: A Look at Large Language Models in
Production,” PDF (San Francisco: Predibase, 2023), https://
go.predibase.com.
2. A. Rosenbaum, S. Soltan, e W. Hamza, “Using Large Language
Models (LLMs) to Synthesize Training Data,” Amazon Science, Jan.
20, 2023, www.amazon.science.
3. “Storm Reply Launches RAG-Based AI Chatbot for Audi,
Revolutionising Internal Documentation,” Business Wire, Dec. 21,
2023, www.businesswire.com.
4. “Beyond the Buzz.”
5. P. Vaithilingam, T. Zhang, e E.L. Glassman, “Expectation vs.
Experience: Evaluating the Usability of Code Generation Tools
Powered by Large Language Models,” in “CHI EA ’22: Extended
Abstracts of the 2022 CHI Conference on Human Factors in
Computing Systems,” ed. S. Barbosa, C. Lampe, C. Appert, et al.
(Nova York: Association for Computing Machinery, abril de 2022), 1-7.
6. S. Noy e W. Zhang, “Experimental Evidence on the
Productivity Effects of Generative Artificial Intelligence,”
Science 381, nº 6654 (13 de julho de 2023): 187-192.
7. L. Chen, M. Zaharia, e J. Zou, “How Is ChatGPT’s Behavior
Changing Over Time?” arXiv, revisado em 21 de outubro de 2023, https://arxiv.org.
8. S. Ouyang, J.M. Zhang, M. Harman, et al., “LLM Is Like a Box
of Chocolates: The Non-Determinism of ChatGPT in Code
Generation,” arXiv, submetido em 5 de agosto de 2023, https://arxiv.org.
9. P. Cappelli, “Stop Overengineering People Management,”
Harvard Business Review 98, nº 5 (setembro-outubro de 2020):
56-63.
10. E. Brynjolfsson, D. Li, e L.R. Raymond, “Generative AI
at Work,” working paper 31161, National Bureau of Economic
Research, Cambridge, Massachusetts, abril de 2023. Não podemos
dizer até que ponto a melhoria se deve ao LLM em si, pois foi
empacotado com um algoritmo, que é uma ferramenta diferente.
11. F. Dell’Acqua III, E. McFowland, E. Mollick, et al., “Navigating
the Jagged Technological Frontier: Field Experimental Evidence
on the Effects of AI on Knowledge Worker Productivity and
Quality,” working paper 24-013, Harvard Business School, Boston,
setembro de 2023.
12. C.B. Leon, “Occupational Winners and Losers: Who They Were
During 1972-80,” Monthly Labor Review 105, nº 6 (junho de 1982):
18-28.
13. M. Cerullo, “Here’s How Many U.S. Workers ChatGPT Says
It Could Replace,” CBS News, 5 de abril de 2023, www.cbsnews.com;
e L. Nedelkoska e G. Quintini, “Automation, Skills Use,
and Training,” working paper 202, Organization for Economic
Cooperation and Development, Paris, março de 2018.
14. X. Hui, O. Reshef, e L. Zhou, “The Short-Term Effects of
Generative Artificial Intelligence on Employment: Evidence From
an Online Labor Market,” SSRN, 1º de agosto de 2023, https://papers.ssrn.
com.
15. J. Liu, X. Xu, Y. Li, et al., “‘Generate’ the Future of Work
Through AI: Empirical Evidence From Online Labor Markets,”
SSRN, 3 de agosto de 2023, https://papers.ssrn.com; e O. Demirci,
J. Hannane, e X. Zhu, “Who Is AI Replacing? The Impact of
ChatGPT on Online Freelancing Platforms,” SSRN, 15 de outubro de 2023,
https://papers.ssrn.com.
16. Como exemplo de uma política de uso aceitável para LLMs, consulte
o modelo da ACA Global: “Sample Policy: Acceptable Use Policy for
Employee Use of Large Language Models on Company Devices,”
ACA Aponix, maio de 2023, https://web.acaglobal.com.