When AI thinks about culture: comparing language-based and empirical measures of individualism–collectivism
Abstract
Organizations increasingly use generative artificial intelligence and large language models (LLMs) to obtain information about national cultures. Yet, the extent to which these AI-generated descriptions reflect contemporary evidence remains uncertain. This study asked five widely used language models by OpenAI and Google to estimate scores on the cultural dimension individualism-collectivism for 102 countries and territories. This cultural concerns whether people are understood primarily as autonomous individuals or as members of groups with shared obligations. The model estimates showed strong correspondence with a recently validated index based on nationally representative surveys. However, relative to this benchmark, the models tended to overstate individualism in Western societies and understate it in Confucian East Asian societies. Their estimates also aligned with Hofstede’s older, influential index, including where it differs from the newer survey evidence. During their training, LLMs appear to have absorbed Hofstede’s scores either directly or through broader cultural narratives. The findings suggest that LLMs can offer scalable preliminary indicators of national cultural representations, but their outputs may retain systematic distortions and carry forward outdated portrayals of certain cultures. Managers and researchers should compare AI-generated cultural claims with current, context-relevant evidence before using them to inform consequential decisions. Large language models (LLMs) are increasingly used to generate cultural insights, yet little is known about their cultural expertise and the extent to which their outputs replicate or correct for cultural stereotypes. This study compares country-level estimates of individualism–collectivism (I-C) derived from five different LLMs with a recently validated I-C index based on nationally representative surveys. The LLM-based estimates correlate highly with the survey-based index (up to r = 0.874) but also exhibit systematic deviation from the benchmark: Western societies are consistently overestimated on individualism, while Confucian East Asian societies are underestimated. Statistically, the type of benchmark-relative deviations suggests group-specific baseline distortions rather than random noise, with smaller and older models showing weaker alignment. Moreover, the deviations are systematically aligned with Hofstede’s original I-C rankings, suggesting that LLM-generated cultural representations may reflect information from legacy cultural frameworks alongside contemporary empirical patterns. These findings demonstrate both the potential and the risks of using LLMs as cultural interpreters. In consequential settings, LLM-generated cultural insights should be used responsibly—with calibration, human oversight, and awareness of potential biases. Used uncritically, they risk reinforcing outdated narratives that misdirect academic research and managerial decisions. Les grands modèles de langage (Large Language Models - LLMs) sont de plus en plus utilisés pour générer des analyses culturelles, mais on en sait encore peu sur leur expertise culturelle et sur la mesure dans laquelle leurs résultats reproduisent ou corrigent les stéréotypes culturels. Cette recherche compare les estimations au niveau du pays de l'Individualisme–Collectivisme (I-C) issues de cinq LLMs différents avec un indice I-C récemment validé, basé sur des enquêtes représentatives au niveau national. Les estimations fondées sur les LLMs présentent une forte corrélation avec l'indice issu des enquêtes (jusqu'à r = 0,874), mais affichent également un écart systématique par rapport à la référence : les sociétés occidentales sont systématiquement surestimées en matière d'individualisme, tandis que les sociétés confucéennes d'Asie de l'Est sont sous-estimées. D'un point de vue statistique, la nature des écarts par rapport à la référence suggère l'existence de distorsions de base spécifiques à chaque groupe plutôt qu'un bruit aléatoire, les modèles plus petits et plus anciens présentant un alignement plus faible. De plus, les écarts sont systématiquement alignés sur les classements originaux d'I – C de Hofstede, ce qui suggère que les représentations culturelles générées par les LLMs peuvent refléter à la fois des informations issues de cadres culturels hérités et des configurations empiriques contemporaines. Ces résultats démontrent à la fois le potentiel et les risques liés à l'utilisation des LLMs comme interprètes culturels. Dans des contextes importants, les renseignements culturels générés par les LLMs devraient être utilisés de manière responsable - avec étalonnage, supervision humaine et conscience des biais potentiels. Utilisées sans esprit critique, ils risquent de renforcer des récits dépassés qui peuvent détourner la recherche académique et les décisions managériales. 大型语言模型(LLM)正越来越多地被用于生成文化洞见,但人们对其文化专长、以及其输出在多大程度上复制或矫正文化刻板印象的了解仍然有限。本研究将由五种不同LLM得出的国家层面个人主义—集体主义(I-C)估算值,与基于全国代表性调查、近期得到验证的I-C指数进行了比较。基于LLM的估算值与基于调查的指数高度相关(相关系数最高达r = 0.874),但也表现出相对于该基准的系统性偏差:西方社会的个人主义水平被一致高估,而儒家文化的东亚社会则被低估。从统计学上看,这类相对于基准的偏差表明,其属于群体特有的基线偏差,而非随机噪声;规模较小、版本较旧的模型所表现出的一致性也更弱。此外,这些偏差与霍夫斯泰德最初的I-C排名系统性地吻合,这表明LLM生成的文化表征在反映当代实证模式的同时,可能也反映了传统文化框架中的信息。这些发现既展示了将LLM用作文化诠释者的潜力,也揭示了其风险。在事关重大的应用场景中,LLM生成的文化洞见应被负责任地使用——需要校准、人工监督,并对潜在偏见保持警觉。如果不加批判地使用,它们可能会强化过时的叙事,从而误导学术研究和管理决策。. Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) se utilizan cada vez más para generar interpretaciones culturales, pero aún se sabe poco sobre su competencia cultural y sobre la medida en que sus resultados reproducen o corrigen estereotipos culturales. Este estudio compara estimaciones nacionales de Individualismo-Colectivismo (I-C) derivadas de cinco LLMs diferentes con un índice de I-C recientemente validado y construido a partir de encuestas representativas de la población a nivel nacional. Las estimaciones basadas en LLMs muestran una alta correlación con el índice basado en encuestas (hasta r = 0,874), pero también presentan desviaciones sistemáticas respecto del índice de referencia: las sociedades occidentales tienden a ser sistemáticamente sobreestimadas en individualismo, mientras que las sociedades confucianas de Asia Oriental son subestimadas. Desde una perspectiva estadística, el patrón de desviaciones respecto al referente sugiere la existencia de sesgos sistemáticos específicos de determinados grupos, más que simple ruido aleatorio, observándose además una menor correspondencia en los modelos más pequeños y antiguos. Asimismo, dichas desviaciones se alinean sistemáticamente con las clasificaciones originales de I-C propuestas por Hofstede, lo que sugiere que las representaciones culturales generadas por los LLMs pueden reflejar tanto información procedente de marcos conceptuales clásicos de la cultura como patrones empíricos contemporáneos. Estos hallazgos ponen de manifiesto tanto el potencial como los riesgos de utilizar los LLMs como intérpretes culturales. En contextos de alto impacto, las interpretaciones culturales generadas por estos modelos deben emplearse de manera responsable, con mecanismos de calibración, supervisión humana y conciencia de los posibles sesgos. Cuando se utilizan de forma acrítica, existe el riesgo de que refuercen narrativas obsoletas que pueden inducir a error tanto a la investigación académica como a las decisiones directivas. Modelos de Linguagem de Grande Escala (LLMs) vêm sendo cada vez mais utilizados para gerar insights culturais, mas pouco se sabe sobre sua expertise cultural e até que ponto seus resultados replicam ou corrigem estereótipos culturais. Este estudo compara estimativas em nível nacional de Individualismo–Coletivismo (I-C) derivadas de cinco LLMs diferentes com um índice de I-C recentemente validado, baseado em pesquisas representativas nacionais. As estimativas baseadas em LLMs apresentam alta correlação com o índice baseado em pesquisas (até r = 0,874), mas também exibem desvios sistemáticos em relação ao padrão de referência: sociedades ocidentais são consistentemente superestimadas em termos de individualismo, enquanto sociedades confucionistas do Leste Asiático são subestimadas. Estatisticamente, o tipo de desvios em relação ao padrão de referência sugere distorções de base específicas de grupo, em vez de ruído aleatório, com modelos menores e mais antigos apresentando um alinhamento mais fraco. Além disso, os desvios estão sistematicamente alinhados às classificações originais de I-C de Hofstede, sugerindo que as representações culturais geradas por LLMs podem refletir tanto informações de modelos culturais legados quanto padrões empíricos contemporâneos. Esses achados demonstram tanto o potencial quanto os riscos de usar LLMs como intérpretes culturais. Em contextos de grande impacto, os insights culturais gerados por LLMs devem ser utilizados de forma responsável — com calibração, supervisão humana e consciência dos possíveis vieses. Se usados de forma acrítica, correm o risco de reforçar narrativas desatualizadas que podem distorcer pesquisas acadêmicas e decisões gerenciais.