由: 伯纳德·拉米雷斯 由: 人工智能用完美的句子说话,引用来源,列出选项,避免矛盾,但真正的人不会,他们犹豫,他们矛盾,他们用语调,节奏和讽刺,以经验为形状。 从 Posterum AI 应用程序背后的公司提出了一个简单的问题:我们能测量人工智能在人类如何回答问题上仍然缺少多少? 新纸 软件公司LLC 他们的答案是人类人工智能变异分数(HAVS),这是一种方法,不是用于排名模型,而是用于评分他们的答案在各种人口统计数据中与人类相似的程度,包括收入,政治信仰,宗教,种族,教育和年龄。 The Voice of Experience 经验之声 该指数始于人类. 代表不同年龄、性别、政治属性、种族、职业和收入水平的十六个个人资料,是使用Gallup、Pew Research和YouGov的真实调查数据构建的。 ChatGPT,Claude,Gemini和DeepSeek的回复得分使用基于Root Mean Square方法的差异计算,该方法故意过度强调大偏差,以更严重地惩罚外观者。 结果显示出令人惊讶的模式. ChatGPT 和 Claude 分别在 94.12 和 94.51 获得了最高的总体 HAVS 得分,这表明与人类响应的最强一致性。 在经济学中,所有模型表现出惊人的差异,可能是因为培训偏见有利于经济理论而不是公众舆论。 该指数表明,虽然人工智能可以模仿形式,但它往往错过了人体背景的重量。 Political Profiles and Geographic Bias 政治特征和地理偏见 这些模型在采用共和党人和民主党人时表现出显著差异,而ChatGPT在响应模式中显示出最大的差异,同时保持高精度。 重要的是,在党派分歧中没有被发现暗示偏见,这表明明确的个人资料输入有助于减轻算法偏见。 然而,沿种族线路的差异性证明比政治差异性要小得多,这可能反映出旨在避免编码种族偏见的算法限制,尽管它可能以输出真实性为代价。 研究还揭示了与训练数据的起源有关的模型特异性。DeepSeek,唯一被测试的非美国开发模型,显示出对政府的信任明显高,对所有个人资料的企业信任明显较低,这也许反映了其中国培训数据集。 A Measure, Not a Machine 一个尺度,而不是机器 Posterum 软件的应用程序,Posterum AI,不是主要的故事,它是工具,真正的创新是分数系统,用户建立个人资料 - 视图,收入和生活方式 - 塑造了人工智能的响应方式,所有这些都存储在设备上。 该方法不是猜测,它遵循学术标准,2025年8月发表的白皮书详细介绍了使用调查数据作为人类响应的基准的差异计算方法,与国家AI排名不同,这些排名评估了处理能力,规模和准确性,人类AI差异分数测量了与人类的匹配。 The Shape of Understanding 理解的形式 虽然 Posterum AI 应用程序可以使用配置文件来产生更准确的答案,但更广泛的目标是重新定义如何评估进展,以及领先的大型语言模型如何越来越擅长模仿人类的响应。 HAVS指标提供了超出这一初步研究的几种实际应用,它可以跟踪人工智能模型随着时间的推移而演变,比较不同的算法,并针对模仿人类推理比计算速度更重要的特定应用程序进行定制。 人类-AI 差异分数提供了特定类别的差异性和整体测量,它绘制了差距 - 人工智能与人类推理相匹配的位置,并且它仍然短缺。

This story contains new, firsthand information uncovered by the writer.

該音頻是用故事的原始語言製作的！

一个新的指标出现:测量人类类似的AI响应跨人口统计

About Author

註釋

標籤

这篇文章刊登在

Related Stories

扬帆起航：利用数据湖开发生产级 RAG 应用程序

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

看不见的层面：为什么用户访谈是不可替代的资产

从论坛到信息流：社交媒体算法如何塑造数字互动

扬帆起航：利用数据湖开发生产级 RAG 应用程序

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

看不见的层面：为什么用户访谈是不可替代的资产

从论坛到信息流：社交媒体算法如何塑造数字互动

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps