数据洞察 · AI 打分 vs 人打分

AI 更像老师,尤其在命题之后

这门课让 AI 和人给同一批作品打分。分周细看会发现:命题赛里 AI 高度贴合导师、同学和导师却分道扬镳;而把两周混在一起,会算出“AI 与同学背着来”的假象(辛普森悖论)。下面全部由作品墙数据实时计算,可按周次切换。

看哪一周

一、谁和谁"一个鼻孔出气"

皮尔逊相关 r:+1 完全同向、0 无关、−1 完全相反。样本 = AI 已评且同学评价 ≥ 5 人的作品。

计算中…

二、AI 分 vs 同学分

每个点一件作品:横轴 AI 分(折 5 分制),纵轴同学平均分。选“全部”时可看到两周各自成团——这正是辛普森悖论的来源。

绘制中…

三、四套阈值:谁松、谁严、谁极端

同一批作品,不同评分者的平均分与离散度(离散越大 = 越敢拉开差距)。均折算到 5 分制。

计算中…

四、最刺眼的分歧作品

AI 和同学看法差最大的两端。(第一周多是自由选题的游戏 / 工具,AI 因“不切命题”压分;第二周都在题上,分歧更微妙。)

计算中…

五、AI 的哪个维度,最能预测人的喜好

AI 四维分别与同学分的相关。越高越能预测同学的喜好;越接近 0 甚至为负,越测不到。

计算中…

六、一二周对比 · 辛普森悖论

把两周分开,规律截然不同——这也是这份数据里最深的一课。(下表固定展示两周,不随上方切换。)

计算中…

七、关于"人与 AI 决策"的洞察

先别急着下结论——小心辛普森悖论

把两周混在一起,AI 和同学看似“背着来”(负相关);可一旦分周看,两周各自都是正相关。差别来自“第一周同学给分普遍高、第二周低”的整体位移。混合样本会骗人,分层才见真相。

命题一出,尺子就裂了

自由选题时,同学和导师看的都是“好不好玩”,彼此挺一致;一旦命题,导师看“专业与命题完成度”、同学看“共鸣与体验”,两把尺子分开——而 AI 稳稳站在导师这边(第二周 AI 与导师相关最高)。

AI 是"专家的影子",不是"用户的替身"

它能稳定复现专家的尺子;但测不到真实的喜恶。把 AI 降为“仅供参考”、决定权交回人——尤其交回用户侧的同学,正是为了补上 AI 测不到的那一半。

命题也把同学"逼严"了

同学平均分从第一周的 3.8 掉到第二周的 3.1。更高的要求、更成熟的互评,让同龄人的尺子也变紧了——这未必是坏事。

数据来自作品墙实时统计。样本为“AI 已评且同学评价 ≥ 5 人”的作品;游客评分因被脚本刷量、已排除。相关系数为皮尔逊 r。

回到结课总结 → 评选与成绩 ↗