o1 Pro 挑战最难本科数学熟练,东说念主类要考 6 小时,AI 半小时交卷!
普特南数学竞赛(The Putnam exam),本年刚刚举行,卷子崭新出炉就被拿来测试 AI 了。
这个比赛有多难呢?看了一下积年收获,只可说令东说念主咂舌——
经常由数学专科的本科生参加,满分 120 分,但平平分经常是 0 分或 1 分。
自 1938 年举办以来,限度 2021 年唯一 5 东说念主满分。
再看一组 2003 年的数据,在 3615 名参赛学生中,有 1024 东说念主(28%)得分 10 分或以上,42 分就能干预前 1%。
最终,个东说念主得分前五名的学生赢得普特南学者称呼。而经过这种难度的"雕塑",普特南学者中其后降生了 3 位菲尔兹奖得主以及两位诺贝尔物理学奖得主。
总之一句话,即使对好意思国顶尖大学的顶尖数学学生来说,这个比赛的难度都号称地狱级。
是以,o1 Pro 具体阐扬奈何呢??
o1 Pro 挑战最难本科数学熟练
普特南数学竞赛于每年 12 月的第一个周六举行,系数高下两场(每场 3 小时),每场 6 说念题,每题 10 分,检会领域遮掩了本科数学中的高等主见,包括群论、聚拢论、图论、格论和数论等。
由于刚考完,官方还未崇拜公布本年的参考谜底,是以底下咱们先合座感受一下。
从时刻来看,Pro 完成 12 说念题用时36 分钟 16 秒,交卷速率十分快,平均每说念用时 2~3 分钟。
完成的题也很复杂,就地挑一都康康。
比如这说念A6,需要考生通过序列所生成的函数,来构建矩阵,并最终打算出这个矩阵的行列式。
这是一个典型的组合数学和线性代数的交叉问题。
最终,Pro 给出了一大堆让东说念主头疼的数学公式进行解答。(非专科选手两眼一黑的进度)
为了进一步了解 Pro 的答题流程,咱们再挑一都网友们都在 cue 的题——A1。
原题及 Dan Hendrycks 博士输入的辅导词如下:
莽撞为,细则通盘正整数� �,使得存在正整数� �,� � 和� � 知支配列方程。
Pro 的作答流程如下,并得出谜底为 1:
联结网友们给出的评价,均提到 Pro 漏掉了 n=2 这种情况。
总之,从全球对 Pro 的打分来看,其回复质地仍有待进一步完善。
由于现时还莫得圭臬谜底,因此 AI 究竟作念对了几许还要等等效果。
除此以外,首位全职辅导词工程师 Riley Goodside 也对 o1 Pro 模式进行了其他诸多测试。
挑战指示扈从的极限
比如用它联想一个 7x7 的网格,网格的外围一圈填入 7 个字母的单词,这些单词代表 Fantastic Four(神奇四侠)中每个成员的昵称。每个单词的首尾字母需要近似,以便不错顺时针宗旨连气儿阅读,造成闭环。
PS:Fantastic Four 包括漫威中的神奇先生(Mr. Fantastic)、隐形女(Invisible Woman)、轰隆火(Human Torch) 、石头东说念主(The Thing)。
看完这个测试,有网友借机许诺:
是否概况凭据每个玩家剩余的棋子列表,创建一个 checkmate(指另一方无法突围的情况,也称"将死")的棋盘。
受此启发,Riley Goodside 回来就测上了。
他用 Pro 摆出了一个"将军"方法——每位玩家只剩下两个兵和一个车,棋盘上其他格子都是空的。(布局是东说念主为联想的)
就这,也曾他一番勤快尝试后的效果。他一启动用了两个兵、两个象和一个车的棋局,但在屡次尝试中,Pro 出现了装假,或者复返了不稳健的棋局。
不外他也提到,在 5 分 45 秒的时刻内,Pro 生成了与谜底大要一致的 COT 念念维链诠释。
总之,要问订价 200 好意思元的 Pro 到底值不值?
也曾参考奥特曼的回复,绝大多数东说念主用免费版或 20 好意思元版就鼓胀了,Pro 版只稳健很小一部分东说念主,他们想要大量使用,且放肆为措置实在辛勤的问题付更多钱。
One More Thing
不外,如若你也心痒想要玩一玩,当今有个省钱的方法。凭据网友提醒——
月底买 Pro,只需按比例支付了。
具体来说,如若你之前订阅了 ChatGPT Plus,如若在订阅接近完了时升级到 Pro 版,就不错在剩余时刻内按照 200 好意思元的百分比支付。
参考集合:
[ 1 ] https://x.com/DanHendrycks/status/1865858756040704335
[ 2 ] https://x.com/goodside/status/1865844652428919121
[ 3 ] https://x.com/goodside/status/1865629150104404150
[ 4 ] https://x.com/goodside/status/1865514669697323290
[ 5 ] https://x.com/goodside/status/1865090104441672183
[ 6 ] https://x.com/SmokeAwayyy/status/1865441145788199051🦄九游娱乐(China)官方网站