物联网软件开发价格 贾扬清:大模子尺寸正重走CNN的老路;马斯克:在特斯拉亦然这样
2024-09-03衡宇 发自 凹非寺 量子位 | 公众号 QbitAI Transformer大模子尺寸变化,正在重走CNN的老路! 看到民众齐被LLaMA 3.1诱惑了把稳力,贾扬清发出如斯感叹。 拿大模子尺寸的发展,和CNN的发展作对比,就能发现一个彰着的趋势和表象: 在ImageNet期间,筹划东说念主员和时候从业者见证了参数畛域的快速增长,然后又开动转向更小、更高效的模子。 听起来,是不是和GPT哐哐往上卷模子参数,业界遍及招供Scaling Law,然后出现GPT-4o mini、苹果DCLM-7B、