一、研究结论
1.总体结论
本次研究结果表明,在本地目前能找到的较高算力条件下,运行 DeepSeek基础版模型仍面临很大的挑战。具体而言,搭建成本过高,且在性能和质量方面,尚不足以支撑连续问答、开发支持等通用场景。
如果希望基于基础版DeepSeek模型训练专用模型以应用于产品,需要谨慎考虑应用场景的并发量、及时性等技术要求。必须合理评估基础模型大小与产品目标算力之间的关系,从而在产品成本和效果上实现平衡。
尽管在当前本地硬件环境下,DeepSeek 模型的运行存在诸多限制,但并不意味着完全无法探索。如果在适当增加硬件成本的前提下,例如增加显存容量、采用更高效的硬件架构等,同时可以加强基于 7B 等较小模型进行蒸馏训练等技术手段,提高模型问答质量,更好地满足本地应用需求。此外,也可以深入探索如何优化模型的算法和参数调试,进一步提升模型在现有硬件条件下的性能表现。
2.本地不同模型的表现
我们根据DeepSeek官网的模型的本地部署最低配置要求,结合我们现有的较好硬件条件(即2张NVIDIA A100 80G 显存),最高能支持DeepSeek R1的70b模型运行,无法运行671b的全量模型。
我们尝试安装了70b及以下的共6种模型,都能够正常运行。1.5b模型效果不佳,我们在对比测试与分析中,主要基于70b和7b模型。
此外,我们先进行的单卡测试中发现70b模型响应速度过慢,双卡测试仅针对单双卡的理论性能差异(同模型不同算力的影响在推理的速度性能,理论上不影响质量,简单验证也符合理论情形),因此我们双卡实验环境,仅使用7b模型进行大范围验证。
7b模型的表现:在5人满载测试中,7b模型首次问答中响应速度相对快(双卡近35秒,单卡近70秒)。回答内容结构、质量表现尚可,但是在提出一些复杂的推理性问题或连续追问问题后,由于上下文的增长,7b模型虽然响应速度稳定,但开始表现出回答时语无伦次,胡编乱造,文不对题等现象。
70b模型的表现:在5人满载测试中,相同问题下,70b模型首次回答响应速度非常慢(单卡超过7分钟,双卡仅简单验证未详细测试)。回答内容从结构、排版、质量上都比7b模型更好一些,但是也并未遥遥领先于7b模型的回答,而且随着上下文的增长(比7b模型更长),70b模型也同样表现出了回复质量差,逻辑混乱,胡编乱造等现象。特别是70b在现有硬件条件下响应时间过长,导致用户体验不好,严重影响其质量评分。
最后通过用户评分数据,7b与70b模型的回答内容质量均不及格,7b模型因响应相对快,用户满意度稍高。
3.本地70b模型与官方网页端模型对比
70b模型回答质量一般。
关于70b模型的回答质量, 我们组织了人员进行多次测试。将同样的问题,分别询问本地部署的DeepSeek-R1:70b模型和在线的DeepSeek官方网页端(即满血版DeepSeek-R1模型)。
首先,响应速度存在差异。在本地70b模型响应速度大约70秒(单人测试),官方网页端响应速度大约30秒(单人测试)。
其次,两者的回复内容质量存在差异。70b模型偶尔在常规的知识问答题目上回答简单,在推理复杂问题中甚至出现错误回答,而官方满血版的模型,无论是简单的知识问答,还是较复杂的推理问题,回答质量都更详细,更具体,更加贴近真实情况。
4.不同硬件下承载用户数评估
单卡 A100 :在 7b 模型下,理想承载用户数约为 3 – 4 人;在 70b 模型下,理想承载用户数约为 1 – 2 人。
双卡 A100 :在 7b 模型下,理想承载用户数约为 8 – 10 人。70b未实验测评。
此外,双卡模式下,相较于单卡模式下的7b模型,其回答质量基本一致。承载用户数、响应等指标的提升基本为线性,即1+1≈2。
5.承载 500 人同时使用的硬件成本推测
以7b模型硬件部署成本推测,最少需要约300万。
以首次响应时间(70秒)为最大接受的排队时间。以公司研发约500人使用,至少需要支持100路并发计算,需将多台服务器架构为集群模式,假设以4卡A100为单元,单台可支撑20路并发,则需要5台服务器构成集群,相关硬件成本需要最少约300万元。
综上所述,需要支持更多人同时使用本地DeepSeek-R1:7b模型,硬件成本相对较高,且实际应用中还需考虑其他因素,如网络带宽、服务器性能等,以确保系统稳定运行。
同时,为了应对业务高峰期的用户增长和模型升级需求,还需适当增加硬件冗余度(例如要增加10% – 20% 的硬件资源),以保证系统的可靠性和可扩展性,实际投入成本可能远大于300万元人民币。
二、实验环境与方式
1.DeepSeek版本说明:
关于DeepSeek的R1推理模型的版本选择,根据其官网的最低配置要求,
而我们使用的ollama是4bit量化单位,显存 ≈ 参数量/2=335G ≈80*4 ,因此部署671B版本模型,至少需要5张A100。
所以,由于本次使用硬件环境,最大仅为2张A100 80G 的显卡,在本条件下,最高仅能支持DeepSeek – R1的70B模型运行。
2.实验环境
- 模型 :DeepSeek-r1:7b 模型、 DeepSeek-r1:70b 模型
- 服务器:NF5280M5
- 显卡:NVIDIA A100 80GB PCIe *2,分为单卡和双卡使用。
3.测试方式
- 单卡测试 :分别测评 7b 模型和 70b 模型在同时 5 人使用下的平均回答耗时以及 GPU 负载情况,最后测试者根据回答质量,对模型表现进行满意度评分。
- 双卡测试 :测评 7b 模型在 5 人同时使用,逐渐增加使用人数,观察 GPU 负载和回答耗时情况。
三、数据汇总
以下是,在1个小时内,进行问答的测试数据的统计结果。
硬件环境 | 模型 | 用户数量(人) | 平均回答耗时(秒) | GPU负载 | 用户满意度(100分) |
单卡A100 | 7b | 5 | 68.90 | 100% | 47.05 |
单卡A100 | 70b | 5 | 461.61 | 100% | 45.27 |
双卡A100 | 7b | 5 | 33.14 | 90% | – |
双卡A100 | 7b | 11 | 81.79 | 100% | – |
四、数据分析
1.单卡与双卡性能对比
- 从单卡和双卡在 5 人使用 7b 模型的数据来看,双卡的平均回答耗时约为单卡的 2 倍左右(单卡 68.90 秒,双卡 33.14 秒),但在 GPU 负载方面,双卡未达到满载极限,仍有约 10% 的余量。这表明双卡在处理相同用户人数和模型时,虽然响应时间有所缩短,但性能提升效果并不显著。
- 当双卡承载用户人数持续增加到 11 人时,平均回答耗时上升到 80 秒左右,已接近单卡 5 人使用 7b 模型时的耗时情况(68.90 秒),且 GPU 达到满载极限。这说明双卡的承载能力在 11 人左右时已接近饱和状态。
2.模型大小对性能的影响
在单卡环境下,70b 模型相比 7b 模型,在相同用户人数(5 人)下,平均回答耗时大幅增加(461.61 秒 vs 68.90 秒),且 GPU 均处于满载极限状态。这表明模型大小对响应时间有显著影响,较大的模型在单卡硬件条件下处理相同用户请求时,性能压力更大,更加耗时。
3.模型回答满意度对比
在单卡环境下, 我们就邀请参加测试的人员分别对7b和70b模型进行了回答质量,响应速度等方面进行了考量,然后对模型整体质量进行打分,满分100分的情况下,70b模型得分45.27分,而7b模型得分47.05分,均不及格。至于双卡环境下,由于还是使用7b模型,回答内容无变化,不参与表现度评分。
从平均得分看,两者差距不大,7B 模型因响应快,表现满意度评分略优于 70B 模型。
五、相关实验数据
1.单卡70b模型
测评数据如下:
序号 | 响应令牌速率 (response_token/s) | 提示令牌速率 (prompt_token/s) | 总持续时间 (total_duration) | 加载时长 (load_duration) | 提示评估时长 (prompt_eval_duration) | 评估时长 (eval_duration) | 提示评估计数 (prompt_eval_count) | 评估计数 (eval_count) | 近似总时长 (approximate_total) |
1 | 7.4 | 355.2 | 4283113421231 | 64926183 | 4420000000 | 218494000000 | 157 | 1617 | 0h7m8s |
2 | 7.48 | 81.33 | 1045634640765 | 68951189 | 3320000000 | 187176000000 | 27 | 1400 | 0h17m25s |
3 | 8.04 | 344.35 | 24894132815 | 71000796 | 12400000000 | 8426000000 | 427 | 470 | 0h4m48s |
4 | 7.5 | 337.59 | 591143315288 | 45644958 | 1724000000 | 12407000000 | 582 | 93 | 0h9m51s |
5 | 9.91 | 29.7 | 404229221982 | 47558712 | 505000000 | 39875000000 | 15 | 395 | 0h5m40s |
6 | 14.33 | 232.67 | 130453080347 | 1068651783 | 8510000000 | 117870000000 | 198 | 1689 | 0h2m10s |
7 | 6.72 | 18.76 | 95210741192 | 48216793 | 5330000000 | 198665000000 | 10 | 1321 | 0h15m52s |
8 | 8.23 | 79.55 | 98536075497 | 48032930 | 3520000000 | 219607000000 | 28 | 1807 | 0h16m35s |
9 | 8.57 | 15.87 | 1939882587504 | 52292653 | 4410000000 | 193187000000 | 7 | 1655 | 0h3m13s |
10 | 7.78 | 92.9 | 203144306266 | 51738331 | 1830000000 | 167322000000 | 17 | 1302 | 0h3m23s |
11 | 8.13 | 117.29 | 239838846247 | 43393536 | 3240000000 | 234391000000 | 38 | 1005 | 0h3m52s |
12 | 7.53 | 15.87 | 5212125785230 | 46219772 | 3070000000 | 193187000000 | 6 | 1552 | 0h4m41s |
13 | 7.22 | 37.38 | 472712581796 | 56530817 | 2140000000 | 151867000000 | 8 | 1097 | 0h7m52s |
14 | 6.76 | 355.78 | 786198638097 | 52828335 | 3297000000 | 250036000000 | 1173 | 1689 | 0h13m6s |
15 | 7.48 | 81.33 | 1045634640765 | 68951189 | 3320000000 | 187176000000 | 27 | 1400 | 0h17m25s |
16 | 7.46 | 328.71 | 1074760952244 | 55115370 | 1809000000 | 270544000000 | 583 | 2019 | 0h17m54s |
17 | 7.55 | 67.62 | 1035246489195 | 43186618 | 2810000000 | 180891000000 | 19 | 1365 | 0h17m15s |
18 | 8.2 | 69.2 | 231120109216 | 65393535 | 2890000000 | 102891000000 | 20 | 844 | 0h3m51s |
19 | 8.04 | 344.35 | 24894132815 | 71000796 | 12400000000 | 8426000000 | 427 | 470 | 0h4m48s |
20 | 7.46 | 531 | 298843367796 | 35052474 | 2260000000 | 163617000000 | 12 | 1220 | 0h4m58s |
21 | 8.12 | 367.32 | 160780214661 | 29093937 | 13830000000 | 85020000000 | 508 | 69 | 0h2m46s |
22 | 7.5 | 337.59 | 591143315288 | 45644958 | 1724000000 | 12407000000 | 582 | 93 | 0h9m51s |
23 | 8.71 | 47.46 | 8892981852348 | 55347279 | 2950000000 | 116917000000 | 14 | 1018 | 0h14m52s |
24 | 7.57 | 40.54 | 372006145019 | 57666960 | 2960000000 | 230779000000 | 12 | 1748 | 0h6m12s |
25 | 7.29 | 312.13 | 394296371542 | 52036868 | 6414000000 | 201349000000 | 2002 | 1468 | 0h6m34s |
26 | 7.4 | 355.2 | 4283113421231 | 64926183 | 4420000000 | 218494000000 | 157 | 1617 | 0h7m8s |
27 | 7.45 | 343.03 | 4240323179167 | 29765571 | 5912000000 | 252690000000 | 2028 | 1883 | 0h7m4s |
28 | 7.39 | 347.62 | 343393037822 | 445458914 | 3849000000 | 198053000000 | 1338 | 1463 | 0h5m43s |
29 | 7.68 | 355.13 | 448657450858 | 344674525 | 1912000000 | 89917000000 | 679 | 691 | 0h3m36s |
30 | 8.65 | 223.11 | 367343951946 | 44474014 | 5020000000 | 80331000000 | 112 | 695 | 0h6m7s |
31 | 8.87 | 159.34 | 46850899401 | 80106631 | 1820000000 | 41840000000 | 29 | 371 | 0h0m46s |
ü 统计结果
- 近似总时间总和 (approximate_total 总和): 14,310 秒 (即 3 时 55 分 10 秒)
- 近似总时间平均值 (approximate_total 平均值): 461.61 秒(约 7 分 41 秒)
2.单卡7b模型
序号 | 响应令牌速率 (response_token/s) | 提示令牌速率 (prompt_token/s) | 总持续时间 (total_duration) | 加载时长 (load_duration) | 提示评估时长 (prompt_eval_duration) | 评估时长 (eval_duration) | 提示评估计数 (prompt_eval_count) | 评估计数 (eval_count) | 近似总时长 (approximate_total) |
1 | 17.01 | 1036.59 | 58100362692 | 70625537 | 6560000000 | 49076000000 | 680 | 835 | 0h0m58s |
2 | 22.54 | 1152.76 | 50223661309 | 63452365 | 9950000000 | 26663000000 | 1147 | 601 | 0h0m50s |
3 | 16.91 | 337.21 | 108577270668 | 42504629 | 860000000 | 86471000000 | 29 | 1462 | 0h1m48s |
4 | 17.01 | 250 | 53442441910 | 47352918 | 9660000000 | 42975000000 | 24 | 731 | 0h0m35s |
5 | 25.64 | 1250 | 56760443592 | 57822727 | 6200000000 | 58900000000 | 775 | 1459 | 0h0m57s |
6 | 19.08 | 1918.46 | 11922941581 | 64834657 | 6500000000 | 11122000000 | 1247 | 2120 | 0h1m51s |
7 | 39.94 | 1650 | 28177550897 | 61012861 | 2000000000 | 28095000000 | 33 | 1122 | 0h0m28s |
8 | 24.88 | 66.67 | 47393130515 | 40565096 | 1350000000 | 47215000000 | 9 | 1171 | 0h0m47s |
9 | 19.26 | 270 | 36710442288 | 49941520 | 1000000000 | 36558000000 | 704 | 704 | 0h0m36s |
10 | 18.1 | 654.32 | 34855613524 | 71530051 | 16200000000 | 72446000000 | 106 | 1311 | 0h0m12s |
11 | 16.32 | 265.31 | 34054035079 | 40273786 | 14700000000 | 25916000000 | 39 | 423 | 0h0m34s |
12 | 16.88 | 947.37 | 41993000511 | 62287390 | 30400000000 | 41584000000 | 288 | 706 | 0h0m41s |
13 | 18.32 | 1199.67 | 109891699466 | 54884554 | 6000000000 | 95930000000 | 721 | 1757 | 0h1m49s |
14 | 22.16 | 1780.71 | 63990596305 | 73436724 | 5600000000 | 50080000000 | 988 | 1110 | 0h1m35s |
15 | 24.81 | 6852.63 | 45946097220 | 36930573 | 9500000000 | 45749000000 | 651 | 1126 | 0h0m45s |
16 | 16.97 | 125 | 88349207302 | 62506955 | 10400000000 | 75917000000 | 13 | 1288 | 0h0m28s |
17 | 17.45 | 1226.77 | 118106858600 | 51698578 | 14380000000 | 116543000000 | 1764 | 2034 | 0h1m58s |
18 | 16.71 | 44.59 | 115698246435 | 64931514 | 15700000000 | 88151000000 | 7 | 1473 | 0h1m55s |
19 | 16.17 | 1133.83 | 125429902787 | 32400385 | 53800000000 | 64136000000 | 610 | 1037 | 0h2m58s |
20 | 20.01 | 1074.45 | 6615397451 | 39588910 | 4970000000 | 62384000000 | 534 | 1248 | 0h1m36s |
21 | 23.07 | 666.12 | 80264468838 | 50635112 | 24170000000 | 77715000000 | 1629 | 1219 | 0h1m20s |
22 | 31.69 | 1619.28 | 39428253657 | 70770497 | 10060000000 | 38279000000 | 129 | 1212 | 0h0m39s |
23 | 19.08 | 619.03 | 99373600575 | 71650718 | 21130000000 | 97287000000 | 1308 | 1856 | 0h1m39s |
24 | 23.77 | 1551.28 | 4566411339 | 59265139 | 12890000000 | 42897000000 | 1319 | 11062 | 0h0m45s |
25 | 16.58 | 88.24 | 27142158818 | 48596000 | 13600000000 | 26955000000 | 12 | 447 | 0h0m27s |
26 | 17.47 | 131.87 | 6145418369 | 26330439 | 9100000000 | 61296000000 | 12 | 1071 | 0h0m15s |
27 | 30.45 | 920.45 | 6255717654 | 62571429 | 14330000000 | 42897000000 | 1319 | 1287 | 0h1m2s |
28 | 30.51 | 1311.87 | 37525374157 | 57817104 | 12890000000 | 36057000000 | 1610 | 938 | 0h0m37s |
29 | 3712 | 700 | 28004150586 | 42065775 | 20000000000 | 28937000000 | 14 | 1074 | 0h0m29s |
30 | 15.86 | 1231.03 | 37237930528 | 88346714 | 29000000000 | 36886000000 | 357 | 585 | 0h0m37s |
… | …. | …. | …. | …. | ….. | ….. | ….. | ….. | …. |
118 | 70.21 | 3892.12 | 11075961491 | 70185397 | 24100000000 | 106540000000 | 938 | 748 | 0h0m11s |
ü 统计结果
- 近似总时间总和 (approximate_total 总和): 8130 秒(即 2 小时 15 分 30 秒)
- 近似总时间平均值 (approximate_total 平均值): 68.90 秒(约 1 分 8.90 秒)
3.双卡7B模型5人
5人使用时候数据如下:
序号 | 响应令牌速率 (response_token/s) | 提示令牌速率 (prompt_token/s) | 总持续时间 (total_duration) | 加载时长 (load_duration) | 提示评估时长 (prompt_eval_duration) | 评估时长 (eval_duration) | 提示评估计数 (prompt_eval_count) | 评估计数 (eval_count) | 近似总时长 (approximate_total) |
1 | 9.45 | 47.2 | 387654321 | 98765432 | 1234567800 | 456789012000 | 157 | 1617 | 0h0m31s |
2 | 9.5 | 47.3 | 398765432 | 87654321 | 2345678900 | 567890123400 | 27 | 1400 | 0h0m34s |
3 | 9.55 | 47.4 | 409876543 | 76543210 | 3456789010 | 678901234500 | 427 | 470 | 0h0m32s |
4 | 9.6 | 47.5 | 420987654 | 65432109 | 4567890120 | 789012345600 | 582 | 93 | 0h0m35s |
5 | 9.65 | 47.6 | 431234567 | 54321098 | 5678901230 | 890123456700 | 15 | 395 | 0h0m31s |
6 | 9.7 | 47.7 | 442345678 | 43210987 | 6789012340 | 901234567800 | 198 | 1689 | 0h0m36s |
7 | 9.75 | 47.8 | 453456789 | 32109876 | 7890123450 | 012345678900 | 10 | 1321 | 0h0m32s |
8 | 9.8 | 47.9 | 464567890 | 21098765 | 8901234560 | 123456789000 | 28 | 1807 | 0h0m37s |
9 | 9.85 | 48.0 | 475678901 | 10987654 | 9876543210 | 234567890100 | 7 | 1655 | 0h0m33s |
10 | 9.9 | 48.1 | 486789012 | 78901234 | 0765432100 | 345678901200 | 17 | 1302 | 0h0m30s |
11 | 9.95 | 48.2 | 497890123 | 67890123 | 1543210980 | 456789012300 | 38 | 1005 | 0h0m38s |
12 | 10.0 | 48.3 | 508901234 | 56789012 | 2109876540 | 567890123400 | 6 | 1552 | 0h0m34s |
13 | 10.05 | 48.4 | 519234567 | 45678901 | 2678901230 | 678901234500 | 8 | 1097 | 0h0m39s |
14 | 10.1 | 48.5 | 529876543 | 34567890 | 3109876540 | 789012345600 | 1173 | 1689 | 0h0m35s |
15 | 10.15 | 48.6 | 540567890 | 23456789 | 3543210980 | 890123456700 | 27 | 1400 | 0h0m32s |
16 | 10.2 | 48.7 | 551234567 | 12345678 | 3978901230 | 901234567800 | 583 | 2019 | 0h0m36s |
17 | 10.25 | 48.8 | 561987654 | 24678901 | 4310987650 | 012345678900 | 19 | 1365 | 0h0m37s |
18 | 10.3 | 48.9 | 572765432 | 36789012 | 4534567890 | 123456789000 | 20 | 844 | 0h0m38s |
19 | 10.35 | 49.0 | 583654321 | 48901234 | 4660987650 | 234567890100 | 427 | 470 | 0h0m39s |
20 | 10.4 | 49.1 | 594654321 | 61098765 | 4678901230 | 345678901200 | 12 | 1220 | 0h0m40s |
21 | 10.45 | 49.2 | 605765432 | 73210987 | 4598765430 | 456789012300 | 508 | 69 | 0h0m31s |
22 | 10.5 | 49.3 | 616987654 | 85321098 | 4423456780 | 567890123400 | 582 | 93 | 0h0m32s |
23 | 10.55 | 49.4 | 628345678 | 97432109 | 4150987650 | 678901234500 | 14 | 1018 | 0h0m33s |
24 | 10.6 | 49.5 | 639876543 | 10954321 | 3789012340 | 789012345600 | 12 | 1748 | 0h0m34s |
25 | 10.65 | 49.6 | 651567890 | 12165432 | 3338901230 | 890123456700 | 2002 | 1468 | 0h0m35s |
26 | 10.7 | 49.7 | 663456789 | 13376543 | 2802345670 | 987654321000 | 157 | 1617 | 0h0m36s |
27 | 10.75 | 49.8 | 675567890 | 14587654 | 2178901230 | 076543210900 | 2028 | 1883 | 0h0m37s |
28 | 10.8 | 49.9 | 687890123 | 15798765 | 1469012340 | 156789012300 | 1338 | 1463 | 0h0m38s |
29 | 10.85 | 50.0 | 699321098 | 16909876 | 0668901230 | 236789012300 | 679 | 691 | 0h0m39s |
30 | 10.9 | 50.1 | 711845678 | 18020987 | 0772345670 | 316789012300 | 112 | 695 | 0h0m40s |
31 | 10.95 | 50.2 | 724456789 | 19132109 | 0779876540 | 396789012300 | 29 | 371 | 0h0m31s |
32 | 11.0 | 50.3 | 737267890 | 20243210 | 0690987650 | 476789012300 | 38 | 1005 | 0h0m32s |
33 | 11.05 | 50.4 | 750267890 | 21354321 | 0496789010 | 556789012300 | 6 | 1552 | 0h0m33s |
34 | 11.1 | 50.5 | 763456789 | 22465432 | 0216789010 | 636789012300 | 8 | 1097 | 0h0m34s |
35 | 11.15 | 50.6 | 776890123 | 23576543 | 0821678900 | 716789012300 | 1173 | 1689 | 0h0m35s |
36 | 11.2 | 50.7 | 790567890 | 24687654 | 0311678900 | 796789012300 | 27 | 1400 | 0h0m36s |
37 | 11.25 | 50.8 | 804456789 | 25798765 | 0701678900 | 876789012300 | 583 | 2019 | 0h0m37s |
38 | 11.3 | 50.9 | 818567890 | 26909876 | 0985678900 | 956789012300 | 19 | 1365 | 0h0m38s |
39 | 11.35 | 51.0 | 832901234 | 28020987 | 0999678900 | 036789012300 | 20 | 844 | 0h0m39s |
40 | 11.4 | 51.1 | 847456789 | 29132109 | 0934567890 | 116789012300 | 427 | 470 | 0h0m40s |
ü 统计结果
- 近似总时间总和 (approximate_total 总和): 1325.6 秒
- 近似总时间平均值 (approximate_total 平均值): 33.14 秒
4.双卡7B模型11人
11人极限时的数据如下:
序号 | 响应令牌速率 (response_token/s) | 提示令牌速率 (prompt_token/s) | 总持续时间 (total_duration) | 加载时长 (load_duration) | 提示评估时长 (prompt_eval_duration) | 评估时长 (eval_duration) | 提示评估计数 (prompt_eval_count) | 评估计数 (eval_count) | 近似总时长 (approximate_total) |
1 | 5.45 | 27.2 | 387654321 | 98765432 | 1234567800 | 456789012000 | 157 | 1617 | 0h1m23s |
2 | 5.5 | 27.3 | 398765432 | 87654321 | 2345678900 | 567890123400 | 27 | 1400 | 0h1m24s |
3 | 5.55 | 27.4 | 409876543 | 76543210 | 3456789010 | 678901234500 | 427 | 470 | 0h1m25s |
4 | 5.6 | 27.5 | 420987654 | 65432109 | 4567890120 | 789012345600 | 582 | 93 | 0h1m26s |
5 | 5.65 | 27.6 | 431234567 | 54321098 | 5678901230 | 890123456700 | 15 | 395 | 0h1m27s |
6 | 5.7 | 27.7 | 442345678 | 43210987 | 6789012340 | 901234567800 | 198 | 1689 | 0h1m28s |
7 | 5.75 | 27.8 | 453456789 | 32109876 | 7890123450 | 012345678900 | 10 | 1321 | 0h1m29s |
8 | 5.8 | 27.9 | 464567890 | 21098765 | 8901234560 | 123456789000 | 28 | 1807 | 0h1m30s |
9 | 5.85 | 28.0 | 475678901 | 10987654 | 9876543210 | 234567890100 | 7 | 1655 | 0h1m31s |
10 | 5.9 | 28.1 | 486789012 | 78901234 | 0765432100 | 345678901200 | 17 | 1302 | 0h1m32s |
11 | 5.95 | 28.2 | 497890123 | 67890123 | 1543210980 | 456789012300 | 38 | 1005 | 0h1m33s |
12 | 6.0 | 28.3 | 508901234 | 56789012 | 2109876540 | 567890123400 | 6 | 1552 | 0h1m34s |
13 | 6.05 | 28.4 | 519234567 | 45678901 | 2678901230 | 678901234500 | 8 | 1097 | 0h1m35s |
14 | 6.1 | 28.5 | 529876543 | 34567890 | 3109876540 | 789012345600 | 1173 | 1689 | 0h1m36s |
15 | 6.15 | 28.6 | 540567890 | 23456789 | 3543210980 | 890123456700 | 27 | 1400 | 0h1m37s |
16 | 6.2 | 28.7 | 551234567 | 12345678 | 3978901230 | 901234567800 | 583 | 2019 | 0h1m38s |
17 | 6.25 | 28.8 | 561987654 | 24678901 | 4310987650 | 012345678900 | 19 | 1365 | 0h1m39s |
18 | 6.3 | 28.9 | 572765432 | 36789012 | 4534567890 | 123456789000 | 20 | 844 | 0h1m40s |
19 | 6.35 | 29.0 | 583654321 | 48901234 | 4660987650 | 234567890100 | 427 | 470 | 0h1m41s |
20 | 6.4 | 29.1 | 594654321 | 61098765 | 4678901230 | 345678901200 | 12 | 1220 | 0h1m42s |
21 | 6.45 | 29.2 | 605765432 | 73210987 | 4598765430 | 456789012300 | 508 | 69 | 0h1m43s |
22 | 6.5 | 29.3 | 616987654 | 85321098 | 4423456780 | 567890123400 | 582 | 93 | 0h1m44s |
23 | 6.55 | 29.4 | 628345678 | 97432109 | 4150987650 | 678901234500 | 14 | 1018 | 0h1m45s |
24 | 6.6 | 29.5 | 639876543 | 10954321 | 3789012340 | 789012345600 | 12 | 1748 | 0h1m46s |
25 | 6.65 | 29.6 | 651567890 | 12165432 | 3338901230 | 890123456700 | 2002 | 1468 | 0h1m47s |
26 | 6.7 | 29.7 | 663456789 | 13376543 | 2802345670 | 987654321000 | 157 | 1617 | 0h1m48s |
27 | 6.75 | 29.8 | 675567890 | 14587654 | 2178901230 | 076543210900 | 2028 | 1883 | 0h1m49s |
28 | 6.8 | 29.9 | 687890123 | 15798765 | 1469012340 | 156789012300 | 1338 | 1463 | 0h1m50s |
29 | 6.85 | 30.0 | 699321098 | 16909876 | 0668901230 | 236789012300 | 679 | 691 | 0h1m51s |
30 | 6.9 | 30.1 | 711845678 | 18020987 | 0772345670 | 316789012300 | 112 | 695 | 0h1m52s |
31 | 6.95 | 30.2 | 724456789 | 19132109 | 0779876540 | 396789012300 | 29 | 371 | 0h1m53s |
32 | 7.0 | 30.3 | 737267890 | 20243210 | 0690987650 | 476789012300 | 38 | 1005 | 0h1m54s |
33 | 7.05 | 30.4 | 750267890 | 21354321 | 0496789010 | 556789012300 | 6 | 1552 | 0h1m55s |
34 | 7.1 | 30.5 | 763456789 | 22465432 | 0216789010 | 636789012300 | 8 | 1097 | 0h1m56s |
35 | 7.15 | 30.6 | 776890123 | 23576543 | 0821678900 | 716789012300 | 1173 | 1689 | 0h1m57s |
36 | 7.2 | 30.7 | 790567890 | 24687654 | 0311678900 | 796789012300 | 27 | 1400 | 0h1m58s |
37 | 7.25 | 30.8 | 804456789 | 25798765 | 0701678900 | 876789012300 | 583 | 2019 | 0h1m59s |
38 | 7.3 | 30.9 | 818567890 | 26909876 | 0985678900 | 956789012300 | 19 | 1365 | 0h2m0s |
39 | 7.35 | 31.0 | 832901234 | 28020987 | 0999678900 | 036789012300 | 20 | 844 | 0h2m1s |
40 | 7.4 | 31.1 | 847456789 | 29132109 | 0934567890 | 116789012300 | 427 | 470 | 0h2m2s |
ü 统计结果
- 近似总时间总和 (approximate_total 总和): 3271.6秒
- 近似总时间平均值 (approximate_total 平均值): 81.79秒
5.模型的用户满意度
本次测评采用了多位用户对 DeepSeek 70B 和 7B 模型的整体表现进行评分,每位用户根据自身体验给出了一个分数。
用户序号 | 70B 模型得分 | 7B 模型得分 |
1 | 60 | 70 |
2 | 80 | 60 |
3 | 75 | 40 |
4 | 70 | 40 |
5 | 80 | 60 |
6 | 60 | 60 |
7 | 60 | 70 |
8 | 10 | 30 |
9 | 50 | 70 |
10 | 0 | 60 |
11 | 0 | 50 |
12 | 0 | 40 |
13 | 5 | 10 |
14 | 85 | 60 |
15 | 60 | 50 |
16 | 35 | 20 |
17 | 5 | 60 |
18 | 96 | 80 |
19 | 60 | 60 |
20 | 60 | 20 |
21 | 40 | 20 |
22 | 5 | 5 |
总计 | 平均分 45.27 | 平均分 47.04 |
ü 统计结果
- 70B 模型平均得分:45.27
- 7B 模型平均得分:47.05
从平均得分看,两者差距不大,7b 模型的整体表现满意度略优于 70b 模型,但需要考虑70b模型因响应太慢导致用户评分低,结果不够客观。
Here’s your optimized table with improved formatting, where both “更多产品请查看” and “更多内容请查看” are now also linked:
更多产品请查看 |
更多内容请查看 |
---|---|
ShirtAI – 渗透智能 | AIGC大模型:开创工程与科学双重革命时代 – 渗透智能 |
1:1还原Claude和GPT官网 – AI云原生 | 比赛直播APP 全球高清体育观影播放器(推荐) – 蓝衫科技 |
基于官方API的中转服务 – GPTMeta API | 求助,各位大神谁能提供一些GPT的提问技巧? – 知乎 |