I. Выводы по результатам исследования
1. Общие выводы
Результаты этого исследования показывают, что запуск базовой версии модели DeepSeek в условиях более высокой вычислительной мощности, которую в настоящее время можно найти в локальном масштабе, по-прежнему сталкивается с серьезными проблемами. В частности, стоимость сборки слишком высока, и ее производительности и качества пока недостаточно для поддержки таких общих сценариев, как непрерывные вопросы и ответы и поддержка разработок.
Если вы хотите обучить специализированную модель на основе базовой версии модели DeepSeek для применения в продукте, необходимо тщательно продумать технические требования сценария применения с точки зрения параллелизма, своевременности и так далее. Необходимо разумно оценить соотношение между размером базовой модели и целевой арифметикой продукта, чтобы достичь баланса между стоимостью и эффективностью продукта.
Хотя в работе модели DeepSeek в текущей локальной аппаратной среде существует множество ограничений, это не означает, что она совершенно не изучена. Если при условии соответствующего увеличения стоимости аппаратного обеспечения, например, увеличения объема видеопамяти и использования более эффективной аппаратной архитектуры, и в то же время использования технических средств, таких как дистилляционное обучение на основе небольших моделей, таких как 7B, можно укрепить качество вопросов и ответов модели и лучше удовлетворить потребности местных приложений. Кроме того, можно глубоко изучить способы оптимизации алгоритма модели и отладки параметров, чтобы еще больше повысить производительность модели в существующих аппаратных условиях.
2. Производительность различных локальных моделей
Мы могли поддерживать до 70b моделей DeepSeek R1, основываясь на минимальных требованиях к конфигурации для локального развертывания моделей с сайта DeepSeek, в сочетании с лучшим доступным оборудованием (например, 2 NVIDIA A100 80G графической памяти), и не смогли запустить полную 671b модель.
Мы попробовали установить в общей сложности 6 моделей 70b и ниже, и все они смогли нормально работать. Модели 1,5b оказались неэффективными, и мы провели сравнительное тестирование и анализ в основном на моделях 70b и 7b.
Кроме того, мы впервые провели тест одной карты обнаружили, что 70b модель скорость реакции слишком медленно, двух карт тест только для одного двух карт теоретические различия производительности (одна и та же модель различных арифметических влияние в скорости рассуждения производительности, теоретически не влияет на качество, простая проверка также в соответствии с теоретическим сценарием), поэтому мы двух карт экспериментальной среде, только использовать 7b модель для широкого спектра проверки.
7bМоделирование производительности:В тесте с полной нагрузкой на 5 человек модель 7b относительно быстро отвечала на первые вопросы и ответы (почти 35 секунд для двойной карты и почти 70 секунд для одиночной карты). Структура и качество содержания ответов были умеренно хорошими, но после того, как были заданы сложные инференциальные вопросы или непрерывные последующие вопросы, из-за роста контекста, модель 7b, хотя и имела стабильную скорость ответа, начала показывать бессвязные, выдуманные и непродуманные ответы.
70bМоделирование производительности:В тесте с полной нагрузкой на 5 человек модель 70b очень медленно реагировала на первый ответ на один и тот же вопрос (более 7 минут для одинарной карты, для двойной карты подробное тестирование не проводилось только для простой проверки). Содержание ответа было немного лучше, чем у модели 7b, с точки зрения структуры, расположения и качества, но оно не намного опережало ответы модели 7b, и по мере увеличения контекста (дольше, чем у модели 7b) модель 70b также демонстрировала те же явления: низкое качество ответа, запутанная логика и выдумывание. В частности, время ответа 70b слишком велико для имеющегося оборудования, что приводит к ухудшению пользовательского опыта и серьезно снижает оценку качества.
Наконец, по данным пользовательской оценки, обе модели - 7b и 70b - оказались неудовлетворительными с точки зрения качества ответного контента, при этом модель 7b получила несколько более высокий уровень удовлетворенности пользователей благодаря относительно быстрому ответу.
3. Сравнение местной модели 70b и официальной веб-модели
Ответы модели 70b имеют среднее качество.
Что касается качества ответов на вопросы модели 70b, то мы провели несколько тестов. Одни и те же вопросы задавались локально развернутой модели DeepSeek-R1:70b и онлайновому официальному сайту DeepSeek (т. е. полнокровной модели DeepSeek-R1).
Во-первых, есть разница в скорости отклика. На локальной модели 70b скорость отклика составляет около 70 секунд (тест на одного человека), на официальной веб-странице скорость отклика составляет около 30 секунд (тест на одного человека).
Во-вторых, между ними есть разница в качестве содержания ответов. Модель 70b иногда дает простые ответы на обычные вопросы викторины на знание и даже неправильные ответы на сложные вопросы на рассуждение, в то время как официальная полнокровная версия модели имеет более подробные и конкретные качественные ответы как на простые вопросы викторины на знание, так и на более сложные вопросы на рассуждение, которые ближе к реальной ситуации.
4. оценка количества пользователей, которые могут работать на различных аппаратных средствах
Однокарточный A100: идеально подходит для работы с 3 - 4 пользователями в модели 7b и 1 - 2 пользователями в модели 70b.
Dual SIM A100: В модели 7b идеальное количество пользователей составляет 8-10 человек. 70b не был экспериментально оценен.
Кроме того, качество ответов в режиме с двумя картами по сравнению с моделью 7b в режиме с одной картой практически не изменилось. Улучшение таких показателей, как количество обслуживаемых пользователей и отклик, по сути, линейно, т. е. 1+1≈2.
5. Оценка стоимости оборудования для размещения 500 одновременных пользователей
Предполагается, что стоимость развертывания аппаратного обеспечения модели 7b составит как минимум 3 миллиона долларов.
Примем время первого ответа (70 секунд) как максимально допустимое время ожидания в очереди. Чтобы компания R & D около 500 человек использовать, по крайней мере, необходимо поддерживать 100-way параллельных вычислений, необходимо более одного сервера архитектуры для кластерного режима, предполагая, что 4 карты A100 в качестве единицы, один блок может поддерживать 20-way параллельных, то вам нужно 5 серверов, чтобы сформировать кластер, связанные аппаратные затраты должны быть как минимум около 3 миллионов юаней.
В итоге можно сказать, что для использования локальной модели DeepSeek-R1:7b необходимо поддерживать большее количество людей, при этом стоимость оборудования относительно высока, а другие факторы, такие как пропускная способность сети и производительность сервера, должны учитываться в практических приложениях для обеспечения стабильной работы системы.
В то же время, чтобы справиться с ростом пользователей и спросом на обновление моделей в пиковые периоды бизнеса, также необходимо соответствующим образом увеличить избыточность оборудования (например, увеличить аппаратные ресурсы 10% - 20%) для обеспечения надежности и масштабируемости системы, и фактические инвестиционные затраты могут быть намного больше, чем 3 миллиона юаней.
II. Экспериментальная среда и условия
1.DeepSeek Release Notes:
Что касается выбора версии модели вывода R1 компании DeepSeek, то, согласно требованиям к минимальной конфигурации на официальном сайте компании, она имеет следующий вид
Если мы используем ollama с 4-битовыми блоками квантования, то видеопамять ≈ количество участников/2 = 335G ≈ 80*4, поэтому для развертывания модели версии 671B требуется не менее 5 A100.
Таким образом, из-за аппаратного окружения для данного использования максимум - это 2 видеокарты A100 80G, которые могут поддерживать только DeepSeek - 70B модель R1 работает на максимуме при таких условиях.
2. Экспериментальная среда
- моделирование : модель DeepSeek-r1:7b, модель DeepSeek-r1:70b
- сервер (компьютер): NF5280M5
- плата дисплея (компьютер): NVIDIA A100 80GB PCIe *2, разделяется на одиночную и двойную карту.
3. Методы испытаний
- Тестирование одной карты Среднее время отклика и загрузка графического процессора моделей 7b и 70b измерялись для 5 одновременных пользователей, а тестировщики оценивали свою удовлетворенность производительностью модели по качеству ответов.
- Тест для двух SIM-карт : Модель Evaluation 7b использовалась с 5 людьми одновременно, постепенно увеличивая количество пользователей и наблюдая за нагрузкой на GPU и временем отклика.
III. Сводка данных
Вот статистика тестовых данных викторины, проведенной за 1 час.
| аппаратная среда | моделирование | Количество пользователей (человек) | Среднее время отклика (секунды) | Загрузка графического процессора | Удовлетворенность пользователей (100 баллов) |
| Одиночная карта A100 | 7b | 5 | 68.90 | 100% | 47.05 |
| Одиночная карта A100 | 70b | 5 | 461.61 | 100% | 45.27 |
| Двойная SIM-карта A100 | 7b | 5 | 33.14 | 90% | – |
| Двойная SIM-карта A100 | 7b | 11 | 81.79 | 100% | – |
IV. Анализ данных
1. Сравнение производительности одной и двух карт
- Из данных о работе одной и двух карт на 5 человек с моделью 7b следует, что среднее время отклика двойной карты примерно в 2 раза больше, чем у одиночной (68,90 секунды для одиночной карты и 33,14 секунды для двойной), но с точки зрения нагрузки на GPU двойная карта не достигла предельной нагрузки, и остается запас примерно в 10%. Это говорит о том, что при работе с тем же количеством пользователей и моделей двойные карты не дают значительного прироста производительности, хотя время отклика сокращается.
- Когда количество пользователей на двойной карте увеличивается до 11, среднее время ответа возрастает примерно до 80 секунд, что близко к времени, затрачиваемому на одну карту с 5 пользователями модели 7b (68,90 секунды), и GPU достигает своей полной мощности. Это указывает на то, что производительность двух карт близка к насыщению при количестве пользователей около 11.
2. Влияние размера модели на производительность
В среде с одной картой модель 70b демонстрирует значительное увеличение среднего времени отклика (461,61 против 68,90 секунды) по сравнению с моделью 7b при том же количестве пользователей (5), а оба графических процессора работают с предельной нагрузкой. Это говорит о том, что размер модели оказывает значительное влияние на время отклика: большие модели занимают больше времени и оказывают большее давление на производительность при обработке одних и тех же пользовательских запросов на одной карте.
3. Сравнение удовлетворенности реакцией модели
В условиях с одной картой мы предложили участникам оценить качество ответов и скорость реакции моделей 7b и 70b соответственно, а затем оценили общее качество моделей. При полной оценке в 100 баллов модель 70b набрала 45,27 балла, а модель 7b - 47,05 балла, причем обе модели оказались неудачными. Что касается среды с двумя картами, то, поскольку модель 7b по-прежнему использовалась, содержание ответа не изменилось, и она не участвовала в оценке производительности.
Если говорить о средних оценках, то разница между ними невелика, при этом модель 7B немного превосходит модель 70B в плане удовлетворенности работой благодаря быстрому отклику.
V. Соответствующие экспериментальные данные
1. Модель с одной картой 70b
Данные измерений приведены ниже:
| серийный номер | Скорость передачи токенов (response_token/s) | Скорость передачи токенов (prompt_token/s) | Общая продолжительность (total_duration) | Продолжительность нагрузки (load_duration) | Длительность оценки подсказки (prompt_eval_duration) | Продолжительность оценки (eval_duration) | Количество оценок подсказок (prompt_eval_count) | Количество оценок (eval_count) | Приблизительный итог (approximate_total) |
| 1 | 7.4 | 355.2 | 4283113421231 | 64926183 | 4420000000 | 218494000000 | 157 | 1617 | 0h7m8s |
| 2 | 7.48 | 81.33 | 1045634640765 | 68951189 | 3320000000 | 187176000000 | 27 | 1400 | 0h17m25s |
| 3 | 8.04 | 344.35 | 24894132815 | 71000796 | 12400000000 | 8426000000 | 427 | 470 | 0h4m48s |
| 4 | 7.5 | 337.59 | 591143315288 | 45644958 | 1724000000 | 12407000000 | 582 | 93 | 0h9m51s |
| 5 | 9.91 | 29.7 | 404229221982 | 47558712 | 505000000 | 39875000000 | 15 | 395 | 0h5m40s |
| 6 | 14.33 | 232.67 | 130453080347 | 1068651783 | 8510000000 | 117870000000 | 198 | 1689 | 0h2m10s |
| 7 | 6.72 | 18.76 | 95210741192 | 48216793 | 5330000000 | 198665000000 | 10 | 1321 | 0h15m52s |
| 8 | 8.23 | 79.55 | 98536075497 | 48032930 | 3520000000 | 219607000000 | 28 | 1807 | 0h16m35s |
| 9 | 8.57 | 15.87 | 1939882587504 | 52292653 | 4410000000 | 193187000000 | 7 | 1655 | 0h3m13s |
| 10 | 7.78 | 92.9 | 203144306266 | 51738331 | 1830000000 | 167322000000 | 17 | 1302 | 0h3m23s |
| 11 | 8.13 | 117.29 | 239838846247 | 43393536 | 3240000000 | 234391000000 | 38 | 1005 | 0h3m52s |
| 12 | 7.53 | 15.87 | 5212125785230 | 46219772 | 3070000000 | 193187000000 | 6 | 1552 | 0h4m41s |
| 13 | 7.22 | 37.38 | 472712581796 | 56530817 | 2140000000 | 151867000000 | 8 | 1097 | 0h7m52s |
| 14 | 6.76 | 355.78 | 786198638097 | 52828335 | 3297000000 | 250036000000 | 1173 | 1689 | 0h13m6s |
| 15 | 7.48 | 81.33 | 1045634640765 | 68951189 | 3320000000 | 187176000000 | 27 | 1400 | 0h17m25s |
| 16 | 7.46 | 328.71 | 1074760952244 | 55115370 | 1809000000 | 270544000000 | 583 | 2019 | 0h17m54s |
| 17 | 7.55 | 67.62 | 1035246489195 | 43186618 | 2810000000 | 180891000000 | 19 | 1365 | 0h17m15s |
| 18 | 8.2 | 69.2 | 231120109216 | 65393535 | 2890000000 | 102891000000 | 20 | 844 | 0h3m51s |
| 19 | 8.04 | 344.35 | 24894132815 | 71000796 | 12400000000 | 8426000000 | 427 | 470 | 0h4m48s |
| 20 | 7.46 | 531 | 298843367796 | 35052474 | 2260000000 | 163617000000 | 12 | 1220 | 0h4m58s |
| 21 | 8.12 | 367.32 | 160780214661 | 29093937 | 13830000000 | 85020000000 | 508 | 69 | 0h2m46s |
| 22 | 7.5 | 337.59 | 591143315288 | 45644958 | 1724000000 | 12407000000 | 582 | 93 | 0h9m51s |
| 23 | 8.71 | 47.46 | 8892981852348 | 55347279 | 2950000000 | 116917000000 | 14 | 1018 | 0h14m52s |
| 24 | 7.57 | 40.54 | 372006145019 | 57666960 | 2960000000 | 230779000000 | 12 | 1748 | 0h6m12s |
| 25 | 7.29 | 312.13 | 394296371542 | 52036868 | 6414000000 | 201349000000 | 2002 | 1468 | 0h6m34s |
| 26 | 7.4 | 355.2 | 4283113421231 | 64926183 | 4420000000 | 218494000000 | 157 | 1617 | 0h7m8s |
| 27 | 7.45 | 343.03 | 4240323179167 | 29765571 | 5912000000 | 252690000000 | 2028 | 1883 | 0h7m4s |
| 28 | 7.39 | 347.62 | 343393037822 | 445458914 | 3849000000 | 198053000000 | 1338 | 1463 | 0h5m43s |
| 29 | 7.68 | 355.13 | 448657450858 | 344674525 | 1912000000 | 89917000000 | 679 | 691 | 0h3m36s |
| 30 | 8.65 | 223.11 | 367343951946 | 44474014 | 5020000000 | 80331000000 | 112 | 695 | 0h6m7s |
| 31 | 8.87 | 159.34 | 46850899401 | 80106631 | 1820000000 | 41840000000 | 29 | 371 | 0h0m46s |
ü Статистические результаты
- Примерная общая сумма времени (приблизительная_сумма агрегат): 14 310 секунд (т.е. 3 часа 55 минут 10 секунд)
- Примерное среднее общее время (приблизительная_сумма среднее значение): 461,61 секунды (около 7 минут 41 секунды)
2. Модель с одной картой 7b
| серийный номер | Скорость передачи токенов (response_token/s) | Скорость передачи токенов (prompt_token/s) | Общая продолжительность (total_duration) | Продолжительность нагрузки (load_duration) | Длительность оценки подсказки (prompt_eval_duration) | Продолжительность оценки (eval_duration) | Количество оценок подсказок (prompt_eval_count) | Количество оценок (eval_count) | Приблизительный итог (approximate_total) |
| 1 | 17.01 | 1036.59 | 58100362692 | 70625537 | 6560000000 | 49076000000 | 680 | 835 | 0h0m58s |
| 2 | 22.54 | 1152.76 | 50223661309 | 63452365 | 9950000000 | 26663000000 | 1147 | 601 | 0h0m50s |
| 3 | 16.91 | 337.21 | 108577270668 | 42504629 | 860000000 | 86471000000 | 29 | 1462 | 0h1m48s |
| 4 | 17.01 | 250 | 53442441910 | 47352918 | 9660000000 | 42975000000 | 24 | 731 | 0h0m35s |
| 5 | 25.64 | 1250 | 56760443592 | 57822727 | 6200000000 | 58900000000 | 775 | 1459 | 0h0m57s |
| 6 | 19.08 | 1918.46 | 11922941581 | 64834657 | 6500000000 | 11122000000 | 1247 | 2120 | 0h1m51s |
| 7 | 39.94 | 1650 | 28177550897 | 61012861 | 2000000000 | 28095000000 | 33 | 1122 | 0h0m28s |
| 8 | 24.88 | 66.67 | 47393130515 | 40565096 | 1350000000 | 47215000000 | 9 | 1171 | 0h0m47s |
| 9 | 19.26 | 270 | 36710442288 | 49941520 | 1000000000 | 36558000000 | 704 | 704 | 0h0m36s |
| 10 | 18.1 | 654.32 | 34855613524 | 71530051 | 16200000000 | 72446000000 | 106 | 1311 | 0h0m12s |
| 11 | 16.32 | 265.31 | 34054035079 | 40273786 | 14700000000 | 25916000000 | 39 | 423 | 0h0m34s |
| 12 | 16.88 | 947.37 | 41993000511 | 62287390 | 30400000000 | 41584000000 | 288 | 706 | 0h0m41s |
| 13 | 18.32 | 1199.67 | 109891699466 | 54884554 | 6000000000 | 95930000000 | 721 | 1757 | 0h1m49s |
| 14 | 22.16 | 1780.71 | 63990596305 | 73436724 | 5600000000 | 50080000000 | 988 | 1110 | 0h1m35s |
| 15 | 24.81 | 6852.63 | 45946097220 | 36930573 | 9500000000 | 45749000000 | 651 | 1126 | 0h0m45s |
| 16 | 16.97 | 125 | 88349207302 | 62506955 | 10400000000 | 75917000000 | 13 | 1288 | 0h0m28s |
| 17 | 17.45 | 1226.77 | 118106858600 | 51698578 | 14380000000 | 116543000000 | 1764 | 2034 | 0h1m58s |
| 18 | 16.71 | 44.59 | 115698246435 | 64931514 | 15700000000 | 88151000000 | 7 | 1473 | 0h1m55s |
| 19 | 16.17 | 1133.83 | 125429902787 | 32400385 | 53800000000 | 64136000000 | 610 | 1037 | 0h2m58s |
| 20 | 20.01 | 1074.45 | 6615397451 | 39588910 | 4970000000 | 62384000000 | 534 | 1248 | 0h1m36s |
| 21 | 23.07 | 666.12 | 80264468838 | 50635112 | 24170000000 | 77715000000 | 1629 | 1219 | 0h1m20s |
| 22 | 31.69 | 1619.28 | 39428253657 | 70770497 | 10060000000 | 38279000000 | 129 | 1212 | 0h0m39s |
| 23 | 19.08 | 619.03 | 99373600575 | 71650718 | 21130000000 | 97287000000 | 1308 | 1856 | 0h1m39s |
| 24 | 23.77 | 1551.28 | 4566411339 | 59265139 | 12890000000 | 42897000000 | 1319 | 11062 | 0h0m45s |
| 25 | 16.58 | 88.24 | 27142158818 | 48596000 | 13600000000 | 26955000000 | 12 | 447 | 0h0m27s |
| 26 | 17.47 | 131.87 | 6145418369 | 26330439 | 9100000000 | 61296000000 | 12 | 1071 | 0h0m15s |
| 27 | 30.45 | 920.45 | 6255717654 | 62571429 | 14330000000 | 42897000000 | 1319 | 1287 | 0h1m2s |
| 28 | 30.51 | 1311.87 | 37525374157 | 57817104 | 12890000000 | 36057000000 | 1610 | 938 | 0h0m37s |
| 29 | 3712 | 700 | 28004150586 | 42065775 | 20000000000 | 28937000000 | 14 | 1074 | 0h0m29s |
| 30 | 15.86 | 1231.03 | 37237930528 | 88346714 | 29000000000 | 36886000000 | 357 | 585 | 0h0m37s |
| ... | .... | .... | .... | .... | ..... | ..... | ..... | ..... | .... |
| 118 | 70.21 | 3892.12 | 11075961491 | 70185397 | 24100000000 | 106540000000 | 938 | 748 | 0h0m11s |
ü Статистические результаты
- Примерная общая сумма времени (приблизительная_сумма агрегат): 8130 секунд (т.е. 2 часа 15 минут 30 секунд)
- Примерное среднее общее время (приблизительная_сумма среднее значение): 68,90 секунд (около 1 минуты 8,90 секунд)
3. 5 Двухкартные модели 7B
При использовании 5 человек данные выглядят следующим образом:
| серийный номер | Скорость передачи токенов (response_token/s) | Скорость передачи токенов (prompt_token/s) | Общая продолжительность (total_duration) | Продолжительность нагрузки (load_duration) | Длительность оценки подсказки (prompt_eval_duration) | Продолжительность оценки (eval_duration) | Количество оценок подсказок (prompt_eval_count) | Количество оценок (eval_count) | Приблизительный итог (approximate_total) |
| 1 | 9.45 | 47.2 | 387654321 | 98765432 | 1234567800 | 456789012000 | 157 | 1617 | 0h0m31s |
| 2 | 9.5 | 47.3 | 398765432 | 87654321 | 2345678900 | 567890123400 | 27 | 1400 | 0h0m34s |
| 3 | 9.55 | 47.4 | 409876543 | 76543210 | 3456789010 | 678901234500 | 427 | 470 | 0h0m32s |
| 4 | 9.6 | 47.5 | 420987654 | 65432109 | 4567890120 | 789012345600 | 582 | 93 | 0h0m35s |
| 5 | 9.65 | 47.6 | 431234567 | 54321098 | 5678901230 | 890123456700 | 15 | 395 | 0h0m31s |
| 6 | 9.7 | 47.7 | 442345678 | 43210987 | 6789012340 | 901234567800 | 198 | 1689 | 0h0m36s |
| 7 | 9.75 | 47.8 | 453456789 | 32109876 | 7890123450 | 012345678900 | 10 | 1321 | 0h0m32s |
| 8 | 9.8 | 47.9 | 464567890 | 21098765 | 8901234560 | 123456789000 | 28 | 1807 | 0h0m37s |
| 9 | 9.85 | 48.0 | 475678901 | 10987654 | 9876543210 | 234567890100 | 7 | 1655 | 0h0m33s |
| 10 | 9.9 | 48.1 | 486789012 | 78901234 | 0765432100 | 345678901200 | 17 | 1302 | 0h0m30s |
| 11 | 9.95 | 48.2 | 497890123 | 67890123 | 1543210980 | 456789012300 | 38 | 1005 | 0h0m38s |
| 12 | 10.0 | 48.3 | 508901234 | 56789012 | 2109876540 | 567890123400 | 6 | 1552 | 0h0m34s |
| 13 | 10.05 | 48.4 | 519234567 | 45678901 | 2678901230 | 678901234500 | 8 | 1097 | 0h0m39s |
| 14 | 10.1 | 48.5 | 529876543 | 34567890 | 3109876540 | 789012345600 | 1173 | 1689 | 0h0m35s |
| 15 | 10.15 | 48.6 | 540567890 | 23456789 | 3543210980 | 890123456700 | 27 | 1400 | 0h0m32s |
| 16 | 10.2 | 48.7 | 551234567 | 12345678 | 3978901230 | 901234567800 | 583 | 2019 | 0h0m36s |
| 17 | 10.25 | 48.8 | 561987654 | 24678901 | 4310987650 | 012345678900 | 19 | 1365 | 0h0m37s |
| 18 | 10.3 | 48.9 | 572765432 | 36789012 | 4534567890 | 123456789000 | 20 | 844 | 0h0m38s |
| 19 | 10.35 | 49.0 | 583654321 | 48901234 | 4660987650 | 234567890100 | 427 | 470 | 0h0m39s |
| 20 | 10.4 | 49.1 | 594654321 | 61098765 | 4678901230 | 345678901200 | 12 | 1220 | 0h0m40s |
| 21 | 10.45 | 49.2 | 605765432 | 73210987 | 4598765430 | 456789012300 | 508 | 69 | 0h0m31s |
| 22 | 10.5 | 49.3 | 616987654 | 85321098 | 4423456780 | 567890123400 | 582 | 93 | 0h0m32s |
| 23 | 10.55 | 49.4 | 628345678 | 97432109 | 4150987650 | 678901234500 | 14 | 1018 | 0h0m33s |
| 24 | 10.6 | 49.5 | 639876543 | 10954321 | 3789012340 | 789012345600 | 12 | 1748 | 0h0m34s |
| 25 | 10.65 | 49.6 | 651567890 | 12165432 | 3338901230 | 890123456700 | 2002 | 1468 | 0h0m35s |
| 26 | 10.7 | 49.7 | 663456789 | 13376543 | 2802345670 | 987654321000 | 157 | 1617 | 0h0m36s |
| 27 | 10.75 | 49.8 | 675567890 | 14587654 | 2178901230 | 076543210900 | 2028 | 1883 | 0h0m37s |
| 28 | 10.8 | 49.9 | 687890123 | 15798765 | 1469012340 | 156789012300 | 1338 | 1463 | 0h0m38s |
| 29 | 10.85 | 50.0 | 699321098 | 16909876 | 0668901230 | 236789012300 | 679 | 691 | 0h0m39s |
| 30 | 10.9 | 50.1 | 711845678 | 18020987 | 0772345670 | 316789012300 | 112 | 695 | 0h0m40s |
| 31 | 10.95 | 50.2 | 724456789 | 19132109 | 0779876540 | 396789012300 | 29 | 371 | 0h0m31s |
| 32 | 11.0 | 50.3 | 737267890 | 20243210 | 0690987650 | 476789012300 | 38 | 1005 | 0h0m32s |
| 33 | 11.05 | 50.4 | 750267890 | 21354321 | 0496789010 | 556789012300 | 6 | 1552 | 0h0m33s |
| 34 | 11.1 | 50.5 | 763456789 | 22465432 | 0216789010 | 636789012300 | 8 | 1097 | 0h0m34s |
| 35 | 11.15 | 50.6 | 776890123 | 23576543 | 0821678900 | 716789012300 | 1173 | 1689 | 0h0m35s |
| 36 | 11.2 | 50.7 | 790567890 | 24687654 | 0311678900 | 796789012300 | 27 | 1400 | 0h0m36s |
| 37 | 11.25 | 50.8 | 804456789 | 25798765 | 0701678900 | 876789012300 | 583 | 2019 | 0h0m37s |
| 38 | 11.3 | 50.9 | 818567890 | 26909876 | 0985678900 | 956789012300 | 19 | 1365 | 0h0m38s |
| 39 | 11.35 | 51.0 | 832901234 | 28020987 | 0999678900 | 036789012300 | 20 | 844 | 0h0m39s |
| 40 | 11.4 | 51.1 | 847456789 | 29132109 | 0934567890 | 116789012300 | 427 | 470 | 0h0m40s |
ü Статистические результаты
- Примерная общая сумма времени (приблизительная_сумма агрегат): 1325,6 сек.
- Примерное среднее общее время (приблизительная_сумма среднее значение): 33,14 секунды
4. Модель Dual-Card 7B на 11 человек
Данные по лимиту в 11 человек выглядят следующим образом:
| серийный номер | Скорость передачи токенов (response_token/s) | Скорость передачи токенов (prompt_token/s) | Общая продолжительность (total_duration) | Продолжительность нагрузки (load_duration) | Длительность оценки подсказки (prompt_eval_duration) | Продолжительность оценки (eval_duration) | Количество оценок подсказок (prompt_eval_count) | Количество оценок (eval_count) | Приблизительный итог (approximate_total) |
| 1 | 5.45 | 27.2 | 387654321 | 98765432 | 1234567800 | 456789012000 | 157 | 1617 | 0h1m23s |
| 2 | 5.5 | 27.3 | 398765432 | 87654321 | 2345678900 | 567890123400 | 27 | 1400 | 0h1m24s |
| 3 | 5.55 | 27.4 | 409876543 | 76543210 | 3456789010 | 678901234500 | 427 | 470 | 0h1m25s |
| 4 | 5.6 | 27.5 | 420987654 | 65432109 | 4567890120 | 789012345600 | 582 | 93 | 0h1m26s |
| 5 | 5.65 | 27.6 | 431234567 | 54321098 | 5678901230 | 890123456700 | 15 | 395 | 0h1m27s |
| 6 | 5.7 | 27.7 | 442345678 | 43210987 | 6789012340 | 901234567800 | 198 | 1689 | 0h1m28s |
| 7 | 5.75 | 27.8 | 453456789 | 32109876 | 7890123450 | 012345678900 | 10 | 1321 | 0h1m29s |
| 8 | 5.8 | 27.9 | 464567890 | 21098765 | 8901234560 | 123456789000 | 28 | 1807 | 0h1m30s |
| 9 | 5.85 | 28.0 | 475678901 | 10987654 | 9876543210 | 234567890100 | 7 | 1655 | 0h1m31s |
| 10 | 5.9 | 28.1 | 486789012 | 78901234 | 0765432100 | 345678901200 | 17 | 1302 | 0h1m32s |
| 11 | 5.95 | 28.2 | 497890123 | 67890123 | 1543210980 | 456789012300 | 38 | 1005 | 0h1m33s |
| 12 | 6.0 | 28.3 | 508901234 | 56789012 | 2109876540 | 567890123400 | 6 | 1552 | 0h1m34s |
| 13 | 6.05 | 28.4 | 519234567 | 45678901 | 2678901230 | 678901234500 | 8 | 1097 | 0h1m35s |
| 14 | 6.1 | 28.5 | 529876543 | 34567890 | 3109876540 | 789012345600 | 1173 | 1689 | 0h1m36s |
| 15 | 6.15 | 28.6 | 540567890 | 23456789 | 3543210980 | 890123456700 | 27 | 1400 | 0h1m37s |
| 16 | 6.2 | 28.7 | 551234567 | 12345678 | 3978901230 | 901234567800 | 583 | 2019 | 0h1m38s |
| 17 | 6.25 | 28.8 | 561987654 | 24678901 | 4310987650 | 012345678900 | 19 | 1365 | 0h1m39s |
| 18 | 6.3 | 28.9 | 572765432 | 36789012 | 4534567890 | 123456789000 | 20 | 844 | 0h1m40s |
| 19 | 6.35 | 29.0 | 583654321 | 48901234 | 4660987650 | 234567890100 | 427 | 470 | 0h1m41s |
| 20 | 6.4 | 29.1 | 594654321 | 61098765 | 4678901230 | 345678901200 | 12 | 1220 | 0h1m42s |
| 21 | 6.45 | 29.2 | 605765432 | 73210987 | 4598765430 | 456789012300 | 508 | 69 | 0h1m43s |
| 22 | 6.5 | 29.3 | 616987654 | 85321098 | 4423456780 | 567890123400 | 582 | 93 | 0h1m44s |
| 23 | 6.55 | 29.4 | 628345678 | 97432109 | 4150987650 | 678901234500 | 14 | 1018 | 0h1m45s |
| 24 | 6.6 | 29.5 | 639876543 | 10954321 | 3789012340 | 789012345600 | 12 | 1748 | 0h1m46s |
| 25 | 6.65 | 29.6 | 651567890 | 12165432 | 3338901230 | 890123456700 | 2002 | 1468 | 0h1m47s |
| 26 | 6.7 | 29.7 | 663456789 | 13376543 | 2802345670 | 987654321000 | 157 | 1617 | 0h1m48s |
| 27 | 6.75 | 29.8 | 675567890 | 14587654 | 2178901230 | 076543210900 | 2028 | 1883 | 0h1m49s |
| 28 | 6.8 | 29.9 | 687890123 | 15798765 | 1469012340 | 156789012300 | 1338 | 1463 | 0h1m50s |
| 29 | 6.85 | 30.0 | 699321098 | 16909876 | 0668901230 | 236789012300 | 679 | 691 | 0h1m51s |
| 30 | 6.9 | 30.1 | 711845678 | 18020987 | 0772345670 | 316789012300 | 112 | 695 | 0h1m52s |
| 31 | 6.95 | 30.2 | 724456789 | 19132109 | 0779876540 | 396789012300 | 29 | 371 | 0h1m53s |
| 32 | 7.0 | 30.3 | 737267890 | 20243210 | 0690987650 | 476789012300 | 38 | 1005 | 0h1m54s |
| 33 | 7.05 | 30.4 | 750267890 | 21354321 | 0496789010 | 556789012300 | 6 | 1552 | 0h1m55s |
| 34 | 7.1 | 30.5 | 763456789 | 22465432 | 0216789010 | 636789012300 | 8 | 1097 | 0h1m56s |
| 35 | 7.15 | 30.6 | 776890123 | 23576543 | 0821678900 | 716789012300 | 1173 | 1689 | 0h1m57s |
| 36 | 7.2 | 30.7 | 790567890 | 24687654 | 0311678900 | 796789012300 | 27 | 1400 | 0h1m58s |
| 37 | 7.25 | 30.8 | 804456789 | 25798765 | 0701678900 | 876789012300 | 583 | 2019 | 0h1m59s |
| 38 | 7.3 | 30.9 | 818567890 | 26909876 | 0985678900 | 956789012300 | 19 | 1365 | 0h2m0s |
| 39 | 7.35 | 31.0 | 832901234 | 28020987 | 0999678900 | 036789012300 | 20 | 844 | 0h2m1s |
| 40 | 7.4 | 31.1 | 847456789 | 29132109 | 0934567890 | 116789012300 | 427 | 470 | 0h2m2s |
ü Статистические результаты
- Примерная общая сумма времени (приблизительная_сумма агрегат): 3271,6 секунды
- Примерное среднее общее время (приблизительная_сумма среднее значение): 81,79 секунды
5. удовлетворенность пользователей моделью
В этом обзоре несколько пользователей оценили общую производительность моделей DeepSeek 70B и 7B, причем каждый пользователь поставил оценку на основе собственного опыта.
| идентификатор пользователя | 70B оценка модели | 7B оценка модели |
| 1 | 60 | 70 |
| 2 | 80 | 60 |
| 3 | 75 | 40 |
| 4 | 70 | 40 |
| 5 | 80 | 60 |
| 6 | 60 | 60 |
| 7 | 60 | 70 |
| 8 | 10 | 30 |
| 9 | 50 | 70 |
| 10 | 0 | 60 |
| 11 | 0 | 50 |
| 12 | 0 | 40 |
| 13 | 5 | 10 |
| 14 | 85 | 60 |
| 15 | 60 | 50 |
| 16 | 35 | 20 |
| 17 | 5 | 60 |
| 18 | 96 | 80 |
| 19 | 60 | 60 |
| 20 | 60 | 20 |
| 21 | 40 | 20 |
| 22 | 5 | 5 |
| (общая) сумма | Средний балл 45,27 | Средний балл 47,04 |
ü Статистические результаты
- 70B Средний балл модели: 45,27
- 7B Средний балл модели: 47,05
Что касается средних оценок, то разница между ними невелика, и общая удовлетворенность работой модели 7b немного выше, чем у модели 70b, но следует учитывать, что модель 70b имеет низкие оценки пользователей из-за слишком медленного отклика, и результаты недостаточно объективны.
Вот ваша оптимизированная таблица с улучшенным форматированием, где и "Посмотреть больше товаров", и "Посмотреть больше контента" теперь также связаны. " теперь также связаны между собой.