![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
dzzПользуясь каникулами, пересобрал себе домашний компьютер. Теперь это Core i7-10700K под разгон, матерная плата ASUS Prime Z490-P и много-много диких обезьян 128 гиг оперативки. Плюс, новый башенный кулер ID-Cooling SE-207 о двух вентиляторах и киловаттный БП Enermax Revolution87+.
Основной идеей именно такой сборки была возможность разгона всех 8 ядер (поэтому не последние два поколения процессоров Intel) и способность локально гонять действительно большие языковые модели 70+b под олламой. Ну и некоторая экономия бюджета тоже принималась во внимание.
Кулер, кстати, оказался весьма тихим в неэкстремальных режимах, посмотрим, сколько продержатся подшипники.
Старый сетап c 64Гб RAM переехал к сыну под его задачи.
Основной идеей именно такой сборки была возможность разгона всех 8 ядер (поэтому не последние два поколения процессоров Intel) и способность локально гонять действительно большие языковые модели 70+b под олламой. Ну и некоторая экономия бюджета тоже принималась во внимание.
Кулер, кстати, оказался весьма тихим в неэкстремальных режимах, посмотрим, сколько продержатся подшипники.
Старый сетап c 64Гб RAM переехал к сыну под его задачи.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2025-01-06 10:29 pm (UTC)Модели разве не требуют именно GPU? Я пытался гонять llama и codestral, если они не влезали в видео то тормозили совсем страшно.
no subject
Date: 2025-01-07 12:03 am (UTC)Модели требуют RAM-а и в GPU, и в основной системе. Видеокарт с 64 Gb RAM я на рынке не вижу. Да и 32 — только за очень большие деньги. Модели 70b имеют физический размер порядка 40 Гб.