Железное

[dzz]

Пользуясь каникулами, пересобрал себе домашний компьютер. Теперь это Core i7-10700K под разгон, матерная плата ASUS Prime Z490-P и много-много диких обезьян 128 гиг оперативки. Плюс, новый башенный кулер ID-Cooling SE-207 о двух вентиляторах и киловаттный БП Enermax Revolution87+.

Основной идеей именно такой сборки была возможность разгона всех 8 ядер (поэтому не последние два поколения процессоров Intel) и способность локально гонять действительно большие языковые модели 70+b под олламой. Ну и некоторая экономия бюджета тоже принималась во внимание.

Кулер, кстати, оказался весьма тихим в неэкстремальных режимах, посмотрим, сколько продержатся подшипники.

Старый сетап c 64Гб RAM переехал к сыну под его задачи.

Comments

[litophage.livejournal.com]

Ничо так! У больших дядек — большие игрушки! Во сколько встало сие?
И, кстати, раз зашла речь об ИИ — какой сейчас более менее рабочий из доступных? ГПТ4о гонит пургу... Со специфической задачей сложного интернет-поиска обычный Яндекс тоже справляется лучше их же нейросетки :)

[dzz.livejournal.com]

> Во сколько встало сие?

Процессор примерно 30к, память столько же, материнка, БП и кулер суммарно около 20к, итого 80 тыр. Практически, по цене не самой топовой видеокарты Nvidia :)

> какой сейчас более менее рабочий из доступных?

Ну, смотря для чего. Для абстрактных разговоров и написания текстов мне нравятся llama 3 и gemma 2.

[rblaze.livejournal.com]

Модели разве не требуют именно GPU? Я пытался гонять llama и codestral, если они не влезали в видео то тормозили совсем страшно.

[dzz.livejournal.com]

Модели требуют RAM-а и в GPU, и в основной системе. Видеокарт с 64 Gb RAM я на рынке не вижу. Да и 32 — только за очень большие деньги. Модели 70b имеют физический размер порядка 40 Гб.