Домашний кластер на RPi

[dzz]

Продолжаем продолжать убеждаться, что кластер кластеру рознь :)

С кластеризованным управлением докерами - полная задни проблемы. K8S на 1Гб не заводится вообще, хочет минимум двух. K3S заводится, но k3s-сервер сжирает на 100% 3 ядра из 4 в режиме сугубого ничегонеделанья.

А вот redis-кластер под sentinel-ом летает со свистом. Что, в общем, и неудивительно с учётом его архитектуры.

Следующая на очереди морская свинка - kafka, наверное, если не возникнет других забавных идей.

P.S. Ну и постгрю планирую погонять, тоже интересно.

P.P.S. Ещё хочется поэкспериментировать с MPI-кластеризацией, но это отдельная история. MOSIX, насколько я понимаю, на мелкокомпьютерах невыгоден от слова вообще, т.к. задержки ОС на обмен данными между узлами будут слишком велики по сравнению с выигрышем от многоядерности узлов.

Comments

[jno2004.livejournal.com]

ну, вот смотрим на мейнфрейм, который изнутри - кластер кластером, и что мы видим?

видим NUMA, но это - хрен с ним, скорее недостаток.
однако этот недостаток даёт нам типа-униформное ОЗУ (да, регистры индирекции считать надоест), которое даёт
хитровздрюченный интерконнект (угу, гиперсокеты в ОЗУ, а не инфинибанды, конечно) и
общекластерный полностью асинхронный канал ввода/вывода.

PR/SM мы не видим - софтинка это (минус первого уровня виртуализации, да), из какого-нибудь KVM'а делается не особо хужее (там, где есть аналоги SIE - все эти ваши VTx'ы и т.п., чтобы нативный код исполнялся нативно).

[dzz.livejournal.com]

NUMA роляет только при наличии общего ввода-вывода, у SUN-ов с их CrossFire это хорошо прослеживается.

[jno2004.livejournal.com]

Роляет тут быстрый внутренний интерконнект. Который в ОЗУ. Которое — NUMA...

[p2004r.livejournal.com]

Все в эффективности зависит от того как нарезаны таски.

[dzz.livejournal.com]

И что вообще за таски.

Поэтому современная кластеризация в массе своей делается на application-layer-е, а ось с механизмами обмена задачами и данными тут только помогает.

Но идея получить стоядерный линуксовый SMP-хост объединением 25 четырёхъядерных таки заманчива :)

[jno2004.livejournal.com]

гы-гы. сто - не сто, а 80-ядерный давали поиграть уже 6 лет тому как... в одной коробочке, а не 25×4 :)

ЗЫ. Там 147 емнимс потолок был, но дали только 80 установленных.

А в кластере 25×4 нельзя "просто так" запустить 5 потоков одного приложения...

И акромя стойкости и микросервисов такой кластер даже и непонятно для чего.

[dzz.livejournal.com]

Жень, у меня одно время был в доступе SunFire E25k с полной набивке c 72 процами (это 144 ядра), технически — две большие состыкованные коробки с UniBoard-ами и платами ввода-вывода. Под управлением ОДНОГО соляриса (на самом деле, двух, т.к. быстро нарезали два домена). Так что этот вкус мне знаком не понаслышке :)

> А в кластере 25×4 нельзя "просто так" запустить 5 потоков одного приложения...

Можно, просто все они будут на одной ноде.

> И акромя стойкости и микросервисов такой кластер даже и непонятно для чего.

Ну, отказоустойчивость — тоже достойная задачка, и все HA-кластеры как раз слабосвязанные.

А если задача хорошо параллелится, можно использовать все ядра всех нод как пакетные считалки, тут только данные успевай подносить и результаты забирать.

[mike-mihalych.livejournal.com]

ОС — Astra, Alt или RedOS, я надеюсь?.. ;-)

[dzz.livejournal.com]

Не, голимый распбиан-бустер :)