Нейро.Дыбр - Вайб-инжиниринг

[dzz]

Написание кода с помощью нейросетей я ругал много и часто, и мнения своего на эту тему пока не изменил. Однако, открыл для себя возможность свалить на нейросетки рутину по придумыванию форматов данных и протоколов на архитектурных стадиях проектов. Поскольку тут сама суть работы сводится к превращению нечётких описаний в чёткие иерархии, и можно задавать уточняющие промпты, LLM с ролью советчика справляются отлично. Ну и я не трачу время на создание развесистых спецификаций вручную с нуля.

Comments

[p2004r.livejournal.com]

Если методично продолжить и не писать "хочу", а давать спецификацию и навязывать архитектуру и алгоритмы, вполне себе пишет.

[dzz.livejournal.com]

Пока затраты на верификацию сгенерированого кода близки к затратам на написание.

[p2004r.livejournal.com]

Ну это только потому что пропущена стадия генерации тестов из спецификации )))

[dzz.livejournal.com]

Понимаешь ли, я уверен, что генеративная нейросеть способна написать непротиворечивый набор кода и тестов, которые будут отлично отрабатывать, но некорректно решать поставленную задачу :)

Поэтому либо тесты, либо исходники должен делать человек. Ну или LLM, обученная на других выборках.

[p2004r.livejournal.com]

Нет, достаточно сделать тесты "в отдельной сессии" (лучше всего акке )))). Ну и не показывать их код, а только что "сломалась такая то часть спецификации".

Ну и саоме главное ДО ого как остальное требовать написать. )))

[parakhod.livejournal.com]

Такие вещи всё-таки вручную лучше делать.
Во-первых заодно можно и подумать куда оптимизировать сразу (сетко думать не умеет от слова совсем, любое).
А во-вторых оно процентах в 5-10 такой ад выдаёт, что прям страшно становится. Но если устал или торопишься, ненароком можно пропустить.

Юнит-тесты пусть пишет... Там трудно что-нибудь поломать (хотя оно периодически порывается переписать рабочий код чтоб он проходил кривые тесты, тут надо прямым текстом запрещать).

[dzz.livejournal.com]

Ну, я пока внимательно изучаю результаты и оставляю то, что считаю правильным. LLM тут мне экономят время на написание-переписывание вариантов.

Я какое-то время назад пробовал заставить нейросетки строить файлы для OpenAPI/Swagger по исходному коду REST-сервера на C++, но результат был так себе. С юнит-тестами можно зафейлить тестирование :)

[parakhod.livejournal.com]

Swagger кстати делало вполне хорошо, впрочем пробовал только на жабоскрипте.

А вот на эликсире всё делает просто чудовищно. Кроме юнит-тестов ничего не доверяю.
Постоянно изобретает несуществующие атомы и несуществующие api. Неспособно повторить кусок кода если даже напрямую указываешь, каждый раз пытается переизобрести велосипед. Причём кого только не гонял, клод пока в лидерах, но всё равно поганенько.

[dzz.livejournal.com]

> Swagger кстати делало вполне хорошо

Restbed оно не осилило. Там, правда, анализ POST-переменных сильно не в самом handler-е вызова, нужно погружаться на несколько уровней функций.

[parakhod.livejournal.com]

А, не, погружаться хоть чуть-чуть оно не умеет совсем. Если попросить — начинает безудержно фантазировать.

Впрочем фантазировать оно часто начинает даже в довольно вырожденных случаях. Была примитивнейшая быстрозадача — есть табличка, четыре колонки и штук тридцать рядов. Надо просто перетащить в html-шаблон (heex, phoenix).
Оно первые ряда четыре копирует, а потом начинает нести отсебятину. Сколько с разными не пытался — везде отсебятина начинается.