Config UI: add missing config sections / partial yaml inputs (BC)

[naltatis]

Replaces #11739

Goal

• 🐭 make smaller config chunks (tariff, messages, mqtt, ...) editable via UI instead of complete evcc.yaml.
• 🚴‍♀️ create UI and API (endpoints, persistance and initialization) for all missing config areas in a fast and pragmatic way.

Later steps (seperate PRs)

• 🎩 Improve UX where necessary (tariff template UI Add tariffs configuration #10042, ...)
• 📟 Allow yaml-snippets as an alternative UI config option for vehicles, meters, chargers (e.g. to allow plugins)

BC

• all /api/state durations are now in seconds instead of nanoseconds

Todos

• api structure for all missing config elements @naltatis
• port yaml editor from Config UI: evcc.yaml editor #11739 @naltatis
• mqtt UI @naltatis
• mqtt API @andig
• Influx UI @naltatis
• Influx API @andig
• eebus UI @naltatis
• eebus API @andig
• tariffs UI @naltatis
• tariffs API @andig
• messaging UI @naltatis
• messaging API @andig
• modbusproxy UI @naltatis
• modbuxproxy API @andig
• interval UI @naltatis
• interval API @andig (@naltatis time.Duration oder einfach in Sekunden?)
• sponsortoken API @andig
• network UI @naltatis
• network API @andig
• maxgridsupply UI @naltatis
• maxgridsupply API @andig
• circuit UI @naltatis
• config status endpoint / decision needed (see here) @naltatis @andig
• remove all ns conversions from UI @naltatis
• fix messaging broken by encoded state values @andig
• fix broken date encoding (see 55b5cfd) @andig
• persist residualPower @andig
• decide messaging migration and differentiate services vs events @naltatis @andig
• decide tariff migration @naltatis @andig
• decide eebus migration @naltatis @andig
• decide hems migration @naltatis @andig
• decide modbusproxy migration @naltatis @andig
• circuit API @andig
• sponsortoken UI @naltatis
• switch to api-fied sponsor struct for UI @naltatis (721d355)
• Config-Endpunkte auch bei Startup Error bereitstellen @andig @naltatis
• use error classes in UI to highlight faulty configuration @naltatis
• fix MQTT/Influx (others?) publishing passwrds
• read interval db configuration on start @andig
• use temp in addition to soc @naltatis
• add migration & clean command (opt-in for testing) @andig
• e2e tests @naltatis
• improve main-UI + fatal error @naltatis

Out of scope:

• move dirty api to web socket
• move site meters to global config, identified by type (grid, pv, battery, aux)
• show/update meter configuration when device fails during startup
• allow saving broken devices (RCT)

→ moved out-of-scope tasks to epic #6029

[andig]

@naltatis ich brauche mal eine Idee. ModbusProxy ist eine Liste. Wie wollen wir hier mit Updates umgehen:

• per Element (über Index? über Port?) (json je Element)
• ganze Liste am Stück (json)?
• andere Ideen?
  Wäre super einen Ansatz zu finden, der auch mit anderen Integrationen, z.B. den Push Service funktionieren kann.

Meine Tendenz wäre per Element über numerischen Index. Passt das?

[naltatis]

@andig Im ersten Schritt (dieser PR) würde ich dir nur einen Yaml Block geben und keine Rücksicht auf die innere Struktur nehmen. Heißt, ein Update hat immer ein komplettes Neu-initialisieren zur Folge. Nichts auf Item-Ebene. Gleiches gilt für Messaging. Da ist die Struktur ja noch komplizierter, weil Messages und Services (Liste).

Das ist natürlich nicht schön und wir müssen das früher oder später sauber als Struktur/Liste ausmodellieren. Aber ich sehe das hier erstmal als einen pragmatischen Zwischenschritt.

[andig]

Passt, das ist hässlich aber einfach.

[andig]

@naltatis die existierenden Site APIs, z.B: buffersoc haben alle keine Getter. Brauchen wir trotzdem GETAPIs für die unstrukturierten Werte wie interval? Das erscheint inkonsistent.
Ebenso nutzen die existierenden "einfachen" Handler POST statt PUT. Wir sollten es konsistent machen, nach Möglichkeit mit wenigen Änderungen.

Vorschlag:

• alles POST (solange wir nicht PUT/POST für Einzelteile differenzieren)
• GET ersetzen wir durch die Daten in /api/state (um das Coding zu vereinfachen fände ich es im UI auch sinnvoll die dafür über die Hierarchie einzusammeln statt einzeln zum durchreichen zu deklarieren, aber das ist nur ein "Schönheitsthema").
• bei POST wird sofort die YAML Struktur überprüft, das erspart Überraschungen beim Neustart.

Wenn das passt müssen wir noch die Settings initial migrieren und dann nur noch aus der DB lesen.

[naltatis]

@andig die --reset Änderung funktioniert bei mir noch nicht. Ich bekomme folgendes:

go run main.go --config cmd/demo.yaml migrate --reset

[main  ] INFO 2024/06/05 09:09:10 evcc 0.0.0
[main  ] INFO 2024/06/05 09:09:10 using config file: cmd/demo.yaml
[db    ] INFO 2024/06/05 09:09:10 using sqlite database: /Users/michael/.evcc/evcc.db
[main  ] WARN 2024/06/05 09:09:10 resetting:
[main  ] DEBUG 2024/06/05 09:09:10 - global settings
panic: runtime error: slice bounds out of range [15:1:]

goroutine 1 [running]:
slices.Delete[...](...)
	/opt/homebrew/Cellar/go/1.22.1/libexec/src/slices/slices.go:219
github.com/evcc-io/evcc/server/db/settings.Delete({0x102b30b09, 0x8})
	/Users/michael/lab/evcc/server/db/settings/setting.go:81 +0x324
github.com/evcc-io/evcc/cmd.runMigrate(0x1067a3900, {0x14000a8bdd0?, 0x4?, 0x102b207e9?})
	/Users/michael/lab/evcc/cmd/migrate.go:44 +0x1f0
github.com/spf13/cobra.(*Command).execute(0x1067a3900, {0x1400112f780, 0x3, 0x4})
	/Users/michael/go/pkg/mod/github.com/spf13/cobra@v1.8.0/command.go:987 +0x828
github.com/spf13/cobra.(*Command).ExecuteC(0x1067a52e0)
	/Users/michael/go/pkg/mod/github.com/spf13/cobra@v1.8.0/command.go:1115 +0x344
github.com/spf13/cobra.(*Command).Execute(...)
	/Users/michael/go/pkg/mod/github.com/spf13/cobra@v1.8.0/command.go:1039
github.com/evcc-io/evcc/cmd.Execute()
	/Users/michael/lab/evcc/cmd/root.go:103 +0x24
main.main()
	/Users/michael/lab/evcc/main.go:44 +0x38
exit status 2

Korrektur: Sie funktioniert, wenn es nichts zu löschen gibt, aber das ist ja nicht der Anwendungsfall hier. 😄

[naltatis]

Ich hab dirty via Websocket mal auf "later" verschoben. Das ist ein Thema was wir schön isoliert angehen können und der jetzige Stand funktioniert ja.

[naltatis]

"Startup Error" Nachrichtauf Hauptscreen + Red Badge in Navigation

[naltatis]

@andig meine Todoliste hier ist jetzt leer. Wenn die Fehler aus dem Migrationscommand behoben sind können wir den mMn. reinnehmen.

[andig]

Panic auch behoben. Man muss es halt auch richtig machen :) Wir könnten das jetzt als :testing Docker releasen?

[naltatis]

... oder mutig zu nem Nightly machen. Wir haben die Änderungen ja so umgebaut, dass eigentlich nichts Breaking sein sollt

[naltatis]

Panic auch behoben.

Confirm. Löschen klappt jetzt wie erwartet.

[naltatis]

🎊