MQTT integration in HA

[Sebastian]

Hier nochmal vom AHOY-DTU

AHOY_DTU.png (15.51 KiB) 4670 mal betrachtet

und die Eingaben vom Lappi

[Jim_OS]

Moin,

wenn die Geräte im MQTT Explorer angezeigt werden weiß Du ja schon mal das sie ihre MQTT Daten richtig an den Mosquitto broker Server senden. Also geht es jetzt nur noch um das Zusammenspiel zwischen dem HA Mosquitto broker Addon und der HA Mosquitto broker MQTT Integration. Du hattest ja geschrieben das auch bei Dir beides unter HA läuft ("Stimmt genauso ist das bei mir."). Also kann es an ggf. unterschiedlichen IP-Bereichen auch nicht liegen.

Hast Du mal einen Blick in die Logs geworfen, ob da ggf. irgendwelche relevanten (Fehler-)Meldungen auftauchen? Relevant sollten/könnten die Logs vom Home Assistant Core, Supervisor, Host und Mosquitto broker sein.

Bei der HA Mosquitto broker MQTT Integration lässt sich ja auch nicht wirklich viel falsch einstellen.

MQTT_Broker_Optionen.png

Wenn die MQTT Daten richtig bei dem Mosquitto broker Server ankommen brauchst Du jedenfalls an/bei den Geräten nicht mehr nach Fehlern/Problemen suchen. Das Problem liegt dann irgendwo bei HA. Tja mehr kann ich dazu aus der Ferne leider auch nicht sagen.

Ich an Deiner Stelle würde jetzt bei Github erst einmal bei den bekannten Problemen suchen.

https://github.com/home-assistant/core/ ... 3A+mqtt%22
https://github.com/home-assistant/addons/issues

Sowohl bei den noch offenen, aber auch bei den bereits geschlossenen Problemmeldungen/-diskussionen. Mit dem Mosquitto broker gab es je nach Version immer mal wieder unterschiedliche Probleme in Verbindung mit HA. Wobei ich mit der Version 6.1.3 aktuell keine Probleme habe.

VG Jim

[Sebastian]

Wenn bei server was anderes steht ...... könnte das der fehler sein?

Screenshot_20230225_115233_Home Assistant.jpg (222.05 KiB) 4662 mal betrachtet

Muss da eventuell auch core-mosquitto stehen wie in deinem Bild?

[Jim_OS]

Nein das sollte auch mit der IP Angabe funktionieren.

Add the MQTT integration, then provide your broker’s hostname (or IP address) and port and (if required) the username and password that Home Assistant should use.

Bei mir ist die Erst-Install. jetzt rund 2 Jahre her und ich bin mir ziemlich sicher das ich damals da auch die IP angebenen habe. Wann und wodurch das dann zu core-mosquitto geändert wurde weiß ich nicht.

OK fangen wir noch einmal von vorne an. Das was sehr seltsam ist und was irgendwie nicht passt, ist das Du im MQTT Explorer verschiedene Geräte siehst die MQTT Daten an den Mosquitto broker Server (HA Mosquitto broker Addon) senden, aber die HA Mosquitto broker MQTT Integration dann nur ein Gerät anzeigt. Das kann eigentlich nicht sein.

Also gib hier noch einmal genau und geordnet an welche Geräte und Software wo laufen/läuft und welche IPs die Geräte nutzen.
Beispiel:
HA Mosquitto broker Addon läuft auf Raspi mit der IP ....
HA Mosquitto broker MQTT Integration läuft auf Raspi mit der IP ....
Was ist das für ein Gerät was aktuell von der HA Mosquitto broker MQTT Integration erkannt wird und welche IP hat das.
Welche Geräte senden sonst noch MQTT Daten an das HA Mosquitto broker Addon (den Server) und welche IPs haben diese.
Hast Du irgendwo im LAN irgendwelche "Blocker" (Firewall usw). am laufen die die Kommunikation der Geräte/Software untereinander blocken könnte.

Wie gesagt kann es irgendwie nicht sein das der MQTT Explorer alle Geräte die Daten an das HA Mosquitto broker Addon senden erkennt, aber die HA Mosquitto broker MQTT Integration erkennt dann nur ein Gerät. Auch da die Erkennung durch die Voreinstellung ja automatisch erfolgt (MQTT discovery is enabled by default). D.h. solltest Du da nicht irgendwelche manuellen Änderungen vorgenommen haben, sollte das alles automatisch erfolgen.

HA Mosquitto broker Addon installieren und konfigurieren.
Unter HA einen User für MQTT anlegen.
HA Mosquitto broker MQTT Integration installieren und die Daten (IP, Port, MQTT Username und Passwort für den Mosquitto broker Server eingeben)
Bei den Geräten ebenfalls IP, Port, MQTT Username und Passwort für den Mosquitto broker Server eingeben.
Fertig

Da lässt sich eigentlich nicht viel falsch machen.

Ach so, was das probieren und die Tests betrifft: Bei (entsprechenden) Veränderungen muss auch immer mal wieder der ein oder andere Neustart gemacht werden. Sowohl was das HA Mosquitto broker Addon betrifft, als ggf. auch einen kompl. Neustatt des HA Host. Vieles erfolgt zwar dynamisch, aber machmal braucht es auch den ein oder anderen Neustart.

VG Jim

[Sebastian]

Habe nen Raspberry PI 4 mit 4 GB. RAM. Aif dem HA installiert ist.
Mit der internen IP: 192.168.178.132

Auf dem ist das HA Mosquitto broker Addon
Und
HA Mosquitto broker MQTT Integration

Es wird mein Asus Laptop erkannt Auf dem ich extra dafür die Hass.Agnet Software installiert habe.
Der hat die IP: 192.168.178.4 (egal ob im 2.4 oder 5 WLan Netzt, extra getrennt bei mir, und auch auf beiden zu netten wird er erkannt.)

Momentan habe ich nur das Fire HD mit Fully Kiosk
Mit der IP: 192.168.178.9 welches sendet aber nicht als Gerät erkannt wird.

Den Ahoy ESP
Mit der IP: 192.168.178.10 (muss da nachher nochmal nachsehen, könnte auch 11 sein)

Der PI ist über duckdns mit zertifiziertem ssl Zertifikat von Let's encrypt auch außerhalb erreichbar.
Gestern auch mal aus der YAML den Zusatz rausgeworfen, sodas er nur noch lokal erreichbar ist. Hat auch kein Erfolg gebracht.

[Osorkon]

Ich bin ja ein absoluter MQTT Anfänger.
Aber damit die MQTT Geräte automatisch erkannt werden, muss MQTT Dicovery aktiv sein und die die Topics müssen die Daten nach einem Standard Schema bereit stellen.

Ansonsten kannst Du ja über die MQTT Integration auch manuell Deine MQTT Geräte zu HA hinzufügen.

Gruß
Osorkon

[Sebastian]

Aber damit die MQTT Geräte automatisch erkannt werden, muss MQTT Dicovery aktiv sein

Wo muss das denn eingestellt werden?

[Jim_OS]

@Sebastian OK also sind alle Clients und Geräte im gleichen IP-Bereich. Dann wäre das schon mal geklärt. Was ist mit den Logs? Insbesondere das HA Mosquitto broker Addon Log/Protokoll. Tauchen dort An- und Abmeldungen von Geräten auf, also etwas in der Art wie z.B.

Code: Alles auswählen

2023-02-24 12:07:29: New connection from 192.168.178.4:64122 on port 1883

Oder auch z.B.

Code: Alles auswählen

2023-02-24 08:59:13: New client connected from 192.168.178.xxx:40160 as mqtt-explorer-9063d52a (p2, c1, k60, u'MQTTUser').
2023-02-24 08:59:46: Client mqtt-explorer-9063d52a disconnected.

wenn sich der MQTT Explorer mit dem HA Mosquitto broker Addon verbunden hat(te)?

Hast Du nachträglich noch irgendwelche Veränderungen bzgl. MQTT vorgenommen, also z.B. irgendwelche Einträge in der configuration.yaml? Dort sollte es standardmäßig keinerlei Einträge bzgl. MQTT geben. Edit: Früher war das mal anders.

Was Du natürlich auch versuchen könntest ist das HA Mosquitto broker Addon und die HA Mosquitto broker Integration kompl. zu löschen und noch einmal von vorne zu beginnen. Also alle was mit MQTT zu tun hat löschen, den HA Host neu starten und MQTT kompl. neu einrichten. Es wäre einen Versuch wert und so groß wäre der Aufwand ja auch nicht.

@Osorkon Das MQTT Dicovery ist standardmäßig ja aktiviert. Daher ja mein Hinweis.

Auch da die Erkennung durch die Voreinstellung ja automatisch erfolgt (MQTT discovery is enabled by default). D.h. solltest Du da nicht irgendwelche manuellen Änderungen vorgenommen haben, sollte das alles automatisch erfolgen.

VG Jim

[Sebastian]

Bin grad wieder unterwegs.

Im log steht

Code: Alles auswählen

2023-02-25 13:26:45: New connection from 172.30.32.2:60538 on port 1883. 2023-02-25 13:26:45: Client <unknown> closed its connection. 2023-02-25 13:28:45: New connection from 172.30.32.2:47712 on port 1883.

In der YAML config. Steht

Code: Alles auswählen

mqtt: !include mqtt.yaml

Code: Alles auswählen

# Fire HD
  sensor 
    - name:  "Bewegungsmelder"
      unique_id: bewegung
      state_topic: "full/4"
      value_template: '{{value_json.type}}'

Ich weiß net mehr genau was ich da wann gemacht habe. Denke ich sollte alles mal löschen und neu drauf machen.
Hatte gehofft geht ohne

[Jim_OS]

Naja dann wirst Du wohl selber etwas in die mqtt.yaml ausgelagert haben.

Der Log-Eintrag mit der IP 172.30.30.2 könnte der Supervisor sein, der nachschaut ober der MQTT Broker noch "lebt". Also nichts was mit Deinem Problem zusammenhängt, oder über das man sich Sorgen machen müsste.

Allerdings müsste es in dem Log auch noch Einträge zum MQTT Explorer geben, so wie in meinem zweiten Code-Beispiel zu sehen ist. Wenn es die Einträge nicht geben sollte wäre das schon wieder irgendwie komisch.

Das mit dem Sensor-Eintrag ist auch kein Problem, bzw. hat keine Auswirkungen auf MQTT.

Ich denke auch das ein sauberer Neuanfang mit MQTT (in dem Fall) die einfachere Lösung sein könnte. Insbesondere weil man sich ja oftmals eh nicht mehr an alles erinnern kann was man mal wie und wo ggf. geändert, oder zusätzlich gemacht hat. Es ist ja nicht so das Du durch einen Neuanfang unzählige MQTT Geräteeinbindungen und alles was damit zu tun hat (Automatisierungen, Skripte) verlieren würdest, sondern aktuell hast Du ja noch gar nichts am Start.

VG Jim

[Sebastian]

Das würde dann so aussehen das ich über HA das Addon lösche sowie die integration. Den Rest lass ich alles so oder muss da noch was gemacht werden damit es komplett gelöscht ist.

[Jim_OS]

Ich weiß ja nicht was Du in die mqtt.yaml ausgelagert hast, aber bei einer Standardinstallation ist die nicht notwendig und es braucht auch keinerlei Einträge für MQTT in der configuration.yaml. Zumindest gibt es bei mir keine mehr. Früher waren noch Einträge in der configuration.yaml nötig.

Ja alles was mit MQTT zu tun hat löschen. Vorher ein Backup machen für den Fall das Du ggf. doch irgendetwas anderes vergessen hast, was ggf. noch dringend benötigt wird. So das es Notfalls noch ein zurück gibt.

Nach dem entfernen den Host kompl. neu starten - nicht nur ein HA Neustart - und dann erst einmal im Log schauen ob da irgendetwas ggf. Relevantes angemeckert wird. Wenn nicht dann das HA Mosquitto broker Addon und die HA Mosquitto broker Integration wieder neu installieren und standardmäßig einrichten. Dann die Verbindung zu dem HA Mosquitto broker Addon, sprich dem Mosquitto broker Server, per MQTT Explorer testen und dann sehen ob Geräte MQTT Daten zu dem senden. Sofern nicht vorher eh schon Geräte bei der HA Mosquitto broker Integration auftauchen.

Ich drück Dir die Daumen das alles klappt.

VG Jim

[Sebastian]

Habe jetzt alles gelöscht.
Addon
Integration
Auch MQTT-EXPLORER
In der config das include mit # raus genommen sowie den ganze Ordner.
Danach mehrmals den ganzen Raspi neu gestartet.
Muss da noch mehr gelöscht werden? Denn jedesmal wird mir angezeigt das was neues gefunden wurde.
MQTT Integration. Das düfte doch so gar net sein oder ?

[Sebastian]

Es lag an der nicht genutzten Tasmota Integration.

Nachdem die auch entfernt wurde alles neu gestartet und tada der Stick wird erkannt. Ich danke dir für deine Geduld.

Vll kannst du mir noch bei was anderem helfen.
Theoretisch ist es auch möglich über MQTT dem Wechselrichter neue Power Limits zu zuschicken. Wie könnte man dieses umsetzen?
Mir werden nur die ganzen Sensoren angezeigt ... allerdings nichts womit ich etwas einstellen könnte.

[Andreas]

Es lag an der nicht genutzten Tasmota Integration.

Das ist ja krass! Hattest Du die ganz normal als Integration laufen oder war die noch installiert, aber deaktiviert?
Und ich wundere mich die ganze Zeit, warum meine Shelly an den MQTT Explorer Funken, ich sie aber im Mosquitto Broker nicht sehe. Scheint dann wohl nur das Eine oder das Andere zu gehen.
@Jim_OS Kann ich dann, wenn ich jetzt alles mit den "Shelly-Entitäten" eingerichtet habe, bei den Shelly MQTT abschalten? Ich denke dann wäre da auch weniger Funkverkehr.
Gruß, Andreas

[Jim_OS]

Moin,

auch für Tasmota Geräte gilt natürlich: Es kann nur einen Herrn geben. Bei der HA Tasmota Integration ist das Discovery auch standardmäßig auf enable eingestellt, d.h. sobald die HA Tasmota Integration ein Tasmota Gerät in LAN entdeckt gibt es die übliche HA Meldung "Neues Gerät entdeckt ..." und unter HA Geräte und Dienste taucht die Tasmota Integration auf. Dort muss sie aber noch manuell aktiviert/eingebunden werden. Macht man das nicht sollte sie eigentlich bei der HA Mosquitto broker MQTT Integration auch nicht "dazwischenfunken".
Und - wie ich ja auch schon erwähnt hatte, sollte bei dem Tasmota Gerät dann auch Setoption19 1 für MQTT aktiviert sein.

@Sebastian Ich gehe daher davon aus das bei Dir die HA Tasmota Integration aktiv war und dann ist klar das das Tasmota Gerät unter HA nicht (richtig) mit der HA Mosquitto broker MQTT funktioniert. Weil - wie gesagt: Es kann nur einen Herrn geben.

Was den Hoymiles WR betrifft: Wie gesagt kenne ich den nicht weiter. Eben so wenig wie das Ahoy DTU Modul. Bei mir ist ein Growatt WR im Einsatz. Daher kann ich Dir nicht sagen welche Daten und Steuerbefehle dann bei dem Hoymiles über den Bus (Modbus, eBus, USB ...) übertragen werden, bzw. möglich sind. Dazu müsste dann hier jemand anderes etwas schreiben, oder Du musst mal an anderer Stelle suchen. Das PV-Forum wäre da z.B. eine Anlaufstelle: https://www.photovoltaikforum.com/threa ... /?pageNo=1

@Andreas
Wenn Du die HA Shelly Integration benutzt braucht es kein MQTT, d.h. Du kannst MQTT im WebGUI des Shelly unter den Developer Settings deaktivieren.

VG Jim

[Jim_OS]

Ich schrieb ja auch schon das ich die HA Tasmota Integration nicht nutze, denn warum sollte ich mir diese zusätzlich installieren, wenn ich sie nicht brauche.

Witzigerweise hat sich das seit heute geändert.

Bedingt durch ein paar Änderungen in der Tasmota Firmware bzgl. der Templates und durch ein Update auf HA Core 2023.2.x und darin veränderten Werte bzgl. state_class, device_class usw., kam es jetzt (bei mir) bei HA zu einigen Fehlermeldungen durch die core-mosquitto MQTT Integration und der darin vorhanderen Tasmota Geräte. Sprich es wurde angemeckert das einige Sensor Klassen die Tasmota liefert/benutzt nicht mehr den Vorgaben von HA entsprechen würden.

Da ich keine Lust hatte div. manuelle Änderungen bei den Tasmota Sensoren vorzunehmen, habe ich heute meine Tasmota Plugs auf die Tasmota Integration umgezogen und darüber eingebunden.

Tasmota_Integration.png

Abgesehen von dem setoption19 0 Befehl in der Tasmota Console braucht im WebGUI des Tasmota Gerätes ja nichts geändert werden. Im Anschluss tauchen alle Tasmota Geräte bei der Tasmota Integration auf und sind darüber eingebunden. Bei der core-mosquitto MQTT Integration müssten/sollten sie dann noch manuell gelöscht werden, damit die ganzen, dann nicht mehr vorhandenen Entitäten, auch gelöscht werden.

Für alle Tasmota Geräte gibt es durch den Wechsel natürlich neue Entitäten, sodass die alten Entitäten - z.B. in irgendwelchen Automatisierungen, Skrpten usw. - nicht mehr funktionieren. Aber das dürfte wohl eh klar sein.

Bisher laufen alle meine Tasmota Plugs reibungslos und ohne Fehlermeldung. Akuell unter:
Home Assistant 2023.2.5
Supervisor 2023.01.1
Operating System 9.5
Tasmota Firmware 12.4.0

Tasmota_Integration_Beispiel.jpg

Der MQTT und WiFi Connect Count sind ganz praktisch. Die beiden Werte gab es bei der einfachen Einbindung per core-mosquitto MQTT Integration glaube ich nicht.

VG Jim

[Andreas]

Warum ist der MQTT Connect Count gut? Und was hat es damit auf sich. Ich habe Dich so verstanden, dass Du im Tasmota-Gerät MQTT deaktiviert und in HA das Addon gelöscht hast. Habe ich das falsch verstanden?
Gruß, Andreas

[carsten_h]

Witzigerweise hat sich das seit heute geändert.

Ich dachte das wäre noch lange hin.

Bei der core-mosquitto MQTT Integration müssten/sollten sie dann noch manuell gelöscht werden,

Das musste ich damals vor zwei Jahren nicht machen, da ist alles automatisch aus Mosquitto verschwunden.

[carsten_h]

Dass Du im Tasmota-Gerät MQTT deaktiviert und in HA das Addon gelöscht hast.

Nein, das Mosquitto Add-On benötigt man weiterhin. Irgendwer muß ja die Pakete empfangen. Jedenfalls habe ich bis auf setoption19 0 damals nichts an der Konfiguration der Geräte geändert. Die tauchten dann sofort in der Tasmota Integration auf und wurden in Mosquitto gelöscht.

[Andreas]

Und die ganzen MQTT- Einstellungen, zum Beispiel in meiner Tasmota- Steckdose muss ich auch aktiviert lassen?
Gruß, Andreas

[Jim_OS]

Ich dachte das wäre noch lange hin.

Ja das war jetzt eine richtige Steilvorlage.

Seit rund 2 Jahren lief bei mir die core-mosquitto MQTT Integration allein eigentlich vollkommen problemlos, aber durch die Updates die ich in letzter Zeit gemacht habe und durch die Änderungen bei Tasmota und HA, tauchten dann vor eine Weile die Warmmeldungen im HA-Log auf. Also z.B.:

Code: Alles auswählen

Entity sensor.link12_energy_reactivepower (<class 'homeassistant.components.mqtt.sensor.MqttSensor'>) is using native unit of measurement 'VAr' which is not a valid unit for the device class ('power') it is using; 

Entity sensor.link12_energy_total (<class 'homeassistant.components.mqtt.sensor.MqttSensor'>) is using native unit of measurement 'kWh' which is not a valid unit for the device class ('power') it is using;[

Usw.

Die Aussage dazu war dann: Tasmota sends in incorrect values. This is not an Home Assistant issue, but an issue with Tasmota. Also das alte "Hase und Igel Spiel": HA ändert etwas und alle anderen müssen nachziehen.

Daher habe ich dann Nägel mit Köpfen gemacht und auf die Tasmota Integration umgestellt, in der Hoffnung das diese bei den nächsten HA-Änderungen - die ja sicherlich kommen werden - direkt bei dem HA-Update mit angepasst wird.

BTW: Bei dem März Update gibt es bereits wieder Änderungen bei MQTT Sensoren.

Code: Alles auswählen

MQTT
The behavior for receiving values on sensors that expect numeric* values has changed.

A 'None' value or a value rendered to 'None' will set such a sensor to an unknown state.
Empty values on such sensors ('') are ignored and will not affect the state of the sensor.

Integrations need to be corrected to send the correct values if an update is published and no valid update value is available for the sensor.

Other sensors that do not expect a numeric value will still accept an empty string as a value.

* Sensors expect numeric values if at least one of the following applies:

    A device_class is set but is not a date, timestamp, enum, or any custom device class.
    A state_class is set.
    A unit_of_measurement is set.
    A suggested_display_precision is set.

@Andreas
Die zweite Frage hat Dir @carsten_h ja schon beantwortet, sprich natürlich wird MQTT auch weiterhin gebraucht. https://www.home-assistant.io/integrations/tasmota/

Was Deine erste Frage betrifft: Durch die Counter kann man halt direkt auf der Übersichtsseite des Device per Zahl sehen wie oft eine Verbindung zu MQTT und WiFi aufgebaut, bzw. halt ggf. verloren wurde. Wenn also z.B. ein Tasmota Device häufig die Verbindung verlieren sollte kann man das auch anhand der Counter-Zahl sehen.

HA_WiFi_Connect_Count.png

Bei der Einbindung nur per core-mosquitto MQTT Integration gab es diese Anzeige (bei mir) nicht. Da gab es nur Status Verfügbar oder Nicht verfügbar.

core-mosquitto MQTT Integration.png

Edit: Da sich das mit Deinem Posting überschnitten hat: Ja alle MQTT-Einstellungen im WebGUI der Tasmota Steckdose bleiben unverändert.

VG Jim

[Jim_OS]

Bei der core-mosquitto MQTT Integration müssten/sollten sie dann noch manuell gelöscht werden,

Das musste ich damals vor zwei Jahren nicht machen, da ist alles automatisch aus Mosquitto verschwunden.

Das scheint jetzt anders zu sein. Ich habe eben angefangen weitere Tasmota Steckdosen (hier z.B. die Tas_SD_09) von der core-mosquitto MQTT Integration auf die Tasmota Integration umzuziehen. Auch wenn diese dann per Tasmota Integration eingebunden sind,

Tas_Tas.png

sind sie weiterhin bei der core-mosquitto MQTT Integration vorhanden

Tas_MQTT.png

und die Entitäten werden dann dort als fehlend angezeigt.

Tas_MQTT_Entität.png

Das ist auch nach einem HA-Neustart noch der Fall, sprich auch dann sind sie bei der core-mosquitto MQTT Integration noch vorhanden. Wie es nach einem Host-Neustart aussieht weiß ich im Moment nicht, aber ich meine das das dann auch noch so ist.

VG Jim

[Andreas]

Ich habe heute auf meine Geräte die aktuelle Tasmota-Version 12.4.0 gebracht. In der MQTT-Integration wird allerdings bei Firmware 11.0.0(tasmota) angezeigt. Wie kommt das zu stande?
Gruß, Andreas

[Jim_OS]

Moin

Ich kann Dir nicht sagen warum das jetzt so ist, aber das war bei mir auch der Fall. Scheinbar gab es auch da Änderungen bei HA, sodass die Daten bzgl. Firmware-Version jetzt anders übergeben werden müssen. Ob es dafür eine Lösung gibt kann ich Dir nicht sagen, da ich ja inzwischen auf die HA Tasmota Integration umgestellt habe. Bei der HA Tasmota Integration wird die richtig Firmware-Version angezeigt.

VG Jim