SmartHomeShop Docs

Voice Assistant Handleiding

UltimateSensor v2 heeft een ingebouwde microfoon, speaker en standaard local wake word ondersteuning voor lokale Home Assistant voice-assistant toepassingen.

Belangrijk: Deze handleiding is voor de gewone UltimateSensor v2. De UltimateSensor Mini v2 heeft geen microfoon of speaker en kan niet als voice-assistant satelliet worden gebruikt.

Kies Je Voice-opstelling

UltimateSensor v2 ondersteunt twee aparte voice-opstellingen:

Opstelling Home Assistant nodig Verwerking
Home Assistant Voice Ja Je gekozen Home Assistant voice pipeline
SmartHomeShop Cloud Voice Nee SmartHomeShop Cloud, met optioneel actuele internetzoekopdrachten

Beide opstellingen gebruiken het lokale wake word Okay Nabu. De firmware bepaalt welke opstelling je hebt: lokale firmware gebruikt Home Assistant Voice, cloudfirmware gebruikt SmartHomeShop Cloud Voice.

SmartHomeShop Cloud Voice

Cloud Voice is bedoeld voor gebruikers zonder Home Assistant voice pipeline. Je hebt geschikte UltimateSensor v2-cloudfirmware, een internetverbinding en een in de SmartHomeShop-app geclaimd apparaat nodig.

  1. Open Instellingen -> Cloud Voice in de SmartHomeShop-app.
  2. Schakel Cloud Voice in.
  3. Kies de antwoordstem. De assistent antwoordt in de taal waarin je spreekt.
  4. Schakel eventueel gespreksgeheugen, handsfree verduidelijkingen en actuele internetzoekopdrachten in.
  5. Zeg Okay Nabu, wacht op de luisterindicatie en stel je vraag.

Het wake word blijft lokaal. Na activatie wordt de gesproken vraag veilig naar SmartHomeShop Cloud gestuurd voor spraakherkenning, het maken van het antwoord en spraakuitvoer. Het antwoord wordt via de speaker van de UltimateSensor afgespeeld.

Vervolgvragen

Met gespreksgeheugen ingeschakeld onthoudt Cloud Voice maximaal zes recente vraag-en-antwoordrondes gedurende tien minuten.

Als Handsfree verduidelijkingsvragen aanstaat en de assistent niet correct kan antwoorden zonder één essentieel detail, stelt hij één korte vraag en luistert daarna automatisch naar je antwoord. Je hoeft niet opnieuw Okay Nabu te zeggen. Na acht seconden stilte sluit het luistervenster en na maximaal twee verduidelijkingsrondes stopt de handsfree vervolgmodus altijd. Voor normale nieuwe vragen en optionele vervolgvragen blijft Okay Nabu nodig.

Als je gespreksgeheugen uitzet, wordt ieder verzoek volledig los behandeld. Handsfree verduidelijkingen zijn dan ook uitgeschakeld, omdat de assistent anders de context van zijn eigen vraag niet kan onthouden.

Actuele Informatie en Internetzoeken

Met Internet doorzoeken voor actuele antwoorden ingeschakeld kan Cloud Voice automatisch zoeken naar veranderlijke informatie, waaronder:

  • openingstijden en restaurants in de buurt;
  • evenementen, nieuws en weer;
  • prijzen, openbaar vervoer en andere dienstregelingen.

Tijdloze vragen starten normaal geen zoekopdracht. Alleen zoekopdrachten die de assistent werkelijk uitvoert tellen mee voor het aparte dagelijkse en maandelijkse internetzoektegoed op de Voice-instellingen- en abonnementspagina. Bronlinks worden bij het verzoek opgeslagen en zijn voor SmartHomeShop-beheerders te controleren, maar URL's worden niet voorgelezen.

Actuele informatie kan toch onvolledig of verouderd zijn. Controleer belangrijke openingstijden, prijzen, reisinformatie en beschikbaarheid bij de oorspronkelijke aanbieder.

Vragen over de Buurt en Apparaatlocatie

Koppel de UltimateSensor in de SmartHomeShop-app aan een locatie voor vragen zoals “Welk restaurant bij mij in de buurt is open?”. Cloud Voice ontvangt dan:

  • de stad en het land van de locatie;
  • lengte- en breedtegraad afgerond tot ongeveer 100 meter.

De straatnaam en het huisnummer worden niet als AI-zoekcontext meegestuurd. De locatiecontext wordt alleen gebruikt als de vraag nadrukkelijk lokaal is of over iets in de buurt gaat. Zonder gekoppelde locatie vraagt de assistent je een locatie te koppelen of een stad te noemen, in plaats van te gokken.

Cloud Voice Instellingen

Op de Voice-instellingenpagina kun je:

  • Cloud Voice aan- of uitzetten;
  • een vrouwelijke of mannelijke antwoordstem kiezen;
  • tijdelijk gespreksgeheugen aan- of uitzetten;
  • handsfree verduidelijkingsvragen aan- of uitzetten;
  • actuele internetzoekopdrachten aan- of uitzetten;
  • de aparte Voice-verzoek- en internetzoeklimieten bekijken;
  • op ondersteunde betaalde abonnementen je eigen OpenAI API-key instellen.

Stel het luidsprekervolume per UltimateSensor v2 afzonderlijk in via Apparaten -> Bewerken -> Luidspreker. Het opgeslagen volume blijft na een herstart behouden en geldt voor Cloud Voice, gesproken meldingen en andere audio van het apparaat.

Cloud Voice- en internetzoeklimieten hangen af van het abonnement. Een eigen OpenAI API-key wijzigt wie de OpenAI-verwerkingskosten betaalt, maar de veiligheidslimieten van het abonnement blijven actief. Is de limiet bereikt, dan meldt de UltimateSensor dat met een gesproken bericht.

Wat Heb Je Nodig

  • UltimateSensor v2
  • Home Assistant met de ESPHome-integratie
  • Een ingestelde Home Assistant voice pipeline
  • Voor een volledig lokale voice pipeline: Whisper en Piper, of vergelijkbare Home Assistant voice-componenten. Het wake word draait al op het apparaat.

Home Assistant Voice Instellen

  1. Ga in Home Assistant naar Instellingen -> Spraakassistenten.
  2. Maak een assistent aan of bewerk een bestaande.
  3. Kies je conversation agent.
  4. Kies speech-to-text en text-to-speech opties. De UltimateSensor regelt het wake word zelf.
  5. Sla de assistent op.

Voor een lokale setup kun je de Home Assistant documentatie volgen: Home Assistant voice control.

Assistant Pipeline Kiezen op UltimateSensor v2

  1. Ga naar Instellingen -> Apparaten en diensten -> ESPHome.
  2. Open je UltimateSensor v2 apparaat.
  3. Zoek de assistant pipeline select-entiteit.
  4. Selecteer de Home Assistant voice assistant die je hebt ingesteld.
  5. Controleer of de Use Wake Word switch aan staat. Die staat standaard aan.

Entiteitsnamen kunnen verschillen per apparaatnaam en firmwareversie, maar ze staan normaal gegroepeerd onder je UltimateSensor v2 apparaat in Home Assistant.

Speaker, TTS en Alarmen

UltimateSensor v2 maakt een media player entiteit beschikbaar voor audio-output. Je kunt die gebruiken voor:

  • Text-to-speech mededelingen
  • Alarmgeluiden
  • Voice-assistant antwoorden
  • Lokale audiofeedback vanuit automatiseringen

Voorbeeld TTS-automatisering:

service: tts.speak
target:
  entity_id: media_player.ultimatesensor_v2_media_player
data:
  message: "Het CO2 niveau is hoog. Ventileer de ruimte."

Vervang de entity id door de media player entiteit die bij jouw UltimateSensor v2 zichtbaar is.

Led-indicaties

De drie leds aan de voorkant laten zien wat de voice assistant doet:

Leds Betekenis
Lichtblauw, lopend Wake word herkend
Blauw, langzaam pulserend Luistert
Paars, snel pulserend Denkt na
Groen Antwoordt
Rood Fout
Geel en wit, lopend Wacht op de verbinding met Home Assistant (lokale firmware)
Oranje, met een gesproken melding Wake word gehoord, maar geen voice-verbinding met Home Assistant (lokale firmware)

Bij het opstarten ademen de leds ongeveer 10 seconden wit, met een opstartgeluid. Dit zet je uit met de schakelaar Boot Sound & Animation.

Probleemoplossing

Wake Word Reageert Niet

  • Controleer of de Use Wake Word switch aan staat. Op cloudfirmware heet deze schakelaar Cloud Voice.
  • Zeg Okay Nabu. Dit is het enige wake word in de firmware en het draait op het apparaat, dus de pipeline heeft geen wake word engine nodig.
  • Plaats het apparaat niet te ver weg en niet naast constante geluidsbronnen.
  • Herstart de UltimateSensor v2 en de Home Assistant voice-apps.

Geen Audio Output

  • Controleer de UltimateSensor v2 media player entiteit in Home Assistant.
  • Controleer het volume van de media player.
  • Test eerst met een korte TTS-melding.
  • Controleer ESPHome logs op I2S- of media-player fouten.

Assistant Hoort Je Wel Maar Reageert Niet Goed

  • Controleer de ingestelde taal in de Home Assistant assistant pipeline.
  • Controleer of speech-to-text en text-to-speech services draaien.
  • Test met een kortere opdracht.

Privacy

Bij Home Assistant Voice loopt de verwerking via je Home Assistant-opstelling en kan alles volledig op je lokale netwerk draaien. Bij Cloud Voice worden audio, transcripties, antwoorden, beperkte gesprekscontext en optionele globale locatiecontext in SmartHomeShop Cloud verwerkt. Het Voice Improvement Program staat standaard aan: we bewaren dan de microfoonopname, het transcript, het antwoord en de gegenereerde spraak maximaal 30 dagen, en geautoriseerde SmartHomeShop-beheerders mogen die beluisteren en beoordelen. Je zet dit op ieder moment uit onder Instellingen -> Cloud Voice, waarna de bewaarde gegevens worden verwijderd. Bekijk de privacy-instellingen en het privacybeleid van de SmartHomeShop-app voordat je Cloud Voice inschakelt.

Gerelateerd