Auch der Datenschutz ist ein heikles Thema in Bezug auf Sprachassistenten. Sie müssen ständig aktiviert sein, um das entsprechende Signalwort hören zu können. Manche Hersteller versichern zwar, dass Daten erst an den Server gesendet werden, wenn das Signalwort verwendet wurde, aber eine Kontrolle dieser Aussagen ist schwierig. Auch die deutsche Bundesbeauftragte für den Datenschutz, Andrea Voßhoff, hat schon ihre Bedenken geäußert.
Wenn die Daten erst einmal auf den Servern von Microsoft, Apple, Amazon oder Google landen, bleiben sie dort in der Regel auch. So werden sie für Marketingzwecke benutzt, um beispielsweise mithilfe von individualisierten Nutzerprofilen maßgeschneiderte Werbung anbieten zu können. Google ermöglicht es seinen Nutzern zumindest, sich auf myactivity.google.com die gesammelten Daten anzusehen und sogar wieder zu entfernen. Auch Amazon bietet in der Alexa-App das Löschen von Sprachdaten an.
Doch nicht nur die Hersteller der Sprachassistenten speichern Daten ab. Auch Drittanbieter, die mit den Sprachassistenten verbunden sind, sammeln Informationen. Hier ist das Löschen entweder gar nicht möglich oder weitaus komplizierter als bei den oben genannten Beispielen.
Für staatliche Behörden können Sprachaufzeichnungen ebenfalls interessant sein. In den USA wurde im Rahmen einer Mordermittlung Amazon zur Herausgabe von Alexa-Sprachaufzeichnungen aufgefordert. In Zukunft könnte es sogar möglich sein, dass Smart-Home-Technologie zur Überwachung eingesetzt wird. Abseits dieser orwellschen Dystopie könnten sich auch Kriminelle einen Zugang zu den entsprechenden Daten verschaffen. Da wird die verletzte Privatsphäre schnell zur Nebensache.