Gemini krijgt een steeds grotere rol in Android, maar de mogelijkheden blijven beperkt. Daar gaat verandering in komen zodra Gemini je apps kan besturen.
Lees verder na de advertentie.
Gemini bestuurt je apps: zo werkt het
Op steeds meer plekken kun je Gemini oproepen om dingen gedaan te krijgen. Of je nou de Google Assistent hebt vervangen, de Gemini-app opent of één van de vele speciale AI-tools op je Pixel-smartphone gebruikt. Toch zijn de mogelijkheden nogal beperkt, omdat Gemini in afgebakende hokjes blijft.
Daar gaat verandering in komen, want Google werkt aan een functie waarmee Gemini autonoom je apps kan besturen. Je geeft de AI dan een opdracht, waarna die zelf de juiste apps kan vinden, openen en gebruiken om die opdracht te voltooien.
Gemini heeft nu al wel extensies. Schakel je bijvoorbeeld de YouTube-extensie in, dan kan Gemini praten met YouTube en jouw persoonlijke informatie en content zien. Onlangs is ook Spotify toegevoegd aan de Engelse versie van Gemini op Android, zodat je bijvoorbeeld een persoonlijke afspeellijst via Gemini kunt aanzetten. Toch kan Gemini alleen met deze apps praten en ze niet gebruiken.
Wat zijn AI Agents?
In de eerste Developer Preview van Android 16 is nu een API gespot genaamd ‘app functions’. Dit zou Gemini AI Agent-achtige mogelijkheden geven. AI Agents kunnen zelfstandig zichzelf telkens nieuwe opdrachten geven om een doel te bereiken, terwijl we gewend zijn om AI telkens één opdracht te geven.
Deze ontwikkeling is niet iets voor de verre toekomst, want het gebeurt nu al. AI-bedrijf Anthropic heeft recentelijk ‘computer use’ uitgebracht voor zijn AI-model Claude. Deze tool is nog moeilijk te installeren en zit nog vol met fouten, maar in de basis werkt het: de AI bestuurt je muis, kan toetsen indrukken en zelfstandig apps openen. Precies zoals een mens een computer zou gebruiken.
OpenAI en Google werken ook aan deze technologie, maar de kans is natuurlijk groot dat Google zich niet op computers maar smartphones richt.
Wat kan ik ermee?
De mogelijkheden van de Google Assistent zijn beperkt, omdat elke functie geprogrammeerd moet worden. Met moderne AI-technologie zal Gemini op ten duur elke app op je smartphone kunnen besturen, omdat die de knoppen en teksten herkent. Het onderliggende AI-model weet dan wat de volgende actie moet zijn om een doel te bereiken.
Stel je voor dat je trek hebt, maar geen zin hebt om door Thuisbezorgd te scrollen. Vraag Gemini dan om een pizza met specifieke toppings te bestellen bij een restaurant dat binnen een half uur bezorgt en onder een specifieke prijs zit. Of je kunt Gemini straks in theorie vragen om jouw nieuwste foto te croppen en op Instagram te plaatsen met een reeks relevante hashtags.
Het zal ongetwijfeld nog even duren tot alles zo soepel gaat. De eerste testversie van ‘computer use’ van Anthropic is bijvoorbeeld nog erg traag en gedraagt zich vaak vreemd. Net zoals een chatbot dingen kan hallucineren, kan een AI op een computer of je smartphone irrationele acties doen.
Je wil natuurlijk niet dat de AI plots willekeurig bestanden gaat wissen om ruimte vrij te maken, of een recente selfie naar je ex stuurt. Maar het is duidelijk welke richting deze ontwikkeling op gaat en dat is iets om naar uit te kijken.
Aan de slag met Gemini
Sinds kort kan Gemini Live Nederlands praten, heb je het al geprobeerd? We vertellen je verder over alle verschillende soorten Gemini-modellen. Check ook onze Gemini-gids om er achter te komen wat je zoal met de Gemini-app kunt.
