Händelsen inträffade i en livsmedelsbutik i Mjölby den 29 augusti förra året. Enligt åklagaren gick 71-åringen fram till en kvinna och sade med hög röst att hon skulle prata svenska med sina två barnbarn. Mannen ska även ha sagt att de var "bidragstagare" och skulle "åka tillbaka till sitt hemland".
Ett vittne som såg och hörde det inträffade valde att konfrontera mannen och ringa polisen.
71-åringen har nu åtalats för ofredande. I förhör har han nekat till brott.
– Jag bad att de skulle prata svenska med barnen så de lärde sig det. Det var ett tips, säger den åtalade i förhör.