Yiddish: When God wants to punish an unbeliever, He gives him a pious wife.

SOURCE: Furman, Yidishe Shprikhverter un Rednsartn.  Compare:

.ווער אין גאָט ניט גלייבט זאָל באַקומען אַ פֿרום ווײַב
Ver in got nit gleybt zol bakumen a frum vayb.
He who does not believe in God should get a pious wife.

SOURCE: Bernstein, Jüdische Sprichwörter und Redensarten

אַז גאָט וויל שטראָפֿן אַן אַפּיקורס גיט ער אים אַ פֿרום ווײַב.

Az got vil shtrofn an apikoyres git er im a frum vayb.

When God wants to punish an unbeliever, He gives him a pious wife.