根据题意可得:甲乙有的玻璃球的和:132+84=216(个);由和倍公式可得:乙现在的个数是:216÷(5+1)=36(个);甲现在的个数的:36×5=180(个);与原来的个数差是:180-132=48(个);平均每次少给的个数是:48÷16=3(个).答:平均每次甲要少给乙3个.故答案为:3.