寻找果树行家，急需指点迷津

我家花园里去年秋天种了两棵3年树龄的美国桃杏树，今年4月初枝头上开满了花，现在结满了果，就连没有树叶子枝条上也都是桃杏，大小如红枣。我数了数，有一个枝条上竟然有20颗桃杏。
我现在最纠结的是：这两棵挂满果子的桃杏树要不要蔬一下果？我担心如果不蔬果，会把个头不大的桃杏树给挣死了。或者营养跟不上，结出来的桃杏成熟后品质口感都会差。我想蔬一下果，妻子坚决不同意。说让它们自由自在的地长吧。长着长着会优胜劣汰，出现生理性落果，让它自然淘汰吧。
现在全网寻找果树行家，急需给我指点迷津，给点科学的建议。
到底蔬不蔬果呢？不蔬果有什么坏处吗？