據日本媒體《週刊文春》報道，渡部建在與佐佐木希交往時就同時還和多名女性保持關係。17年4月結婚後，包括第二年9月長男出生後，他的生活態度也並沒有改變。
《週刊文春》採訪到渡部建出軌女性中的一位公司女職員，她表示自己與渡部建保持一週兩次的關係，在男方與佐佐木希結婚後也沒有分手，“總計應該超過了30次”。她透露兩人密會場所多在東京都港區的六本木新城，有時候渡部還會要求在地下停車場的廁所進行。渡部會説“到地下停車場的多功能廁所來。”“我們在電梯前會合，廁所關上的那一瞬間……”之後他也只指定六本木的廁所。在地下2~4層徘徊，確認了沒有人後發來指示“地下x層。馬上過來。”
該女性表示“他只是把我當性的發泄口吧。至少希望他能把我作為一個女性對待。”
渡部通過事務所承認出軌一事屬實，‘報道所説的我與女性保持的關係是由於我的不道德所致，深深傷害了我的家庭，給支持我的人帶來了麻煩，對此我深深反省。我已經向妻子説明並且謝罪，非常對不起。’
