人都有許多面相，日本的首任內閣總理伊藤博文也不例外。其中較少為人知、特別是對日本以外地區的人來說的面相，就是他異常的喜好女色。即便在那個仍允許三妻四妾的時代，他的這個面相也讓許多人無法接受。
其實他好女色在當時就已經相當出名，而且是玩了女人後棄之不顧，就像是拿著掃把掃進來再推出去，因此得了個「掃把」（箒）的綽號。
而成為２０２３年大河劇「衝上青天」主角的明治維新時代重要人物澀澤榮一，因為戲劇上為了教育意義不能宣揚太過負面的東西，其實也是個管不住下半身到超乎常軌的男人。
有許多外遇對象的澀澤榮一對此也不否認，但他有另一套說詞：我這些不良行為，都是受到伊藤博文與井上馨的影響。
其實澀澤榮一的確沒有說錯，伊藤博文的喜好女色遠遠超過其他人之上。
伊藤博文和第一任妻子離婚的原因，正是因為讓外遇對象懷孕。其實當時的日本妻子對於老公在外花天酒地，大多是睜一隻眼閉一隻眼的態度，甚至可能送些小禮物給外遇對象。有的時候，就乾脆讓老公取回家中當小妾。但能如此容忍的先決條件是不能「搞出人命」，因為讓對方懷孕，就代表著對外遇對象認真起來，而且會牽涉到繼承的問題，這往往是正宮最忌諱的事情。
而且只要是被伊藤博文看上的女人，不論對方是否已婚或是年紀多大，都會利用自己的權力，想盡辦法逼迫對方就範。因此和他發生過性關係的女人多到不可勝數，連他自己也不記得。據信是「千人斬」以上的程度。
比如說，在明治２０年（１８８７年）某日，於鹿鳴館舉行的假面舞會上，打扮成威尼斯紳士的伊藤看上了明治維新重要功臣之一的岩倉具規的三女戶田極子，竟然不顧極子的丈夫也在場，打算將極子帶到房間猥褻，逼得極子赤腳逃離現場。
伊藤在明治天皇面前有著沒有私財的清廉形象，這也是明治天皇賞識伊藤的原因之一，但這除了伊藤本來就是出身平民，素無家產以外，也跟他把錢都花在玩女人上不無關聯。因為花太多錢在女人身上，讓伊藤經常是無家可歸的狀態，據說也是如此，日本政府蓋了首相官邸，讓他居有定所。
也是因為玩女人太過火，以至於生前對他還算信賴的明治天皇都忍不住出口：「要不要節制一下女色？」。甚至後來要在紙鈔印製伊藤博文的頭像、遇刺死亡後要建立銅像時，明治天皇一度盛怒罵道：「怎麼會替品行這麼低劣的傢伙做這些？！」。
伊藤經常前往花街柳巷點藝妓陪宿，這也是他自豪的「手握天下權，醉臥美人膝」。在他去地方巡遊時，他往往不點一流的藝伎，而是專挑二、三流的藝妓。按照伊藤的邏輯來解釋是這樣的：「各地一流的藝伎，背後都有當地權貴撐腰。為了避免與這些人發生糾紛，還是別點一流藝伎為妙。」
傳聞他即使高燒到４０度，仍要兩名藝伎隨侍在側。
他也曾與大正天皇的姨丈柳原前光（其妹為大正天皇的生母）爭搶柳橋（當時東京有名的花柳街）十六歲的藝伎「涼（りょう，暫譯」，結果柳原前光成功將她納為側室，並生下了柳原白蓮。
宮武外骨（當時的諷刺記者）在他發行的一系列報刊中，多次以戲謔手法將伊藤描繪成好色之徒的代表。
最驚人的是，據說他是第一個在汽車上發生性行為的日本人。
