1、白丁泛指平民，白是白色，丁是男性人口的意思。

2、刘禹锡的《陋室铭》中出现过白丁这个词，刘禹锡处于陋室所交往的人是“鸿儒”而不是“白丁”。从句式上看，一有一无是对着写的，“白丁”，本是指平民，这并不是说他不与平民交往，

3、这里应是指没有什么学问的人。那么，这两句就是互文的句子，合在一起，全句的意思是只与有学问的人谈笑往来。