1583年，利玛窦和罗明坚应肇庆府太守邀请到肇庆，太守感谢其进献多种礼物，因而指定太守府东河滨一块空地允许他们建造教堂居住。利玛窦初到中国，效仿佛家僧侣削发剃须，穿僧服。他还将教堂题名为“仙花寺”，中堂题“西来净土”四字。但渐渐地利玛窦发现僧侣在中国的社会地位并不高，中国社会中最受人尊敬的是儒士，儒士不但有学问，而且可以通过科举成为朝廷命官，成为社会上层。在这期间，利玛窦前往韶州，知遇儒士瞿太素。瞿太素出身名门，好游学，在儒士中颇有影响。在他的劝导下，利玛窦换去僧服，改着儒服，积极与中国儒士相交往。儒士大多勤学好问，利玛窦就将其在罗马初修院所学天文历法、数学、物理、化学，以及语言、逻辑等等知识向儒士讲解，还将所带来的各种天文仪器、机械物品向儒士们展示。这些他们闻所未闻的“奇谈”和见所未见的“奇物”使儒士们大开眼界，因此对利玛窦极为钦佩，称他为“学问大家”，一时间利玛窦美名远扬。
　　1582年－1600年间，利玛窦在肇庆、韶州、广州、南京、杭州等地活动。他积极和士大夫们交往，谈天论道，藉此传教。这种传教方法，后人称之“学术传教”。利玛窦在学术传教中结识的鸿儒很多，也确实以其新奇的西学吸引着这些人。在这期间，他写成《交友论》、《二十五箴言》、《畸人十篇》等著作。
　　1595年，利玛窦到南昌，知遇江西巡抚陆万垓，向他展示三棱镜、西国记数法和钟，并讲解西方书籍的内容，他还向当地学人讲解数学问题与日晷记时问题。同年，利玛窦在南昌与建安王、乐安王交好，并赠建安王一座卧钟、天球仪、一部《交友论》和另一部书，其中记有几幅地图、九幅天体轨道图、四种元素之组合，数学演示及对所有图画的说明。1598年，利玛窦到南京，晋接应天巡抚赵可怀，南京提学使陈子贞，与他们讨论数学问题，陈子贞请利玛窦制造历算仪器。在南京时，利玛窦所结交名人还有：魏国公徐弘基（徐达之后）、丰城侯李环、守备太监冯保、南京国子监司业焦竑，学者李贽、刑部侍郎王樵、礼部侍郎叶向高、国子监郭明龙、翰林荆岩、学者李心斋、文学家祝世禄等。南京吏部尚书关左海曾印行利玛窦修订的地图，贵州巡抚郭青螺（子章）依照利玛窦所画地图，集成《古今郡国名类》一书。
　　利玛窦在南京交友中最重要一人就是后来成为文渊阁大学士的徐光启。徐光启（1562—1633），字子先，吴淞（今上海）人，官至宰辅。1600年徐光启在南京做官，当时还未考取进士。徐光启结识利玛窦以后，对其所讲“格物穷理之学”极为赞叹。徐光启作为有识见的士大夫，已深刻认识到“清谈心性”之理学的空洞，明王朝的强盛，必需“经世治用”之实用。他与利玛窦学习、讨论天文历法、数学、测量等学问。在利玛窦等传教士的影响之下，徐光启于1603年入教，1604年入京会考，点为翰林庶吉士。徐光启到京之后，更与利玛窦研究西学，翻译著作，其中最重要的就是数学著作《几何原本》前6卷，该书于1607年译完并印刷，这部书对后来中国数学和科学的发展影响巨大。