1844年，马偕生于安大略省附近牛津郡的佐拉镇(Zorra)，他十岁时就决定要成为一名宣教士。起因是当年几位苏格兰宣教士，包括在中国宣教、著名的宾威廉(William C. Burns)在拜访佐拉镇时，启发了年轻的马偕。谈到这位儿时崇拜的英雄，他说：“家乡的人都尊重他，他的献身精神触动我年幼的心。主耶稣的吩咐：‘你们要往普天下去，传福音给万民听’使我成为十架精兵，一生热切要成为一名宣教士。”
这样的志向驱使马偕在多伦多诺士大学和美国普林斯顿神学院攻读神学，这两间学校都以训练宣教士闻名；另外，他又师从另一位儿时崇拜的英雄—印度宣教先锋亚力山大达夫(Alexander Duff)。达夫是苏格兰教会的第一位海外宣教士，他以教育为传福音的关键，在印度的30多年间不断推动高等教育的发展。1871年，加拿大长老会正式差派马偕为第一位到海外的宣教士，27岁的他马上启程前往台湾。
在那时马偕就已经被认为是有些古怪偏执的。有人形容他为“激进青年”；他则批评教会领导那些像是“冰河时期”的旧有想法。
1871年12月29日，马偕到达打狗(今天的高雄)。他得知台湾岛北部没有宣教活动，就决定以淡水为他的行动基地。淡水位在几乎是台湾岛的最北端，在台北市的西北部，是淡水河与台湾海峡交接的地区。马偕遵从达夫的建议，马上着手训练当地人做教导、讲道、传福音、带领所建立的堂会等等工作；他相信唯有本土的传道人才能真正有效地接触当地的人群。他也尽力避免把西方的宣教方法全盘应用在他的工作上。他坚信任何人若不考虑本土文化、语言、传统、甚至是天气的影响，反而以单一通用的方式来传福音，是“大错特错”的。他写道：“对一个福音工场合理且有效的方式，对另一个工场来说，可能是荒谬无效的。在欧美可以成功的方法，在亚洲可能会失败。”
马偕秉持着这样的信念，在台湾实行一个完全融合当地文化的生活。他很少与其他欧洲人接触，反倒是与当地的普通老百姓一起生活，向牧童学习本地方言，并用方言来与人交谈以及讲道。
即使如此，马偕还是免不了被当地人捉弄取笑。对于被人称为“洋鬼子”和“生番”，他已习以为常；被人报以不友善的眼光，甚至以生鸡蛋、粪便、石头等等来对付，也见怪不怪。其实，这些与马偕以及他的宣教同伴多年来所受的逼迫比起来是不足挂齿的。当他们进入村子里去传福音时，常会受到人身攻击，有几次马偕还险些严重受伤。反对基督教的人士追逼当地的传道和信徒、骚扰教会崇拜，还针对基督徒发动骚乱。1884年正值中法战争之时，马偕被迫撤离台湾，当地华人乘机攻击、虐待、杀害基督徒，还破坏他们建立的教堂。他返回台湾时泰然自若，要求赔偿，并重新建立石头筑成的教堂；这使得逼害者抱怨说：“我们阻止不了那个生番宣教士”。
马偕专心一意为主作见证的决心激励他面对无数的逼害与挑战。他到达台湾第一个月就带领第一个信徒严清华—一位知识青年，也是他的中文老师—接受基督，继而成为台湾第一位被按立的本地牧师。
马偕的传道工作还伴随着一项不寻常的事工：向村民讲道之余，他还为他们拔牙。他随身带着一些基本的工具和药物，尝试减轻村民的牙痛与热带区疾病所带来的痛苦。
不过，训练当地的传道人才是他的优先考虑。马偕开创巡回事工，结合外展布道和一间移动“神学院”，造就准备为主献身的青年。马偕常与他们在北台湾旅行，每次行程历时好几个月，向当地华人村民和原住民部落传福音。在旅途中，他都会授以学生神学以及通俗的知识，包括圣经、历史和科学。学生则教他中华文化，又帮助他改善闽南话的水平。过后，这许多的年轻人都继续建立或牧养各自的教会。
1882年，这项巡回事工演变为一个固定的长期事工，于是牛津学院正式落成。有赖马偕夫人张聪明的筹款成功，马偕家乡的支持者提供资金成立此院校，因此按牛津郡的名字命名，让马偕能教育更多本地学生。课程虽包括西方的通俗科目，但主要仍是教授实用神学与布道学。学生也有机会到福音未及的村落布道宣教；他们需要学习讲道，也要学会面对反对基督教的人。将来这些经验和技巧对牧会时，都是受用的。
马偕不屈不挠地专心布道和培训，终于有了回报。在巡回布道的最初几年，他在台湾内陆地区建立了多达7间教会，每星期有超过20位本地信徒从事教导和讲道的工作。1888年，教会数目增至16间；在他去世时，则有超过60间。
马偕在台湾三十多年，他许多引起争议的行径和异乎寻常的布道方法，最终证明是成功的。虽然张聪明与他的结合引起了不小的风波，但她成了优秀的事奉同工。1881年，他们回到加拿大，是张聪明筹募了六千多加币来建立牛津学院。当学院扩大成立女子寄宿学校时，张聪明则肩负舍监的责任，与其他年长妇女一起教导女学生。正如马偕预期的，她比任何从加拿大差派过来的妇女，更能带来实际的果效。
马偕一位助手的妻子贾米森(Annie Jamieson)说：“她(张聪明)就是知道该怎样与自己的人民相处。她不停训练女孩、帮助妇女、留意学生的需要、关心顾虑每个人(除了她自己以外)。工场上的信徒都认识她、敬爱她。”
马偕与张聪明生有三个儿女—一子二女—两个女儿都嫁给本地传道人。