为了使柴油机正常运转并散去燃油供给系统燃烧产生的大量热量，需要使用冷却水进行循环散热。目前，城乡普遍使用井水或自来水作为柴油机冷却水。然而，这种做法并不理想。
井水和自来水中含有大量矿物质，其中钙盐和镁盐的危害最大。含有大量钙盐和镁盐的水被称为“硬水”，而含有少量或不含钙、镁盐的水则被称为“软水”。水的硬度可分为“暂时硬度”和“永久硬度”。当井水或自来水装进柴油机水箱后，长时间运行导致水温升高至沸腾，水中会分解产生不溶于水的沉淀物，附着在冷却系统的水道、缸头、缸套等内壁上，形成水垢。冷却系统中的水垢会严重影响机体散热，导致机体温度过高、进气不良、功率下降，甚至造成润滑不良、零部件散热不匀，引发“飞车”、缸头、缸套破裂等严重事故。
例如，江苏阜宁县吴滩镇在2000年4月至2001年3月24日期间，曾发生过因农机手长期使用自来水作为冷却水且未及时清洗冷却系统内壁水垢，导致机体高温膨裂1台，缸头、缸套咬死2台，经济损失达1500多元的案例。
因此，城乡自来水、井水以及含钙盐、镁盐较多的山涧水、泥砂浆水都不能直接用作冷却水，应使用清洁的河水、雨水或雪水。如一时没有清洁水源，可将井水或自来水煮沸沉淀冷却后使用，以去除水中的硬度物质。如冷却系统中已产生大量水垢，可在技工指导下，使用25%的盐酸溶液注入水道，放置10分钟后放净，重复数次后用清水彻底洗净，以防盐酸残留腐蚀金属部件。