diff --git a/lib/natural/stemmers/stemmer.js b/lib/natural/stemmers/stemmer.js index f1c2d1777..12f4cca59 100644 --- a/lib/natural/stemmers/stemmer.js +++ b/lib/natural/stemmers/stemmer.js @@ -40,11 +40,21 @@ module.exports = function() { stemmer.tokenizeAndStem = function(text, keepStops) { var stemmedTokens = []; - - new Tokenizer().tokenize(text).forEach(function(token) { - if(keepStops || stopwords.words.indexOf(token) == -1) + var lowercaseText = text.toLowerCase(); + var tokens = new Tokenizer().tokenize(lowercaseText); + + if (keepStops) { + tokens.forEach(function(token) { stemmedTokens.push(stemmer.stem(token)); - }); + }); + } + + else { + tokens.forEach(function(token) { + if (stopwords.words.indexOf(token) == -1) + stemmedTokens.push(stemmer.stem(token)); + }); + } return stemmedTokens; };