Отделяясь от придворных образованием, он в то же время отличался редкой в современниках добросовестностью, отсутствием корыстолюбия и не относился к народу с обычной спесью. Москвичи любили его. Сохранился известный характеристический анекдот о постройке его дома. Старый, ветхий дом Артамона Сергеевича требовал большой перестройки, о чем не раз настаивал и Алексей Михайлович, вызываясь принять издержки по постройке на счет казны. Боярин, наконец, обещался перестроить, но решительно отказался от казенной помощи. Таким решением он поставил себя в затруднительное положение. В наличности денег не было, да и камня в ту пору тоже не оказывалось в продаже. И вот однажды утром на двор к нему въехало множество телег с камнями. Оказалось, что московские обыватели, стрельцы, торговые и посадские люди, узнав о его затруднении, собрали камни с могил своих отцов и поклонились ими боярину, отказавшись, разумеется, от всякой платы.
Пользуясь значением при дворе только по личному расположению царя, Матвеев, по кончине Алексея Михайловича, не мог выдержать борьбы со старой боярской придворной партией. И действительно, вскоре, не далее полугода по воцарении Федора Алексеевича, вследствие доноса сначала в корыстолюбии, а потом в чародействе, Артамон Сергеевич сослан был воеводствовать в Верхотурье, а потом в ссылку в Мезень.
Понятно, какую значительную поддержку могла оказать опытность Матвеева партии царицы Натальи Кирилловны, понятна поспешность, с какой был послан в Лухов за боярином Матвеевым стольник Алмазов, понятно, с каким нетерпением ожидала его приезда царица и понятна, наконец, торжественность его приема. Еще в Троицкой лавре он был встречен приветствием от имени царя Петра Алексеевича Юрием Лутохиным, а в селе Братовщине Афанасием Кирилловичем Нарышкиным от имени царицы.
Прибыв в Москву И мая, Матвеев нашел положение дел весьма опасным и неисправимым. Волнения стрельцов приняли громадные размеры, а неопытное правительство не только не принимало строгих и внушительных мер, но; напротив, робкою уступчивостью поощряло их к дальнейшим волнениям.
Соединившись с Грибоедовским полком, прочие стрельцы 30 апреля подали общую челобитную, в которой повторялись те же жалобы на притеснения своих полковников в недодаче им жалованья, с угрозой в случае отказа правительства расправиться самим. Вместо быстрого и беспристрастного расследования жалобы правительство поспешило отставить от должностей полковников, возбудивших жалобы, взыскать с них правежем удержанные будто бы ими деньги стрельцов и удалить нелюбимых стрельцами оружейничего боярина Ивана Языкова и братьев Лихачевых.