1、追究的违法行为不同：追究行政责任的是一般违法行为，追究刑事责任的是犯罪行为;

2、追究责任的机关不同：追究行政责任由国家特定的行政机关依照有关法律的规定决定，追究刑事责任只能由司法机关依照《刑法》的规定决定;

3、承担法律责任的后果不同：追究刑事责任是最严厉的制裁，可以判处死刑，比追究行政责任严厉得多。

虽然依据《刑法》中的规定，不予追究刑事案件的犯罪嫌疑人、被告人刑事责任，但这并不能证明其一定是不构成犯罪。一般只有是情节显著轻微，同时造成的危害也不大的，那么可以不认定构成犯罪。在其他的情况下，一般是定罪但不予处罚，当然这里的处罚仅仅是指形式方面的。