ขณะเดียวกัน ภาษีหนักหน่วงที่ราชสำนักเรียกเก็บเพิ่มขึ้นสามเท่า ในที่สุดก็ตกลงบนศีรษะของตระกูลหลี่
ตระกูลหลี่มีที่นาและทรัพย์สินอยู่ไม่น้อย ทว่าคราวนี้เมื่อภาษีเพิ่มขึ้นสามเท่า ประกอบกับผู้อาวุโสในตระกูลต่างซ่อนทรัพย์สินของตนด้วยความเห็นแก่ตัว ไม่ยอมควักเงินส่วนตัวออกมา ภาษีทั้งหมดจึงถูกเฉลี่ยไปยังญาติร่วมตระกูลธรรมดาของแต่ละสาย
ชั่วขณะนั้น บ้านเก่าของตระกูลหลี่ทั้งหลังจมอยู่ในความหวาดกลัวและความวุ่นวาย
หลี่เสวียนชางเป็นนายสิบประจำด่านชายแดน อีกทั้งมีผลงานทางทหารติดตัว ตามกฎหมายสามารถคุ้มครองตระกูลให้ลดหรืองดเว้นภาษีได้
เพียงเขายื่นเอกสารคุ้มครองตระกูลต่อทางการ ตระกูลหลี่ทั้งตระกูลก็จะได้รับการยกเว้นภาษีโหดร้ายไปกว่าครึ่ง ไม่ต้องทนทุกข์จากการเร่งรัดเก็บภาษี
ทว่า ตั้งแต่คราวที่ตระกูลหลี่ตกอับ ตระกูลหลี่ก็ถูกตระกูลหลี่ขับออกจากสารบบตระกูลต่อหน้าสาธารณชน ตัดขาดความสัมพันธ์ในตระกูล เหล่าผู้อาวุโสเอาแต่มองดูอย่างเย็นชา ปล่อยให้ตระกูลหลี่ถูกรังแกจนสาสม ไม่เหลือเยื่อใยแม้แต่น้อย
ตั้งแต่ต้นจนจบ หลี่เสวียนชางไม่เคยยื่นเอกสารคุ้มครองตระกูลหลี่ต่อทางการแม้แต่ฉบับเดียว และยิ่งไม่เคยแจ้งทางการแม้แต่ครึ่งคำ
ทางการทั้งเมืองชิงหยางล่วงหน้ารับรู้ความสัมพันธ์ระหว่างหลี่เสวียนชางกับตระกูลหลี่ผ่านข่าวสารทางทหารและการติดต่อไปมาของเจ้าหน้าที่ ย่อมไม่มีทางมอบสิทธิพิเศษใด ๆ ให้ตระกูลนี้ก่อน
เจ้าหน้าที่เก็บภาษีและเจ้าหน้าที่ศาลาว่าการเมืองของเมืองต่างพากันกรูเข้าไปในศาลบรรพชนตระกูลหลี่
ไม่มีความเกรงใจแม้แต่น้อยในฐานะตระกูลทหารอีกต่อไป ตลอดทางพวกเขามีสีหน้าเย็นชา ท่าทีแข็งกร้าว ปฏิบัติต่อพวกเขาไม่ต่างจากราษฎรทั่วไป ซ้ำยังเข้มงวดยิ่งกว่าเสียอีก
“สมาชิกตระกูลหลี่ทั้งหมดจงฟังคำสั่ง ภายในสามวันต้องชำระภาษีทั้งหมดให้ครบ ขาดแม้แต่หนึ่งอีแปะ ก็จะยึดที่นาของตระกูลและใช้คนในตระกูลชดใช้ความผิด”