Der heute zu Madiswil gehörende Ortsteil Kleindietwil lässt reiche historische Vergangenheit vermuten. Die aus dem 8./9. Jahrhundert stammende Holzburg auf dem „Schlosshoger“ im Hunzenwald gehört nach Ansicht der Fachleute zu den besterhaltenen mittelalterlichen Refugien oder Fliehburgen. Der Burggraben mit dem Befestigungswall sowie die Zisterne (im Belagerungsfall mit Wasser gefüllt) sind sehr gut erhalten geblieben.
Kleindietwil gehörte ursprünglich zur „Urpfarrei Rohrbach“, wo eine bereits 795 urkundlich erwähnte Kirche stand. Mitte des 9. Jahrhunderts wurde diese vom Kloster St. Gallen übernommen. 1435 wurde das Dorf an die Stadt Burgdorf verkauft. Im Gegensatz zu den umliegenden Dörfern lagen die kirchliche und die weltliche Macht nicht in denselben Händen: Abt und Edelknechte teilten sich in die staatliche Lokalgewalt und stärkten damit die Dorfautonomie erheblich.

Bis 1789 verwaltete die Vogtei Lotzwil die niedere Gerichtsbarkeit, während das hohe Gericht dem Landvogt von Wangen unterstand. In der Zeit der Helvetik (1798 – 1803) kam Kleindietwil an die Munizipalität Rohrbach, mit der es zum Distrikt Langenthal geschlagen wurde und 1803 zum Amtsbezirk Aarwangen gehörte.
Der Ortsname „Dietwil“ erschien urkundlich erstmals um 1316. Das Attribut „klein“ wurde erst im 15. Jahrhundert erwähnt. Der Doppelname der Ortschaft wurde zum ersten Mal in einer Thunstetterurkunde von 1485 mit „cleine diettwil“ bezeichnet.
Mit seinen rund 500 Einwohnern auf einer Fläche von knapp 3 km2 gehörte Kleindietwil zu den kleineren Gemeinden im heutigen Verwaltungskreis Oberaargau und war bis Ende 2010 eine eigenständige Gemeinde.

Wertvolle Bauten, zum Teil aus dem 17. Jahrhundert stammend, verleihen dem Ortsbild einen idyllischen Charakter. Der 500 – 800 m breite flache Talboden wird auf beiden Seiten durch die ansteigenden Hügelzüge Hunze-Buechberg und Chastelerberg-Schyne-Homattberg begrenzt. Der „Langete-Fluss“ durchquert das Dorf. Kleindietwil ist Ausgangspunkt für viele kurzweilige und gut markierte Wanderwege. Langenthal und Huttwil sind in wenigen Minuten mit der Bahn, dem Auto oder dem Velo erreichbar. Ab Bahnstation verkehrt ein Busbetrieb in die benachbarten Dörfer Ursenbach, Walterswil und Oeschenbach. Der Ortsteil Kleindietwil bietet verschiedene Einkaufsmöglichkeiten und ein vielseitiges Angebot an Gewerbe- und Dienstleistungsbetrieben.