最开始，在中文里不叫“棒子”，而是叫“帮子”。即朝鲜语里对仆人、杂役的称呼
明清两朝，朝鲜是中国的藩属国。乾隆三十年，朝鲜使臣洪大容作为“三节年贡兼谢恩使”成员，随团赴京。春节期间，他到北京南城大栅栏的戏园看戏，回来写在日记里，后来收录进《燕行录》。
“正阳门外有数十戏庄，自官征税有差。其大者，创立之费银已八九万两，修改之功不与焉。…此其*靡杂剧，王政所必禁。惟陆沉以来，汉官威仪、历代章服，遗民所耸瞻，后王所取法，则非细故也。…凡楼台上下，可坐累百千人，凡欲观戏者，必先得戏主标纸粘于桌上，乃许其座。一粘之后，虽终日空座，他人亦不敢侵。”
他来看戏的时候，时间晚了，戏已经开场，票座都卖出去，没地方了。他就掏了钱，软磨硬泡，希望戏园掌柜能通融一下。
掌柜就把负责领客的小伙计叫来，让伙计楼上楼下找找看，给这位高丽大老爷寻个位置——
“帮子由层梯引余登楼，遍察诸桌，无空处，帮子亦以标纸辞余，期以他日。余见楼东有粘标纸而坐空者，请于帮子，少做以待座主。”
文中出现三次的这个“帮子”，就是“****”的来历，朝鲜语中，对仆役下人的称呼是帮子，朝鲜使节在本国叫习惯了，他们来华之后，一时半会儿改不了口，对中国车夫、脚夫和戏园里的领座伙计等从业者也这么称呼，中国人听起来觉得有趣，就把这些朝鲜人谑称为“高丽帮子”，逐渐演变成“****”。
另一种说法
棒子来自房子，是仆役之称。
北宋徐兢《宣和奉使高丽图经》已经记有房子之称：“房子，使馆之给役者也。每房自使副使而下，以品高下而为之多寡。其服文罗头巾，紫衣角带皂履，盖择善供应者为之。观其守法谨甚，又善笔札。髙丽俸禄至薄，唯给生米蔬茹而已。常时亦罕食肉，每人使至，正当大暑，饮食臭恶，必推其余与之。饮啖自如，而又以其余归遗于家。至礼毕出馆，泣数行下。大抵丽人之于中国，其情加厚，故虽房子亦怀惓惓焉。”
清代乾隆时朝鲜人朴趾源赴热河，其《热河日记》云：“大抵义州刷驱辈太半歹人，专以燕行资生，年年赴行如履门庭。湾府所以给资者，不过人给六十卷白纸。百余刷驱，除非沿道偷窥，无以往返。自渡江以后，不洗面，不裏巾，头发蓬松，尘汗相凝，栉风沐雨，衣笠破坏，非鬼非人，尴尬可笑。此辈中有十五岁童子，已三次出入。初至九连城，颇爱其妍好，未到半程，烈日焦面，缁尘锈肌，只有两孔白眼，单裤弊落，两臀全露。此童如此，则他又无足道也。全没羞耻，公行剽掠，每夕入店百计穿窬，故店主所以防警之术亦无所不至。”
这些仆役外形糟糕，沿途多行不轨之事，中国人对之印象很差，遂以韩语仆役之称指代彼国之人。韩语没有声母f，房读bang，跟汉语的棒听起来差不多，房子就变成棒子了。至于山东棒子之类，那是棒子变成贬称之后指称范围变大了，除了指韩人，也扩大为对其他地区人员的蔑称。
两条资料：
1、朝鮮國民人，俗呼為高麗棒子。戴黑白毡帽，衣褲則皆以白布為之。民婦辮髮盤頂，衣用青藍色，外繫長裙，布襪花履。崇釋信鬼，勤於力作。 ---1751年《皇清贡职图》
2、有乘車少婦，掀簾窺望，頗艷麗。平仲直視不迴避，指點稱奇。其幫子看車者，蹲坐簾前，喃喃誶罵，平仲不知覺也。而已，有群童數十，競呼『高麗幫子』，吆喝而追之。余促平仲疾馳，僅以免焉。 --- 1766年 洪大容《湛軒書》
==> 这两条描述的都是辽宁人对于朝鲜人的称呼
但这个词原先并不是专指朝鲜人，
1、1985年出版的《北京方言词典》，
「棒子」：<蔑> 外地人或干某种事业的人 ：关东~，手艺~，体育~
2、《哈尔滨方言词典》
「棒子」：对某些地区、民族或从事某种职业的人的蔑称：山东~，体育~