技术宅用 “大数据” 玩转 ebay竞拍 篇二:利用工具进行数据分析
2020-07-13 93
一、杀只鸡需要用牛刀么?——工具的选用
码农和技术大拿们可能会很失望,我这篇文章写的不是什么高大上爬虫、Oracle、Hadoop,那些企业级的工具对于我们一般的个人玩家而言,太遥远了。虽然那些高大上的东西,哥们都玩过,也没有故意贬低那些工具的意思,只是杀鸡无需用牛刀,而且牛刀未必好使。所以,隆重推出这次玩的工具:Excel(这不算作广告吧?盖茨哥要给我稿费哈!)原因很简单,Excel几乎每个人的电脑里都有,就算你水果电脑上都能装Excel了,足够的平民化。上一篇经验分享也提到,其实Excel+vba+数据透视图可以做出很多好玩的东西,哥们喜欢玩Excel也是因为随处都能找到开发环境来调试、修改。
二、竞拍的历史数据是怎么收集回来的?——逐步揭开秘密武器
还是举原来那个老镜头竞拍的例子吧,其实其他东东的竞拍数据分析也是类似的,可以举一反三。假设,我想竞拍康蔡(康泰时.蔡司 CONTAX ZEISS)的50mm焦距最大光圈1.4的老镜头,我会希望能收集近期这个镜头的成交数据来做分析。
1、用Ebay的搜索功能,找到历史成交信息 用浏览器打开ebay.com,如果你觉得英文难懂,直接用香港的ebay也行,地址ebay.com.hk。但我这个例子是在ebay.com上完成的,香港ebay的网站结构不太一样,我后面的程序不能直接使用。凑合着先看看英文的吧!登录Ebay后,在搜索框输入关键词:contax zeiss 50 1.4,点击“Search” 你可以发现已经搜出一堆的康蔡50/1.4的镜头出来了。但是我们需要的是对历史数据进行分析,而不是现有正在售卖或者竞拍的产品,因此我们需要对搜索结果进行条件设置。 在左边导航栏的Format(类型)中选择“Aution”(竞拍),然后在“More Refinements”,点击打开后如上图,在“Show Only”选项卡中,把“Sold Listing”上打个勾。然后点击右下角的“Go” 出来的结果,基本上就是我们需要的一个清单了,也就是最近通过“竞拍”方式成交康蔡50/1.4数据。在上图的方框中,我们可以看到这个镜头的描述标题,成交金额(ebay.com已经帮我们折合成人民币了),成交时间。当然,我们还希望知道更多的信息,例如卖家是谁,运费是多少等等。Ebay也提供了一个比较好的功能,可以让我们设置这个清单上的内容。 在网页的接近右上角位置,可以找到个性化设置的入口“Customize...”然后进入设置界面。 如上图,我们把Shipping cost(运费),Item number(物品编码),Seller information(商家信息)都打上勾,Items pre page(每页显示的物品数量)直接选200。出来的结果,应该是我们预期的样子了吧?2、来吧,数据自动跑到我这里来吧!
到这里,你可能会想到Excel的作用了,你想一个一个去复试粘贴?还是说整个页面拷到Excel里面去?太棒了!你想的跟我一样!既然是网页类型的表格,肯定可以整到Excel里面去。但是炜哥要告诉你的是,你有没有想过,一次性复制容易做,但每隔一段时间都搞一次多累人啊!哥们不会这样害你的!来,打开Excel,跟着哥做一遍,你也许会有意外的收获。 首先,把这个地址复制下来,这就是我们要的数据来源了! 打开Excel,选择“数据--来自网站” 在弹开的“新建Web查询”界面中,把刚才复制来的地址粘贴上去,然后点击地址栏右侧的“转到”,如果你在下面的界面中,也能看到刚才一样的页面,以及数据项,恭喜你,成功了一半!如果你看到的清单数据项有丢失,例如没有了商家信息,尝试着在这个界面中登录ebay,或者用IE再登录和设置一下ebay的显示选项。确认没问题了,就发出“导入”指令(看右下角)! 顺利的话,应该会弹出上面的对话框让你选择导入信息的放置位置,你直接选左上角的单元格($A$1)就行了。然后用你的小指头点一下“确定” Excel的左下角可能会看到“正在运行后台查询”的字样,表示Excel在努力的干活中,它干的就是传说中“爬虫”干的活。它跑到那个地址上去,把东西拉扯下来,放到你的Excel里面。 随着屏幕一闪,Excel很高兴地告诉你:“主人,您要的东西,我帮你搬回来了!”确实,这不就是我要的东西么?起码不用自己逐个复制粘贴啊!用“数据导入”的方式,更大的好处是,如果有新的成交数据出来了,您只需要刷新一下这个数据源,新东西就会自动地跑到你的Excel里面来,省得您每隔几天要去复制粘贴一次,极大地提高生产效率啊! 刷新的功能在上面,有空就打开Excel刷一下,新东西自动抱回家,哈哈!
三、乾坤大挪移,让数据各就各位吧!
虽然,用Excel可以导入网页数据,定时刷新自动采集也让我们小兴奋了一把,但毕竟这对东西没法直接拿来做分析的,还需要把这些东西弄个表格规整地放好。如果这些竞拍数据,能做成下面格式的表格,就好用多了!表格内容包括:竞拍结束时间、物品标题、卖家帐号、卖家信誉、物品编号、成交价格、出价次数、运费成本等。 如果要逐个镜头的数据复制粘贴过来,那跟直接在网页上复制粘贴没啥区别了。放心!技术宅绝不会如此坑人的。对于码农而言,只要是有规律的,就有偷懒的办法!于是,哥切换成“码农”模式,码了大概几百行字,实现了信息的自动抽取。也就是从刚才的网页里面搞来的数据,按照规律,自动填到上面设计的那张表格里面去。 篇尾会提供这个样本,大家下载回去之后,可以试试。因为这个样本文件时含有这些数据处理代码的Excel文件(叫做启用宏的工作表),因此打开文件的时候,Excel会问你“是否启用宏”,如果你要执行数据抽取的代码,你需要选择启用宏;如果你不放心炜哥写的宏,担心有什么病毒之类的,可以不启用宏,然后打开宏代码让其他码农高手鉴定一下。
好了,执行“自动抽取竞投信息”后,在Excel的“数据提取”工作表中,所有的竞拍数据,都齐刷刷地躺在那里了。这就是“码农,让世界变得更美好”的传说...... btw,“自动抽取竞投信息”,可以做到数据的增量更新。也就是说,你刷新一下数据源,把新的镜头成交数据拉下来后,再执行“自动抽取竞投信息”的指令,它会自动把已经有的信息过滤掉,只把新增加的成交数据抽出来。
四、运筹帷幄之中,决胜千里之外——EBAY竞投数据分析
巧妇难为无米之炊,现在有米下锅,剩下的事,就好做多了!数据分析的维度,跟你的思路相关,这里只是举两个例子,写太多就变成Excel教程了。例如,我想知道这30多笔的交易里面,成交价格的分布情况如何?这可能有助于我决策竞投的策略! 如上图,在Excel中,选择“插入--数据透视表”,在弹开的“创建数据透视表”对话框中,直接点“确定”吧。 然后分别把“物品编号”拖到“值”的区域,把“成交价格”拖到“行”的区域。左侧就出现了每个成交价格的统计结果。当然,这还不是我们想要的,我们希望看到的是价格区间的统计分析。 用鼠标右键去点“创建组”,然后输入“组合条件”,如下图。 直接看结果: 嘿嘿,终于像是我们要的东西了吧?历史成交价格的区间分析!再搞个图形化展示一下..... 点击数据透视表的区域,在“插入”中选择“二维柱形图” 搞定!数据统计结果就是这样出来的。难么?其实并没有太高深的东西,无论你是糕帅富还是屌丝宅,只要会用Excel,都能做出一个很好的数据统计结果。当然,下一步就是数据分析了,也就是解读这些数据,这才能真正对你的竞标决策起到价值性的参考。例如1500~2100这个价值区间,应该就是这只镜头的合理价格区间,但为什么有些成交金额会低至1000元以下?为什么有些会高达2400以上?如果你是一个竞投者,你需要更多的东西去支撑你的决策。
还能做什么?上一篇经验中提及的东西,其实都可以做,关键在于你的想象力而已。但我只能帮到这个份上了!
又到了总结时间:
1、在Ebay竞拍中,如果你对一类商品的历史成交情况有更多的了解,必定会对你在出价时有更多的价值评估参考,这也是写这篇经验分享的初衷。
2、如果只是个人行为玩玩的话,不建议用太专业化或者企业级的软件,这也是我拿Excel给大家做个示范的出发点。我用过一些专业软件来尝试做这些分析工作,收集过EBAY半年内所有二手镜头的拍卖数据,大概有十几万条,可以做更大范围的数据统计分析,例如,看看哪些镜头是热卖的。但无论用小刀,还是大刀,原理上是一样的。
3、摄影是我的业余爱好,所以拍得不专业;同样,写代码也是我的业余爱好而已,所以范例中的Excel VBA代码仅仅是求目的,不求高深算法或者追求效率的东西。在各位专业码农眼中,那几行代码绝对是垃圾代码,没有面向对象,没有用正则表达式.....对于非专业人士而言,请专业码农口下留情,可以小声吐槽,切勿大声声讨。
4、Excel样本地址如下:点此下载,因为含有宏代码,也请各位专业码农给予鉴定结果,如果代码是无毒无副作用的,请在文章后面留个言,以资鉴定。
5、给出的只是一个思路和方法,衍生出的应用可以更具想象力,无论你是在EBAY上竞拍老镜头?还是竞拍数码产品?甚至是用在其他网站的数据收集和分析上,思路都是类似的。欢迎各位拍砖和分享新的Idea。
6、有看官说,这不符合张大妈剁手基本原则啊!其实,玩老镜头也好,玩竞拍也好,都是会中毒D,后患无穷,剁手效应至少延续一年以上,直到解毒为止......
最后,能坚持看完的,请给自己32个赞,顺便赏咱一个赞哈!
-

不插电做酸奶,新西兰易极优easiyo酸奶机体验
酸奶是个好东西,益生菌能够保障身体健康,是不少白领、学生的心头好。据说每个成人每日可以摄入500ml的酸奶量,但是超市里好一点的酸奶,250ml的都不少于八九元,每天的消耗起码一二十元了,月消费不低于五六百元呢,对于普通工薪阶层来说,这是一笔不少的支出。况且,市面上买的酸奶一般都添加了防腐剂,还要经过各种渠道运输,营养损失还是比较大的。 我和老公都是酸奶狂人,一天少说也得消耗500ml左右的酸奶。我们为了省点钱,就买了酸奶机来做。但是市面上流行的酸奶机一般都是要插电的,天热的时候需要八九个小时,冬天十二个小时也不一定能成,比较耗电。而且常规的酸奶做法,是用酵母粉兑在牛奶里,要先买好牛奶、酵母粉,过程比较烦人。 前不久在一个酸奶论坛上得知,新西兰有一款易极优酸奶机自配酸奶粉,不必插电,也不需要购买牛奶和酵母粉,就能轻松做酸奶。于是立马网购了一个试试感觉。 酸奶机包装盒是这样的: 一打开盒子,就看到酸奶机了。 接着是主角登场了,比想象中的大很多。外发酵罐高度大概30厘米多一点,掂量一下大约有一斤半左右,材质是食用级PP的,摸起来感觉滑滑的。 打开盖子,构造比较简单,将内发酵罐取出来后,就看得见红色底座和下面的保温罐了。 看了一下说明书,只要用易极优自家酸奶粉,不插电就可以制作酸奶,特地配了一份老公最爱的凤梨椰子味道的酸奶粉,立刻走起! 先在内发酵罐内注入大约25度的温水500ml,将整包酸奶粉倒进去,他家的酸奶粉,质地细腻,颜色柔和。因为是凤梨椰子味道的,酸奶粉带点米黄色。他家有几十种不同成分、口味的酸奶粉,可以按照自己的口味进行选择。 接着盖上盖子摇匀,再将温水加到1000ml,再次摇匀。 然后在保温罐内加沸水,一定是烧开的沸水哦,因为只有在高温条件下,益生菌君们才能更活跃,做出的酸奶才更有味道!而且沸水一定要淹没红色底座哦! 最后将内发酵罐放进去,将盖子拧紧,静置8—12小时。 一早上打开盖子,一股淡淡的酸味钻入鼻孔,隐隐约约见到了淡黄色。将内发酵罐取出的时候,感觉沉甸甸的。 打开内发酵罐的盖子,只见酸奶表层像豆腐块状凝结,轻摇罐子也没有很大流动,比较牢固,看来首次用易极优制作酸奶就比较成功。 先把新鲜的酸奶倒在碗里,好好犒劳一下自己。 没有吃完的放冰箱里了,常规酸奶乳酸菌活性只能保持两到三天,易极优酸奶却可以保持12天之久,我们大概一两天就能吃完,不会丢失多少营养。
-

你和女神的距离或许只差一只马鞍包 - Martinica湖蓝色头层牛皮马鞍包
网传“你和女神的距离,或许只差一只马鞍包”,最近斜挎的迷你包确实很火,于是开始长草,知道Dior和Burberry都有十分经典款式的马鞍包,但是作为普通工薪员工一枚,价格确实伤不起。在各进口电商比了一下价,最后入手了一款意大利的Martinica湖蓝色头层牛皮马鞍包6065-PMTDM。 Martinica在意大利应该是蛮普通的一个牌子,创立于上世纪80年代,经营时间也不算太长,所以可以相比于Dior马鞍包二十分之一的价格买入。6065-PMTDM可能是厂家编号,具体啥意思也没弄明白。 先看看街拍效果吧。黑红色的冬日底装,配上湖蓝色马鞍包,在配色上还算抢眼。 然后看看细节。 外包装就不出镜了,内包装是塑料袋,刚收到时觉得包装还是Low了点。 从塑料袋里拿出来后的即视感。第一感觉不是宝贝页里说的湖蓝色,更接近于灰蓝色,有色差。本人更喜欢亮丽的颜色,在冬日看着也能提神,算是失策了。 打开包盖,里面有防尘袋,还有一团用来充实包型的白纸。 放空了的包包,整体上还是比较挺括的。 放在防尘袋上。 装入防尘袋,妥妥滴。 品牌商标正面:蛇形LOGO,品牌名,还有“SINCE1984”、“MADEINITALY”的字样。 反面是型号、款式标示,以及商品条形码。 蛇形LOGO也出现在环扣上。 皮质是品牌方反复强调的优势,连产品名称里都突显了“头层牛皮”。我这种普通消费者当然不是皮质鉴别专家,只能通过“望闻摸量”来体验质感了。 望:纹路比较清晰,质地比较细密,没有杂点,细看起来有细小毛孔,整体看起来还算是真皮质感。 闻:包包基本上没有异味。 摸:手感柔韧,略微带一点点硬的赶脚;厚度比较均匀;用力按下去,会有向心的皱纹;皮质比较紧密,不知道耐不耐磨。 量:掂量一下,虽然只有15x16x5cm的体积,但是净重大概有一斤。 极简接头,不知道结实与否。 极简环扣,如果是方形的可能时尚感更好。 有三个孔眼可以调节肩带长度。大概是按照欧美女性的身高来制作的,本人身高160CM,没有大长腿,即使调节到最短长度,包身直达大腿,整个视线往下拉。迷你包的长度,最好是卡在胯骨处比较好,才能突出身材比例。像我一样娇小的姑娘慎入。 肩带比较厚实,如果再细薄轻巧一点,更能衬托肩部、胸部和腰部曲线,夏天也能拗造型。 扣头做得比较简陋,皮绳扣上后,包盖还是有一定的活动空间,和包身贴合得不是很紧密。 手工缝线比较密实,将包包前中后三部分缝合在一起,虽然有文艺感,但是在防水方面绝对有欠缺,水可以透过缝线空隙进入包内,下雨或者是到河边湖边海边水多的地方,佩戴的可能性不大。 底部缝线使包包变得立体,可以单独直立,但也不是100%稳固。 包包内部容积十分有限,一个爱疯,一瓶香水,一个粉饼,一管口红,一串钥匙,就挤满了。个人还是喜欢类似杀手包和铂金包无所不容的秉性,迷你包实用性还是差了点,顶多玩玩搭配拍拍照装装逼。
-

玉米做成的碗也能做辅食? - 韩国vegetable baby辅食研磨器体验
宝宝已经四个月,可以吃辅食了。但是市面上塑料辅食餐具普遍含有BPA,遇高温容易分解出环境激素,对宝宝健康不太好;玻璃或者陶瓷的容易打碎,不小心还会伤到宝宝。前不久有同事说韩国vegetable baby食物研磨器套装是由玉米制成的,她家小孩吃的辅食都是用这个。之前一直在喜地上买韩国母婴产品,用起来还不错,所以率先在喜地上找,还真有,和其他网站比了一下价,价格是最便宜的,于是迅速入手。 开箱照,右上角有“BPA FREE”的标志,表明不含双酚A,不会影响宝宝健康;透视设计,可以直接看到套装的形状和颜色。 底侧,有产品韩文简介,和平台商标。 揭盖之后,不得不说内包装空间布置的很得体。顺便脑补一下品牌知识,vegetable baby隶属于韩国HOME CARE集团,整个集团产品的原料大部分来源于玉米、稻谷、松树、椰子和卵磷脂等,并通过美国FDA的认证,是名副其实的环保品牌。 小盆友,排排坐,从左至右,上排依次为:不锈钢过滤网,研磨碗+研磨棒+汤匙,碗盖;下排依次为:方形碎食层,榨汁层,条形碎食层。整套餐具颜色偏淡雅,看着比较舒服,给宝宝用也是一个比较好的视觉熏陶。 当看到它们时,很难相信是由玉米成分制成的。对于如何把玉米变为餐具,宝贝详情页里有图片解析。天然玉米成分制成,无污染,不含BPA、石油基、酒精、二噁英,不含生长激素,即使加入滚烫开水或粥,也不会因为受热产生对宝宝身体有害的物质成分。用过后的餐具,可在泥土中生物降解,丝毫不会对环境产生恶劣影响。 玉米制成的辅食餐具究竟比一般塑料的好在哪里呢?下面是宝贝详情页里的比较图,这里要补充一句,虽然耐热,但是也不能接近火源或直接放在火上加热,放在微波炉或者洗碗机里,不能用铁丝球清洗。 下面一个个来介绍。 研磨碗,套装的核心组成部分,其他部件功能都要在其基础上才能完成。玉米颜色比较自然,带盖的时候比较透明。 盖子细节处理比较精致,中间有方便揭拿的内凹把手,还有品牌LOGO和玉米图案。 木质捣棒质感密实,拿起来很轻巧。 碗底和下半部分带有螺旋纹,方便把食物磨碎,并且防滑,木棒和食物不会溢出碗外。 研磨煮好的紫薯,木棒在碗底很好用力,一两分钟便将紫薯研磨成泥了。 加了温开水的紫薯泥,直接就可以用汤匙喂给宝宝吃,也可以用汤匙倒在其他餐具内进食。 榨汁层正面,像一个大檐帽,粉绿颜色让人很有食欲。 榨汁层反面,立体伞状结构比较可爱。反面放在研磨碗里,便于收纳。 正面放好榨柠檬,原先以为要用很大的劲,但是非常轻松就挤干了柠檬汁。 柠檬汁顺着边沿缝隙流入研磨碗中,但是果渣残留在榨汁机上不太好看。 不锈钢过滤网,不锈钢丝细密而牢固,过滤果渣很方。 方形碎食层正面,方形漏洞边沿呈锯齿状,便于碎食。 方形碎食层反面。 用苹果试试手感,碎的比较顺手。 苹果泥通过漏洞到达研磨碗。 碎过的苹果泥比较细腻,便于宝宝进食。 收纳效果。 条形碎食层正面,锯齿状很明显。 条形碎食层反面。 碎香蕉,因为香蕉有点黏,用起来没有苹果顺手。 但是成果斐然。 加入温开水,宝宝就可以吃了。 全套收纳效果,不占地。 把榨汁层取出来后,是不是更协调呢?
-

不占地的不锈钢厨具 - 韩国Living Hankook组合厨具套装
以一个老饕的想象力脑补一下一套完整的厨具是怎样的,是一把轻松回旋于锅内、炒下十来个菜也不烫手的煎铲,是一把舀汤不漏的汤勺,是一把舀汤尽漏的漏勺,还有一把撸起面条而不断的面捞。但是吃货的厨房,锅碗瓢盆总是很拥挤,有时稍微多做几个菜就没地方放了。所以如果这套厨具还能节省空间,那简直太完美了。 前不久有同事到韩国差旅,正好发现了一套十分节省空间的Living Hankook厨具,说是韩国最好的厨房餐饮器具品牌,材料工艺在世界上都很有口碑。不过这个牌子好像没有正式进入国内,只好信手在网上淘,有家进口电商居然有货,于是立马下了单。 到货后,拆开外包装,便看到了产品原包装,简洁安全,整体感觉比较清爽悦目。 打开包装,整套厨具存放也比较简单,挂架竖直的放在包装盒里,4个勺子用塑料细心的包好,并用金丝细条绞紧以防止滑脱。 将Living Hankook的煎铲、汤勺、漏勺、面捞,一一取出来时,所有部件的手柄都很好把握,不滑手,掂量掂量很有分量,就知道是上好的材质。将它们摆挂好,和整个厨房很配的赶脚! 这么多件厨具,以我以往的经验,要占不少地方,一大把插在筷箸里,七摇八歪,一不小心嘭咚一声散的满地都是。还是Living Hankook有办法,挂起来!饱满的轮廓,圆滑的边缘,时尚美观,简洁实用。更重要的是,它的底座,长13.8cm,宽才8.5cm,不占地,可以放置在厨房的任何角落,取拿十分方便。 这种悬挂式的厨具我以前也用过,有些挂的不牢,弄不好就滑下去了。我反复的试用了Living Hankook的,因为挂杆的圆头设计,挂口不会轻易滑落,所以比较稳固。 全套厨具都是高级不锈钢材质,坚固耐用,挂架不会轻易受腐;整套都采用了镜面抛光工艺处理,放在哪里都是铮亮发光的,品质感杠杠滴,灰常好看耶!看看这些小可爱,闪得全世界都看到了! 勺子所有的手柄都是100%铂硅制成,流线型防滑设计,方便实用,隔热效果好,不烫手。而且握在手中很舒服,还不容易滑落哟! 煎铲的形状似乎和我们平时用的锅铲不一样,要更加平直些,开始看到的时候,我以为不会比传统煎铲好用,但是放在锅里模拟炒菜时,才感觉这种直男铲形似乎更贴合锅体,还能有效延长锅具寿命哦。 汤勺的翻边设计别出心裁,汤勺在使用时可以一滴不漏,有效的防止汤汁流动和淋出,避免脏乱。 漏勺的细钢丝小方格做得也很精细,保证舀汤时任何营养食物都不会遗漏。 面挂四周的凸起,能够顺利的捞起滑溜溜的面条,底部的条状漏格不会让面条轻易滑落。




