上午 跑了没有数据的 gpt 175b (一半长), 使用了八张 v100 32g pcie. mp 的 latency 是 14636ms, 而 pp 是 57313ms. 考虑到 pp 其实只利用了一个卡, 所以 pp 其实还挺棒的 (?) 下午 摸鱼摸了挺久. 还去宿舍安全学习了. 读了 gpt forward 的代码, 感觉 pipeline 优化已经做了. 只要 batch size 大, 应该打得挺满, 但是没有做 orca 那个工作里的 sequence 上的优化, 可能会导致 pipeline 不那么满? 用 nsys 跑了一把小一点的模型, mp 和 pp 的时间大概是 9:16. nsys 结果是 pp 里面 send/recv 占了大概 13.5% 的时间. 而 80% 以上的时间在矩阵乘. 感觉打得挺满的, 有点令人疑惑. 可能需要一个有效一点的方式来刻画一下 pp 的 bubble 的情况....
好像一天都在做视频, 剪视频, 整理bgm, 被批斗. 晚上去听讲座然后居然睡过去了. FAST好像很厉害的样子. 但是老师说 “我们是做实验科学的, 我们才是少数派” 感觉好辛酸. 为什么社会是这个样子呢. 时隔若干个月去刷ingress任务. 被自己军dalao问是哪个学校的. 汗. 然后半路手机被冻僵关机. 无知的我就直接回来了. 想去拆盖发现没有武器. 在蓝绿形势严峻的thu我还是很无力呀. 然后好像我无意中干了什么不好的事情 >_<. 为什么每次试图帮助别人都会发生如此奇怪的事情呢. 还是及时 “止损” 比较好吧. 不过大家都要坚强呀. 好好刷题才是硬道理呢.
想起好像很久没有写过什么东西了. 在thu的生活真是充实呢. tuoj上周末去扛了ccsp. 这周末又要扛清华集训. 这么个满是bug的oj真是药丸. 当初让没有经验的萌新去写后端我也是醉了. ccsp前一天晚上淦到凌晨四点半, 睡了一个小时起来接着淦. 好像总共四十个小时没睡觉. 不过总算没有被领导发现地扛过去了. 以及每天有人道早安晚安的感觉很幸福. 然后作业做不完了. 快要堕落去抄作业了qaq. 不过总算做完了上周的微积分和离散. 高三被积分虐了, 现在还是被虐. 我怎么就没有长进呢. 不过作业是做不完的qaq. 现在的情况是我十分zz地用dd去备份硬盘. 然后明明只有30g的使用它非要给我写80g. 我怎么可以如此智障. 心疼我的硬盘. 嗯我是不是要在网管的不归路上越走越远了. 然而离散还没写完. 啊啊啊. Historical Comments lyzy at 2016-11-30T13:49:27 把积分拿给我做吧 顺便说一句 你是不是线代打成离散了……
补mark. 去青岛欢度周末然而没吃到任何海鲜差评. 想带点纪念品回来然而一直没机会. 最后只有在高铁站里乱逛感觉东西不行于是啥都没买qwq. 所以说好的acm旅游呢. 头天试机的时候感觉自己状态好差, 仔细分析发现是头天晚上在火车上没洗澡所致. 而且现在头发的长度已经有点不能忍了啊. 又开始纠结要不要去剪头发了. 试机晚上和zhx去打台球. zhx一直在跳球真是有毒qaq. 然而我的台球水平还是竦么菜. 睡前看板发现这都是些smg啊qaq. 为什么你们的板子大括号要换行啊qaq. 果然以后还是得自己备板. 考试日起来感觉满血满状态复活. 打vimrc的时候手僵. 听说有些区的pc方在开场的时候挂了半小时. 还好我们运气不错, 只有榜挂了. 上来zhx先切掉了a. 然后觉得c可以推一推然后发现这个微分方程我还没学啊喂. 于是我就去写b的魔方了. 魔方这玩意真是有毒好么. 然后发现zhx和mhy还在推c还是f来着. 然后我发现g是个裸裸的费用流于是去写. 好久不写这玩意都手生了. 然后强行看错题意乘二. 第一次是直接把概率加起来了. 第二次是把有向边看成了无向边还yy了一个蛮麻烦的建图方法. 然后zhx终于把c给淦出来了. 结果方程凑一下就出来了, 式子炒鸡简单. 然后我和mhy都想到d题只算轮数较少的情况就行了. 然后zhx就写挂了过不到样例. 于是我就去开k的kd-tree做法. 过了一会zhx发现他sb了, 改了一下就过了还喊了一句 “woc”, 技惊四座. 然后我就把kd-tree给debug了一下也过了. 然后就发现没题可做了. 我把m转化成平面上放点, 区间改点区间查询. 想用二维线段树感觉标记不好维护. zhx写一半弃疗了. 然后我们看了一下h插头懒得写, f大模拟懒得写, i式子太复杂不知道是啥鬼, l想了半天没有思路. zhx和我又想了想可以用象限四分树. zhx写了半天. 然后我灵机一动为什么不直接用kd-tree艹过去呢. 然后半粘半写的搞了一份. zhx和mhy则开始想j. 然后zhx搞了一个乱七八糟的dfs. 然后我的m开始tle, zhx的j开始wa. 这时候已经封榜了. 我对着我打印的代码找bug, zhx和mhy用gdb debug. 然后我发现我的m写得太匆忙好多细节都没想清楚. 最后写了个data generator拍了一下, 发现因为忘剪标记所以死循环了. 然后就wa了. 然后再改个brute force出来拍了一下发现还是标记没打对. 然后最后终于在还有9分钟的时候a掉了. 后来发现还是first blood....
qaq. 我有说过10天要更新一次么. 时间过得真是快qaq. 就要半期考试了qaq. 沉浸在微积分和线代的恐怖中. 感觉acm也药丸. 练了场cf, 被队列卡成poi. 神tm补考. gg. Historical Comments lyzy at 2016-11-04T19:41:42 hh
唔, 最近剁了两次手. 第一次买了个超级廉价的windows平板然后发现连跑跑卡丁车都玩不了. 不过至少可以上课的时候看pdf以及听文素的时候写写程设作业. 这里就要吐槽为什么这个板子的各种符号都被压缩到fn+主键区了qaq. 不过总之还是不错的. win10有了ubuntu之后终于有点能用了. 然后又去剁了一架廉价死飞, 配了个很sao气的颜色. 现在很担心明天早上还能不能见到我的车. 中午很激动地装了车下去骑. 然而我真的不具有绑手胶的技术啊qaq. 虽然我绑网球拍很熟练. 跑起来呼呼生风很爽啊. 然而手机架还没到货也不知道哪里可以有足够的空地给我测速. 目测30-40码还是可以的. 不过心里很虚啊. 自己作死不装刹车. 然后刹车的时候很痛苦啊. 这个杠杆加速的时候是优势, 减速的时候就很不开心了. 总之还是要练一练技术的. 现在这样停车都停不下来还是很惨痛的. 所以我还是太年轻了.
好久没有写过东西了. 军训完了之后突然就好忙好忙呢. 试图干些惊天地泣鬼神的事情不过失败了. 试图认真学习然后失败了. 试图过一种悠闲的生活然后失败了. 试图征服人生然后失败了. 接了不少锅, 感觉生活很充实. 都没有什么可以虚度的时间. 依然很想吐槽. 很纠结要不要去买个好玩的自行车. 很纠结要不要买hhkb. 很纠结要不要买个显示器. 很纠结要不要买个平板. 很纠结要不要买个主机. 很纠结不要要买个女朋友. 然而我穷死了什么都买不起>_< 还是乖乖地沉迷学习和背锅吧. Historical Comments ArtemisLiu at 2016-10-11T22:49:55 你加了多少社团啊 ArtemisLiu at 2016-10-11T22:52:05 你加了多少社团啊
军训完了. 看别人送教官的时候哭了. 唔. 今天acm大连网赛. 零输出. 唉. 我还是太年轻了. 难测者, 人心. 还有收到了迷之包裹的mhy好强.
早。 人生多艰。 还是老老实实地在跪系跪着吧。 只是突然觊觎别人的机会和资源，怎么可能被接受。 本来只是想着考着玩玩的。怎么就认真了呢？ 所以我啊，还是太naive了。 hello, real world. Historical Comments ArtemisLiu at 2016-08-24T13:36:07 qwq
感觉很久不更新要被婊了。 辣鸡laekov来到了帝都的thu。 然后就不准在寝室里用电脑了。laekov决定当个乖宝宝所以把键盘接手机上玩了。恼火ing。 laekov发现自己终于有了床po好开心啊。 laekov去考茶园不小心进了面试然后被d了一顿好郁闷啊。然而明天才出结果。 你清又红又专可为啥总是要我从寝室走路出去啊。我明明有自行车嘛qaq 听说thu军训好无奈ovo。 所以laekov还是太辣鸡啦。