李沐詳細介紹
只有看完了上下文的视频帧，才知道发生了什么，以及未来会发生什么。 A：空间流网络：使用预训练模型效果更好 From scratch：不使用预训练模型而是从头训练，效果很差。 对于UCF-101这个小的数据集来说，存下所有的光流也需要1.5T的空间，如果是Sports-1M数据集，至少也得是PB级了。
可以说I3D之前的3D视频处理网络都不流行，被光流网络和传统手工特征碾压。 验证模型是否正确初始化：使用预训练模型初始化自己的模型时，如果同一张图片，分别输入原模型和初始化后的模型，最终输出的结果都一样，就说明原模型的参数初始化是对的（因为两个模型的结构和输入都是一样的）。 Two stream（late fusion）`：如果不想用LSTM进行时序建模，也不想用3D网络直接进行时空学习，那么还可以使用光流来得到时序信息（运动信息）。 双流网络在视频理解的地位，可看做是AlexNet在图片分类中的地位。
李沐: 第2章 李沐
测试时，Kinetics 400 数据集每个视频都是10s左右。 为了保证公平，使用整个视频来做测试，即测试的视频时长都是10s左右。 不用再费尽心思的设计一个针对视频理解的网络了，否则从头设计3D网络，还得考虑各种网络结构，方方面面。 李沐提到，從小看戲劇、電影，總覺得沈浸在戀愛的人很容易心意相通，「但現實生活中，要徹底懂對方，是需要很多練習。」因此她和男友決定先各退一步，回到好朋友位置，把各自的狀態調整好，再重新交往。 2019年3月24日，參演由賈靜雯、吳慷仁主演的社會寫實劇《我們與惡的距離》首播；5月24日，出演獨立樂團夕陽武士的單曲MV《牽手》上線；9月20日，與王淨、傅孟柏、曾敬驊等共同出演的懸疑驚悚片《返校》上映，她在片中飾演讀書會成員周欣。
即使有这么大的硬盘存储，IO速度也提不起来，还是没法训练。 简单叠加：网络输入是图中每个点多次光流的叠加，比如网络每次都取P1处的光流。 Optical flow简单说就是每个物体的运动轨迹，运动越明显的区域亮度越高。 比如下图左侧由两张图片组成，背景不变，只有人的运动状态变了；右图背景运动状态不变，所以是黑色的，只有图中的人处于运动中，是亮色的。 通过提取光流，可以去掉背景噪声、人物穿着性别等和运动无关的特征都忽略掉，所以最后提取的特征能很好的描述运动信息，也变相的相当于视频里的时序信息的特征表示。
李沐: 李沐早年經歷
他先后担任过机器学习创业公司Marianas Labs的CTO和百度深度学习研究院的主任研发架构师。 他在理论、机器学习、应用和操作系统等多个领域的顶级学术会议（包括FOCS、ICML、NeurIPS、AISTATS、CVPR、KDD 、WSDM、OSDI）上发表过论文。 李沐于2004年进入上海交通大学计算机科学与工程系进行本科学习；2009年至2010年担任香港科技大学研究助理；2011年至2012年担任百度高级研究员；2012年至2017年在美国卡内基梅隆大学攻读博士学位。 “这小子，什么时候跟总参二部扯上关系了，他竟然情报人员，开赌场开拳场都是为了工作。 ”关汉青嘴里喃喃自语，到现在都还有些不敢相信局长私下里跟他说的话，李锋竟然是总参第二部等级在册的情报工作人员，虽然没有正式编制，但却是进挡的商干，他在勒天不夜城开赌场开拳场，其实是工作任务的需要。 ，「日常小事，都是動聽的故事」一句，讓影片的結尾在感人的氛圍下收尾，是爆米花小姐非常喜歡的一部作品。
李沐從小就是個學習認真的好孩子，小時候的夢想是當服裝設計師，但到了大學念服裝設計系，和同學相比突然沒了自信，於是在大一時休了學；隨後，她申請了英國的藝術學校，並且繼續工作。 偶然的機會在社交平台上遇到她的經紀人，本想着好玩去演戲試試，沒想到成為了正職演員[15-16]。 2019年3月24日，参演由贾静雯、吴慷仁主演的社会写实剧《我们与恶的距离》首播；5月24日，出演独立乐团夕阳武士的单曲MV《牵手》上线；9月20日，与王净、傅孟柏、曾敬骅等共同出演的悬疑惊悚片《返校》上映，她在片中饰演读书会成员周欣。 李沐 李沐从小就是个学习认真的好孩子，小时候的梦想是当服装设计师，但到了大学念服装设计系，和同学相比突然没了自信，于是在大一时休了学；随后，她申请了英国的艺术学校，并且继续工作。
李沐: 李沐社会活动
作者认为，目前CNN网络无法将视频处理的很好，是因为卷积神经网络很擅长处理静态的外观信息（ appearance information，比如物体形状大小颜色、场景信息等等），而非运动信息（motion information） 。 既然如此，就干脆用另一个网络（光流网络）抽取好运动信息的特征，CNN只需要学习输入的光流和最后的动作信息之间的映射就行（或者说是光流输入到时间流网络的分类之间的映射），这种映射是深度神经网络最擅长的。 也就是说CNN本身不需要学习运动信息，也不需要进行时序建模，这些都交给光流做了，所以模型非常的简单。 两个网络互不干扰，很好训练也很好优化，最终模型的性能也非常高（见实验部分）。 Spatio Stream 李沐 Convet：空间流卷积网络，输入是单个帧画面（静态图片），主要学习场景信息。 因为是处理静态图片，所以可以使用预训练的模型来做，更容易优化。
鄒序也談到，成長的意義，便是價值觀的提升，以歌曲為例，從單純覺得音樂好聽，並試著分析為什麼好聽，一直到研究詞與曲的融合，這樣的心路歷程便是成長的一部分。 而作為音樂人的目標，他希望寫出有後勁的音樂，每次的聽覺過程都帶給人全新感受。 如此有文采的理念，似乎跟李沐在藝術上的表現也頗為契合。 多样性好：每段视频都来自独一无二的YouTube视频。 李沐 有些视频数据集的视频，都是一个长视频中截取的，比如UCF101。 当时UCF-101数据集和HMDB-51数据集视频长度都是5-7秒，按一秒30帧算，一共是 帧。
李沐: 李沐演藝經歷
在懸疑犯罪劇《誰是被害者》中，李沐飾演張孝全的叛逆女兒，儘管身形纖細清瘦，但卻散發頗大的氣場，配上精緻五官跟空靈氣質，其亮眼的表現受到了觀眾的喜愛（《GQ》雜誌評）。 李沐 在悬疑犯罪剧《谁是被害者》中，李沐饰演张孝全的叛逆女儿，尽管身形纤细清瘦，但却散发颇大的气场，配上精致五官跟空灵气质，其亮眼的表现受到了观众的喜爱（《GQ》杂志评）。 2020年，李沐将获得的金钟奖奖金三分之一，捐给野生保育协会做公益。 李沐 他曾和陈天奇在GitHub上创建DMLC组织，就是这个社区开发出了大名鼎鼎的深度学习框架——MXNet。
I3D的最终结果，也超过了之前的2D CNN或者双流网络（UCF101精度刷到98%）。 所以自从I3D 在2017年提出之后，到2020年，3D CNN基本霸占了整个视频理解领域，双流网络瞬间就不香了，直到vision transformer的出现。 Kinetics：类别均衡，难度适中，数据集规模合适，很多人都玩得动，所以被广泛使用。
李沐: 李沐自曝五五身，腿卻與身高185的蔡凡熙一樣長？長腿穿搭秘招公開
一旦证明其做视频的有效性，就马上有大批工作跟进了，称得上是开山之作。 2017年，主演公益微電影《青春手拉手》，從而進入演藝圈。 2019年3月24日，參演的社會寫實劇《我們與惡的距離》首播；同年，出演懸疑驚悚片《返校》。 2020年，憑藉懸疑犯罪劇《誰是被害者》獲得第55屆台灣電視金鐘獎戲劇節目最具潛力新人獎。 李沐才剛奪下金鐘新人，本月又要挑戰金馬新人寶座，有「怪物新人」的稱號，這次她在電影《青春弒戀》中飾演女主角玉芳，與陳庭妮、林哲熹都有煽情的床戲鏡頭，玉芳這個角色感情複雜，對李沐來說也是一大考驗。 戲裡李沐與男女都有感情戲，戲外李沐已和男友穩定交往快2年，她透露感情中最重要的是理解與包容，希望自己能夠愛情事業兩得意。
- Spatial stream ConvNet、Temporal stream ConvNet：单独的空间流和时间流网络。
- 最终空间流网络的结果就是250 crop（224×224）经过CNN后得到的结果的平均。
- 直到现在也很难构建一个很好的视频数据集，让模型能很好的利用上下文信息，进而可以处理长时间、复杂的视频任务，拓展到真实世界的方方面面。
- 另外如果感觉一篇论文值得仔细读但太难了，李沐分享的技巧是先去读它引用的之前的研究，再回头读这一篇门槛会低一些。
- 视频处理是未来突破的方向：目前计算机视觉领域，很多研究热衷于在ImageNet等几个榜单刷分，往往训练了很大的模型，使用很多的策略，也只能提高一点点，类似深度学习出现以前，CV领域中机器学习的现状，已经达到了一个瓶颈期。
在这期间，他创建了一套分布式机器学习广告系统，具体来看就是使用机器学习来预测一个广告是不是会被用户点击。 即使是中文课程也想配上字幕，为了让不方便开声音的粉丝静音也能学习，换了能自动识别字幕的剪辑软件，但发现并不好用。 第三遍，也是最后一遍精读，要弄懂论文中每一句话在说什么，李沐推荐读的时候“脑补”一下如果是自己在做这个工作可以怎么做。 这一遍只需要花十几分钟，目的是了解这篇论文大概讲了什么、质量如何，以便快速判断这篇论文是否适合自己。
李沐: 2 视频处理模型对比
2020年，凭借悬疑犯罪剧《谁是被害者》获得第55届台湾电视金钟奖戏剧节目最具潜力新人奖。 2020年憑《誰是被害者》中飾演江曉孟一角，榮獲第55屆金鐘獎戲劇節目最具潛力新人獎。 2021年憑《青春弒戀》中飾演陳玉芳一角，入圍第58屆金馬獎最佳新演員。 李沐最近戲約不斷，《青春弒戀》之後還有影集、電影在等著她，詢問男友是否能夠接受她的工作？ 李沐說對方可以理解，「就是溝通啊，溝通是一切」，男友也不會不滿她太過忙碌，「大家都有自己的事情要做，我覺得這就跟《青春弒戀》有點像，在青春裡每個人都需要愛，但他們的需求都沒有對上對方，但都沒有去聽對方想要什麼，對方真正需要的是什麼，所以就一堆誤會」。 最近，来自印度理工学院的数据科学小组，把《动手学深度学习》从 MXNet “翻译”成了 PyTorch，经过 3 个月的努力，这个项目已经基本完成，并登上了 GitHub 热榜。
Spatial stream ConvNet、Temporal stream ConvNet：单独的空间流和时间流网络。 李沐 可以看到单独的时间流网络效果已经非常好，而且是从头训练的网络，没有使用预训练模型。 双流网络是第一个能让深度学习网络效果媲美手工设计特征的视频分类结构，从此之后，深度学习在视频领域开始占据主流。 具体来说，就是先抽取视频中的关键帧得到K张图，然后将这K张图输入CNN网络得到图片特征。
李沐: 李沐參演電影
摘要 近年来，卷积神经网络（卷积神经网络）对视频中人类行为识别的应用提出了不同的解决方案，用于整合外观和运动信息。 为了更好地利用时空信息，我们研究了许多在空间和时间上融合卷积塔的方法。 我们得出以下结论：（i）不是在softmax层进行融合，而是在一个卷积层上融合空间和时间网络，即不会损失性能，而且在参数上有大量的节省;（ii）最好在最后一个卷积层而不是之前的层上（spatially）融合，而在类… Temporal stream convet：时间流卷积网络（光流网络），输入是光流图像，通过多帧画面的光流位移来获取画面中物体的运动信息，最后也根据网络输出的特征得出一个logist。 光流输入显式地描述了视频帧之间的运动，而不需要CNN网络去隐式地估计运动信息，所以使得识别更加容易。 下面的I3D模型，对比了单独的空间流I3D和单独的时间流网络I3D、完整的I3D；以及这三种模型只在Kinetics 400 数据集上进行预训练的效果。
- 比如下图左侧由两张图片组成，背景不变，只有人的运动状态变了；右图背景运动状态不变，所以是黑色的，只有图中的人处于运动中，是亮色的。
- Kinetics有两个数量级的数据，400类人类行为，每一类有超过400剪辑，并且这些都是从现实的，有挑战性的YouTube视频中收集的。
- 尤其是论文精讲这个系列，录一篇文章的时间大概是5个小时，沐神一般都是每天深夜找半个小时或1个小时做一点，差不多10天才能出一期。
- 最终的结果，是在 Sports-1M这么大的数据集上预训练，再在UCF-101数据集上微调，精度也只有65%，比最好的手工特征方法差了20%，所以结果是非常差的。
最终的结果，是在 Sports-1M这么大的数据集上预训练，再在UCF-101数据集上微调，精度也只有65%，比最好的手工特征方法差了20%，所以结果是非常差的。 李沐 2017年11月21日，出演歌手关喆的单曲MV《更好的我们》上线；同年，她还主演了特殊教育公益微电影《青春手拉手》，饰演中学生杨雨婕。 2018年7月7日，参演由陈慧翎执导的家庭情感剧《你的孩子不是你的孩子》系列之《孔雀》播出，饰演刘巧艺的同学施宇婕。 除了学习读论文的方法和论文本身的内容，这些视频中还能听到从今天的视角看来这些经典论文哪些部分已经过时了，哪些能作为精髓保留下来。
李沐: 李沐《动手学深度学习》PyTorch 实现版开源，瞬间登上 GitHub 热榜！
主要作品：《三國亂世》中飾男一號呂布，《常勝將軍》中的男一號趙子龍。 2017年11月21日，出演歌手關喆的單曲MV《更好的我們》上線；同年，她還主演了特殊教育公益微電影《青春手拉手》，飾演中學生楊雨婕。 2018年7月7日，參演由陳慧翎執導的家庭情感劇《你的孩子不是你的孩子》系列之《孔雀》播出，飾演劉巧藝的同學施宇婕。 2017年，主演公益微电影《青春手拉手》，从而进入演艺圈。 2019年3月24日，参演的社会写实剧《我们与恶的距离》首播；同年，出演悬疑惊悚片《返校》。
最后3D Conv输出的特征也是接一个全连接层得到分类结果。 因为多了一个维度，模型的参数量很大，不太好训练，而且效果也不好。 引入光流的方式是额外引入一个时间流网络，巧妙的利用光流提供的物体运动信息，而不用神经网络自己去隐式地学习运动特征，大大提高了模型的性能。 整个双流网络从结构上来说都非常简单，就是沿用AlexNet网络并做了小小的改动，最后的操作也是一个简单、常规的late fusion融合。