一些用 AI 后的感想

背景

博主是一名大四的双非科班学生,学习不算好,都是期末最后7天学习一下,成绩最后也就80左右的样子.

自己大学四年也没怎么学(也就是只学习了课本上的东西,项目也没参加,竞赛也没参加,实验室也没加)

最近用AI开发的一些感想

最近在用AI开发一些项目,其中用到了很多学过的东西,就那么突然一瞬间感觉大学学的其实还挺有用的

大致就是一段游戏实录,然后里面有剧情对话,有跑图,而我现在想的就是提取其中对话,并且对对话进行分割,准确定每一段对话
例如:1min的录屏里面 00:10->00:20是跑图,然后00:21->00:35是剧情对话 00:36->00:40又回归到跑图
我想做的就是把 00:21-> 00:35 的剧情提取出来,然后这里面可能有三句对话,我还需要定位每句对话是在哪个准确的时间点分割的

跑图跟这个剧情对话倒是好检测:直接定位UI(跑图跟剧情的UI是不同的),这里进行一个图像的对比就可以

主要是后面的剧情里面的对话分割,我这里分两种情况

1. 实时检测:因为对话的切换需要在短时间内检测到,UI是行不通了,ocr太慢,之后就尝试了几种方式,最后AI测出来是帧间差分比较快
2. 对着视频检测:这个要求准确度比较高,因为是录屏,所以时间方面还好,但是也不能太慢,最开始AI直接写的是一点一点进行处理,我一看得要2h,然后就想能不能优化,之后想起来可以用二分,10秒->5秒->2.5秒->1.25秒... ... 这样子去查找,之后缩短到帧,比如说我目前正在跑图，然后我向前进 10 秒，判断是跑图，那就继续向前进 10 秒。如果这时已经进了剧情，那我就往前、往后分别进行判断。往前举例:现在变成5秒,5秒往前如果还是剧情,那就变成2.5秒往前,如果还是剧情,那就1.25秒往前剧情,如果不是剧情,那就1.25秒往后判断,之后慢慢到帧 以此类推,后面确实快了点

通俗的说就是一个是for循环遍历,一个是折半

不过也有可能会跳过10秒那段的剧情就是了,后面看看咋处理

不过让我手搓算法包写不出来的hhh