普渡机器人VLM一面:项目讲得不错,还是挂了

普渡机器人秋招VLM算法一面记录(已挂)

整体感觉主要不是特别match,面试官对我的项目兴趣不高,似乎也很着急;全程高强度输出

 

关注『深蓝职通车』⬇️

持续更新一线面经与求职干货

 

 

SHEN LAN

03  实习项目深挖

 

1.CoT 为什么这样设计,怎么避免幻觉Evidence grounded 结构化理由生成 + GT 证据链审核

2. Video/Image Caption 基建难点任务目标、数据清洗、抽帧策略

3. 为什么用 Special Token,不做 CLS Head配合 CoT,用 Reasoning 提供额外监督

4. 视频怎么切帧镜头检测 + 三等分采样

5. 主观生成 RL 的 Reward 怎么设计组内多轮对比、自博弈、门控 Reward、隐式 Reward / Reference

6. Agent 评测怎么做金种子构建开发集和冷启动测试集 + 线上监控飞轮

7. Query 改写 RL 项目整体设计

 

SHEN LAN

02  基础知识拷打

 

1.GRPO 目标函数,组内优势估计,Importance Sampling

2. Clip 的作用、Clip 对象、KL 散度 解释 

3. GRPO 缺点:难度偏差、Token/Sequence 不一致、稀疏 Reward、冷启动问题 

4. 回答单调和熵坍塌怎么处理 (熵坍塌, clip-higher/reward 检查/高概率token裁剪/动态kl散度惩罚) 

5. GSPO:Sequence level IS、MoE 友好、长度归一化 

6. LoRA:低秩矩阵、初始化、Target Module 

7. LoRA 的 Rank、Alpha 设置 

8. 注意力机制介绍 MHA、MQA、GQA、MLA、DSA 这些各个厂商都有,太多了记不住我也,后面再看看补一补 

9. vLLM Prefix Caching 为什么能提速:复用 Prefix 的 KV Cache,减少重复 Prefill

 

SHEN LAN

 

SHEN LAN

03  反问

 

  1. 业务聚焦于什么方向

2.模型选型

3. 对校招生的期望 

(这里说我很多地方思考的不错,项目也有深度,但是他们更想找做过大规模多模态数据处理经验的hhh,怪不得一直问我视频怎么切帧的,他说现在他们这块刚开始,要优先保证效果)

 

文章来源:@Brench 小红书作者授权分享:https://xhslink.cn/o/9rA9xRTZk8v