普渡机器人秋招VLM算法一面记录(已挂)
整体感觉主要不是特别match,面试官对我的项目兴趣不高,似乎也很着急;全程高强度输出
关注『深蓝职通车』⬇️
持续更新一线面经与求职干货
SHEN LAN
03 实习项目深挖
1.CoT 为什么这样设计,怎么避免幻觉Evidence grounded 结构化理由生成 + GT 证据链审核
2. Video/Image Caption 基建难点任务目标、数据清洗、抽帧策略
3. 为什么用 Special Token,不做 CLS Head配合 CoT,用 Reasoning 提供额外监督
4. 视频怎么切帧镜头检测 + 三等分采样
5. 主观生成 RL 的 Reward 怎么设计组内多轮对比、自博弈、门控 Reward、隐式 Reward / Reference
6. Agent 评测怎么做金种子构建开发集和冷启动测试集 + 线上监控飞轮
7. Query 改写 RL 项目整体设计
SHEN LAN
02 基础知识拷打
1.GRPO 目标函数,组内优势估计,Importance Sampling
2. Clip 的作用、Clip 对象、KL 散度 解释
3. GRPO 缺点:难度偏差、Token/Sequence 不一致、稀疏 Reward、冷启动问题
4. 回答单调和熵坍塌怎么处理 (熵坍塌, clip-higher/reward 检查/高概率token裁剪/动态kl散度惩罚)
5. GSPO:Sequence level IS、MoE 友好、长度归一化
6. LoRA:低秩矩阵、初始化、Target Module
7. LoRA 的 Rank、Alpha 设置
8. 注意力机制介绍 MHA、MQA、GQA、MLA、DSA 这些各个厂商都有,太多了记不住我也,后面再看看补一补
9. vLLM Prefix Caching 为什么能提速:复用 Prefix 的 KV Cache,减少重复 Prefill
SHEN LAN
SHEN LAN
03 反问
-
业务聚焦于什么方向
2.模型选型
3. 对校招生的期望
(这里说我很多地方思考的不错,项目也有深度,但是他们更想找做过大规模多模态数据处理经验的hhh,怪不得一直问我视频怎么切帧的,他说现在他们这块刚开始,要优先保证效果)
文章来源:@Brench 小红书作者授权分享:https://xhslink.cn/o/9rA9xRTZk8v