
工作职责:
1.参与预训练模型的预训练阶段的构建、模型训练迭代以及并行优化;
2.参与预训练语言模型的预训练阶段包括模型参数、适配性等工作;
3.研究和设计各种大模型算法架构,并通过实验验证算法和模型的效果和性能;
4.处理和解决应用实践中遇到的各种问题,包括数据预处理、特征提取、算法优化、模型调优、模型评估等方面的问题;
5.跟踪深度学习领域尤其大型预训练语言模型在AIGC领域的最新发展和趋势,对新的技术和方法进行评估和研究,以提高团队的技术水平和能力。
任职资格:
1.统招研究生及以上学历,计算机、人工智能及相关专业;
2.熟练掌握NLP和深度学习的相关理论和技术,如语言模型、机器翻译、文本分类、文本生成等;
3.熟练掌握一种或多种编程语言,熟练掌握pytorch深度学习框架以及分布式深度学习框架;
4.具有较强的分析和解决问题的能力,能独立解决复杂问题;有大模型训练相关工作经验,对Megatron、deepspeed等框架有丰富经验者优先;
5.具备良好的团队协作能力、沟通能力和问题解决能力。