基本信息

姓名：刘沛羽

博彩社区-论坛博彩 助理教授

办公地点：求索楼1019

电子邮箱：liu[email protected], [email protected]

Google主页: //scholar.google.com/citations?user=0UyGs0YAAAAJ&hl=zh-CN

教育背景

2020年9月-2024年6月，中国人民大学，高瓴人工智能博彩社区 ，博士

2017年9月-2020年6月，中国人民大学，博彩社区-论坛博彩 ，硕士

2011年9月-2015年6月，中国石油大学（北京），石油工程博彩社区 ，学士

研究兴趣

人工智能，自然语言处理，大语言模型，模型压缩。

当前重点探索大语言模型的高效结构设计、轻量化微调方法，以及在长上下文条件下的推理加速。此外，我也关注大语言模型在金融和教育场景中的创新应用。欢迎有兴趣的同学与我联系，共同探讨与合作。

论文发表

参与写作大语言模型综述《A Survey of Large Language Models》受到国内外媒体广泛关注。近几年与大模型以及模型压缩相关的论文发表10余篇，包括ACL、EMNLP和COLING等，其中代表性研究成果包括：

2024:

[1] Peiyu Liu, Ze-Feng Gao, Xin Zhao, Yipeng Ma, Tao Wang, Ji-Rong Wen: Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression. Association for Computational Linguistics (ACL), 2024.

[2] Peiyu Liu, Zikang Liu, Ze-Feng Gao, Dawei Gao, Wayne Xin Zhao, Yaliang Li, Bolin Ding, Ji-Rong Wen: Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study. Computational Linguistics (COLING), 2024.

[3] Peiyu Liu*, Ze-Feng Gao*, Xiao Zhang, Wayne Xin Zhao, Ji-Rong Wen: Enhancing Parameter-efficient Fine-tuning with Simple Calibration Based on Stable Rank. Computational Linguistics (COLING), 2024

2023:

[1] Peiyu Liu*, Ze-Feng Gao*, Yushuo Chen, Xin Zhao, Ji-Rong Wen: Enhancing Scalability of Pre-trained Language Models via Efficient Parameter Sharing. Empirical Methods in Natural Language Processing (EMNLP), 2023.

[2] Ze-Feng Gao, Kun Zhou, Peiyu Liu, Wayne Xin Zhao, Ji-Rong Wen: Small pre-trained language models can be fine-tuned as large models via over-parameterization. Association for Computational Linguistics (ACL), 2023

2021：

学术兼职

科研项目

参与国家自然科学基金青年项目“大规模预训练语言模型的轻量化微调与模型扩容方法研究”。