工作职责 1、数据生产与交付：能够独立负责一条或多条业务线的数据生产和数据交付工作，确保数据的准确性、完整性和及时性，满足业务部门对数据的需求。 2、数仓开发与维护：深入理解数仓分层架构（如ODS、DW、DM等），并遵循数仓开发规范进行数据仓库的开发与维护工作，有实际项目经验，能够根据业务需求设计合理的数据模型，优化数据存储结构，提高数据查询效率。 3、Spark任务开发与调优：熟练掌握Spark任务开发，能够根据业务逻辑编写高效、可扩展的Spark程序，具备Spark任务资源调优的能力，能够根据任务的运行情况合理配置资源，提高任务的执行效率，确保任务的稳定运行。 4、大数据组件应用：熟悉至少两种以下大数据组件（Hive、StarRocks、Paimon、Flink等），并有实际项目应用经验，能够根据不同的业务场景选择合适的大数据组件进行数据处理和分析，熟练掌握各组件的特性和使用方法，能够解决在使用过程中遇到的问题。 5、数据质量与敏感度：工作认真负责，对数据有较强的敏感度，能够及时发现数据中的异常情况，并进行分析和处理，确保数据的质量和可靠性，为业务决策提供有力的数据支持。 6、数据治理实践：具备数据治理相关经验，熟悉存储空间治理和计算任务治理，能够对数据存储进行优化，合理规划存储空间，避免存储资源的浪费；同时对计算任务进行监控和优化，提高计算资源的利用率，确保数据处理的高效性，并在以往的工作中取得过一定的治理成果，如显著降低存储成本、提升任务运行效率等。 7、BI报表与OLAP引擎支持（加分项）：了解至少一种主流BI报表工具（如Tableau、Power BI等）和OLAP引擎（如ClickHouse、Elasticsearch等），能够为业务部门提供数据支持，协助制作BI报表，优化OLAP查询性能，更好地满足业务用户对数据可视化和多维分析的需求（具备相关经验者优先）。 8、了解大模型或者算法训练过程（加分项）：了解常见大模型或者算法的训练过程以及所需要的数据。 岗位要求 任职要求 1、计算机科学、信息技术或相关专业本科及以上学历。 2、有过数据开发相关工作经验，精通SQL语言，具备高效的SQL编写和优化能力，能够处理复杂的SQL查询和数据转换逻辑。 3、熟练掌握Python、Java 或者 Scala语言，能够使用相关语言进行数据处理和分析脚本的开发。 4、熟悉Linux操作系统，能够熟练使用Linux命令进行日常的文件操作、任务调度和系统监控等工作。 5、了解数据加密、数据备份与恢复等数据安全相关技术，能够保障数据的安全性和可靠性。 6、具备良好的沟通能力和团队协作精神，对新技术有较强的学习能力和适应能力，具备一定的逻辑思维能力和问题解决能力。