Teradata Informatica开发人员简历
SUMMARY
- 7年的分析专业知识, Design, Development, 测试和实现不同领域的各种应用系统.
- 具有数据仓库/数据集市方面的专业知识, OLAP实现与项目范围相结合, Analysis, 需求收集, data modeling, Effort Estimation, ETL Design, Development, System testing, 实施和生产支持.
- 精通软件开发生命周期(SDLC)的各个阶段,包括需求分析, system design, data modeling, database design, code development, code review, 集成和测试, code migration, 系统文档, 过渡到支持团队以及提供生产支持.
- 有使用星形和雪花图式进行多维建模的经验, 识别事实和维度, 使用IBM Infosphere data Architect进行物理和逻辑数据建模.
- 与业务经理和主题专家(sme)一起确定, 优先考虑并实施提高效率的解决方案, 降低风险,支持新业务.
- 具有使用ETL技术(如Informatica PowerCenter)进行软件开发的丰富经验, Syncsort DMX - h, SAS数据集成.
- 精通各种数据源与Teradata等多个关系数据库的集成, MS SQL Server, 将Oracle和平面文件放入Staging层.
- 具有使用Informatica PowerCenter客户端工具-映射设计器的强大数据仓库ETL经验, 工作流管理器/监视器和存储库管理器.
- 广泛地处理缓慢变化的维度.
- 广泛使用Teradata实用程序,如BTEQ, Fast Export, Fast Load, Multi Load, TPT用于向不同的源系统(包括平面文件)导出和加载数据.
- 具有创建表的经验, Views, 定义和使用索引, 使用各种连接, Functions, set operators, 在Teradata中创建复杂查询.
- 精通业绩分析, data profiling, 使用Explain Plan进行监视和SQL查询调优, 在Teradata中收集统计信息.
- 根据项目要求,开发Informatica工作流程以促进ETL过程.
- 使用Informatica PowerExchange从Legacy Mainframe系统获取数据.有开发Informatica工作流的经验, Worklets, 会话和其他任务, Mapping, Mapplets和各种转换.
- 有解决维护问题和修复错误的经验, 监视Informatica会话,以及映射和会话的性能调优.
- 有使用Syncsort DMX-h作业和任务的HDFS文件处理的经验吗.
- 具有编写UNIX shell脚本的丰富经验.
TECHNICAL SKILLS
Database: Teradata, Oracle, MS SQL Server
ETL Tools: Informatica PowerCenter, Informatica PowerExchange, Syncsort DMX-hSAS数据集成工作室
Job Scheduler: Autosys, SAS管理工作室
操作系统: Unix
Analytics: Base SAS
IDE: Teradata SQL Assistant, Eclipse, TOAD, PUTTY
Version Control: Tortoise SVN
数据建模工具: IBM Infosphere Data Architect
Big Data: HDFS、MapReduce、Syncsort DMX-h
专业经验
Confidential
Teradata Informatica开发人员
Environment: Teradata、Informatica PowerCenter、UNIX、Autosys、Tortoise SVN
Responsibilities:
- 主要包括收集用户对反洗钱客户分析数据的需求.
- 职责还包括数据分析, 业务逻辑原型, 记录设计方法并开发(1)批准的原型.
- 创建逻辑和物理数据模型,并在数据库中实现模型.
- 创建表、索引、宏和视图,并广泛使用TPT实用工具.
- 使用Teradata实用程序从不同的源系统(包括平面文件和Teradata表)获取数据.
- 开发bteq来转换从源接收的数据,以填充此应用程序中的各种配置文件.
- 开发bteq,以维护各种概要文件中尺寸缓慢变化的历史.
- 捕获的Teradata Metrics用于分析查询性能.
- 调优Teradata查询以提高性能.
- 开发了Informatica工作流,将数据从平面文件和表源到应用程序中的阶段表.
- 通过实现并行数据处理的管道分区,提高了Informatica工作流的性能.
- 将Informatica工作流导出为XML文件,以方便迁移到多个环境.
- 开发用于实现控件和其他文件处理的Shell脚本.
- 开发了用于调用bteq和触发Informatica工作流的shell脚本.
- 通过确定依赖关系和sla,使用Autosys调度工具调度应用程序中的各个进程.
- 准备低层设计文档
- 为代码验证准备单元测试用例和测试脚本.
- 准备了详细任务计划(DTS)文档,这是一个详细的文档,显示了参与生产部署以及各种部署活动的各个团队要遵循的时间表.
- 执行单元测试和支持用户验收测试.
- 创建SVN标签,方便代码迁移到其他环境.
- 参与部署和发布管理活动.
Confidential
Teradata Informatica开发人员
Environment: Teradata, Informatica PowerCenter, Informatica PowerExchange, UNIX, Autosys, Syncsort DMX-h, HDFS, MapReduce, Oracle
Responsibilities:
- 根据业务需求文档准备高级设计文档和低级设计文档.
- 开发了Informatica工作流,用于从各种来源获取数据到舞台表.
- 使用各种Informatica转换(源限定符)处理数据, Joiner, Lookup, Filter, Router, Aggregator, Expression, Union, Update Strategy, Sorter, Rank etc.)并加载目标表以及创建的文件.
- 通过NDM和SFTP向其他环境传输文件.
- 开发Syncsort DMX-h job,处理和存储HDFS中的文件.
- 根据需求开发bteq来转换数据.
- 开发Shell脚本,以方便文件处理, 实现控制, invoking BTEQs, 触发Informatica工作流和DMX作业.
- Autosys中使用JILS的计划作业.
- 捕获的Teradata Metrics和调优的查询不符合平台标准.
- 准备单元测试计划和单元测试用例,用于验证代码模块.
- 经过验证的迁移组件, 在生产部署期间提供部署支持和监视作业.
Confidential
Teradata Informatica开发人员
Environment: Teradata, Informatica PowerCenter, Informatica PowerExchange, UNIX, Autosys
Responsibilities:
- 开发Informatica工作流,用于使用Teradata API和实用程序从各种来源获取数据到舞台表.
- 使用Informatica PowerExchange从Mainframe Legacy系统中提取数据.
- 使用各种转换,如源限定符, Joiner, Lookup, Filter, Router, Aggregator, Expression, Union, Update Strategy, Sorter, 在Informatica Designer中开发健壮的映射.
- 开发了映射参数和变量来支持SQL覆盖.
- 创建mapplets并在不同的映射中使用它们.
- 开发映射以加载到staging表,然后加载到Dimensions和Facts.
- 在工作流中处理不同的任务,如会话、电子邮件、命令、工作流.
- 通过NDM和SFTP向其他环境传输文件.
- 根据需求开发bteq来转换数据.
- 开发Shell脚本,以方便文件处理, 实现控制, 调用bteq并触发Informatica工作流.
- Autosys中使用JILS的计划作业.
- 捕获的Teradata Metrics和调优的查询不符合平台标准.
- 准备单元测试计划和单元测试用例,用于验证代码模块.
- 经过验证的迁移组件, 在生产部署期间提供部署支持和监视作业.
Confidential
Data Modeler
Environment: UNIX、IBM Infosphere数据架构师、Oracle
Responsibilities:
- 使用shell脚本识别遗留报告中用于特定主题领域的关键字段和实体.
- 发展概念, 在分析了这些实体之间的关系之后,逻辑数据模型和物理数据模型.
- 开发具有源到目标数据映射和物理命名标准的映射电子表格, 数据类型和元数据定义.
- 在删除所有已识别的冗余后,将数据模型实现到Oracle数据库中.
- 在新平台中为这些实体开发最终用户视图.
Confidential
SAS ETL Developer
Environment: MS SQL Server, Base SAS, SAS DI Studio, SAS Management Studio, UNIX
Responsibilities:
- 开发SAS数据集成作业,将数据从MS SQL Server源系统导入SAS数据集.
- 开发SAS数据集成作业,处理和转换来自SAS数据集的数据,并创建目标文件,目标文件将使用NDM传输到下游.
- 使用SAS Management Studio计划作业.
- 编写单元测试计划和单元测试用例,对开发的代码模块进行测试.
Confidential
Environment: Matlab
Responsibilities:
- 与4名本科生组成的团队设计和开发应用程序.
- 与教授一起审查设计并验证设计方法
- 在Matlab中开发图像降噪的代码模块, 车牌号码提取和字符提取.
- 训练神经网络.
- 使用各种图像输入测试创建的网络.
- 开发用户界面
- 项目的详细文件.