Focus On Oracle

Installing, Backup & Recovery, Performance Tuning,
Troubleshooting, Upgrading, Patching

Oracle Engineered System


当前位置: 首页 » 技术文章 » Big Data

Oracle GoldenGate for BigData

为什么需要Oracle GoldenGate?

企业数据通常分布在异构数据库中。要在不同数据源之间获取数据,可以使用Oracle GoldenGate实时加载、分发和过滤企业内的事务,并在几乎为零停机的情况下在不同数据库之间进行迁移。

Oracle GoldenGate是一个软件产品,允许您从一个数据库复制、过滤和转换数据到另一个数据库。Oracle GoldenGate允许您在Oracle数据库、其他支持的异构数据库和异构数据库之间复制数据。此外,您还可以将大数据与Oracle GoldenGate结合复制到Java消息队列、文本文件和大数据目标。

Oracle GoldenGate for Big Data

Oracle GoldenGate for Big Data为大数据环境提供了高性能、容错、易用、灵活的实时数据流平台。它可以轻松地将您的实时数据集成体系结构扩展到大数据系统,而不会影响源系统的性能,并支持及时的业务洞察以进行更好的决策。她的特点是简单、健壮的、实时传输、易扩展。

   非侵入性的实时事务数据流
   安全、可靠和容错的数据传递
   易于安装、配置和维护
   支持Apache Flume、Apache HDFS、Apache Hive和Apache HBase等
   易于扩展,可以支持其他大数据目标和消息队列

Oracle GoldenGate支持跨大数据企业的多个异构平台之间的事务级别的交换和操作。它以事务完整性和最小的开销实时地移动提交的事务。Oracle GoldenGate for Big Data内置支持将Oracle GoldenGate trail records的操作数据写入各种大数据目标(如HDFS、HBase、Kafka、Flume、JDBC、Cassandra和MongoDB)。


OGG for BigData 12.2
支持java replicat进程
OGG12.2中开发了基于java的replicat模式,以前的版本是基于extract进程中使用userexit实现数据投递,而在12.2中,直接支持replicat进程,性能更好,可以使用声明式的映射、基于操作记录数或数据大小进行交易分组,可使用replicat进程中支持的参数,并改善了检查点功能。

支持kafak
ogg 12.2中,可直接将LCR(逻辑变更记录)实时写入到kafka主题,可以处理insert/update/delete和主键更新操作。也可以提供gzip或snappy以提升性能。

动态数据处理
OGG 12.2中不再强制要求使用def文件,当源端表结构变化时,DDL可被自动复制到目标端。这项功能消除了defgen的繁琐工作和表结构变化带来的进程重启工作。

声明式设计
OGG for big data可以提供映射功能,将源表映射为目标端的字段格式,如HDFS/HBase, hive, Flume and Kafka。输出的元数据信息在Hive或Avro中都是有效的。此项特性可以帮助降低ETL处理的时间和资源,即通过OGG实时输出需要的格式字段,而不用在ETL中来处理这些工作。

可插拔的格式器
OGG for big data现在支持将text, xml, json, avro或自定义格式输出到所有支持的大数据平台,这项特性可以为ETL处理不同格式节约资源和时间。

OGG for BigData 12.3
支持以Cassandra为源
从ogg4bd 12.3.2.1开始,GoldenGate可以从NoSQL存储中读取数据,在这个版本中,支持列式存储库Cassandra的增量数据捕获,它可以从头开始捕获,也称为初始捕获。

新的目标端 - Kafka REST代理
ogg4bd现在可以通过rest代理接口以LCR格式实时将数据写入kafka topic,而且支持DDL变更,其它支持的操作包括Insert/Update/Delete/PK Update。也支持模板化对输出数据进行格式化。现在也支持编码格式AVRO和JSON。最后,还提供HTTPS/SSL的通信支持。

新的目标端 - Oracle NoSQL
ogg4bd现在可以通过配置的形式将数据写入Oracle NoSQL数据存储,而不需要使用java adapter。它可以处理Oracle NoSQL数据类型,表和列之间的映射,支持DDL更改,主键更新的复制。这个版本支持Basic和Kerberos两种身份验证方法。

新的目标端 - 文本文件和AWS S3存储
ogg4bd现在提供一个新的文本文件写入器。其作用是将数据先写到本地文件系统,再将完整的数据写入到另一个位置,如HDFS。这意味着分析工具不必尝试访问这些本地存放的实时半处理文件,只需要在后续执行批量处理即可,如通过调用本地函数实现转换,合并等,更容易满足ETL或大数据平台数据处理的需求。

新的目标端 - AWS S3存储
ogg4bd当前提供的文本写入器,支持将数据先写到本地文件系统,再将完整的文件加载到另一个位置,如AWS S3。 S3处理程序可以写入预先创建的AWS S3存储桶(bucket)或使用AWS OAUTH认证方法创建新存储桶。

支持新的输出格式 - ORC& Parquet
ogg4bd现在提供的文本文件处理器,支持以ORC和Parquet格式写入数据


Reference

https://www.oracle.com/middleware/data-integration/goldengate/big-data/resources.html

https://docs.oracle.com/goldengate/c1230/gg-winux/GGCON/introduction-oracle-goldengate.htm

http://www.oracle.com/us/products/middleware/data-integration/goldengate-for-big-data-ds-2415102.pdf

https://www.oracle.com/middleware/data-integration/goldengate/big-data/index.html



关键词:ogg bigdata 

相关文章

Oracle大数据之交互式快速参考
手把手教你快速体验Oracle大数据云
Oracle大数据云生态和技术
Hadoop Ecosystem
智能云分析解决方案之Oracle数据可视化桌面(DVD)
Oracle收购DataScience
Gartner再次将Oracle分析数据管理解决方案执行能力定位为最高
Oracle GoldenGate for BigData
Oracle大数据展现(Oracle BigData Discovery)
Oracle大数据空间和图表(Oracle BigData Spatial and Graph)
Oracle大数据SQL(Oracle BigData SQL)
Oracle大数据连接器(Oracle Big Data Connectors)

联系我们

Top
Cell186-9589-1286
QQ 375349564
E-mail ohsdba@qq.com