Spanish Lotus User Group

Comunidad de usuarios de Lotus





DAOS          

Albert Buendia  16 Febrero 2011

Y como hemos oído algunos administradores perezosos comentar que tienen pánico al servicio DAOS, a los ficheros NLO y bla, bla...... Jim Casale de Group Business Software nos regala esta estupenda presentación de Lotusphere 2011. A partir de la diapositiva 34 podéis aprender la estrategia correcta para las copias de seguridad con DAOS activado.

BP116 Backup 101. The What, How and When


Salvador Jose  11 Noviembre 2010

Justo hace un año IBM lanzó DAOS Estimator en su versión 1.5. Esta versión no tiene nada que ver con las anteriores en términos de velocidad. Pero esconde además un tesoro oculto. Permite obtener un informe completo de los ficheros anexos de todos los buzones de correo y aplicaciones Notes, indicando su nombre, tamaño y si están comprimidos o no (algoritmo Huffman o LZ1). Lo interesante es que los administradores estamos acostumbrados a que los usuarios vengan llorando a por más cuota porque "trabajan" con muchos ficheros anexos.

Si todavía no ha activado DAOS en su servidor Domino 8.5.x, puede obtener un informe de lo que se ahorraría activando dicho servicio, el tamaño aconsejado de fichero a partir del cual se activará DAOS y un listado completo de los ficheros adjuntos de los buzones de correo. El informe también se puede obtener sobre servidores Domino 6.x ó 7.x  ya que la utilidad DAOS Estimator también se ejecuta sobre éstos.

Descargue DAOS Estimator 1.5


Descargue la utilidad para su plataforma desde aquí

Ejecute DAOS Estimator 1.5


Ejecute DAOS Estimator en modo detallado. Para ello hay que añadir el parámetro -v (verbose) al final.

DAOS Estimator

Obtenga el Informe


Espere a que procese todo el servidor Domino. Cuando acabe, abra el informe.

DAOS Estimator

Analize el Informe



DAOS Estimator


Ahora como que disponemos de un fichero de texto reportando todos los ficheros adjuntos de los buzones de correo podemos importarlo en una hoja de cálculo y realizar filtros por tipo de fichero (.avi, .wav, .mpeg, .ppt, etc.) Por ejemplo, sin acceder a ningún buzón, podemos ver que un usuario tiene los ficheros "Calendario-Pirelli.ppt", "la princesa busca marido", "mama divorciada.wmv", "El Duque.pps" o "Martercard.mpeg". No hay que ser adivino para intuir que estos ficheros no tienen nada que ver con su puesto de trabajo. Y así, decenas, centenas o miles.....

Le aseguro que se puede llevar las manos a la cabeza. Gigas y Gigas (Gigabytes) recuperados de sus volúmenes de discos RAID. Pruébelo y verá. Ahora cuando un usuario le pida una ampliación de cuota de correo, envíele un informe de DAOS Estimator de su buzón de correo. Y ya veremos. DAOS Estimator Quota request killer.

Albert Buendia  30 Junio 2010

What is DAOS?
The IBM Lotus Domino Attachment and Object Service (DAOS) allows you to save a significant amount of space at the file level, minimizes I/O and gives you more flexibility with your file storage options; reducing your total cost of ownership and helping employ green computing practices. Lotus Domino no longer needs to save a separate and complete copy of every document attachment. Instead, the DAOS-enabled server saves one copy of each unique attachment in an internal repository, and then refers to the same file from multiple documents in one or more databases on the same server. When an attached file is large and a message containing it is broadcast to thousands of users, creating a separate copy of the message for each recipient could require several gigabytes of disk space. Multiple copies of the same attachment are often also proliferated in mail threads with multiple replies. With DAOS enabled, disk space usage is substantially reduced.

A DAOS object is called a Notes Large Object (NLO). For each unique attachment processed by DAOS, an NLO file is created in the DAOS repository. Each NLO file is created based on the checksum of the content of the attachment represented. Using this checksum process, DAOS can determine if the attachment is the same or different than ones already in the repository. For security purposes, each NLO is encrypted by default with the server's key to protect it.

Don't have a lot of duplicate attachment data? DAOS offers more than just overall disk space savings. By removing attachment data from the NSF, it can be treated differently. Attachment data is static, and typically has much lower traffic rates than the data directory. DAOS provides the flexibility to choose cheaper storage options to free up the prime disk real estate on your server. The static nature of NLO files makes them a perfect candidate for big savings using incremental backup techniques.

Still want more? An improvement introduced in version 8.5.1 reduces network traffic by not transmitting attachments to a DAOS-enabled server that already has the attachment in its DAOS repository. As long as the 8.5.1 destination server has DAOS, and the attachment is in the repository, any 8.5.1 source whether DAOS-enabled or not, server or Notes client, will not have to send the attachment contents. And if that still isn't enough, there are even more DAOS features and enhancements coming up in 8.5.2.


DAOS is...
  • a new feature that was introduced in the IBM Lotus Domino Server version 8.5.0
  • supported on all platforms
  • transparent to clients. Whether you use a current or older Notes client, a BlackBerry device, Lotus Traveler, etc., it will receive the attachment data in the same way
  • not just for mail attachments. It doesn't matter what type of application you have
  • not limited to disk storage savings

For more information, refer to the devWorks article, IBM Lotus Domino going green: The new Lotus Domino attachment and object service
Articles
Helpful Wiki, devWorks and InfoCenter articles:

- Attachment consolidation

- Marking a database for attachment consolidation

- Specifying server settings for attachment consolidation

- DAOS FAQ

- DAOS Quick Start guide

- DAOS best practices

- DAOS backup and restore

- Demystifying the Domino console commands for DAOS

- DAOS: How to set up a regularly scheduled resynchronization

- Achieving ultimate storage and server cost savings with DAOS in IBM Lotus Notes and Lotus Domino 8.5

- DAOS Troubleshooting

Technotes
- Is Shared Mail supported in Notes and Domino 8.5? (Technote 1328028)

- Transaction Logging Best Practices (Technote 7009309)

- New DAOS features in Notes/Domino 8.5.1 (Technote 1411307)

- How can I move the location of the DAOS subdirectory (Technote 1415153)

- Transient attachments and DAOS (Technote 1426551)

- How can the actual disk savings from DAOS be computed? (Technote 1418283)

- Is there a way to select "DAOS" when running compact from the Domino Administrator client? (Technote 1413681)

- Download the Domino Attachment and Object Service Estimator Tool version 1.5 (Technote 4021920)

- Installation instructions for the DAOS Estimator Tool for System i (OS/400) (Technote 7015216)

Recent Open Mic Discussion
We recently conducted an Open Mic conference call on DAOS. Here are a few of the questions asked by customers and answered by Lotus Development and Support during that call. The full list of questions and answers from that session will be posted to Technote 1432989 in a couple of weeks. For a schedule of upcoming Open Mic sessions, please see the Lotus Support Technical Exchange Events page or the 2010 Open Mic Q&A sessions wiki article.

Q: What version of the product is recommended?
A: For a production environment, we recommend that you deploy DAOS with at least version 8.5.1 FP2 IF1, or 8.5.1 FP3.


Q: Does DAOS needs its own independent server?
A: No. DAOS can be enabled on each Domino server to take advantage of its benefits.


Q: Is there any detection and notification if a compact needs to be run to reprocess messages for attachments?
A: Once DAOS is enabled on an NSF, all subsequently written attachments will be considered for DAOS participation automatically.


Q: Can we enable DAOS on databases ODS 43 (Domino 7 ODS)?
A: No. ODS 51 (new to 8.5) is required. You can upgrade via create_r85_databases=1 INI parameter and running copy-style compaction.


Q: Do all databases on the server need to be at ODS 51 or only the ones that are DAOS-enabled?
A: Only databases participating in DAOS storage need to be at ODS 51.


Q: Any issues with a Notes 7 client accessing application databases that are DAOS-enabled on a Domino 8.5.1 server?
A: No, attachment access is transparent to the client.


Q: Is copy-style compaction recommended for all databases, not only the mail file?
A: Yes, a copy-style compaction is necessary to DAOS-enable existing attachments for all database types.


Q: If you send an email to another Lotus server in the same domain with DAOS enabled on both, is the attachment saved in both DAOS stores on each server?
A: Currently, DAOS does not share NLOs across servers, so if both servers are DAOS-enabled, then the attachment will be stored on both servers.


Q: Is each NLO file encrypted as an attachment?
A: By default, all NLO files are encrypted with the server key. There is a notes.ini variable that you can set to disable the NLO encryption. This encryption is in addition to any other compression/encryption options that you had set at the NSF level.


Q: How or when are the attachments cleaned up? What are the options for removing the attachments permanently?
A: Every morning at 2am, a DAOS prune process runs to remove NLOs with zero references after the deferred delete interval has passed.


Q: Are there any size limitations for attachments in DAOS (other than operating system limitations)?
A: There are no size limits on attachments.


Q: What is the purpose of the DAOS catalog file? Is there any essential information in that file that can be lost or that is not stored in the NLO files?
A: The catalog file tracks all NLO objects and databases that participate in DAOS storage.


Q: Can I expect any issues with an upgrade/move from Domino on Windows 32-bit to Windows 64-bit?
A: DAOS should not be affected by this upgrade.


Q: If we have mail databases, Document library, and Discussion databases on the same server, will DAOS remove the attachments on all databases?
A: DAOS is enabled per database; however, you can run a copy-style compaction against a directory to enable all databases in the specified directory.


Q: With transaction logging required for DAOS, what is the recommended logging style for DAOS?
A: It depends on what your requirements are, but either circular or archive are supported and work.


Q: Why is transaction logging required for DAOS?
A: It is required because of the need to keep database actions and object actions within the same transaction.


Q: Is there anything to watch out for implementing DAOS on the iSeries?
A: iSeries seems to be more sensitive to a (potentially) large number of NLO files. For that reason, the default minimum participation size is set higher (1MB) for iSeries than the other platforms to reduce the number of NLO files created. Also, due to the architecture of the iSeries disk subsystem, the physical location of the DAOS repository and transaction logs is less critical. We recommend for all platforms that the DAOS repository be not logically located underneath the data directory, as some utilities may traverse the repository unnecessarily while scanning the data directory.
Consumability experience survey
Would you help us by responding to the consumability survey for the latest version of the products you work with?

Go to
http://www.ibm.com/survey/oid/wsb.dll/studies/consumabilitywebform.htm?icodeúQ

Please plan 30 minutes to respond. You do not need to identify yourself or your company. This is an opportunity to influence future releases of our products and to save you time by helping to make our systems easier to use.
Electronic support
resources
Here are links to other ways that you can access IBM Lotus Notes & Domino self-help support information on the Web:




Image:DAOS, DAOS, DAOS





Albert Buendia  12 November 2009

El servicio DAOS es una de las novedades más características introducidas a partir de la versión 8.5 de Lotus Notes/Domino. Antes nos quejábamos, y con razón, de las pocas novedades "revolucionarias" en la evolución de la plataforma. Ahora tenemos tantas (DAOS, XPages, Composite Applications, Designer, Blogs.....) que uno ya no sabe en que materia focalizarse. Además, en un espacio temporal reducido no paran de llover nuevas y mejores versiones. ¡El mundo cambia muy rápido! Vía Kim Greene nos informamos de un excelente tutorial para revelar a fondo todos los intríngulis de DAOS. Además, ya hay disponible otra nueva versión 1.5 de la herramienta de estimación de DAOS. Bueno, según el bloguero Dan Silva, el tiempo necesario para escanear y evaluar el servidor se ha reducido espectacularmente. Hay noticias que hablan de pasar de 7 horas a 6 minutos. ¡Eso sí que es un improvement!

¿Preocupado por DAOS?

Haga clic sobre la siguiente imagen para ir al tutorial.
Tutorial de DAOS

Albert Buendia  18 September 2009


Collin Murray y Pat Mancuso del grupo americano New England Lotus User Group acaban de realizar una excelente presentación que podemos descargar para ir actualizando los conocimientos necesarios para una exitosa implantación de DAOS. La presentación hay que revisarla con atención. Hay aspectos importantes comentados como la desactivación del escaneo del antivirus en los ficheros NLO (Notes Large Object) de DAOS, la no copia de los ficheros daoscat.nsf y daos.cfg y el orden correcto en el que se deben copiar los ficheros. Al parecer, si seguimos los procedimientos de esta documentación, podemos continuar utilizando los aplicativos de copia de seguridad que utilizamos habitualmente. Muy interesante.

Por otra parte, indicamos también una referencia a un artículo sobre el funcionamiento de DAOS de Erin Dame, advisory software engineer de IBM.

DAOS DAOS


Albert Buendia  24 August 2009

DAOS es una de las novedades introducidas en Domino 8. Juan Carlos Trigo ya publicó un excelente artículo en el ESLUG. Si dispones de un servidor Domino versión 6 o superior es posible realizar una estimación del espacio ahorrado por el servicio DAOS. IBM ha ido publicando varias versiones da la herramienta DAOS Estimator Tool. A día de hoy, la última es la versión 1.4 publicada a mediados de Abril 2009. Es importante tener en cuenta que DAOS no sólo es válido para buzones de correo sino para cualquier aplicación NSF.

Ventajas
-------------
  • Disminución muy importante de los tamaños de los buzones de correo de los usuarios.
  • Disminución del tiempo de la ventana de copia de seguridad.

Inconvenientes
----------------------
  • Necesidad de activar el Transaction Logging si no lo tenemos ya activado.
  • Necesidad de actualizar el aplicativo de copia de seguridad a una versión que soporte DAOS.


En realidad el Log Transaccional no es un inconveniente. Debería ser un debe de todos los servidores Domino. En los servidores de datos relacionales, el log transaccional es un componente imprescindible e importantísimo. IBM publicó recientemente una series de artículos sobre las bondades y beneficios de activar el Transaction Logging sobre servidores Domino. Muy recomendable su lectura. Por otra parte, en estos momentos el principal inconveniente de activar DAOS puede venir del soporte de éste por el fabricante del aplicativo de copias de seguridad que utilicemos. Al azar, se me ocurre el fabricante Veritas (absorbido en su día por Symantec). Al consultar sobre el soporte de DAOS aquí obtengo la siguiente información. Domino 8.5 está soportado en múltiples plataformas, W2003, W2008, Red Hat Linux, ..... tanto en 32 bits como en 64 bits, pero concretamente sobre DAOS tenemos la siguiente nota en el apéndice.

Image:Analizando la implantación de DAOS
O sea, que DAOS todavía no está soportado aunque se dará soporte en una futura versión. Sin duda, la actualización del programa de copias de seguridad y la restauración de las NSFs serán el principal escollo en la implantación de DAOS.

Para realizar una estimación de cuanto espacio podemos ahorrarnos con DAOS, podemos descargar la utilidad desde aquí. Para examinarr la documentación sobre cómo utilizar DAOS Estimator acudimos aquí. En servidores Windows básicamente consiste en ubicar el pequeño fichero daosest.exe en el directorio de instalación del servidor Domino y ejecutar el comando desde la consola Domino:

load daosest -o agosto2009.txt

Al cabo de unas cuantas horas o días (dependiendo del peso de la infraestructura Domino) aparecerá un pequeño fichero de texto agosto2009.txt con el resultado del análisis. Para verificar que se está ejecutando el proceso veremos que daosest aparece en la lista de procesos de Windows consumiendo una considerable espacio de memoria. Algunos datos interesantes:


Summary:
    Total DB's analyzed:                             918
    Total DB's skipped due to errors:                  0
    Total Size of NSF's Examined:                  434.0 GB                  
    Total Attachments found:                     1336424                      
    Total Duplicate Attachments found:            817874                      
    Estimated Size of DAOSified NSF's:              85.0 GB                  
    Estimate Size of DAOS dir:                     137.3 GB                  
    Total Disk Savings:                            211.6 GB    
     

En resumen, tenemos un servidor con 918 NSFs ocupando cerca de medio Terabyte de datos (en estos momentos ya lo supera) con nada menos que 817.874 ficheros anexos duplicados.
El espacio original de 434 Gbytes se transformarían en 85 Gbytes más un directorio DAOS ocupando 137,3 Gb. Con lo que nos ahorraríamos aproximadamente un espacio de 211.6 Gb. Una cifra muy respetable. ¡ A ver si aparece por aquí el IBMer Luís Suárez y nos coloca Lotus Connections o Lotus Quickr ! Bienvenidos sean.

Albert Buendia  31 March 2009
A Picture's Worth a Thousand Words. Una imagen vale más que mil palabras.


Image:Domino Attack Object Service is running on. Attachments outside.
Juan Carlos Trigo Díaz  11 March 2009
Buenas,
supongo que todos hemos oido hablar de DAOS.
Esta propiedad en las bases de datos y servicio de Lotus Domino, permite lo que ms Exchange lleva tiempo utilizando.

¿Cual era el problema de domino?

cuando enviavamos correos con anexos a un grupo de personas, el anexos se guardaba en cada base de datos de los destinatarios.
El incremento de recursos para domino, como el uso de espacio era una pasada.
Solución en versiones anteriores, archivar y poner cuotas.

¿Que hace DAOS?

Daos permite que un anexo enviado a varios se guarde una vez y sea accesible por los usuarios que lo han recibido.

¿Como se ve desde Lotus Administrator?

Desde lotus adminsitrator podemos ver los siguientes datos:

Logical size = 388 MB
Physical size= 67 MB

Image:Cosillas sobre DAOS

Si nos vamos a las propiedades de la base de datos, vemos que tiene 370 MB

Image:Cosillas sobre DAOS

Si nos vamos al fichero físico podemos observar que son 66 MB.

Image:Cosillas sobre DAOS

¿Donde están esos anexos?

Hay una carpeta dentro de Data llamada DAOS, que va creando una subcarpeta de forma secuencial, como en el ejemplo 0001
Podemos ver que los "anexos" tienen una extensión NLO

Image:Cosillas sobre DAOS

Lo que hace DAOS es dejar un "Ticket" en el correo, que hace referencia al fichero.



Bueno espero que os haya sido útil


Saludos

Juan Carlos trigo Díaz
Spanish Lotus User Group